能连上,和“稳定”是两码事
很多人判断代理IP好不好用,只看一个动作:跑一次请求,通了,就认为没问题。结果真实业务一跑起来,隔十几分钟就卡一批、报一堆超时,脚本半夜挂掉,第二天早上才发现数据缺了一大半。
这里要区分两件事:可用性是“这条IP此刻能不能连上”,稳定性是“在连续几个小时、几万个请求里,成功率能不能一直保持在高位”。前者靠服务商,后者很大一部分要靠你自己的代码配置。同一批代理IP,有的人跑出99%以上的成功率,有的人只有80%出头,差距往往就出在几个看起来不起眼的设置上。
第一个被忽略的设置:超时与重试,别用默认值
这是最容易被跳过的一项。大部分HTTP库的默认超时要么很长、要么干脆不设,一旦某条代理线路卡住,你的程序就会在那里干等几十秒,整条任务队列跟着堵。代理环境下正确的做法是把超时拆成“连接超时”和“读取超时”两段,连接超时设短一些(3~5秒),读取超时稍微放宽(8~15秒),让失败尽快发生、尽快换IP。
光有超时还不够,还要配有限次数的重试。代理网络里偶发的抖动很常见,无条件放弃太浪费,无限重试又会把时间耗在一条坏线上。经验值是重试2次,并且加上一点间隔退避。
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
session = requests.Session()
# 重试2次,失败后间隔0.5秒递增
retry = Retry(total=2, backoff_factor=0.5,
status_forcelist=[500, 502, 503, 504])
# 连接池:控制复用数量,避免每次请求都新建连接
adapter = HTTPAdapter(max_retries=retry,
pool_connections=20,
pool_maxsize=50)
session.mount("http://", adapter)
session.mount("https://", adapter)
proxies = {
"http": "http://用户名:密码@代理地址:端口",
"https": "http://用户名:密码@代理地址:端口",
}
# 超时写成元组:(连接超时, 读取超时)
r = session.get("https://你的目标站点", proxies=proxies, timeout=(4, 12))
第二个被忽略的设置:连接复用与并发数
很多人写采集脚本时习惯在循环里不停新建 Session、每次请求都握手一遍。用代理时这个代价会被放大——每建立一次连接,都要多一次和代理服务器的握手与鉴权,请求量一大,光是握手就吃掉大半时间,而且容易触发代理端的连接数限制,表现出来就是“时快时慢、时通时不通”。
正确的思路上复用连接(keep-alive)+ 限制并发。连接池数量不要开得太大,一般控制在30~80之间;并发线程数按目标站点的承受能力和代理线路的承载量来定,宁可少一点,也不要几百个线程同时往上冲。并发冲高带来的不是速度,而是成功率断崖式下跌。
| 配置项 | 随手写的默认值 | 建议的稳定值 | 影响 |
|---|---|---|---|
| 连接超时 | 不设 / 60秒 | 3~5秒 | 失败能快速暴露,及时切换 |
| 读取超时 | 30~60秒 | 8~15秒 | 避免长时间挂起堵队列 |
| 重试次数 | 0次 | 2次 + 退避间隔 | 吸收偶发抖动 |
| 连接复用 | 每次新建 | 连接池 + keep-alive | 减少重复握手开销 |
| 并发数 | 越大越好 | 按线路承载量压测后定 | 过高反而拖垮成功率 |
第三个被忽略的设置:IP提取方式与鉴权绑定
这一项最隐蔽。同样一个代理服务,提取方式不一样,稳定性表现能差出很远。
先说提取频率。有的人写死了“每个请求都去API取一条新IP”,结果接口被频繁调用,返回的IP还没来得及用就被换掉,日志里全是“刚连上就断”。合理的做法是按任务批次提取:一次取一小批,把这一批用满有效期再换,需要连续会话的场景(比如要登录、要保持购物车)则用隧道转发方式,让出口IP在一个会话周期内保持不变。
再说鉴权。账密鉴权和IP白名单是两种常见方式。IP白名单稳定但有个坑:如果你自己的服务器出口IP变了(换机房、加节点、跑在动态公网IP的宽带上),代理端会直接拒绝,报出来的却是“连接超时”,非常容易被误判成代理线路故障。所以每次服务器出口IP有变动,记得回来更新白名单;用账密鉴权时,则要把用户名密码放在配置中心,别硬编码在脚本里。
怎么判断你的代理现在到底稳不稳
光看“有没有报错”是不够的。想确认稳定性,至少要盯三个维度:成功率、延迟分布、失败原因。成功率看整体,延迟要看P95而不只是平均值——平均200毫秒但P95到8秒,说明有少量请求在拖后腿;失败原因则要区分是超时、是407鉴权失败,还是目标站点返回了拦截页,这三种情况的处理方式完全不同。
工具选对了,配置才有意义
配置能解决“用得对不对”,但解决不了“线路本身好不好”。如果代理节点本身负载高、可用率低,再怎么调超时重试也只是在坏池子里挑。
天启HTTP是国内HTTP代理IP服务商,节点覆盖国内主要城市,提供短效代理、隧道转发、独享代理等多种产品形态,支持API批量提取,同时提供账密鉴权和IP白名单两种接入方式,方便按自己的业务结构来选。做数据采集、多账号管理、接口测试这类需要长期跑量的场景,可以先小流量试跑,确认成功率和延迟分布符合预期后再放量。具体的产品规格与价格,以天启HTTP官网实时信息为准。
常见问题
Q:代理明明是通的,为什么脚本跑一会儿就说超时?
先检查是否设了读取超时。很多默认配置下一条卡住的连接会占住线程几十秒,队列越堵越死。把超时拆成连接3~5秒、读取8~15秒,并加上2次重试,大部分“莫名卡死”会消失。
Q:并发开得越高,采集速度是不是越快?
通常不是。并发超过代理线路的承载量后,握手排队、连接被拒会变多,成功率明显下降,整体耗时反而更长。建议从小并发开始压测,找到成功率还保持在99%以上的那个并发值。
Q:每次请求都换一条新IP,是不是更安全?
不一定。频繁切换会让需要连续状态的业务(登录态、下单流程)直接中断。按批次提取、会话内保持IP不变,反而更稳。
Q:白名单也加了,为什么还是提示连接失败?
先确认自己服务器的出口IP有没有变。换机房、加节点、宽带重播都会导致白名单失效,而报错信息往往只显示超时,很容易误判成代理故障。
Q:怎么判断问题出在我的代码还是代理线路?
做个小对照:用同一段代码、同一批目标站点,换一条代理线路跑同样的请求量。如果换线路后成功率正常,问题在线路;如果两条线路表现都一样差,大概率是超时、并发或提取策略的配置问题。
Q:隧道转发和API提取该选哪个?
需要会话连续、保持登录状态的选隧道转发;需要大量分散出口、按批次跑量的选API提取。两者也可以混用,按不同业务模块分开配。





