免费代理IP为什么"看着多、用着少"
很多人第一次找代理IP,都是从搜索结果里翻到一堆"免费代理IP列表"网站。页面上密密麻麻几百上千条,看着挺唬人,复制下来一跑,十有八九是连不上的。这不是你不会用,而是免费池本身的性质决定的。
免费列表是公开的,任何人都能看到,也就意味着同一批IP在被成千上万人同时使用。用的人多了,目标网站最先做的就是把这些IP封掉;再加上免费节点多数是别人临时搭的,机器关了就没了。所以免费池的真实情况是:数量在涨,可用率在跌,存活时间以分钟计。
更麻烦的是"假可用"。有些IP能连上,也返回200,但返回的根本不是你想要的页面,而是运营商拦截页、验证码页或者一段广告。只看"能不能连"是不够的,必须往下筛。
第一步:把"能不能用"拆成四个可测指标
筛代理IP之前,先想清楚你要测什么。只说"能用/不能用"太粗,落到代码里没法判断。建议拆成四个可以量化的指标:
| 指标 | 怎么测 | 合格线参考 |
|---|---|---|
| 连通率 | TCP握手是否能建立、代理是否响应 | 3秒内握手成功 |
| 响应延迟 | 从发起请求到收到首字节的耗时 | 普通页面采集 ≤ 1500ms |
| 匿名度 | 回显页面里是否带出你的真实IP、是否被写入 X-Forwarded-For | 不暴露真实IP、不带头 |
| 稳定性 | 同一IP连续请求的成功次数占比 | 连续10次成功 ≥ 8次 |
这四个指标里,最容易被人忽略的是匿名度。很多免费代理属于"透明代理",请求头里把你的真实IP原样带上去了,你以为换了身份,其实目标网站看得一清二楚。测的时候一定要有一个自己的回显接口,把收到的请求头原样返回,才能看出来有没有露。
第二步:写一个能跑的可用率实测脚本
手工一条条试是不现实的。几百条IP,用并发跑一遍,几分钟就能出结果。下面这段代码是最小可用版本,思路是:并发测连通 + 校验回显内容 + 记录延迟,跑完直接输出一份可用的名单。
import time
import requests
from concurrent.futures import ThreadPoolExecutor, as_completed
# 自己搭一个回显接口,返回请求方看到的IP和请求头
ECHO_URL = "http://你的回显接口/ip"
def check(proxy, timeout=3):
proxies = {"http": f"http://{proxy}", "https": f"http://{proxy}"}
start = time.time()
try:
r = requests.get(ECHO_URL, proxies=proxies, timeout=timeout)
cost = round((time.time() - start) * 1000)
text = r.text.lower()
# 关键校验:回显里不能出现本机真实IP,也不能带 X-Forwarded-For
if r.status_code != 200:
return None
if "x-forwarded-for" in text:
return None
if "你的真实IP" in text:
return None
return {"proxy": proxy, "delay": cost}
except Exception:
return None
def batch_check(proxy_list, workers=50):
alive = []
with ThreadPoolExecutor(max_workers=workers) as pool:
tasks = [pool.submit(check, p) for p in proxy_list]
for f in as_completed(tasks):
res = f.result()
if res:
alive.append(res)
# 按延迟从低到高排序,优先用快的
return sorted(alive, key=lambda x: x["delay"])
if __name__ == "__main__":
raw = open("proxies.txt").read().splitlines()
result = batch_check(raw)
print(f"送检 {len(raw)} 条,存活 {len(result)} 条")
for item in result[:20]:
print(item["proxy"], item["delay"], "ms")
几个实战细节:并发数别一上来就开 200,容易被本地网络或目标站点限速,建议从 30~50 起步;超时设 3 秒足够,超过 3 秒还没握手的,就算后面能通,用起来也难受;测完一定要跑第二轮间隔复测,很多免费IP是在你测完的下一分钟失效的,单轮成绩好看没有意义。
第三步:剔除——什么样的IP必须立刻扔掉
拿到存活名单只是开始,接下来要做的是"减法"。下面这几类,无论延迟多低,都应该直接下线,不要心疼:
1. 返回内容不对的。能连通但返回拦截页、验证码页、跳转页的,属于半死连接,用它采集只会浪费请求量。判断方法是校验返回内容的特征字段,比如页面标题、固定关键词。
2. 暴露真实身份或改写请求头的。带 X-Forwarded-For、Via、Forwarded 的,说明它不是干净的高匿通道,业务上等于没换身份。
3. 连续失败的。建议策略是"连续2次失败即出局",不要给太多机会。免费IP的失败通常不是偶发抖动,而是节点已经挂了。
4. 延迟忽高忽低的。测三次延迟,最高和最低差三倍以上的,说明这条线路在被人挤,稳定性没保障。
5. 只支持 HTTP、走不了 HTTPS 的。现在绝大多数业务都要走 HTTPS,只支持 HTTP 的IP基本没有使用价值。
6. 来源不明的。不知道从哪冒出来的IP,可能会在你不知情的情况下篡改返回内容或者记录你的请求。用于正式业务是有风险的,这一点常被忽略。
第四步:补量——把池子当成活水来维护
免费代理池最大的问题不是"筛不出来",而是"筛出来之后很快就没了"。所以维护思路要从"一次性筛选"改成"持续运营",核心是两件事:定期复检 + 及时补量。
先说复检。建议把池子分成三档:A档是刚刚测试通过、延迟低的,优先分配业务;B档是备份,定时轮换进来测试;C档是待观察,连续失败就清出去。每 10 分钟对 A 档做一次轻量复检,失败的降级,空闲的补位。
再说补量。补量不等于无脑加新IP,要有节奏:按业务的实际消耗速度设置补充阈值,比如可用IP低于 50 条就开始补;新进来的IP先放进 C 档观察,通过两轮测试才升到 A 档。同时控制单个IP的并发和日请求量,一个IP被压得太狠,活得会非常短。
还有一点很实际:免费来源越多样,池子越抗打。只用一两个公开列表,某天列表停更,池子就断了。多来源、错峰抓取、定期校验源站是否还在更新,这些都属于补量体系的一部分。
自建免费池的天花板,以及什么时候该换正规服务
把上面四步都做扎实,免费池的可用率确实能提上来一些。但天花板也很明显:总量有限、延迟不可控、并发上不去、随时可能整批失效,而且来源不明的IP存在合规与安全风险。一旦你的业务有时间要求——比如要跑批量任务、要保证接口调用成功率、要给多人共用一条稳定通道——免费池的维护成本就会超过它省下的钱。
这时候通常的做法是切换到正规的国内代理IP服务。天启HTTP 是国内代理IP服务商,提供 HTTP / HTTPS / SOCKS5 代理,支持 API 提取链接、隧道代理、独享IP 等使用方式,节点覆盖国内主要城市,支持终端 IP 白名单与账号密码两种鉴权方式,可用于数据采集、接口测试、多账号管理、网络监测等国内业务场景。
相比免费池,正规服务最直接的价值是可用率和延迟是有人负责的:接口拉到的IP本身就是经过筛选的,不需要你自己写一堆复检逻辑;隧道代理模式下,出口IP自动轮换,也不用再维护那张三档表格。上线时建议先用 API 提取小批量接入,把可用率、延迟跑一遍实测,与自己的业务指标对齐后再放量,同时把请求频率控制在合理区间,避免对目标站点造成压力。
常见问题
Q:免费代理IP的可用率一般有多少?
没有固定数字,跟来源、时间、目标站点都有关系。同一条IP早上能通、下午被封是常态,所以不要迷信"可用率"这个静态数值,更该关注的是你自己的复检频率和降级策略是否到位。
Q:测的时候能连上,实际用却失败,是什么原因?
大概率是目标站点有额外的风控,比如要求 Cookie、验证码、请求头指纹、访问频率限制。测试时用的回显接口没有这些限制,所以测试通过不等于业务可用,建议直接用目标站点的低频请求做二次验证。
Q:需要多久复检一次?
免费IP建议 10 分钟一次轻量复检,只测连通和延迟;付费的稳定通道复检频率可以放低,更多交给服务商的调度。复检频率越高,池子的"新鲜度"越好,但本地资源消耗也越大,按业务节奏调。
Q:并发测试开多少线程合适?
从 30~50 起步,观察本地带宽和失败率再调。线程开太大,失败里会混进大量"本地网络扛不住"的假失败,反而误杀了还能用的IP。
Q:为什么免费代理经常返回错误页面?
常见原因有三种:节点本身已经被目标站点拦截并返回拦截页、节点是一个钓鱼或劫持节点在篡改内容、节点只剩半条连接。这三种情况都应该在下线规则里直接处理掉。
Q:天启HTTP 有住宅IP吗?能用来看国外的网站吗?
天启HTTP 提供的是国内的代理IP服务,没有住宅IP,也不适用于需要国外IP的场景。它面向的是国内网络环境下的采集、测试、多账号管理等需求,选型前建议先确认自己的业务访问目标。





