当爬虫遇上反爬：你的IP被盯上了怎么办？
搞爬虫的兄弟应该都经历过这个场景：昨天还跑得好好的程序，今天突然就卡壳了。打开日志一看，满屏的403、429状态码，这时候你就该明白——你的IP被网站拉黑了。特别是搞电商比价或者社交数据采集的，十有八九都会碰到这种糟心事。
这时候就该代理IP登场了。简单说就是让服务器以为请求来自不同电脑，好比玩捉迷藏时不断换马甲。但市面上的代理服务鱼龙混杂，有些免费代理不仅速度慢，还可能泄露你的真实IP，这就相当于戴了面具却把名字写在脑门上。
选代理IP要看哪些硬指标？
这里给大家列个实在的对比表，拿我们合作过的天启代理举个栗子：
| 指标 | 普通代理 | 天启代理 |
|---|---|---|
| IP类型 | 混合型 | 独享高匿 |
| 响应速度 | 500ms+ | ≤10ms |
| 可用率 | 70%左右 | ≥99% |
| 协议支持 | HTTP | HTTP/HTTPS/SOCKS5 |
特别要夸夸他们的城市覆盖，全国200多个城市节点可不是吹的。有次帮客户做区域化数据采集，需要特定三线城市的IP，天启的代理池里居然真有存货，当时真有种开盲盒中隐藏款的惊喜。
手把手教你配代理
以Python的requests库为例，用天启代理的API接口动态获取IP，代码比你想的简单：
import requests
def get_proxy():
从天启API获取最新代理（这里要换成你们自己的接口）
resp = requests.get("https://api.tianqi.proxy/get")
return {'http': f'http://{resp.json()["ip"]}:{resp.json()["port"]}'}
response = requests.get('目标网站', proxies=get_proxy(), timeout=5)
注意这里有个坑：别把代理配置写死在代码里！建议做成定时刷新的动态获取，就像给爬虫装了个自动换装的旋转衣柜。天启的接口响应速度实测在800毫秒以内，完全跟得上高频请求的需求。
实战避坑指南
遇到过最奇葩的情况是某电商网站的反爬机制——同一个IP连续访问20次才封。这时候就需要控制代理切换频率，别像得了帕金森似的疯狂换IP。建议设置个随机间隔，比如每15-25个请求换一次IP，让反爬系统摸不清规律。
另外建议开启失败重试机制，天启代理的IP可用率虽然高，但保不齐碰上临时维护的节点。这里分享个自用的重试装饰器：
def retry(max_attempts=3):
def decorator(func):
def wrapper(args, kwargs):
attempts = 0
while attempts < max_attempts:
try:
return func(args, kwargs)
except Exception as e:
print(f"第{attempts+1}次失败: {str(e)}")
attempts +=1
kwargs['proxies'] = get_proxy() 更换代理
raise Exception("超出最大重试次数")
return wrapper
return decorator
常见问题排雷
Q：代理IP用着用着就失效了？
A：正常现象，所有代理IP都有生命周期。天启代理的存活时间比市面产品长30%左右，建议配合他们的实时监测接口使用。
Q：怎么测试代理是否真匿名？
A：访问http://httpbin.org/ip，如果返回的IP和设置的代理IP一致，且headers里没有X-Forwarded-For字段，就是高匿代理。天启代理默认就是这种模式。
Q：遇到SSL证书错误怎么办？
A：这是HTTPS代理常见问题。天启代理支持双向证书验证，在代码里加上verify参数就行：
requests.get(url, proxies=proxy, verify='/path/to/certificate')
最后说句掏心窝的话：别在代理IP上省钱，被封号损失的可是真金白银。像天启代理这种有正规运营商授权的服务商，用着踏实不说，关键时候真的能救命。他们最近还出了个流量包可弹性伸缩的计费方式，特别适合项目周期不固定的团队。
