一、为什么爬虫必须用代理IP？
做爬虫最头疼的就是被目标网站封IP。比如你用Requests连续访问某电商网站，不到半小时就会看到403 Forbidden的提示。这时候就需要代理IP来更换网络身份，就像给爬虫戴了无数张“面具”。
特别是使用天启代理这类企业级服务时，他们的全国200+城市节点能让你的请求分散在不同地区。假设你要采集某本地生活平台数据，用当地城市的代理IP访问，数据获取成功率直接翻倍。
二、Python爬虫+代理IP的黄金组合
先记住这个万能公式：爬虫框架 + 代理池 + 异常重试 = 稳定采集系统。这里重点说框架层如何集成代理IP。
三、Scrapy框架代理实战
在middlewares.py中添加天启代理的接入代码：
def process_request(self, request, spider):
request.meta['proxy'] = 'http://用户名:密码@api.tianqidaili.com:端口'
天启代理支持SOCKS5协议时这样写
request.meta['proxy'] = 'socks5://用户认证信息@ip:端口'
注意这里用用户名密码认证方式，比传统IP白名单更安全。天启代理的响应延迟≤10毫秒特性，能避免Scrapy的下载超时问题。
四、Requests库的代理技巧
给爬虫加上智能切换代理功能：
import requests
proxies = {
'http': 'http://天启代理API生成的专属链接',
'https': 'http://天启代理API生成的专属链接'
}
response = requests.get(url, proxies=proxies, timeout=5)
建议配合IP存活检测模块，遇到失效IP自动从天启代理接口获取新IP。他们的可用率≥99%能减少更换频率。
五、异步爬虫神器Pyppeteer
用浏览器模拟爬虫时，在launch参数里添加代理：
browser = await launch(
args=['--proxy-server=socks5://天启代理SOCKS5地址:端口'],
headless=True
)
天启代理的自建机房纯净网络特别适合这种需要高稳定性的场景，避免页面加载中途断连。
六、其他框架代理配置速查
| 框架 | 代理配置方式 | 天启协议支持 |
|---|---|---|
| Selenium | DesiredCapabilities设置代理 | HTTP/HTTPS |
| PySpider | 在fetch_config设置proxy | SOCKS5 |
| aiohttp | connector设置proxy参数 | 双协议支持 |
七、必须避开的3个代理坑
1. 不要混用代理协议：天启代理同时支持HTTP和SOCKS5，但一个爬虫项目里建议固定使用同种协议
2. 控制并发量：即使使用优质代理，单个IP每秒请求也别超过3次
3. 定期清理DNS缓存：防止系统缓存旧IP导致代理失效
八、常见问题解答
Q：为什么用了代理还是被封？
A：检查是否携带了浏览器指纹，建议配合User-Agent轮换使用。天启代理的接口请求时间＜1秒能快速获取新IP。
Q：需要自己维护代理池吗？
A：使用天启代理这类服务商时，他们的API会自动维护可用IP池，比自建代理池省心90%以上。
Q：测试代理是否生效的方法？
A：先用httpbin.org/ip检测，再实际访问目标网站。天启代理提供免费试用，建议先用测试接口验证效果。
