爬虫python：Python爬虫高效设置代理IP实战教程

实战场景：你的爬虫为什么需要代理IP？

很多新手在写爬虫时发现，明明代码没问题却频繁出现连接超时、IP被封禁的情况。比如采集电商价格数据时，连续请求50次后服务器直接拒绝响应。这时代理IP就像给爬虫戴了"动态面具"，通过切换不同IP地址突破单IP的访问限制。

选代理IP服务的三大核心指标

市面上的代理服务商鱼龙混杂，建议重点关注： 1. IP质量稳定性：直接影响爬虫成功率 2. 协议兼容性：是否支持HTTP/HTTPS/SOCKS5 3. 响应速度：延迟过高会导致采集效率下降

以天启代理为例，其自建机房覆盖全国200+城市，通过运营商正规授权确保IP纯净度。实测数据显示，单个IP连续请求100次电商平台仍可正常响应，适合需要高并发的数据采集场景。

Python设置代理的三种姿势

方式一：Requests库基础配置

import requests

proxies = {
    'http': 'http://用户名:密码@proxy.tianqiip.com:端口',
    'https': 'http://用户名:密码@proxy.tianqiip.com:端口'
}
response = requests.get('目标网址', proxies=proxies)

方式二：随机轮换IP池

from itertools import cycle
import requests

ip_pool = [
    'http://ip1:端口',
    'http://ip2:端口', 
     从天启API获取动态IP列表
]
proxy_pool = cycle(ip_pool)

for _ in range(10):
    current_proxy = next(proxy_pool)
    requests.get(url, proxies={"http": current_proxy})

方式三：Scrapy中间件集成

class TianqiProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = "http://用户名:密码@proxy.tianqiip.com:端口"

代理IP维护的避坑指南

常见问题	解决方案
IP突然失效	设置自动检测机制，剔除失效IP
响应速度变慢	选择低延迟服务商（如天启代理≤10ms）
账号认证失败	使用终端IP白名单授权方式