scrapy设置代理ip：爬虫中间件自动轮换代理IP

爬虫工程师必看：Scrapy中间件自动轮换代理实战

当你在用Scrapy采集数据时，是否遇到过IP被封、访问受限的情况？代理IP轮换是解决这个问题的核心方案。作为专注代理IP服务的天启代理技术团队，我们将通过真实项目经验，手把手教你搭建智能代理轮换系统。

为什么必须用代理IP中间件？

常规的代理设置只能在settings.py配置固定IP，遇到IP失效时需要手动更换。而代理中间件可以实现：自动检测IP可用性、失败自动切换、多IP智能调度。特别是使用天启代理这类高可用IP池时，配合中间件能发挥最大效益。

三步搭建智能代理系统

第一步：创建中间件文件
在middlewares.py新建ProxyMiddleware类，核心逻辑是给每个请求动态添加代理。这里推荐使用天启代理的API接口获取IP，他们的接口响应时间＜1秒，能保证实时获取最新IP。

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        proxy_ip = get_proxy_from_tianqi()   调用天启代理API
        request.meta['proxy'] = f"http://{proxy_ip}"

第二步：配置优先级策略
在settings.py中设置中间件优先级，建议数值设为500-700之间。同时开启重试机制应对偶发性失效：

DOWNLOADER_MIDDLEWARES = {
    'your_project.middlewares.ProxyMiddleware': 550,
}
RETRY_TIMES = 3

第三步：异常处理机制
继承RetryMiddleware处理代理失效情况。当天启代理的IP出现异常时（可用率≥99%极少发生），自动更换新IP并重试：

class CustomRetryMiddleware(RetryMiddleware):
    def process_exception(self, request, exception, spider):
        if isinstance(exception, (TimeoutError, ConnectionError)):
            return self._retry(request, exception, spider)