Python爬虫代理IP配置：Requests/Scrapy库设置详解

为什么爬虫需要代理IP

做爬虫的朋友都遇到过这样的问题：频繁访问同一个网站，结果IP被限制访问了。网站服务器会记录每个IP的访问频率，当发现某个IP在短时间内发出大量请求时，就会认为这是异常行为，轻则限制访问速度，重则直接封禁IP。

使用代理IP就像是给爬虫换上了“隐身衣”，通过不同的IP地址轮流访问目标网站，可以有效避免被识别和封禁。特别是对于需要大量采集数据的企业来说，代理IP已经成为必备工具。

Requests库代理IP配置详解

Requests是Python中最常用的HTTP库，配置代理IP非常简单。只需要在请求时添加proxies参数即可：

import requests

proxies = {
"http": "http://username:password@proxy.tianqidaili.com:8080",
"https": "http://username:password@proxy.tianqidaili.com:8080"
}

response = requests.get("http://example.com", proxies=proxies)

这里有个重要技巧：如果使用天启代理这类服务商，通常需要认证信息。认证方式有两种：一种是在URL中直接包含用户名密码，另一种是通过请求头添加认证信息。

对于需要频繁更换IP的场景，建议将代理IP管理封装成函数：

def get_proxy():
   从天启代理API获取最新IP
  proxy_url = "天启代理的API接口"
  proxy_data = requests.get(proxy_url).json()
  return f"http://{proxy_data['ip']}:{proxy_data['port']}"

proxies = {"http": get_proxy(), "https": get_proxy()}

Scrapy框架代理IP配置方法

Scrapy作为专业的爬虫框架，代理IP的配置更加灵活。推荐在Downloader Middleware中实现代理设置：

首先在settings.py中启用中间件：

DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.ProxyMiddleware': 100,
}

然后创建middlewares.py文件：

import random

class ProxyMiddleware(object):
  def process_request(self, request, spider):
    proxy_list = [
      "http://ip1:port",
      "http://ip2:port",
    ]
    proxy = random.choice(proxy_list)
    request.meta['proxy'] = proxy

天启代理的一个优势是提供了丰富的API接口，可以实时获取最新的代理IP列表，确保爬虫始终使用有效的IP地址。

代理IP池的构建与管理

单个代理IP很容易失效，建立IP池是更稳妥的方案。IP池的基本思路是：

1. 从天启代理API获取一批IP
2. 验证IP的可用性和速度
3. 将合格IP存入池中
4. 定时检测并更新失效IP

这里给出一个简单的IP池实现示例：

class IPPool:
  def __init__(self):
    self.valid_ips = []
    self.check_interval = 300 5分钟检测一次

  def refresh_pool(self):
     调用天启代理接口获取新IP
    new_ips = self.get_tianqi_ips()
    valid_ips = self.validate_ips(new_ips)
    self.valid_ips.extend(valid_ips)

天启代理的高可用率保证让IP池维护变得更加轻松，大大减少了验证和更换IP的工作量。