Python有哪些HTTP代理库？Requests/Scrapy等配置全攻略

Python代理IP库全景解析

在Python生态中，处理HTTP请求时配置代理IP是常见需求。目前主流的库包括Requests、Scrapy、aiohttp等，每个库的代理配置方式各有特点。下面通过具体代码示例展示不同场景下的代理配置方案。

Requests库代理配置实战

Requests是Python中最常用的HTTP库，其代理配置非常简单。只需在请求方法中传入proxies参数即可：

import requests

proxies = {
    'http': 'http://用户名:密码@proxy.tianqidaili.com:端口',
    'https': 'https://用户名:密码@proxy.tianqidaili.com:端口'
}

response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
print(response.json())

天启代理提供的HTTP/HTTPS/SOCKS5协议支持让Requests配置更加灵活，其响应延迟≤10毫秒的特性保证了请求效率。对于需要高可用的场景，建议结合代理IP池使用：

import random

proxy_list = [
    'http://user:pass@proxy1.tianqidaili.com:端口',
    'http://user:pass@proxy2.tianqidaili.com:端口',
     ...更多代理IP
]

def get_with_random_proxy(url):
    proxy = {'http': random.choice(proxy_list)}
    return requests.get(url, proxies=proxy)

Scrapy框架代理中间件深度配置

Scrapy作为专业的爬虫框架，通过中间件机制实现代理IP的灵活管理。以下是自定义代理中间件的完整示例：

class TianqiProxyMiddleware:
    def __init__(self, proxy_server, proxy_user, proxy_pass):
        self.proxy_server = proxy_server
        self.proxy_auth = f"{proxy_user}:{proxy_pass}"
    
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            proxy_server='proxy.tianqidaili.com:端口',
            proxy_user='你的用户名',
            proxy_pass='你的密码'
        )
    
    def process_request(self, request, spider):
        request.meta['proxy'] = self.proxy_server
        request.headers['Proxy-Authorization'] = f'Basic {base64.b64encode(self.proxy_auth.encode()).decode()}'

在settings.py中启用中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.TianqiProxyMiddleware': 543,
}

天启代理的全国200+城市节点资源特别适合Scrapy分布式爬虫，可以有效避免IP被封问题。

异步请求库aiohttp代理配置

对于高并发场景，aiohttp的异步代理配置方式：

import aiohttp
import asyncio

async def fetch_with_proxy():
    proxy_auth = aiohttp.BasicAuth('用户名', '密码')
    async with aiohttp.ClientSession() as session:
        async with session.get('http://httpbin.org/ip', 
                              proxy='http://proxy.tianqidaili.com:端口',
                              proxy_auth=proxy_auth) as response:
            return await response.json()

天启代理的高性能服务器和分布式集群架构能够完美支持aiohttp的高并发需求，接口请求时间＜1秒确保业务流畅运行。

Selenium自动化测试代理集成

在Web自动化测试中，代理配置同样重要：

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "proxy.tianqidaili.com:端口"
proxy.ssl_proxy = "proxy.tianqidaili.com:端口"

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

对于需要认证的代理，可以使用插件方式处理。天启代理支持终端IP授权和账号密码授权两种方式，满足不同测试环境需求。