为什么你的爬虫需要代理IP？
当你用Python写爬虫程序，频繁访问同一个网站时，很快就会发现自己的IP地址被对方服务器封禁了。这就像你反复去敲同一户人家的门，主人很快就不耐烦了，直接把你拒之门外。代理IP的作用，就是为你换一扇“门”去敲。
通过代理IP，你的网络请求会先发送到代理服务器，再由代理服务器转发到目标网站。这样，目标网站看到的是代理服务器的IP地址，而不是你的真实IP。这不仅能有效避免因高频访问导致的IP封禁，还能在一定程度上提升请求的匿名性。对于需要大规模数据采集的业务来说，使用代理IP几乎是必备的。
为Requests库设置代理：基础三步走
Python中最常用的HTTP库莫过于Requests，为其添加代理支持非常简单，核心在于构造一个正确的代理字典。
第一步：准备你的代理IP信息
你需要从代理服务商那里获取代理服务器的地址、端口以及认证信息（如果需要）。格式通常如下：
- 代理服务器地址（如：tqproxy.com）
- 端口号（如：8080）
- 用户名（可选，如：user123）
- 密码（可选，如：pass123）
第二步：构建代理字典（proxies）
Requests库通过一个名为`proxies`的参数来接收代理设置。这是一个字典结构，需要指明针对HTTP和HTTPS协议分别使用哪个代理。
proxies = {
"http": "http://user123:pass123@tqproxy.com:8080",
"https": "http://user123:pass123@tqproxy.com:8080"
}
如果你的代理服务器不需要认证，格式就更简单了：
proxies = {
"http": "http://tqproxy.com:8080",
"https": "http://tqproxy.com:8080"
}
第三步：在请求中传递proxies参数
在发起GET或POST请求时，将这个`proxies`字典作为参数传入即可。
import requests
response = requests.get("http://httpbin.org/ip", proxies=proxies)
print(response.text) 此时返回的将是代理服务器的IP，而非你的真实IP
处理需要认证的代理
很多高质量的代理服务，比如天启代理，为了保障资源安全，会要求进行身份认证。除了上面提到的在URL中直接嵌入用户名密码的方式，Requests库也支持更安全的HTTPProxyAuth认证方式。
from requests.auth import HTTPProxyAuth
proxy_url = "http://tqproxy.com:8080"
auth = HTTPProxyAuth('user123', 'pass123')
proxies = {
"http": proxy_url,
"https": proxy_url
}
response = requests.get("http://httpbin.org/ip", proxies=proxies, auth=auth)
这种方式将认证信息分离出来，在某些场景下代码更清晰。
进阶技巧：为Scrapy和Selenium设置代理
除了Requests，在更复杂的爬虫框架或浏览器自动化工具中，代理的设置方法略有不同。
1. 在Scrapy中设置代理
Scrapy通常通过下载器中间件（Downloader Middleware）来设置代理。你可以在settings.py中启用并配置自定义中间件。
在 middlewares.py 中编写一个代理中间件
class ProxyMiddleware(object):
def process_request(self, request, spider):
request.meta['proxy'] = "http://user123:pass123@tqproxy.com:8080"
在 settings.py 中启用这个中间件
DOWNLOADER_MIDDLEWARES = {
'your_project_name.middlewares.ProxyMiddleware': 543,
}
2. 在Selenium中设置代理
Selenium控制的是真实浏览器，设置代理需要在启动浏览器时通过选项（Options）来配置。
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
设置代理
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "tqproxy.com:8080"
proxy.ssl_proxy = "tqproxy.com:8080"
如果代理需要认证，这是一个难点，通常需要借助插件来处理
capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)
driver = webdriver.Chrome(desired_capabilities=capabilities)
需要注意的是，处理Selenium中的代理认证相对复杂，可能需要使用浏览器扩展，这里不展开讨论。
如何选择稳定可靠的代理IP服务？
自己搭建代理服务器成本高、维护难，对于绝大多数开发者和企业来说，选择一家专业的代理IP服务商是更明智的选择。一个优质的代理服务应具备以下特点：
- 高可用性： IP池庞大，IP可用率是关键指标，例如天启代理的IP可用率可以达到99%以上，这能保证你的业务连续稳定运行。
- 低延迟： 代理服务器的响应速度直接影响爬取效率。优质服务的响应延迟可以控制在10毫秒以内。
- 协议支持全面： 应同时支持HTTP、HTTPS乃至SOCKS5协议，以应对不同的业务场景。
- 网络纯净稳定： 像天启代理这样拥有全国自建机房的服务商，能提供纯净的网络环境，IP资源质量更有保障。
- 强大的技术支持： 遇到问题时，能快速得到专业的技术支持至关重要。
天启代理作为企业级服务商，在上述方面都做得不错，其采用的高性能服务器和分布式架构，能够很好地支撑高并发业务场景。
常见问题与解决方案（QA）
Q1: 设置了代理，但程序报错，提示连接超时或失败？
A1: 这通常是代理服务器地址、端口填写错误，或者代理服务器本身不可用导致的。请按以下步骤排查：
1. 仔细核对代理IP、端口、用户名和密码是否有误。
2. 尝试用ping命令检查代理服务器域名或IP是否能通（注意：有些代理服务器可能禁ping）。
3. 联系你的代理服务商（如天启代理的技术客服），确认代理资源是否正常，IP是否被目标网站封禁。
Q2: 如何验证代理是否真正生效？
A2: 最直接的方法是访问一个可以返回你当前IP地址的服务。例如，在代码中访问 http://httpbin.org/ip 或 https://api.ipify.org。返回的IP地址如果变成了代理服务器的IP，就说明设置成功了。
Q3: 代理速度很慢，影响爬取效率怎么办？
A3: 代理速度受多种因素影响：
1. 代理服务器性能： 选择像天启代理这样提供低延迟（如≤10毫秒）服务的供应商。
2. 节点地理位置： 尽量选择与目标网站在地理上或网络上更近的代理节点。
3. 自身网络状况： 检查你自己的网络连接是否稳定。
4. 并发量： 过高的并发可能会压垮代理服务器或触发目标网站的反爬机制，需要合理控制。
Q4: 代理用了一段时间后突然失效了？
A4: 这很常见，尤其是使用动态IP时。IP有生命周期，可能会因过期或被目标网站封禁而失效。解决方案是：
1. 实现一个代理IP池，自动剔除失效的IP，并补充新的IP。
2. 选择提供高可用率和自动去重功能的服务商，如天启代理，它能有效降低IP重复和失效的概率。
