先搞清楚:爬虫为什么必须加代理
不少刚学 Python 的朋友写爬虫时都会遇到同一个问题:代码在自己电脑上跑得好好的,一放到服务器上跑几百次就被目标网站拦了——要么返回 403,要么直接给你一个验证码页面,要么干脆连接超时。原因很简单,目标网站看到的是同一个出口 IP 在短时间内发起了大量请求,这种行为在对方的风控系统里和攻击没什么区别。
代理 IP 的作用,就是让你的请求不再从自己这台机器出去,而是先发到代理服务器,再由代理服务器帮你访问目标网站。这样一来,请求的来源 IP 就变成了代理 IP。当你有几十上百个可用的代理 IP 轮换着用时,单个 IP 的访问频率就被摊薄了,爬虫自然能跑得更久、更稳。
在 Python 里加代理其实非常简单,麻烦的不是"写那一行代码",而是怎么写得稳、怎么处理失败、怎么配代理池。下面分别讲同步和异步两种写法。
requests 写法:三行代码就能用上代理
requests 是 Python 里用得最多的请求库,它原生支持代理,只需要给请求传一个 proxies 参数。代理地址的格式是 协议://用户名:密码@IP:端口,如果你的代理是免认证的白名单模式,把用户名密码那段去掉就行。
import requests
# 代理地址格式:协议://账号:密码@代理IP:端口
PROXY = "http://你的账号:你的密码@你的代理IP:端口"
proxies = {
"http": PROXY,
"https": PROXY,
}
resp = requests.get(
"http://你要抓的页面地址",
proxies=proxies,
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"},
timeout=10, # 一定要设超时,否则代理挂了会一直卡住
)
resp.encoding = resp.apparent_encoding
print(resp.status_code)
print(resp.text[:200])
几个实际踩坑的经验,新手最容易忽略:
第一,http 和 https 要分开写。虽然大多数场景把两个键写成同一个代理地址就能跑通,但如果你的代理只支持 HTTP 协议,而目标站点是 HTTPS,请求就容易失败,这种情况要确认代理是否支持 HTTPS 转发。
第二,一定要设 timeout。代理 IP 的可用性是会波动的,某个 IP 突然不通是很正常的事。不设超时,requests 默认会一直等下去,整个爬虫就卡死在那里了。
第三,用 Session 复用连接更省事。如果你要在一次任务里连续请求同一个站点,用 Session 把代理和请求头一次性设置好,代码更干净,连接复用效率也更高。
import requests
session = requests.Session()
session.proxies.update({
"http": "http://你的账号:你的密码@你的代理IP:端口",
"https": "http://你的账号:你的密码@你的代理IP:端口",
})
session.headers.update({
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
})
for page in range(1, 11):
try:
r = session.get(f"http://你要抓的页面地址?page={page}", timeout=10)
print(page, r.status_code)
except requests.RequestException as e:
print("这一页失败了:", e)
异步写法:aiohttp 里怎么加代理
当你需要抓几千上万个页面时,同步写法就有点慢了——每个请求都要等上一个返回才能发下一个。这时候可以用异步,常用的库是 aiohttp。它加代理的方式略有不同,参数名叫 proxy,直接写在请求方法里。
import asyncio
import aiohttp
PROXY = "http://你的账号:你的密码@你的代理IP:端口"
async def fetch(session, url):
async with session.get(url, proxy=PROXY, timeout=10) as resp:
return await resp.text()
async def main(urls):
sem = asyncio.Semaphore(20) # 并发数控制,别一上来就开几百
connector = aiohttp.TCPConnector(limit=50)
async with aiohttp.ClientSession(connector=connector) as session:
async def worker(u):
async with sem:
try:
html = await fetch(session, u)
return len(html)
except Exception as e:
print("请求失败:", u, e)
return 0
results = await asyncio.gather(*(worker(u) for u in urls))
print("共抓取字符数:", sum(results))
urls = [f"http://你要抓的页面地址?page={i}" for i in range(1, 101)]
asyncio.run(main(urls))
如果代理需要账号密码认证,除了把账号密码写进 URL,aiohttp 还支持单独传认证对象,写法更规范一些:
import aiohttp
auth = aiohttp.BasicAuth("你的账号", "你的密码")
async with aiohttp.ClientSession() as session:
async with session.get(url, proxy="http://你的代理IP:端口", proxy_auth=auth) as resp:
print(resp.status)
异步写法有三个点必须注意:
并发数不要贪多。很多人以为并发越高越快,实际上并发过高一方面容易被目标站判定为异常流量,另一方面代理 IP 的带宽和连接数也是有限的,反而会大面积超时。先用 Semaphore 控制在 20 到 50 之间,测出稳定值再慢慢调。
异常一定要捕获。异步任务里任何一个未捕获的异常都会影响整体结果,建议在 worker 函数里 try/except 包住,失败的任务记录下来下次重试。
代理要能轮换。异步场景下如果所有协程都用同一个代理 IP,等于白搭。可以在每次请求前从代理池里取一个,用完放回。
进阶:搭一个简单的代理池,让 IP 自动轮换
硬编码一个代理只能应急,真正能跑长时间任务的爬虫,都需要一个代理池。最简单的做法是从代理服务商的 API 接口批量提取一批 IP,放进列表里,每次请求随机取一个,遇到失败就把它剔除。
import random
import requests
def get_proxy_list(api_url):
"""从服务商 API 拉取一批可用代理,返回 ['http://账号:密码@IP:端口', ...]"""
data = requests.get(api_url, timeout=10).text.strip().splitlines()
return [f"http://{line.strip()}" for line in data if line.strip()]
class ProxyPool:
def __init__(self, api_url):
self.api_url = api_url
self.pool = get_proxy_list(api_url)
def get(self):
if not self.pool:
self.pool = get_proxy_list(self.api_url) # 池子空了自动补货
return random.choice(self.pool)
def remove(self, proxy):
if proxy in self.pool:
self.pool.remove(proxy)
pool = ProxyPool("你的代理服务商提供的提取接口地址")
for url in urls:
proxy = pool.get()
try:
r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=10)
if r.status_code != 200:
pool.remove(proxy)
except requests.RequestException:
pool.remove(proxy) # 不通就换掉,下次不再用
这套思路在同步和异步里都通用,异步版本只需要把 pool.get() 放在每个协程的开头即可。核心逻辑就四件事:批量取、随机用、失败删、空了补。
requests 和 aiohttp 怎么选?一张表看清楚
| 对比项 | requests 同步写法 | aiohttp 异步写法 |
|---|---|---|
| 代理参数 | proxies 字典 | proxy 字符串或 proxy_auth |
| 上手难度 | 低,几乎零门槛 | 中,需要理解协程与并发控制 |
| 抓取速度 | 一般,串行等待 | 快,多个请求同时进行 |
| 适合规模 | 几百到几千条 | 上万条以上 |
| 调试难度 | 容易定位问题 | 需要做好异常捕获和日志 |
| 推荐场景 | 验证逻辑、小批量采集、定时任务 | 大规模采集、多站点并行 |
结论其实很简单:先把 requests 版本跑通,确认代理能正常用、目标站能正常返回,再改写成异步。很多人一上来就写异步,结果出了问题根本分不清是代理不行、代码写错还是被目标站拦了。
代理 IP 该怎么选?几个实用判断标准
代码写对了只是一半,另一半是代理本身得靠得住。选代理的时候可以重点看这几项:
看提取方式是否方便。做爬虫最怕手动一个个复制 IP,最好支持 API 接口批量提取,代码里直接拉取,配合上面的代理池逻辑就能全自动运转。
看认证方式是否灵活。常见的有两种,一种是白名单(把自己的服务器 IP 加进去,免账号密码),一种是账密认证(写进代理 URL 里)。两种都支持的服务商,用起来会自由很多,尤其是你的爬虫部署在多地服务器上时。
看是不是独享。共享 IP 用的人多,很可能早就被目标站标记过了,成功率忽高忽低。做正经业务采集,建议用独享 IP,稳定性和匿名性都更有保障。
看稳定性和可用率。再便宜、再多的 IP,如果十个里有八个连不上,接进代码里也只是让你多写一堆重试逻辑。选之前先小批量测一轮,看跑通的请求占比。
看是不是国内场景。如果你抓的是国内的网站、做的是国内电商或本地业务的数据,那一定要选国内的代理 IP 服务商,链路短、延迟低,成功率也高。
这里可以了解一下天启HTTP。它是国内的代理 IP 服务商,提供 HTTP 代理服务,支持 API 接口批量提取、账密认证与白名单两种使用方式,也有独享 IP 可选,适合上面讲到的 requests 与异步爬虫这类国内业务采集场景。接入方式就是本文演示的标准格式,把服务商给你的 IP、端口、账号密码填进 proxies 或 proxy 参数即可,不需要改代码结构。
一些容易被忽略的小细节
请求头别偷懒。只加代理不改 User-Agent,风控一样能识别出你是程序在跑。至少补上一个正常的浏览器 UA,有的站点还要带上 Referer。
控制请求节奏。就算有几十个 IP 轮换,一秒发几百个请求依然很扎眼。适当在请求之间加一点随机间隔,长期看反而跑得更持久。
做好日志记录。把每次请求用的代理、耗时、状态码都记下来,出问题时一眼就能看出是哪个 IP 先挂的、哪个环节慢。异步爬虫尤其需要这个。
别忽略编码问题。抓到中文乱码不是代理的锅,通常是没设对编码,记得加一句 resp.encoding = resp.apparent_encoding。
常见问题
Q:requests 加了代理还是报连接错误,是什么原因?
先排查三件事:代理 IP 本身是否还有效(很多 IP 有存活时间)、账号密码或白名单是否配置正确、代理协议是 HTTP 还是 SOCKS。建议先用最简单的 requests.get(url, proxies=proxies, timeout=10) 单独测一个代理,排除掉代码逻辑的干扰。
Q:为什么代理 IP 用了一会儿就失效了?
国内代理 IP 大多有有效期,短效 IP 通常几分钟到几十分钟就过期。解决办法是接上 API 提取接口,做个自动补充的代理池,池子空了就重新拉一批,代码里参考本文的 ProxyPool 写法即可。
Q:异步爬虫里每个请求都要换代理吗?
不一定非要每次都换,但强烈建议轮换。同一个 IP 承担全部并发请求,等于把风险集中到一点,非常容易被封。让每个协程从池子里取一个不同的 IP,成功率会明显提升。
Q:aiohttp 代理参数名写 proxies 报错怎么办?
aiohttp 的参数名是 proxy(单数),和 requests 的 proxies 不一样,这是新手最常见的报错来源。需要认证时再用 proxy_auth 传 BasicAuth 对象。
Q:用了一个代理之后所有请求都变慢了,正常吗?
正常。请求要多绕一跳代理服务器,延迟一定会有所增加。可以选距离你服务器和目标站都近的国内节点,通常能把延迟控制在可接受范围内。如果慢得离谱,多半是那个 IP 的线路质量差或者带宽被占满,换一个就好。
Q:天启HTTP 的代理能用在异步爬虫里吗?
可以。它提供的是标准 HTTP 代理,requests 和 aiohttp 都直接支持,按本文的写法把地址、端口、账号密码填进去就行,同步异步都能用。
Q:抓取别人的数据,有什么要注意的?
技术上能用代理提高稳定性,但业务上一定要遵守目标网站的 robots 协议和相关法律法规,控制访问频率,不要对对方服务器造成压力,也不要采集涉及个人隐私和商业机密的敏感数据。





