很多新手学ai爬虫数据采集,第一天上手就想"抓它几十万条、开几百个并发"。结果往往是:代码跑十分钟就报错,自己都不知道错在哪——是页面结构没看对?是请求头不对?还是IP被封了?全堆在一起,没法判断,最后只能说"爬虫太难了"。
正确的顺序只有一条:先用一个站,把一条完整的数据链路跑通,再谈规模。跑通之后再放大,只是加机器、加并发、加代理IP的事;跑不通就放大,只会把同一个错误复制一百遍。
为什么一定要"先跑通一个站"
一个完整的采集链路,其实包含五六件不同的事:发出请求、拿到列表页、翻页、进入详情页、解析出字段、清洗去重后落库。这几件事的失败原因完全不同,如果只抓一两条数据,你能一条一条排查;一旦上了规模,所有报错混在日志里,你根本分不清是解析写错了还是被限流了。
而且跑通一个站之后,你会得到三样很有价值的东西:
1)一套可复用的模板代码,换站只改选择器;
2)一份明确的"正常状态"清单,后面出问题一对比就知道偏在哪;
3)一个可靠的判断依据,能区分"技术问题"和"访问被限制"。
跑通单站的五个步骤
第一步:定目标,写清你要哪几个字段。别急着写代码,先在纸上写下"我要标题、价格、发布时间、详情链接"这四个字段。字段定了,才知道要抓列表页还是详情页。
第二步:看结构,找到列表页和详情页。浏览器里按 F12,看列表页里每条数据是不是在同一层级的标签里,翻页是靠 URL 参数(比如 ?page=2)还是靠接口返回。如果是接口返回的 JSON,那恭喜你,直接请求接口比解析 HTML 轻松十倍。
第三步:发请求,先把第一页原文拿回来。不要一上来就写解析逻辑,先确认 status_code 是 200,返回内容里有你要的关键词。这一步不通,后面全是白搭。
第四步:进详情页,逐条解析。建议先手动抓 10 条详情页存成本地文件,再写解析函数,反复调试到 10 条全部解析成功。这个习惯能省下你后面几个小时。
第五步:存数据,落库前先清洗。去掉空白字符、统一价格单位、用详情链接做主键去重。很多"数据重复"的问题,其实是主键没设计好。
import requests, time, random
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36",
"Referer": "https://目标站.com/",
}
# 单站跑通阶段:先只抓 3 页,确认链路完整
for page in range(1, 4):
url = f"https://目标站.com/list?page={page}"
resp = requests.get(url, headers=headers, timeout=10)
print(page, resp.status_code, len(resp.text))
if resp.status_code != 200:
print("先停下来排查,不要继续跑")
break
time.sleep(random.uniform(1.5, 3.5)) # 给单站留出正常的访问间隔
单站阶段必须过的三道关
链路能跑通,不代表数据能稳定拿到。真正决定你能不能走到规模阶段的,是下面三件事。
第一关:请求头要"像个人"。User-Agent 缺失、Referer 为空、Cookie 带不全,都容易被识别。单站阶段就把请求头固定写好,别等被封了才回头补。
第二关:访问频率要克制。单站阶段最容易犯的错是"反正数据少,一秒发十个请求"。加随机间隔、控制同一时间只发一个请求,先拿到稳定数据,比拿到快数据重要得多。
第三关:被限制时能马上切换出口IP。很多人卡在这里就放弃了。实际上,单站阶段的请求密度不算高,接入天启HTTP 的国内代理IP,用 API 提取一批IP做轮换,就能把"突然大量请求失败"这个问题解决掉一大半。天启HTTP 支持账密认证和 IP 白名单两种接入方式,代码里加个 proxies 参数就能用,非常简单:
# 从天启HTTP 的API提取链接拿到一批IP,再随机挑一个使用
import requests, random
ip_list = [
"http://用户名:密码@代理IP1:端口",
"http://用户名:密码@代理IP2:端口",
]
def fetch(url):
for _ in range(3): # 失败就换一个出口重试
proxy = random.choice(ip_list)
proxies = {"http": proxy, "https": proxy}
try:
r = requests.get(url, headers=headers,
proxies=proxies, timeout=10)
if r.status_code == 200:
return r.text
except Exception as e:
print("换一个IP重试:", e)
return None
html = fetch("https://目标站.com/list?page=1")
print("拿到页面长度:", len(html) if html else 0)
第四件事:数据去重。同一批数据重复入库,是后面做分析时最让人头疼的问题。用详情链接或商品ID做主键,落库前先判断存在与否,能省掉很多返工。
什么时候才该谈"规模"
判断标准很务实:当你在单站上连续跑满一天,成功率达到 95% 以上,并且报错原因都能看懂时,才说明链路真的通了。这时候再去谈规模,你会发现"规模"不过就是四件事的堆叠:
| 能力 | 单站跑通阶段 | 规模化阶段 |
|---|---|---|
| 出口IP | 固定1个,够用 | 提取一批,按并发量轮换 |
| 并发数 | 1~2 个请求 | 多线程/多任务,按目标站承受度控制 |
| 失败处理 | 人工看日志 | 重试队列 + 失败落盘 |
| 数据质量 | 10 条数据人工核对 | 字段校验规则 + 主键去重 |
| 成本 | 几乎为零 | 按实际用量接入代理IP,控制提取频率 |
注意表格里最后一行的思路:规模阶段的成本主要花在"请求失败后的重试"和"不必要的重复抓取"上。天启HTTP 的接口调用方式可以按需提取、按量使用,单站阶段用几个IP验证效果,规模阶段再按并发量调整提取策略,这样投入是最省的。
给新手的三个"别跳步"提醒
1. 别跳过人工核对。解析出来的字段,一定抽 10 条和网页原文对一遍。字段偏移、价格错位这种问题,不核对是发现不了的。
2. 别跳过异常日志。把每次请求的状态码、耗时、使用的出口IP 记下来。出问题时这张表比任何猜测都有用。
3. 别跳过目标站的访问规则。先看看站点对采集的态度和频率要求,控制请求节奏,是长期采集能做下去的前提。
常见问题
Q:一个站要跑通到什么程度才算"过了"?
能连续跑一整天,成功率 95% 以上,字段完整且和页面能对上,报错原因你都看得懂,就算过了。这时候换第二个站,你会发现只需要改选择器。
Q:单站阶段就需要用代理IP吗?
不是必需,但建议在单站阶段就把代理接入的代码写通。因为一旦进入规模阶段,请求量上来后访问受限几乎是必然的,提前验证好链路,后面调整只是换个提取参数的事。
Q:请求总是返回不完整内容怎么办?
先检查是不是页面内容由 JS 动态渲染。可以直接找页面背后的数据接口,用接口地址请求,通常比解析 HTML 稳定得多。
Q:代理IP换了还是经常失败?
先分清失败原因:状态码 403/429 多半是访问频率问题,降低并发、加随机间隔;请求超时则可能是IP质量或网络问题。建议把失败原因分类记录,再针对性调整,不要盲目增加IP数量。
Q:天启HTTP 能用于海外网站采集吗?
天启HTTP 提供的是国内代理IP资源,适合采集国内站点,不适合需要境外出口IP的场景。
Q:为什么强调"别跳着学"?
因为采集这件事的难点不在代码,而在排查。排查能力只能在单站、小数据量、可对照的状态下练出来。跳过这一步直接上规模,等于把排查能力跳过去,最后只能反复推倒重写。





