手把手教你用代理IP避开反爬虫
搞数据抓取最怕啥？刚爬两页就被封IP！这时候就得靠代理IP来打游击战。比如用天启代理的IP池子，200多个城市的节点轮着用，每个请求换个马甲，网站根本摸不清你的真实地址。这里教你们个绝招：把requests和代理配置结合着用，记得选支持HTTPS协议的代理，天启代理这点就做得挺靠谱。
import requests
from bs4 import BeautifulSoup
proxies = {
'http': 'http://用户名:密码@gateway.tianqidaili.com:端口',
'https': 'https://用户名:密码@gatetainqidaili.com:端口'
}
resp = requests.get('目标网址', proxies=proxies, timeout=8)
soup = BeautifulSoup(resp.text, 'lxml')
HTML结构拆解三板斧
拿到网页源码别急着瞎找，先按F12看看元素结构。记住三个找数据的关键招：
1. 标签定位法：比如找所有商品价格，直接soup.select('span.price')2. CSS选择器组合拳：div.content > ul.list li:nth-child(2)这种精准定位
3. 属性筛选大法：find_all('a', {'class': 'detail-link'})
遇到动态加载内容别慌，先用代理IP确保请求不被拦截，再配合Selenium这类工具。天启代理的响应延迟能压到10毫秒以内，和直接访问差不多快。
数据清洗的土办法
抓到的数据经常带乱七八糟的空格和特殊符号，试试这些野路子：
- 用.text.strip()去掉首尾空格
- 正则表达式re.sub(r'\s+', '', str)干掉隐形字符
- 遇到编码问题直接上resp.encoding = 'utf-8'硬刚
注意保持会话稳定性，天启代理的IP可用率≥99%，适合需要长时间运行的爬虫任务。碰到验证码别死磕，该换IP时就换IP。
实战：抓取电商价格数据
假设要监控某平台商品价格波动，关键步骤：
- 通过天启代理接口获取最新IP
- 伪装浏览器headers头信息
- 用CSS选择器定位价格标签
- 异常处理加入重试机制
这里有个小技巧：把代理IP配置写在配置文件里，别傻乎乎地硬编码。天启代理提供API动态获取IP，比自己维护IP池省心多了。
常见问题QA
Q：代理IP用着用着失效咋整？
A：选有自动切换功能的供应商，比如天启代理的智能调度系统，检测到IP不可用会自动切下一个
Q：怎么判断该用HTTP还是SOCKS5协议？
A：普通网页用HTTP就行，需要穿透防火墙的场景用SOCKS5。天启代理两种协议都支持，根据实际情况选
Q：总遇到SSL证书错误怎么办？
A：在requests请求里加verify=False参数，但要注意安全性。建议用正规代理服务商的自建机房线路，天启代理的纯净网络很少出这类问题
Q：数据抓取频率怎么控制合适？
A：新手建议3-5秒一次请求，配合代理IP轮换。天启代理的接口响应＜1秒，能支撑高并发需求
最后叨叨一句：别逮着一个网站的羊毛猛薅，合理设置采集间隔。遇到封IP别死磕，及时换天启代理的新IP才是正解。搞数据抓取就像打游击战，灵活运用代理IP才能持久作战。
