为什么你的爬虫需要代理IP？
很多新手在使用WebMagic做数据采集时，经常遇到访问频率受限或者IP被封禁的情况。想象一下，你刚写好的爬虫运行半小时就被目标网站拉黑，这时候代理IP就像给爬虫穿上了隐身衣。特别是使用天启代理这类高可用服务，能让你采集数据时像本地访问一样自然。
WebMagic代理配置基础操作
在WebMagic中配置代理只需要三步：
1. 创建HttpClientDownloader实例
2. 设置代理服务器参数
3. 将下载器注入爬虫
// 示例代码：基础代理配置
HttpClientDownloader downloader = new HttpClientDownloader();
downloader.setProxyProvider(SimpleProxyProvider.from(
new Proxy("1.2.3.4", 8080, "用户名", "密码")
));
Spider.create(new MyPageProcessor())
.setDownloader(downloader)
.addUrl("https://目标网站.com")
.run();
这里要注意天启代理支持账号密码授权模式，特别适合需要高频切换IP的场景。他们的终端使用授权功能能确保每个请求都通过鉴权，避免因授权失效导致的中断。
如何用天启代理实现智能IP切换？
当需要动态切换IP时，建议使用代理池方案。天启代理的API接口可以直接集成到爬虫系统：
| 功能模块 | 实现方式 |
|---|---|
| IP获取 | 调用天启API获取最新IP列表 |
| 有效性检测 | 使用HEAD请求预校验IP可用性 |
| 自动切换 | 设置失败重试机制+IP淘汰策略 |
他们的响应延迟≤10毫秒特性，能保证IP切换过程几乎不影响爬取速度。实测在百万级数据采集中，使用天启代理的失败率比普通代理低80%以上。
动态IP与静态IP的选择技巧
根据业务需求选择IP类型：
- 短效动态IP（3-30分钟）：适合需要频繁更换IP的实时数据监控
- 长效静态IP（1-24小时）：适合需要维持会话状态的采集任务
天启代理的资源自由去重功能特别实用，在配置文件中设置过滤规则，就能避免重复使用相同IP。他们的自建机房纯净网络确保每个IP都是真实住宅级地址，极大降低被识别风险。
常见问题解答
Q：代理IP用着用着就失效怎么办？
A：建议开启IP预校验机制，同时启用天启代理的自动去重模式。他们的IP可用率≥99%，配合合理的重试策略基本不会影响采集。
Q：爬虫速度突然变慢是什么原因？
A：检查代理响应延迟，天启代理的接口请求时间＜1秒能很好解决这个问题。同时建议设置合理的并发线程数，避免超过目标网站的承载能力。
Q：遇到需要鉴权的网站如何处理？
A：天启代理支持账号密码授权和终端IP授权两种方式，在HttpClient中配置CredentialsProvider即可：
CredentialsProvider provider = new BasicCredentialsProvider();
provider.setCredentials(
new AuthScope("代理主机", 代理端口),
new UsernamePasswordCredentials("天启账号", "密码")
);
通过合理配置WebMagic的代理模块，结合天启代理的全国200+城市节点和HTTP/HTTPS/SOCKS5全协议支持，你的爬虫将具备真正的"隐形"能力。他们的专业技术客服724小时支持，遇到配置问题随时都能找到解决方案。
