cURL的代理IP基础配置
咱们先唠唠怎么在cURL里塞进代理IP。很多人以为要改系统环境变量,其实完全不用!直接在命令后面怼个-x参数就行。比如用天启代理的HTTP服务,命令写成这样:
curl -x http://username:password@tianqi-proxy.com:8080 https://目标网站.com
这里有两个坑要注意:1.账号密码里如果有特殊符号得转义 2.天启代理的SOCKS5协议记得把http换成socks5h。他们的机房都是自建网络,IP存活时间比公共代理长得多,不容易出现刚连上就失效的情况。
请求头里的隐藏技巧
别小看请求头设置,这里藏着玄机。比如有些网站会检测User-Agent头,咱们可以这样随机生成:
curl -x 代理地址 -H "User-Agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML..."
天启代理的IP池覆盖全国200多个城市,配合不同地区的UA头,能有效避免特征识别。实测用他们家的IP时,请求成功率比普通代理高20%左右。
超时参数调优实战
遇到请求卡死怎么办?三个参数必须设好:
参数 | 作用 | 推荐值 |
---|---|---|
--connect-timeout | 连接超时 | 5秒 |
--max-time | 最大请求时间 | 30秒 |
--retry | 重试次数 | 2次 |
天启代理的延迟控制得不错,响应时间基本在10ms以内。不过建议还是保留重试机制,毕竟网络环境复杂。
多线程场景下的骚操作
批量请求时别傻乎乎地单线程跑,试试xargs组合技:
cat url.list | xargs -P 8 -I {} curl -x tianqi-proxy.com:端口 -s {}
-P参数控制并发数,天启代理的接口响应时间<1秒,实测开20个线程也不会被封。注意他们的IP都是独享的,不像共享代理那样容易触发并发限制。
QA环节
Q:代理IP突然失效怎么办?
A:天启代理有IP预热机制,建议每次请求前通过API获取最新IP。他们家的IP可用率≥99%,比市面常见服务商稳定得多。
Q:HTTPS请求总报证书错误?
A:把代理协议从socks5改成socks5h试试,或者加上--proxy-anyauth参数。天启代理全协议支持,SSL握手成功率实测在98.7%以上。
Q:怎么判断代理是否生效?
A:加个-v参数看详细日志,正常会显示"Establish HTTP proxy tunnel to"。天启代理的节点都有状态监控,官网能实时查看各区域连通情况。