标签

如何检测代理IP的有效性?

一、代理ip的常见功能


1.突破自身ip访问限制,现在有许多的网站都对ip地址访问进行了限制,这时则可以通过代理ip来突破限制,正常访问网站。

2.提高访问速度,通常代理ip服务器都设置一个较大的硬盘缓冲区,当有外信息时,则直接由缓冲区中取出信息传给用户,以提高访问速度。

4.防止爬虫被封禁,例如要抓取一个网站的数据,但是网站对每个ip所能抓取的数据做了限制,这时我们使用代理ip,不停地切换ip,就可以防止程序被封,从而提高工作效率。


二、系统识别代理IP方法

1.反向探测技术:扫描IP是不是开通了80,8080等代理服务器经常开通的端口,显然,一个普通的用户IP不太可能开通如上的端口;

2.HTTP头部的X_Forward_For:开通了HTTP代理的IP可以通过此法来识别是不是代理,如果带有XFF信息,说明该IP是代理IP无疑;

3.Keep-alive报文:如果带有Proxy-Connection的Keep-alive报文,毫无疑问,该IP是代理IP;

4.查看IP上端口:如果一个IP中有的端口大于10000,那么该IP大多也存在问题。


三、怎样判断代理ip是否可用

在命令行下输入telnet XXX.XX.XX.XXX XX

即 telnet ipaddress port

例如: telnet 213.197.81.50 3128

如果连接上,说明有效。除此之外,还可以使用在线POST工具去检测。天启HTTP提供企业级HTTP代理IP,适合辅助数据采集、优化网络访问,欢迎大家前来测试。