目前HTTP功能支持“直接连接”和通过”HTTP代理“形式的连接。选择其中的何种形式，要视用户所在的局域网（或其它上网环境）的具体情况。

在爬取某些网站时，我们经常会设置HTTP代理IP来避免爬虫程序被封。我们获取代理 IP 地址方式通常提取国内的知名 IP 代理商的免费代理。这些代理商一般都会提供透明代理，匿名代理，高匿代理。以下主要内容是讲解各种IP代理背后的原理。

我们在抓取目标数据的时候，尤其是数据量比较大的时候，总觉得抓取效率比较慢。那么，有什么方法可以提高爬虫的爬行效率呢？如何提高爬虫的抓取效率？下面和大家简单讨论一下如何提高爬虫的抓取效率。