为什么你的爬虫总被屏蔽？试试代理IP吧
做数据采集的朋友都知道，访问频率稍微高一点，目标网站就可能把你拉黑。这时候代理IP就成了救命稻草。简单来说，代理IP就像给你的网络请求戴了个面具，让目标网站以为每次访问都来自不同的用户。
市面上代理IP服务很多，但质量参差不齐。好的代理IP应该具备高可用率、低延迟、稳定可靠等特点。比如天启代理这类企业级服务，IP可用率能达到99%以上，响应延迟控制在10毫秒内，对于需要高并发的业务场景来说非常关键。
三个Python代理IP库实战对比
Python处理代理IP主要有三种方式：requests库原生支持、专用代理库、以及自定义会话管理。下面我用实际代码展示它们的用法。
1. requests库直接使用代理
这是最简单直接的方法，适合快速测试：
```python import requests
proxies = { 'http': 'http://用户名:密码@代理服务器IP:端口', 'https': 'https://用户名:密码@代理服务器IP:端口' }
response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10) print(response.json()) ```
这种方法的好处是简单，但需要手动管理代理IP的轮换和失效重试。
2. 使用requests-html处理动态页面
当目标网站有JavaScript渲染时，requests-html是个不错的选择：
```python from requests_html import HTMLSession
session = HTMLSession() proxies = {'http': 'http://代理IP:端口'}
try: response = session.get('https://example.com', proxies=proxies) response.html.render() 执行JavaScript print(response.html.html) except Exception as e: print(f"请求失败: {e}") ```
这个库特别适合需要处理动态内容的爬虫项目。
3. 专业级选择：selenium自动化测试
对于反爬机制特别严格的网站，selenium模拟真实浏览器行为：
```python from selenium import webdriver
proxy = "代理IP:端口"
options = webdriver.ChromeOptions() options.add_argument(f'--proxy-server=http://{proxy}')
driver = webdriver.Chrome(options=options) driver.get("https://example.com")
进行页面操作 page_source = driver.page_source driver.quit() ```
这种方法资源消耗较大，但成功率最高。
免费代理IP源实战采集
免费代理IP虽然不稳定，但对于学习和小规模测试还是很有用的。下面是一个采集免费IP的实战示例：
```python import requests from bs4 import BeautifulSoup import concurrent.futures
def get_free_proxies(): """从免费网站获取代理IP列表""" url = "https://www.free-proxy-list.com/" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' }
try: response = requests.get(url, headers=headers, timeout=10) soup = BeautifulSoup(response.text, 'html.parser')
proxies = [] table = soup.find('table', {'class': 'table'}) for row in table.find_all('tr')[1:11]: 取前10个 cols = row.find_all('td') if len(cols) >= 2: ip = cols[0].text.strip() port = cols[1].text.strip() proxies.append(f"{ip}:{port}")
return proxies except Exception as e: print(f"获取代理列表失败: {e}") return []
def test_proxy(proxy): """测试代理IP是否可用""" try: response = requests.get('http://httpbin.org/ip', proxies={'http': f'http://{proxy}'}, timeout=5) if response.status_code == 200: print(f"可用代理: {proxy}") return proxy except: return None
获取并测试代理 proxies = get_free_proxies() print(f"获取到 {len(proxies)} 个代理IP")
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor: results = executor.map(test_proxy, proxies)
valid_proxies = [p for p in results if p] print(f"经过测试，{len(valid_proxies)} 个代理可用") ```
免费代理的可用率通常只有10%-20%，而且速度较慢，适合学习但不适合生产环境。
企业级代理IP服务：天启代理实战
对于商业项目，建议使用专业的代理IP服务。以天启代理为例，他们的API接口设计很简洁：
```python import requests import time
class TianQiProxy: def __init__(self, api_key): self.api_url = f"https://api.tianqiproxy.com/getip?key={api_key}"
def get_proxy(self): """获取代理IP""" try: response = requests.get(self.api_url, timeout=5) data = response.json() if data['code'] == 200: return f"{data['data'][0]['ip']}:{data['data'][0]['port']}" except Exception as e: print(f"获取代理失败: {e}") return None
def batch_request(self, urls, delay=1): """使用代理批量请求""" results = [] proxy = self.get_proxy()
if not proxy: print("获取代理IP失败") return results
proxies = { 'http': f'http://{proxy}', 'https': f'https://{proxy}' }
for url in urls: try: response = requests.get(url, proxies=proxies, timeout=10) results.append(response.text[:100]) 取前100字符 time.sleep(delay) 控制访问频率 except Exception as e: print(f"请求失败: {e}")
return results
使用示例 tq = TianQiProxy("你的API密钥") urls = ["https://httpbin.org/ip"] 3 测试用URL results = tq.batch_request(urls, delay=1) print(f"成功完成 {len(results)} 个请求") ```
天启代理的优势在于全国200+城市节点和自建机房纯净网络，这保证了IP的高可用性和稳定性。他们的响应延迟控制在10毫秒以内，对于需要快速响应的业务场景特别重要。
代理IP使用中的常见问题与解决方案
Q: 代理IP连接超时怎么办？
A: 首先检查代理IP是否仍然有效，免费IP通常寿命很短。如果是付费服务，检查账号余额和并发连接数限制。天启代理的IP可用率在99%以上，大大减少了这类问题。
Q: 如何提高代理IP的使用效率？
A: 建议使用连接池技术，合理设置超时时间，避免无效等待。天启代理支持高并发调用，采用分布式集群架构，能够应对业务爆发性增长。
Q: 代理IP被目标网站识别怎么办？
A: 需要轮换使用不同的IP，设置合理的请求间隔。天启代理提供多种去重模式，支持自动去重和按需过滤重复资源，有效降低被识别风险。
Q: 如何处理HTTPS网站的代理？ 选择代理IP服务时，不要只看价格，更要关注： 1. IP质量：可用率、响应速度、稳定性 天启代理作为企业级服务商，在这些方面都做得不错，特别是他们的专业技术客服724小时提供支持，这对于企业用户来说很重要。 最后提醒大家，使用代理IP要遵守网站的使用条款，合理控制访问频率，避免对目标网站造成过大压力。好的技术要用在正确的地方。
A: 确保代理服务支持HTTPS协议。天启代理全面支持HTTP/HTTPS/SOCKS5协议
选择代理IP服务的核心考量
2. 技术支持：是否提供及时的技术支持
3. 协议支持：是否满足你的技术需求
4. 节点分布：是否覆盖你需要的地区
