如何使用Python抓取网站数据：Python代理爬虫入门指南

一、为什么你的爬虫总被封？试试这个办法

刚学爬虫的新手经常遇到网页打不开、账号被封的情况，其实这就像用同一个手机号频繁注册APP——网站能轻松识别出你的真实IP。当服务器发现某个IP在短时间内发起大量请求，就会自动触发防护机制。

这时候就需要代理IP来帮你"隐身"。通过天启代理的IP池，每次请求都切换不同地区的IP地址，网站看到的访问者就像不同地区的普通用户。特别是他们自建机房的纯净IP，能有效避免被目标网站识别为爬虫流量。

二、三步搞定Python代理爬虫

1. 获取代理IP：从天启代理的API接口获取IP（代码示例中的your_api_token需要替换成实际密钥）：

import requests

def get_proxy():
    api_url = "https://api.tianqidaili.com/getip"
    params = {
        "type": "http",
        "count": 1,
        "protocol": 1,
        "token": "your_api_token"
    }
    response = requests.get(api_url, params=params).json()
    return f"{response['data'][0]['ip']}:{response['data'][0]['port']}"

2. 配置请求参数：用requests库设置代理（注意协议类型要匹配）：

proxies = {
    "http": "http://" + get_proxy(),
    "https": "http://" + get_proxy()
}

try:
    response = requests.get("目标网址", proxies=proxies, timeout=10)
    print(response.text)
except Exception as e:
    print("请求失败:", str(e))

3. 异常处理机制：建议添加重试逻辑，当IP失效时自动更换：

max_retries = 3
for _ in range(max_retries):
    try:
         这里放请求代码
        break
    except:
        continue

三、避开这些坑，成功率提升90%

常见错误对照表：

错误现象	解决办法
连接超时	检查代理协议类型（HTTP/HTTPS）是否匹配
返回空数据	更换高匿代理类型，避免被网站识别
频繁被封IP	降低请求频率，设置随机延迟（time.sleep）

天启代理的SOCKS5协议支持在处理需要高匿名的场景时特别有用，他们的IP可用率≥99%意味着基本不用频繁更换IP。