Python网页抓取代码：Python代理抓取代码示例

一、Python网页抓取为什么要用代理IP？

当咱们用Python做数据抓取时，经常遇到网站封IP的情况。比如连续访问某电商网站的价格数据，不到半小时就可能收到403禁止访问的提示。这时候代理IP就像动态隐身衣，通过切换不同IP地址来突破访问限制。

以天启代理为例，他们的自建机房拥有200多个城市节点，每次请求都能分配不同地区的IP。这种地理分布特性特别适合需要模拟真实用户访问的场景，比如本地生活类App的数据采集，使用当地IP抓取会更接近真实用户行为。

二、Python代理抓取基础配置

先来看最简单的代理设置方法，以requests库为例：


import requests

proxies = {
    "http": "http://用户名:密码@ip:端口",
    "https": "http://用户名:密码@ip:端口"
}

response = requests.get("目标网址", proxies=proxies)

天启代理支持终端IP授权和账号密码授权两种方式。如果是企业级应用，建议使用终端IP授权，直接把服务器IP加入白名单，省去每次验证的步骤。

三、实战：动态代理IP集成方案

实际项目中更推荐使用代理池方案，这里演示如何结合天启代理API实现动态IP切换：


import requests
from retrying import retry

def get_proxy():
     调用天启代理API获取IP（模拟接口）
    resp = requests.get("https://api.tianqi.proxy/getip?type=http")
    return f"http://{resp.json()['ip']}:{resp.json()['port']}"

@retry(stop_max_attempt_number=3)
def fetch_data(url):
    proxy = get_proxy()
    try:
        with requests.Session() as s:
            s.proxies = {"http": proxy, "https": proxy}
            return s.get(url, timeout=10).text
    except Exception as e:
        print(f"IP {proxy} 失效，自动切换")
        raise e

print(fetch_data("https://目标网站.com"))

这个方案有三大优势：

自动重试机制保证请求成功率
会话保持功能避免重复认证
天启代理≤10毫秒的响应速度确保IP切换效率

四、高效使用代理IP的5个技巧

技巧	实现方式	天启功能支持
IP轮换策略	按请求次数或时间间隔切换	24小时自动去重
协议适配	根据目标网站协议选择HTTP/HTTPS	三协议支持
异常处理	捕获429/503状态码自动重试	≥99%可用率保障