使用selenium设置代理ip教程：爬虫项目ip配置实操指南

Selenium代理IP配置的核心原理

很多人在使用Selenium做数据采集时会遇到IP被封的问题，这就像在一条街上反复进出同一家商店，店员很快会认出你。代理IP的作用就是给Selenium披上"隐身衣"，每次访问都使用不同的IP地址，让目标网站以为是正常用户访问。

天启代理提供的IP资源覆盖全国200多个城市，自建机房保证网络纯净，IP可用率高达99%以上。这意味着你几乎不用担心IP失效问题，可以专注于业务逻辑的实现。

准备工作：获取代理IP资源

在使用代理IP前，你需要先从天启代理获取可用的IP地址。天启代理支持HTTP/HTTPS/SOCKS5三种协议，响应延迟控制在10毫秒以内，这对需要快速响应的爬虫项目非常重要。

获取IP的方式很简单：登录天启代理控制台，选择适合的套餐类型。如果是测试使用，可以先从短效动态IP开始，每个IP有效期3-30分钟，成本仅0.005元起。

Chrome浏览器代理配置详解

下面是通过Selenium配置Chrome浏览器代理的具体方法：

方法一：使用ChromeOptions直接配置

这是最常用的配置方式，代码简洁明了：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--proxy-server=http://用户名:密码@IP地址:端口")

driver = webdriver.Chrome(options=chrome_options)
driver.get("http://www.example.com")

这种方式的优点是配置简单，适合快速测试。但缺点是代理信息明文存储在代码中，安全性稍差。

方法二：使用Proxy类精细控制

如果需要更精细的控制，可以使用WebDriver的Proxy类：

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "IP地址:端口"
proxy.socks_proxy = "IP地址:端口"
proxy.ssl_proxy = "IP地址:端口"

capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

这种方法支持为不同协议设置不同的代理，灵活性更高。天启代理的三协议支持特性在这里就能充分发挥作用。

Firefox浏览器代理配置指南

Firefox浏览器的代理配置与Chrome略有不同：

from selenium import webdriver

profile = webdriver.FirefoxProfile()
profile.set_preference("network.proxy.type", 1)
profile.set_preference("network.proxy.http", "IP地址")
profile.set_preference("network.proxy.http_port", 端口号)
profile.set_preference("network.proxy.ssl", "IP地址")
profile.set_preference("network.proxy.ssl_port", 端口号)

driver = webdriver.Firefox(firefox_profile=profile)

天启代理的终端使用授权功能在这里很实用，既支持IP白名单授权，也支持账号密码认证，满足不同的安全需求。

代理IP验证与异常处理

配置代理后，一定要验证IP是否生效：

driver.get("http://httpbin.org/ip")
print(driver.page_source)

正常的返回结果会显示当前使用的代理IP地址。如果连接失败，需要检查以下几点：

代理IP是否已过期（天启代理提供IP可用性监控）
账号密码是否正确
防火墙设置是否阻挡了连接

天启代理的API请求时间小于1秒，配合自动重试机制，可以大大提升爬虫的稳定性。

实战技巧：代理IP池的运用

单个代理IP很难满足大规模爬取需求，建议使用IP池技术：

import random
from selenium import webdriver

 从天启代理API获取IP列表
ip_list = ["IP1:端口", "IP2:端口", "IP3:端口"]

def create_driver_with_proxy():
    proxy = random.choice(ip_list)
    chrome_options = Options()
    chrome_options.add_argument(f"--proxy-server={proxy}")
    return webdriver.Chrome(options=chrome_options)

天启代理的资源自由去重功能可以自动过滤重复IP，确保每次获取的IP都是新的，这对维持爬虫的持续运行至关重要。