Requests爬虫如何配置代理IP
Requests是Python中最简单的HTTP库，配置代理IP也非常直接。对于需要频繁更换IP的爬虫任务来说，使用天启代理这类服务可以避免被目标网站封禁。
在Requests中使用代理IP只需要在请求时添加proxies参数：
import requests
proxies = {
"http": "http://用户名:密码@代理服务器地址:端口",
"https": "http://用户名:密码@代理服务器地址:端口"
}
response = requests.get("http://目标网站.com", proxies=proxies)
天启代理支持HTTP/HTTPS/SOCKS5三种协议，这意味着无论你的爬虫需要哪种协议，都能得到满足。他们的代理IP响应延迟控制在10毫秒以内，不会明显拖慢爬虫速度。
实际使用中，我建议将代理IP配置封装成函数，这样便于管理和更换IP：
def get_proxy():
从天启代理API获取一个代理IP
proxy_url = "天启代理的API接口"
response = requests.get(proxy_url)
proxy_ip = response.text.strip()
return {"http": f"http://{proxy_ip}", "https": f"https://{proxy_ip}"}
使用代理发送请求
proxies = get_proxy()
try:
response = requests.get("目标网址", proxies=proxies, timeout=10)
print("请求成功")
except:
print("代理IP失效，更换下一个")
天启代理的IP可用率高达99%，这意味着你几乎不需要担心代理IP失效的问题。即使偶尔遇到不可用的IP，他们的API接口请求时间也小于1秒，可以快速获取新的代理IP。
Scrapy框架中代理IP的集成方法
Scrapy是专业的爬虫框架，集成代理IP需要通过中间件实现。相比Requests，Scrapy的代理配置更加自动化，适合大规模爬取任务。
首先需要在Scrapy项目的middlewares.py文件中添加代理中间件：
class ProxyMiddleware(object):
def process_request(self, request, spider):
从天启代理API获取IP
proxy = "从天启代理获取的IP地址和端口"
request.meta['proxy'] = proxy
然后在settings.py中启用这个中间件：
DOWNLOADER_MIDDLEWARES = {
'你的项目名.middlewares.ProxyMiddleware': 543,
}
天启代理的全国200+城市节点和自建机房纯净网络特别适合Scrapy这种需要大量IP的框架。你可以利用他们提供的多种去重模式，确保每次请求使用的IP都不重复，有效避免被目标网站识别。
对于需要高并发爬取的项目，天启代理的高性能服务器和分布式集群架构可以支持高并发调用，即使面对业务爆发性增长也能从容应对。
进阶用法是结合天启代理的API，实现动态IP更换。可以在中间件中添加IP失效重试机制：
class SmartProxyMiddleware(object):
def process_response(self, request, response, spider):
if response.status != 200:
请求失败，更换代理IP
new_proxy = get_new_proxy_from_tianqi()
request.meta['proxy'] = new_proxy
return request
return response
这种机制能确保爬虫持续稳定运行，即使个别代理IP失效也不会影响整体任务。
Selenium自动化测试中的代理IP应用
Selenium通常用于Web自动化和测试，但也能用于爬取JavaScript渲染的页面。在Selenium中使用代理IP需要根据浏览器不同进行配置。
对于Chrome浏览器，配置代理IP的示例代码如下：
from selenium import webdriver
proxy = "代理IP:端口"
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server=http://{proxy}')
driver = webdriver.Chrome(options=chrome_options)
driver.get("http://目标网站")
如果需要认证的代理，天启代理支持终端IP授权和账号密码授权两种方式，可以根据你的业务需求选择合适的方式。
对于Firefox浏览器，配置略有不同：
from selenium import webdriver
proxy = "代理IP:端口"
firefox_profile = webdriver.FirefoxProfile()
firefox_profile.set_preference("network.proxy.type", 1)
firefox_profile.set_preference("network.proxy.http", proxy.split(":")[0])
firefox_profile.set_preference("network.proxy.http_port", int(proxy.split(":")[1]))
driver = webdriver.Firefox(firefox_profile=firefox_profile)
天启代理的代理IP资源由运营商正规授权，安全稳定，特别适合Selenium这种需要长时间运行的自动化任务。即使运行几个小时，也不用担心代理IP突然失效。
实际项目中，你可能需要频繁更换代理IP。可以结合天启代理的API，实现自动化IP更换：
def change_proxy(driver):
先关闭当前浏览器
driver.quit()
获取新代理IP
new_proxy = get_proxy_from_tianqi()
重新启动浏览器并配置新代理
options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server=http://{new_proxy}')
new_driver = webdriver.Chrome(options=options)
return new_driver
这种方法虽然会重启浏览器，但能确保每次会话都使用新的IP地址，大大降低了被识别为自动程序的风险。
代理IP常见问题与解决方案
问题1：代理IP连接超时怎么办？
可能是网络延迟或代理服务器繁忙。天启代理的响应延迟≤10毫秒，通常不会出现这个问题。如果遇到，可以尝试增加超时时间设置，或者更换其他节点IP。
问题2：如何检测代理IP是否有效？
最简单的方法是通过访问IP检测网站来验证：
import requests
proxy = {"http": "http://代理IP:端口"}
try:
response = requests.get("http://httpbin.org/ip", proxies=proxy, timeout=10)
print(f"当前使用的IP是：{response.json()['origin']}")
except:
print("代理IP无效")
问题3：代理IP速度慢如何优化？
选择离目标服务器地理位置近的代理节点可以提高速度。天启代理拥有全国200+城市节点，可以根据需要选择最优节点。确保使用的是HTTP/1.1持久连接，减少连接建立的开销。
问题4：如何处理网站的反爬虫机制？
除了使用代理IP，还应该配合User-Agent轮换、请求频率控制等措施。天启代理提供的多种去重模式可以帮助你更好地规避反爬虫检测。
问题5：如何选择适合自己业务的代理IP类型？
天启代理提供动态IP和静态IP两种选择：短效动态IP适合需要频繁更换IP的业务，如数据采集；长效静态IP适合需要稳定连接的业务，如自动化测试。根据业务特点选择合适的类型很重要。
通过合理配置和使用代理IP，可以显著提高爬虫和自动化任务的效率和稳定性。天启代理作为企业级代理服务商，提供的技术支持和稳定服务能够满足大多数业务场景的需求。
