Ruby网页抓取：高效实战技巧与实例详解

手把手教你用Ruby抓网页不封号

兄弟们应该都遇到过，用Ruby写爬虫脚本时动不动就IP被封的糟心事吧？特别是搞电商比价、舆情监控这些需要大量抓数据的项目，封IP就跟吃饭喝水一样平常。这时候就得靠代理IP来续命了！

咱们拿天启代理举个栗子，他们家机房自己搭的，IP存活率99%往上走。用过代理的老铁都知道，有些服务商的IP刚连上就失效，天启这点确实稳，实测连续跑8小时脚本都没掉链子。

选代理IP要看哪些门道

市面上代理服务商多如牛毛，但坑也多得吓人。记住这三个硬指标：

指标	及格线	天启参数
响应延迟	≤50ms	10ms
IP存活率	≥95%	99%
协议支持	双协议	HTTP/HTTPS/SOCKS5

特别要注意IP纯净度，有些服务商把IP反复卖给多人用，这种共享IP分分钟被网站风控逮住。天启是自建机房独享线路，相当于给你开VIP通道。

Ruby实战代码这么写

直接上干货，用Net::HTTP搭配代理的经典写法：

require 'net/http'

proxy_addr = 'tianqi.proxy.com' 天启的接入地址
proxy_port = 9021

uri = URI('https://目标网站.com')
Net::HTTP.start(uri.host, uri.port, 
  proxy_addr, proxy_port, 
  use_ssl: uri.scheme == 'https') do |http|
  request = Net::HTTP::Get.new uri
  response = http.request request
  puts response.body
end

重点来了！记得在请求头里加随机User-Agent，不然用再多代理也白搭。推荐用'user-agent'这个gem，直接随机生成浏览器标识。