NodeJS网站采集：高效数据抓取与自动化实战指南

手把手教你用NodeJS搭配代理IP薅数据

搞网站采集最怕啥？IP被封绝对排前三！昨天刚跑通的脚本今天就歇菜，这种破事儿我见多了。别慌，今天给大伙儿支个狠招——用代理IP给NodeJS脚本穿马甲。咱就拿天启代理的服务举个栗子，他们家的IP池子够大，200多个城市的节点随便换，实测可用率确实顶。

代理IP怎么接进NodeJS脚本？

先装个axios-proxy-wrapper库，比裸用axios省事儿多了。配置代理的时候注意协议类型，天启代理支持HTTP/HTTPS/SOCKS5全套餐，这里以HTTP为例：


const axios = require('axios');
const proxyWrapper = require('axios-proxy-wrapper');

const api = axios.create();
const proxyList = [
  'http://username:password@tianqi-daili-node-1:8000',
  'http://username:password@tianqi-daili-node-2:8000'
];

proxyWrapper.wrap(api, {
  proxies: proxyList,
  rotate: true // 自动切换IP
});

// 抓取时自动走代理池
api.get('目标网址').then(response => {
  console.log('数据到手！');
});

关键点在这：记得把天启代理提供的API返回的IP:PORT格式转成标准代理地址，用户名密码别搞错。他们家响应速度确实快，实测延迟基本在8毫秒晃悠，比某些免费代理稳多了。

遇到反爬虫怎么破？

光换IP还不够，得学会伪装。这里分享三个实战技巧：

Header随机化：User-Agent别总用一个，准备十几个常见浏览器UA轮着用
访问节奏控制：别跟打鸡血似的狂刷，随机间隔1-3秒最稳妥
Cookie策略：重要网站记得做会话保持，用cheerio库解析登录态

举个模拟登录失败的例子：


// 登录失败自动换IP重试
async function loginWithRetry() {
  try {
    const response = await api.post('/login', {账号信息});
    return response.data;
  } catch (error) {
    console.log('触发验证了，换IP再战！');
    api.rotateProxy(); // 调用天启代理切换接口
    return loginWithRetry();
  }
}