NodeJS fetch：实现高效数据请求与响应处理

手把手教你用Node.js fetch玩转代理IP

大伙儿都知道现在网站防爬虫越来越严，用Node.js做数据抓取经常遇到IP被封的情况。这时候就得请出我们的秘密武器——代理IP。今天咱们就拿天启代理的服务举个栗子，讲讲怎么用fetch在Node.js里搞出既稳定又高效的请求方案。

为什么非得用代理IP不可？

举个现实场景：你写了个比价脚本监控某电商平台价格，刚开始跑得挺欢，结果第二天突然哑火。一查日志发现目标网站把你的服务器IP给封了，这时候要是用了代理IP，随便换个IP就能继续干活。天启代理的全国200+城市节点和自建机房纯净网络，正好能解决这种IP被封的尴尬。

三步搞定代理配置

在Node.js里用fetch配代理其实特简单，关键代码就这几行：

const fetch = require('node-fetch');
const { HttpsProxyAgent } = require('https-proxy-agent');

// 从天启代理后台拿的配置信息
const proxyConfig = {
  protocol: 'https://',
  host: 'api.tianqidaili.com',
  port: 8888,
  auth: '用户名:密码' // 记得换成自己的
};

async function fetchWithProxy(url) {
  const agent = new HttpsProxyAgent(proxyConfig);
  const response = await fetch(url, { agent });
  return response.json();
}

这里要注意协议匹配问题：天启代理同时支持HTTP/HTTPS/SOCKS5三种协议，根据实际场景选对协议类型。比如需要加密传输就用HTTPS，要穿透复杂网络环境可以试试SOCKS5。

响应处理的三大绝招

光会用代理还不够，数据处理才是真功夫：

问题场景	解决方案
请求超时	设置timeout参数+重试机制
响应数据乱码	强制指定buffer转换编码
大文件下载	使用stream流式处理

举个实际案例处理JSON响应的代码：

async function safeFetch(url) {
  try {
    const response = await fetchWithProxy(url);
    if (!response.ok) throw new Error(`HTTP error! status: ${response.status}`);
    
    const data = await response.json();
    // 天启代理的响应延迟≤10ms，这里可以加性能监控
    console.log('请求耗时:', Date.now() - startTime);
    return data;
  } catch (error) {
    console.error('请求扑街了:', error);
    // 自动切换备用IP的逻辑可以加在这里
  }
}