[問題] NodeJS Crawler behind company proxy

作者: Big9 (Big9)   2017-03-01 23:58:20
各位好
最近在學NodeJS
打算寫一隻Crawler
參照此文章
如何撰寫Crawler
http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler
也完成了一隻Crawler
在家中一般網路環境時順利抓下資料
但是 拿到公司網路環境運作
竟然無法爬資料
深入追查下才發現
公司連網站都會透過Proxy
導致爬網頁時都會失敗
上網找了許多相關問題
也是無法順利解決
上來求教各位
謝謝
作者: mmis1000 (秋月戀楓)   2017-03-02 12:39:00
https://www.npmjs.com/package/http-proxy-agent那就讓你的crawler也過proxy

Links booklink

Contact Us: admin [ a t ] ucptt.com