PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Ajax
[問題] NodeJS Crawler behind company proxy
作者:
Big9
(Big9)
2017-03-01 23:58:20
各位好
最近在學NodeJS
打算寫一隻Crawler
參照此文章
如何撰寫Crawler
http://yhsiang.logdown.com/posts/2014/05/10/how-to-write-a-crawler
也完成了一隻Crawler
在家中一般網路環境時順利抓下資料
但是 拿到公司網路環境運作
竟然無法爬資料
深入追查下才發現
公司連網站都會透過Proxy
導致爬網頁時都會失敗
上網找了許多相關問題
也是無法順利解決
上來求教各位
謝謝
作者:
mmis1000
(秋月戀楓)
2017-03-02 12:39:00
https://www.npmjs.com/package/http-proxy-agent
那就讓你的crawler也過proxy
繼續閱讀
[問題] jQuery外掛-360度旋轉產品照片展示
weizi75
[問題] cheerio分開選擇兩個幾乎相同的list
dynastat
[ js ] Object.create
godman362
Re: [問題] react component 如何使用"外部"的值
davidsky
[問題] react component 如何使用"外部"的值
keev
[問題] cheerio 選擇器的問題
dynastat
[ js ] 使用clone()複製DOM的疑問
luckynu
Re: [問題] Hoisting 問題
eight0
[js] 讀取cookie
gmotwm2001
Re: [問題] Hoisting 問題
iamnodoubt
Links
booklink
Contact Us: admin [ a t ] ucptt.com