作者:
ggbast (GG)
2018-09-11 20:06:52最近在爬一些網頁蒐集資料
偶爾會遇到網頁需要重新導向的問題
我用chrome瀏覽器看到的詳細如下
前往網站A得到回應的status code = 302
並且會在response header裡面的location
放入重新導向的目的地網站B的網址
但是實際用爬蟲下去跑會發現
前往網站A取得的回應裡面看不到
response header裡面的location
卻直接得到了最後導向的網站B內容
感覺上好像是程式自己做做了重新導向這件事
有沒有辦法正常讓爬蟲取得那個location呢？
我的環境是nodejs
使用模組是request跟request-promise