[問題] python response 問題 fordpines PTT批踢踢實業坊

[問題] python response 問題

作者: fordpines (阿福) 2018-03-08 20:20:11

http://crdd.osdd.net/raghava/lbtope/vrindex/index.php?ran=42052
最近在做網頁的爬蟲
上傳資料到form的已經另外寫好了問題是不管什麼時候點進結果頁(上面的網址)他都會先跑
loading 的gif再刷新到有結果的那個頁面(會有標示百分比的那個)
我有試著送出request以後讓他等一下收回response 但還是只有讀到gif的頁面
https://imgur.com/Mi4E6Yh
請問鄉民有甚麼方法可以讓他讀到結果頁呢?
另外在另一個地方問回答的人說她改user-agent就可以拿到但我用了兩個方法都不行啊...
https://imgur.com/AeUwT1h

作者: s860134 (s860134) 2018-03-10 00:52:00

不熟悉爬蟲抓網業流程吧，先把 F12 打開重新整理網頁可以發現其實這個頁面總共要了兩次頁面https://imgur.com/CMKKe0f所以你加什麼 header 都沒有用拉，因為 url 是錯的index.php (X) lbtope.php(O)

作者: fiorentino (眠) 2018-03-10 09:46:00

Good

作者: AlaRduTP (Eden) 2018-03-10 15:54:00

呃顯示結果的網址和你給的網址不是不一樣嗎

作者: fordpines (阿福) 2018-03-12 14:33:00

謝謝s86大

繼續閱讀

Re: [閒聊] 菜鳥上Kaggle: 房價預測pipidog 用Django 開發像ptt的賭盤遊戲a5170040 [問題] jupyter無法正常安裝jaaaagyyyy [問題] python 有什麼偏架構的書？aaaba [問題] ubuntu windows之間txt換行問題windisbig [問題] django+heroku 後台資料庫錯誤HybridSC Re: [閒聊] 菜鳥上Kaggle: 房價預測pipidog [問題] 關於一個setup.py的build錯誤hatemath1991 Re: [資訊] 大陸(python大全)教學資源levelone [問題] 抓取指定顏色的像素座標RX480