[問題] 爬蟲 XHR也找不到目標資料 rodyforeter PTT批踢踢實業坊

[問題] 爬蟲 XHR也找不到目標資料

作者: rodyforeter (rodyforeter) 2018-12-28 19:57:48

各位大大安安
我目前在寫一個電商爬蟲
自己做了一些功課
對於動態載入的網頁通常會用調出XHR的request或是使用web driver
現在碰到的一個疑問是
某電商網頁裡面的資料
doc裡面沒有打開xhr一一掃過也沒有找到對應的資料
所以可能會用網頁驅動去爬取
但很好奇這類型的網頁是如何得到資料的呢?
裡面有一個 jquery xhr
是否是這個東西在搞鬼??
新手發問
感謝解答 ~

作者: nini200 (200妮妮) 2018-12-29 06:21:00

直接給網站唄可疑的網頁都去點來看網頁看的到基本都有

作者: extraymond (extraymond) 2018-12-29 16:24:00

也有可能是websocket嗎？

作者: rodyforeter (rodyforeter) 2018-12-29 17:55:00

https://24h.pchome.com.tw/region/DDAT我想要的資料是左邊的各項目錄網址<dl id='MenuContainer' ...下的所有 <li>

作者: nini200 (200妮妮) 2018-12-29 20:47:00

我google pchome 爬蟲有影片教學你參考一下唄

作者: rodyforeter (rodyforeter) 2018-12-29 22:38:00

謝謝但是左側的那些目錄不在xhr裡面@@我再研究看看靈機一動在旁邊的JS裡面找到了!哈哈因為教學都說看XHR 結果一直找不到謝謝大家

作者: jasonfghx (工人) 2018-12-30 14:51:00

哪一個網站?

作者: rodyforeter (rodyforeter) 2017-01-03 05:20:00

是pchome 現在已經可以了問題是另一個更難的 momo

繼續閱讀

[問題] python與C# socket連結owem0410 [問題] 請問這個錯誤該如何處理OCEANSAE [問題] python3.6.6執行Wfuzz問題iso302721 [問題] 執行 LIST 裡的副程式martin7887 [問題] pyinsaller 包專案問題Faker0613 [問題] 關於requests.get中的headerhsiaoeddie [問題] 在macbook上括號如何自動補全CK0201 [問題] 關於Dcard的爬蟲批量下載圖檔liwei290341 [問題] keras LSTM typeerrorpig98520 [問題] 想請問流水號之生成寫法mimick