作者:
linsl992 (Eason)
2021-09-08 01:06:29大家好,我是python爬蟲新手,對網路架構完全不了解,靠著一些書籍與網路教學已經能
順利的從靜態網頁爬到我需要的資料。
最近想從下方網址爬取表格的資料,一開始使用requests+bs4,發現抓取回來的欄位中數
值都是空的。餵狗查詢有發現可能是表格中的數值是由JavaScript動態產生的,所以需要
用webdriver來取得資料。之後按照著教學使用webdriver,瀏覽器也成功啟動,但是在瀏
覽器中只有看到表格的表頭,資料欄位則完全沒有顯示,當下使用瀏覽器的開發者模式,
有發現在疑似查詢日期的request時,伺服器回了status code 400,使用chrome/Firefox
webdriver都相同。
請問這種情況是什麼環節出了問題?又該如何避免呢?
謝謝。
https://www.wantgoo.com/stock/major-investors/net-buy-sell-rank?market=Listed