[問題] webdriver無法顯示表格

作者: linsl992 (Eason)   2021-09-08 01:06:29
大家好,我是python爬蟲新手,對網路架構完全不了解,靠著一些書籍與網路教學已經能
順利的從靜態網頁爬到我需要的資料。
最近想從下方網址爬取表格的資料,一開始使用requests+bs4,發現抓取回來的欄位中數
值都是空的。餵狗查詢有發現可能是表格中的數值是由JavaScript動態產生的,所以需要
用webdriver來取得資料。之後按照著教學使用webdriver,瀏覽器也成功啟動,但是在瀏
覽器中只有看到表格的表頭,資料欄位則完全沒有顯示,當下使用瀏覽器的開發者模式,
有發現在疑似查詢日期的request時,伺服器回了status code 400,使用chrome/Firefox
webdriver都相同。
請問這種情況是什麼環節出了問題?又該如何避免呢?
謝謝。
https://www.wantgoo.com/stock/major-investors/net-buy-sell-rank?market=Listed
作者: jackjenny (痛苦)   2021-09-08 17:35:00
你先打一次他的request
作者: single4565 (leekdumpling韭菜水餃)   2021-09-08 19:10:00
也可以先等待幾秒再爬
作者: lycantrope (阿寬)   2021-09-08 19:48:00
有cloudflare防爬#1V1UUG0U (Python)

Links booklink

Contact Us: admin [ a t ] ucptt.com