[問題] 想請問有關爬蟲問題

作者: rennmin84 (rennmin84)   2018-12-23 15:55:26
大家好好好!
最近想要寫爬蟲程式來蒐集一些股票資訊(例如某個股的每季本益比或ROE),雖然
財報狗已經把數據整理的很漂亮,可是想說當作練習就來抓取上面的資料。不過現在
遇到的一個問題是找不到完整的tag資訊,我的程式碼和網站原始碼如下:
import requests
from bs4 import BeautifulSoup
URL = 'https://statementdog.com/analysis/tpe/2912/financial-structure-ratio'
resp = requests.get(URL).text
soup = BeautifulSoup(resp, 'html5lib')
data = soup.find('ul', {'id': 'datasheet'})
https://i.imgur.com/evMuXjH.jpg
在標籤屬性為{'id': 'datasheet'}的ul標籤當中還有很多資料,可是用我上面的程式碼
都找不到裡面的資料,然後data這個變數值只有<ul id="datasheet"></ul>。
想請問大家我的程式碼是哪邊出問題了,感謝感謝~
作者: dododavid006 (朔雪)   2018-12-23 17:10:00
我看到的也是空的 該不會是要登入吧
作者: InfinityGate (小鳥)   2018-12-23 18:26:00
1. 登入 2. 這資料是動態載入的
作者: TakiDog (多奇狗)   2018-12-24 13:07:00
找封包下手吧
作者: toy9986619 (幻飄)   2018-12-24 14:30:00
看看資料是不是透過JS加載進來的
作者: ms0202687 (kane)   2018-12-24 23:45:00
建議原po去YT查一下 我記得有人談到財報狗的爬蟲問題。另外你應該是純商管類的吧,以上各樓回答的關鍵字建議先自己做個功課

Links booklink

Contact Us: admin [ a t ] ucptt.com