各位大大好,目前我在練習拿中央氣象局的各地溫度,但是用requests.get拿到的程式碼
都不含溫度的資料,他們好像會即時產生,程式碼只有表格的雛型,想請問有神麼辦法能
用爬蟲的方式拿到嗎?謝謝。
以下附上網址,表格在123行開始。
https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64
資料是叫用api回傳內容 所以你爬這頁看到表格 沒資料網頁原始碼看的出來 高雄市www.cwb.gov.tw/Data/js/Observe/County/64.js如果非靜態網頁 叫api回資料 反而要看懂他怎麼叫
所以這個應該是動態網頁?所以應該沒辦法走找尋selector取值這條路了吧?那請問有神麼套件或api可以解決這個問題嗎?
這種就不用爬 直接就給資料了 只要parse就好了
作者:
hoho8 (hoho)
2019-11-21 05:34:00氣象局有資料開放平台,直接用json取值比較快啦
不一定要找出api來源 有api的call api比較有效率而已關鍵字 python webdriver ajax google一下吧模擬瀏覽 爬資料 與 直接拿到資料的分別而已
你找錯地方了,找中央氣象局 opendata,有api可以串,很容易
原po表示練習 猜他不是真的要資料而是這類網頁如何取
作者:
blc (Anemos)
2019-11-24 06:26:00開 selenium 吧。要資料的話請找opendata,要從網頁抓資料的話請用 selenium
他是動態產生的,之前爬過一次樓上說的ajax那些搞懂就很好爬了