[問題]如何爬取即時產生的資料 eecheng87 PTT批踢踢實業坊

[問題]如何爬取即時產生的資料

作者: eecheng87 (EEcheng) 2019-11-20 21:11:56

各位大大好，目前我在練習拿中央氣象局的各地溫度，但是用requests.get拿到的程式碼
都不含溫度的資料，他們好像會即時產生，程式碼只有表格的雛型，想請問有神麼辦法能
用爬蟲的方式拿到嗎?謝謝。
以下附上網址，表格在123行開始。
https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64

作者: dennisxkimo (Dennis(一上B就糟糕)) 2019-11-20 22:01:00

資料是叫用api回傳內容所以你爬這頁看到表格沒資料網頁原始碼看的出來高雄市www.cwb.gov.tw/Data/js/Observe/County/64.js如果非靜態網頁叫api回資料反而要看懂他怎麼叫

作者: eecheng87 (EEcheng) 2019-11-20 22:11:00

所以這個應該是動態網頁?所以應該沒辦法走找尋selector取值這條路了吧?那請問有神麼套件或api可以解決這個問題嗎?

作者: dennisxkimo (Dennis(一上B就糟糕)) 2019-11-20 22:44:00

這種就不用爬直接就給資料了只要parse就好了

作者: hoho8 (hoho) 2019-11-21 05:34:00

氣象局有資料開放平台，直接用json取值比較快啦

作者: eecheng87 (EEcheng) 2019-11-21 08:47:00

感謝各位的意見，我再試試

作者: dennisxkimo (Dennis(一上B就糟糕)) 2019-11-21 15:59:00

不一定要找出api來源有api的call api比較有效率而已關鍵字 python webdriver ajax google一下吧模擬瀏覽爬資料與直接拿到資料的分別而已

作者: a9301040 (加油) 2019-11-22 11:50:00

你找錯地方了，找中央氣象局 opendata，有api可以串，很容易

作者: dennisxkimo (Dennis(一上B就糟糕)) 2019-11-22 19:54:00

原po表示練習猜他不是真的要資料而是這類網頁如何取

作者: blc (Anemos) 2019-11-24 06:26:00

開 selenium 吧。要資料的話請找opendata，要從網頁抓資料的話請用 selenium

作者: ilove0618 (軒) 2019-11-26 10:38:00

他是動態產生的，之前爬過一次樓上說的ajax那些搞懂就很好爬了

繼續閱讀

[問題] pyinstaller import external modulekeven92110 Re: [問題] 類別中使用List的問題nevak [問題] 用request取得json file後無法sort keyAmigoSafin [問題]NN中關於影像的normalizationoo855050 [家教] 徵家教-每個人都可以看到我畫的圖(bokeh)popo14777 Re: [問題] 類別中使用List的問題poototo [問題] 請教有關CNN分類的問題zax5566x2 Re: [問題] 類別中使用List的問題TuCH [問題] 類別中使用List的問題jijuan [家教]python 寫入mysql 資料庫LoveCryGhost