大家好! python新手發問
我想寫一個抓取facebook的html碼的program
目標是抓取一個粉絲專頁一週內的po文
但我送出request後,得到的html只有前8則po文
必須要把滾輪下拉,比較舊的po文才會顯示在網頁上
想請問有什麼辦法可以解決只抓到前8則po文這個問題? (不打算使用FB graph api)
謝謝大家!!!!
作者:
CaptainH (Cannon)
2016-06-08 13:12:00自己去研究fb的ajax request,然後想辦法模擬這可能比Graph api還麻煩
作者:
IAMPF (PF)
2016-06-08 14:16:00你可以試試用selenium
作者:
syclin (Steven)
2016-06-08 20:27:00為何不試試 FB 提供的 api
fb新增個app, 後續用 token 登入然後用標準api溝通去抓資料這個方式才會簡單,過來人的經驗,要不然搞死最近
作者: poup (ppl help the ppl) 2016-06-08 22:48:00
用selenium可以解決。
作者:
areyo (沒有名字的怪物)
2016-06-09 10:05:00推selenium
作者:
blc (Anemos)
2016-06-09 15:48:00selenium,或是抓mobile頁
作者: bubble0312 (Stephen) 2016-06-09 23:36:00
感謝回答!目前先用API解決問題,再慢慢研究selenium
作者:
areyo (沒有名字的怪物)
2016-06-10 11:02:00selenium, 找大數學堂吧,有基本教學
我是土炮用js 狂scroll,然後再抓Dom,Python 大概也是這樣,不過放一個晚上記憶體就爆了