[問題] 抓取Facebook滾輪下拉後資料

作者: bubble0312 (Stephen)   2016-06-08 13:04:27
大家好! python新手發問
我想寫一個抓取facebook的html碼的program
目標是抓取一個粉絲專頁一週內的po文
但我送出request後,得到的html只有前8則po文
必須要把滾輪下拉,比較舊的po文才會顯示在網頁上
想請問有什麼辦法可以解決只抓到前8則po文這個問題? (不打算使用FB graph api)
謝謝大家!!!!
作者: CaptainH (Cannon)   2016-06-08 13:12:00
自己去研究fb的ajax request,然後想辦法模擬這可能比Graph api還麻煩
作者: IAMPF (PF)   2016-06-08 14:16:00
你可以試試用selenium
作者: syclin (Steven)   2016-06-08 20:27:00
為何不試試 FB 提供的 api
作者: kenduest (小州)   2016-06-08 21:14:00
fb新增個app, 後續用 token 登入然後用標準api溝通去抓資料這個方式才會簡單,過來人的經驗,要不然搞死最近
作者: poup (ppl help the ppl)   2016-06-08 22:48:00
用selenium可以解決。
作者: areyo (沒有名字的怪物)   2016-06-09 10:05:00
推selenium
作者: blc (Anemos)   2016-06-09 15:48:00
selenium,或是抓mobile頁
作者: bubble0312 (Stephen)   2016-06-09 23:36:00
感謝回答!目前先用API解決問題,再慢慢研究selenium
作者: areyo (沒有名字的怪物)   2016-06-10 11:02:00
selenium, 找大數學堂吧,有基本教學
作者: trylovetom (閒閒的猛男)   2016-06-12 21:47:00
我是土炮用js 狂scroll,然後再抓Dom,Python 大概也是這樣,不過放一個晚上記憶體就爆了

Links booklink

Contact Us: admin [ a t ] ucptt.com