[問題] 爬動態資料問題 zcxcxc20002 PTT批踢踢實業坊

作者: zcxcxc20002 (凌晨是我) 2015-03-02 14:30:25

各位大大大家好，
爬網頁資料很常被用來做一些資料搜集或整理上，
以前不管是使用DOM的比對或者是Regex來處理都還好處理，
但自從很多網頁開始使用動態載入資料之後，原本的做法變得不可行。
不知道版有大大有沒有相關資訊可以用來解決這樣的問題？
是否要透過不一樣的技術來搜集資料。？

作者: mmis1000 (秋月戀楓) 2015-03-02 15:52:00

phantom js要不然就自己解出ajax的網站模擬request現在瀏覽器的開發者工具都有看request的功能

作者: guanting886 (Guanting) 2015-03-02 22:37:00

phantom +1，不過早期都是用C#+WebBrowser硬幹

作者: tom76kimo 2015-03-03 00:09:00

作者: zcxcxc20002 (凌晨是我) 2015-03-03 11:33:00

謝謝各位大大提供，我也都用Ｃ＃抓比較多

作者: slamgundam (Rick) 2015-03-04 09:36:00

想問phantomjs可以操作linux換IP嗎～?

作者: mmis1000 (秋月戀楓) 2015-03-04 12:14:00

你可以把他跟其他語言合用？像是nodejs就有phantom的bridge，phantom js本身也能單獨拿來當server用phantom js本身應該沒那些功能

作者: slamgundam (Rick) 2015-03-04 14:02:00

Ok，我再研究看看，感謝你～

作者: best940070 (Kevin) 2015-03-20 23:03:00

寫瀏覽器套件去抓

繼續閱讀