大家好,最近遇到一個很困擾的問題
一般爬蟲爬靜態網頁沒甚麼問題
某些動態網頁我也可以去觀察他的Post或是get去截他資料
但我現在遇到一種網頁是ajax data 綁進tab元件內
data部分有加密
他的tab內容需要點擊去動態產生內容
跟bootstrap的tap相同
http://www.w3schools.com/bootstrap/bootstrap_ref_js_tab.asp
像這樣的動態網頁有建議的爬蟲方法嘛
好煩惱阿@@....
看來看去就是找不到方法破解
謝謝大家
作者: bbgba1923 (Hardison) 2016-05-03 22:27:00
Watir
我用python+scrapy寫的,watir看起來好像用不上@@
作者: lininu (聲音控:P) 2016-05-05 13:31:00
.ppt.cc/S6LY7 JPTT網址推不出去==
因為ppt.cc早就被全站封鎖了,你為啥不改用其他好一點的轉址?像是 goo.gl 之類的就是 ma19.moe 都比 ppt.cc 好太多
作者: lininu (聲音控:P) 2016-05-07 07:03:00
感謝mmis,我沒有注意到這件事~
作者: ayhaadam (跳電跳電跳電) 2016-05-15 23:29:00
可以研究看看 PhantomJS 之前用他來爬過 agoda,他們也有類似的保護機制