請問
最近在練習網路爬蟲,在爬網站資訊
我是使用了一個jsoup library在爬
一般網頁都可以正常爬到htm內容
可是像雅虎拍賣這種為何都爬不到結果???
是因為ajax的關係嗎?
還請指導與指點一下
作者:
swpoker (swpoker)
2014-08-18 11:31:00javascript???
Y 拍有擋爬蟲，看一下你 parse 的東西如果是首頁，那就是被擋掉了，記得要偽裝
沒UA或者UA太老實(?)你要記得塞UA下去不過普通來講 潛規則是如果他不願意被你爬 他就會放robots.txt或者check UA, 當然，這很好騙，只是這是一個共通的潛規則 儘量不要大量deploy破壞規則的crawler
作者:
swpoker (swpoker)
2014-08-19 17:51:00爬蟲跟DDOS沒甚麼兩樣~網站管理員很討厭的~
作者:
storypp (隨風而逝的是一份真)
2014-08-20 00:00:00新手小問..UA是什麼?GOOGLE關鍵字可以下什麼來學...
User-Agent，是 HTTP 的 Header，給網站判別連進來的是哪種 browser
作者:
ccas (昆蟲ä¸ä¸€å®šæœƒé£›)
2014-08-20 13:01:00我記得Y爬太快也會被擋~~要記得不要爬太快
像是google的crawler的UA就很老實的說Googlebot XD也有的是會塞session到cookie的網頁 至種普通crawler也沒辦法爬太深 多半只能爬到地一層...我說土炮的bot很多open source的crawler會處理cookie-session不過這是技術問題, 道德問題還是要注意一下 :P另外一個比較有可能出包的的就是檢查referer這也是大多數crawler會幫你處理的技術問題就是