[問題] 新手問爬蟲 換分頁但網址不變的情形(done)

作者: relievezaoc (Nine9)   2016-06-10 18:55:37
連假來學爬蟲~XD"
問題超級新手...麻煩餵我關鍵字+鞭小力一點~謝謝!
====
我有6個地區 每個區域有不同的地點
從html裡可以看到不同區域內,裡頭的地點有不同的value
目前我想做的事是「把不同地區的每個地點都爬出來」
爬了一些文章
像這種類似「下一頁」的概念,大概知道關鍵點是「找到網址規律」
遇到的問題是 不同的6個地區 該網站是用下拉選單做的
切換選單內的地區 並不會讓網址改變 囧
研究了他的html 切換不同的區域只會讓 <option select>改變而已
這樣我就不知道如何去取區域內 不同地點的value了@_@|||
請問在網址不變的情況下 我應該怎麼去爬蟲呢?
謝謝!
作者: MOONY135 (談無慾)   2016-06-10 19:02:00
切換地區之後 過幾秒值改變的意思嗎?那就先研究看看怎樣抓到下拉選單的值 然後每切換完選單之後過幾秒再爬一次該網址應該就可以了吧
作者: ssdoz2sk (眷戀著提拉米蘇的風采~)   2016-06-10 19:29:00
這種下拉式選單我碰過的有兩種,一種是藏在html或JS中一種是利用AJAX的方式跟Server要取資料,所以可以看看開發人員選項網路監控,看看有沒有跟Server交換資訊
作者: blc (Anemos)   2016-06-10 21:06:00
js抓onclick去改form選項
作者: ripple0129 (perry tsai)   2016-06-10 21:28:00
看網頁原始碼有無array已預藏資料,沒有的話就是ajax跟server要的,那就是直接send http request拿json或xml回來。
作者: MOONY135 (談無慾)   2016-06-10 22:38:00
改下拉選單之後 TIMESLEEP(20) 等刷新然後再跑一次這個網址不就是再抓一次了嗎?

Links booklink

Contact Us: admin [ a t ] ucptt.com