Re: [問題] 爬蟲RequestURL的取得

作者: unhumanWu (阿文)   2017-10-09 09:51:42
※ 引述《unhumanWu (阿文)》之銘言:
: 大家好,初學爬蟲
: 最近在蒐集以下網址店點相關資訊
: https://www.aptg.com.tw/store/
: 我是透過區域查詢(縣市及鄉鎮市區)的方式來搜尋店點
: 發現他每個鄉鎮市區都會回傳不同的Request URL
: 各行政區的Request URL長相大概像下面這樣:
: https://imgur.com/a/9qK7J
: 想請教有沒有方法可以知道網站全部行政區的Request URL
: 感恩!
類似的狀況也發生在下面的網址
就是不同行政區回傳不同的Resquest URL
雖然可以手動查,但想知道也沒有其他方法
感恩~
https://www.tstartel.com/CWS/storeLocation.php
作者: s860134 (s860134)   2017-10-09 10:06:00
F12 直接看他 js source code他把原始碼都放在上面了,你 try 幾個應該就有了
作者: uranusjr (←這人是超級笨蛋)   2017-10-09 14:46:00
%E4%B8%AD%E6%AD%A3%E5%8D%80 => 中正區 的 URL encodedformat, 以下都是一樣, 可以直接用 urllib.parse 轉換%E5%8F%B0%E5%8C%97%E5%B8%82 => 台北市
作者: neil987 (R5大小姐-EX人品崩壞)   2017-10-10 04:08:00
作者: s860134 (s860134)   2017-10-10 07:39:00
python3 只要 urlib, python2 散布在 urlpares 和 urlib

Links booklink

Contact Us: admin [ a t ] ucptt.com