[問題] 大家是怎麼在爬蟲設置代理的

作者: vi000246 (Vi)   2017-09-14 15:52:49
在網路找了幾個project
發現大家對代理設置的方式都不太一樣
有人是用list放幾個proxy位址
有人是寫個爬蟲去爬免費代理的網站
把proxy位址儲放到本機資料庫
再從資料庫撈一個代理出來用
我之前的做法是去某個代理網站
隨機撈一個連線速度比較快 比較多人用的代理
在想要不要自已寫一個抓代理位址的爬蟲
不太想動用到資料庫 最好能直接找一個能用的proxy
想問有現成的lib能用嗎
作者: HahaUreDead   2017-09-18 17:28:00
可以用Tor

Links booklink

Contact Us: admin [ a t ] ucptt.com