[請問] 批量網頁的抓取 s4028600 PTT批踢踢實業坊

作者: s4028600 (ä½‘) 2019-02-15 05:19:56

不是抓取網頁中的東西
是抓取網頁本身
我試過用idm抓取
但是因為這個網頁需要登入
導致我所有連結都轉到登入頁面了
有什麼方法可以批量抓取嗎

作者: sa12e3 2019-02-15 09:22:00

請問是要把整個網頁截站嗎？

作者: s4028600 (ä½‘) 2019-02-15 11:25:00

不只有固定格式的一些連結

作者: rick65134 2019-02-15 12:53:00

批量? 所以不只一個頁面要抓? 少量的話就另存新檔大量的話就去找砍站軟體

作者: kobe8112 (小B) 2019-02-15 13:07:00

寫個爬蟲吧

作者: akhot (akhot) 2019-02-15 13:15:00

寫爬蟲最快吧 scrapy 學一下

作者: s4028600 (ä½‘) 2019-02-15 14:21:00

所以目前沒有軟體有辦法囉...

作者: chang0206 (Eric Chang) 2019-02-15 14:35:00

httrack 可以輸入帳號密碼呀

作者: s4028600 (ä½‘) 2019-02-15 15:20:00

http://www.dm5.com/bookmarker-p315/?sort=3登入需要轉頭像沒辦法直接登入

作者: x94fujo6 2019-02-15 15:35:00

要抓漫畫的話有人寫好下載器了

作者: s4028600 (ä½‘) 2019-02-15 15:40:00

我要抓的是bookmarker的目錄不是漫畫

作者: vernc (cralvin) 2019-02-15 21:13:00

Teleport Pro

作者: s4028600 (ä½‘) 2019-02-15 21:48:00

還是卡在登入問題

作者: JustGame (JustGame) 2019-02-16 22:50:00

iMacros for Chrome登入之後用 Chrome 開發者工具複製 cURL 內容，把你要撈的頁面網址依照 cURL 內容寫成批次檔，執行就搞定

作者: s4028600 (ä½‘) 2019-02-16 23:15:00

可惜英文看不懂說不定可以的說

繼續閱讀