[問題] 爬網頁 包含圖片,css,js

作者: qas612820704 (Lego)   2015-03-10 17:14:37
我想要把網頁的頁面包含裡面的圖片,css,js都載下來
我Google了半天 我都只找到 只爬網頁的內容下來
只有爬網頁下來 但是我想一併連local的css js 一起載下來
像是firefox Ctrl+S 載下來的東西 可是要載的有點多
無辦法一個一個用firefox載
請問有什模辦法可以達成嗎?
作者: IAMPF (PF)   2015-03-10 17:55:00
wget -p <url>
作者: mars90226 (火星人)   2015-03-10 18:49:00
你是想用Python寫,還是一般工具?用Python的話,你要自己針對每一個連結去把他載下來瀏覽器在做的事也是看到連結以後再去下載
作者: qas612820704 (Lego)   2015-03-10 19:56:00
那有什摸套件 可以用嗎?我用requests只有html file
作者: yan12125 (姥姥)   2015-03-10 21:18:00
如果不限純python可以試試看phantomjs
作者: qas612820704 (Lego)   2015-03-11 00:23:00
我是要用django來寫這個功能 所以希望是python或是可以用command去call的方法
作者: u1240976   2015-03-12 00:57:00
用 beautifulsoup 去把 html file 的 css/js 的 url抓出再個別 request 每個 url 就可以抓到基本上瀏覽器也是這樣做,每個檔案都要個別發httprequest

Links booklink

Contact Us: admin [ a t ] ucptt.com