[問題] 爬蟲下載影片 愈到權限問題

作者: neiltsang (CatLulu)   2020-06-29 03:41:51
如題目
我在下載某公開課的影片 基本上網站原始碼就可以看到url了
格式.mp4清清楚楚
不過後面會用"?"來加上一串字符 當作辨認權限
ex:
mp4.?e=1593381585&ri=1024&rs=85&h=d70001afb7cc65a247c2af14c1a242dc'
而小弟本人使用以下方法來下載影片 :
import requests
import shutil
def download_file(url):
local_filename = url.split('/')[-1]
with requests.get(url, stream=True) as r:
with open(local_filename, 'wb') as f:
shutil.copyfileobj(r.raw, f)
return local_filename
除非影片本身純粹是.mp4 否則加上?後一串似乎就無法requests
成為Invalid argument 想請問各位該如何解決?
作者: TakiDog (多奇狗)   2020-06-29 04:13:00
去觀察是不是需要攜帶header or cookie吧
作者: neiltsang (CatLulu)   2020-06-29 14:19:00
我有加了 不是這個問題 主要是網站後面要加一串碼 但加了不知道該怎麼下載
作者: kenduest (小州)   2020-06-29 14:50:00
若只是純 url, 你開無痕瀏覽模式瀏覽器貼上去是否可下載
作者: alvinlin (林矜業)   2020-06-29 16:07:00
作者: salmon12706 (Ellen)   2020-06-29 16:13:00
工研院人工智慧課程推薦https://reurl.cc/4RDRaK
作者: TakiDog (多奇狗)   2020-06-29 16:41:00
你requests url有query string他也會一起送,爬蟲要模仿整個瀏覽器,先跟k大說的你用無痕看能不能載你貼的function中requests也不是session 你試試看吧
作者: alvinlin (林矜業)   2020-06-29 17:31:00
和無 沒關係吧無痕*
作者: TakiDog (多奇狗)   2020-06-30 03:46:00
用無痕可以快速排除是不是會檢查cookie
作者: vi000246 (Vi)   2020-06-30 11:04:00
其實你用無痕貼上mp4 url就能知道是哪邊問題了
作者: alvinlin (林矜業)   2020-07-01 13:23:00
我看解釋是無痕會"自動移除"cookie,不是檢查.純討論非戰

Links booklink

Contact Us: admin [ a t ] ucptt.com