[問題] 爬蟲遇到一個不能用的網址 s4028600 PTT批踢踢實業坊

[問題] 爬蟲遇到一個不能用的網址

作者: s4028600 (ä½‘) 2019-11-13 10:01:30

這兩個網址都能在瀏覽器中觀看
res=requests.get("http://www.dm5.com/manhua-gaoda-turn-a/")
print(res.text)
這個網址能跑出我要的資料
但是
res=requests.get("http://www.dm5.com/manhua-gaoda-origin/")
print(res.text)
這個卻會出現訪問頁面不存在的問題
搞不懂問題出在哪裡
試過用User-Agent來模擬瀏覽器
不過還是一樣訪問頁面不存在
明明瀏覽器是正常的...

作者: coeric ( ) 2019-11-13 10:45:00

因為它檢查的不是User-Agent阿.....

作者: s4028600 (ä½‘) 2019-11-13 10:53:00

呃那要怎麽辦我連他檢查什麼都不知道

作者: hoho8 (hoho) 2019-11-13 13:03:00

試了一下，以為是cookies中的「isAdult=1」在搞鬼結果不是，將headers試到剩下最後一句就能讀了'Accept-Language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;....'為什麼是這句?!，真奇怪 @@

作者: coeric ( ) 2019-11-13 13:26:00

樓上 XDDDDD

作者: vi000246 (Vi) 2019-11-13 13:31:00

真奇怪明明一樣的網頁一個正常另一個不能讀

作者: hoho8 (hoho) 2019-11-13 13:41:00

因為一個有18禁，可是keypoint卻又不是cookie isAdult上

作者: s4028600 (ä½‘) 2019-11-13 14:00:00

什麼意思？有誰解釋一下嗎？行了...但這句是什麼意思為什麼會說為什麼是這句？原來是在f12裡面的東西所以是偽裝不夠徹底的原因因為只聽說偽裝瀏覽器就好了...

作者: s860134 (s860134) 2019-11-13 19:44:00

該送啥就送啥最好跟瀏覽器一致

繼續閱讀

[問題] 請問初學者看"王者歸來"需要看最新版的嗎wangks [問題] 如何在EXE檔被關閉時做清理動作XperiaZ6C [心得] 讓Spyder有真正的暗色主題brad0315 [問題] list問題chenbigdog [問題] request.get()無效?e12518166339 [問題] 關於NN之準確度無法上去oo855050 [問題] 安裝darkflow問題ctr1 [問題] Python關閉網頁tabDminor [問題] 如何將文件寫出後寫入s4028600 [問題] list問題chenbigdog