[閒聊] selenium大師請進 Rushia PTT批踢踢實業坊

[閒聊] selenium大師請進

作者: Rushia (みけねこ的鼻屎) 2023-01-10 16:40:58

https://www.scbeasy.com/v1.4/site/presignon/index_en.asp
這家垃圾銀行用selenium headless模式的ChromeDriver訪問
網頁的元素都會抓不到或死圖欸但是用不是headless模式就正常
有人遇過這種情況嗎有人知道這是啥問題我給你一萬p 謝謝謝謝喔

作者: lopp54321010 (嘻嘻010) 2023-01-10 16:45:00

screenshot看看ㄚ

作者: Rushia (みけねこ的鼻屎) 2023-01-10 16:47:00

https://i.imgur.com/obef0J2.png

作者: kerycheng (kk) 2023-01-10 16:56:00

你要抓什麼元素?

作者: Rushia (みけねこ的鼻屎) 2023-01-10 16:57:00

我要抓的元素登入之後才有捏登入完只會顯示這張圖

作者: kerycheng (kk) 2023-01-10 16:57:00

靠北，這個網頁好猛喔一堆文字都是圖片所以你是要先抓網頁的元素去做爬蟲帳號登入嗎?

作者: Rushia (みけねこ的鼻屎) 2023-01-10 17:01:00

我登入成功的跳轉有問題+了headless之後就跳403

作者: kerycheng (kk) 2023-01-10 17:01:00

所以是爬蟲登入完又回到登入前的頁面?

作者: Rushia (みけねこ的鼻屎) 2023-01-10 17:03:00

看起來比較像錯誤頁面怪怪的點是不加headless就可以加載https://i.imgur.com/qM4RO9R.png 登入完長這樣

作者: kerycheng (kk) 2023-01-10 17:04:00

應該是網頁會去做反爬蟲校驗用headless會遇上這個問題

作者: Rushia (みけねこ的鼻屎) 2023-01-10 17:05:00

就不知道怎麼繞過麻煩

作者: kerycheng (kk) 2023-01-10 17:06:00

你有用user-agent嗎

作者: Rushia (みけねこ的鼻屎) 2023-01-10 17:10:00

有阿不過有時候會跳出叫我打驗證碼的頁面= =

作者: kerycheng (kk) 2023-01-10 17:14:00

那估計沒辦法了你只能查查看有沒有方法繞驗證碼

作者: Rushia (みけねこ的鼻屎) 2023-01-10 17:15:00

驗證碼只能直接用第三方的API解惹但是很貴他到底怎麼偵測的太難惹= =

作者: kerycheng (kk) 2023-01-10 17:20:00

不然就是你user-agant要一個一個元素去加看反爬蟲是根據哪個去判斷的欸不對user-agent只有一個我把其他元素搞混了

繼續閱讀

Re: [取暖] 線蟲為啥這麼愛尻洗leopika [閒聊] 不好笑笑話gggiantguy [邊緣] 調高額度....好難ChrisDavis Re: rrraaayyy: 你有30萬的耳機paul1951 耳機EMANON231 [瓦特] 昨天的en狗阿公a5WaGyu Re: [閒聊] 我租了一部A片大家要圍在一起打手槍嗎mayolane Re: [閒聊] 支持民進黨的板友請進better83214 Re: [閒聊] 支持民進黨的板友請進cloudlaba [閒聊] 泰國抓龍精sole772pk37