最近接到一個專案要爬購物網站存mySQL
爬分類裡面各產品資訊+內頁詳細資訊
目前已經使用selenium+multithreading寫完
可惜速度不夠快
所以正改用request改寫
但發現不管用什麼方法(session、cookie、payload)都沒辦法取得首頁的商品資訊
已經把網路上能看的解決方式都看過一遍還是無解
另外也試過network的event(貌似是api?
把相關資訊post上去爆出ConnectionError: ('Connection aborted.'
所有能試解法都試過還是無法
有沒有精通的高手幫看一下還有甚麼辦法呢
附上連結
https://www.hktvmall.com/hktv/zh/%E8%B6%85%E7%B4%9A%E5%B7%BF%E5%A0%B4/%E8%B6%85%E7%B4%9A%E5%B8%82%E5%A0%B4/%E5%86%B7%E5%87%8D-%E6%80%A5%E5%87%8D%E9%A3%9F%E5%93%81/main/search?page=0&q=%3Arelevance%3Astreet%3Amain%3Acategory%3AAA11110000000

標題分類跟縮網址都不會嗎...

非親非故又問的不清不楚，願意幫忙的人可能不多:(

你瀏覽器看得到用爬蟲至少能抓個幾次（後續可能被擋）不要放棄

直接回到完成的版本，然後複製多份同時跑，每支爬的範圍指定一下

先縮網址再說

dynamic websites?

印象中好像如果是spa爬蟲抓不到（？）

如果你是女生 幫的人可能會多一點只能給你關鍵字 用wireshark或fiddler看request的rawdata 想辨法模擬出一個一模一樣的request這是get的raw data https://imgur.com/EViD6Ld我網路亂抓的圖 我比較常用fiddler 你可以找個順手的

你很不想問問題？

問chatGPT

你給的這個網址，超級市場分類商品，點進去就timeout了

不好意思第一次在本版發文感謝各位指教

selenium 笑死 怎麼可能快

建議先去搞懂request的運作方式，不然以後也是一個頁面問一次

這兩本書我沒讀過 不過看目錄應該有你要的東西https://www.tenlong.com.tw/products/9787301322697https://www.tenlong.com.tw/products/9787115528735看反爬蟲那個章節就好

selenium不夠快你不會多開幾台?你在那邊破解反爬蟲的成本絕對夠你多開好幾台

多開幾台治標不治本 又浪費效能 學好request才是正解

謝謝各位意見，小弟再回去多研究request

你要先了解request和Selenium兩個爬出來的網頁差異還有運作原理

網路上能看的解決方式都看過一遍？？？你可以看兩遍

連縮網址都不會你回去報資測會比較快

凶

有些反爬蟲技術就不是requests學好就能解決的

弱弱問一下，用爬蟲進行商業行為（外包），這樣不違法嗎…？

爬蟲大部份都是違法的 請低調使用

之前請益過，有一說是真的要起訴的話，可能需要舉證爬蟲的運作造成的實際損失。有些爬蟲比如是電商販售物品，沒有公開 API 又希望第三方行銷團隊或是其他平台想要同步銷售而去爬取資料，好像就比較難判斷。建議還是了解一下對方意圖會比較好

真的不行就headless，慢了一點但是在背景慢慢爬，太快有時候反而也會被擋

謝謝大家的解說

這種通常要另外打 API 拿到資料，如果習慣爬蟲寫法可以考慮 jsdom，比 headless 再更輕量點

如上推文 爬蟲是灰色地帶 慢不一定是壞事 別人不讓你爬事小 告你事大 要快也不是不行 不論你用不用合法的方式還是要付錢 直接跟購物網站接洽比較好

快速就是固定時間增加request數量，小型點的就營運會卡了。