[問題] python爬取蝦皮聊聊ID的方法 Dannybigma PTT批踢踢實業坊

作者: Dannybigma (可口) 2024-07-09 16:13:43

小弟超級業餘
想把蝦皮聊聊的客戶ID都抓下來（1500個）
原本以為只要html即可
結果只能抓到當頁的html（差不多30個）
就算捲到底部也不能把所有Id抓下來
不知道各位大師有沒有建議的方法感激不盡

作者: TimmyWendell (流浪提米) 2024-07-12 20:34:00

可以描述一下你的做法和工具，不然比較難看出來有什麼問題

作者: Dannybigma (可口) 2024-07-13 01:00:00

我做法是直接按F12 進去複製html但是複製下來經過python分析只有取出30幾個當滾輪往下不管滾多久時也只能取出30幾個ID目前只有想到就是一直滾一直複製（但是實在很耗時加上又要對有沒有重複）全部加起來的ID有16000個實在想不出什麼其他方法，希望有大師指點一下

作者: TimmyWendell (流浪提米) 2024-07-13 07:02:00

我菜居，但有興趣可以看看selenium能不能幫到你。

作者: tzouandy2818 (Naked Bear) 2024-07-13 23:55:00

你都寫程式了結果竟然還要手動捲+手動檢查重複

作者: fred1541 ((沒意義)) 2024-07-15 09:59:00

先查一下該網頁內容CSS資料裡面是怎樣換到下一頁有的是利用Jason

作者: max36067 (圍巾喵) 2024-07-16 23:16:00

call api….但可能會被擋

作者: Dannybigma (可口) 2024-07-17 02:14:00

感謝上面的前輩我先研究一下

作者: tomnelson 2024-07-20 16:28:00

利用Jason → 這讓我嘴角失守了Jason(X) JSON(O)當然如果你有朋友剛好叫Jason，而且也剛好會的話，是可以考慮問他啦! :)

作者: vul81320 (vul81320) 2024-07-26 16:49:00

我就是Jason!

作者: KINGWAP (阿姆斯撞) 2024-08-10 12:13:00

可能要先研究如何對付蝦皮的斧頭不然等你這個搞定了一遇到的斧頭就白忙了一場

繼續閱讀