[問題] 瀑布式網頁爬蟲問題 superpaden PTT批踢踢實業坊

作者: superpaden (趴瞪) 2021-02-02 01:02:29

請問各位30cm Ecup鄉親們:
小弟最近在爬蟲使用selenium爬蟲時出現了一點障礙，就是
當瀑布式網頁下滑太多時，電腦的記憶體會炸開。目前的解決方法是在chrome options 添
加

作者: x94fujo6 2021-02-02 06:05:00

用JS刪掉抓完資料的element?

作者: supremebboy (1234) 2021-02-02 09:07:00

用requests +bs4 爬

作者: ToastBen (吐司邊) 2021-02-02 13:26:00

a大他可能要爬動態資料吧？

作者: superpaden (趴瞪) 2021-02-02 14:57:00

對的我要爬動態資料

作者: aidansky0989 (alta) 2021-02-02 16:51:00

一樣用requests爬，盡量不要用s

作者: vi000246 (Vi) 2021-02-02 17:31:00

用request吧

作者: supremebboy (1234) 2021-02-02 19:56:00

瀑布式大部分都是下拉時再發請求去拿資料去看開發者工具用requests 發出一樣的請求

作者: taipoo (要成功要積極) 2021-02-03 04:15:00

用selenium爬蟲很慢的

作者: TakiDog (多奇狗) 2021-02-03 22:49:00

你要懂網路，網路才會懂你，requests香噴噴，沒極端反爬需求不要Selenium

繼續閱讀