[問題] 爬蟲偽元素問題 ks110159 PTT批踢踢實業坊

[問題] 爬蟲偽元素問題

作者: ks110159 (HFDragon) 2018-05-23 15:02:49

小弟最近在練習簡單的爬蟲
使用bs抓取資料
但每每遇到 ::before ::after 之間的資料
像抓取以下中國時報的新聞標題都無法順利抓取
https://i.imgur.com/mnC6a0p.jpg
爬了一下文發現是非html的部分
想請問有什麼方法可以解決這種js的問題

作者: tlaceruse 2018-05-23 16:40:00

關鍵找 js 怎麼吃資料進來的。如果真的找不到那就直接模擬開啟瀏覽器選元素一般都選得到但吃資源問題

作者: ks110159 (HFDragon) 2018-05-23 17:50:00

請問t大模擬瀏覽器選元素是使用selenium嗎

作者: HybridSC (VisionS) 2018-05-25 02:25:00

selenium

作者: ks110159 (HFDragon) 2018-05-25 09:06:00

謝謝h大

繼續閱讀

[問題] 請問如何安裝gmpy2yowantl [問題] django2 apache+wsgi wsgi.py 配置問題wuwt4y [問題] python新手請問array應用的問題panypany [問題] 新手發問關於findppoo1215 Re: [問題] 讀取CSV檔的內容建成物件rexyeah [問題] 讀取CSV檔的內容建成物件ChenXY [問題] 想請問request post要怎麼傳的問題marki [問題] ubuntu 原生pythonx246libra pandas讀檔的問題iphone2003 [問題] PySide2安裝alfredisabug

Contact Us: admin [ a t ] ucptt.com