[問題] 抓取 Google Play 評分內容

作者: chan15 (ChaN)   2019-05-07 13:34:03
各位好,請教一個爬蟲的問題,以 facebook app 為例
https://play.google.com/store/apps/details?id=com.facebook.katana
https://i.imgur.com/toqUOYV.png
這是我原本撈取的部分,86,815,373 total 這個數字之前會分散在右邊 1-5 的區塊
可以個別抓取不同等級的個別數量,但前兩天發現 Google 把數字移除了
取而代之的是將他放在 HTML JS 那邊成為變數計算 bar 的寬度
檢視 source code 的時候會發現
https://i.imgur.com/GHvkbmh.png
紅色為 total,是藍色部分的總和,依照比例推敲藍色部分就代表 1-5
我目前是使用 urllib + pyquery 爬網頁,查過文章有看過用 split 來擷取 JS variable 的內容
感覺上是有點風險,不知道有沒有什麼比較穩定的方式或套件可以達到這個目的

Links booklink

Contact Us: admin [ a t ] ucptt.com