[問題] bilibili 使用者資訊爬蟲

作者: rocker915 (Kiisar)   2017-08-31 15:16:16
目前是想爬取使用者的資訊
像是關注跟粉絲的人數
然後再爬取那些關注跟粉絲的資訊
https://space.bilibili.com/201293/#!/fans/follow
像是我要爬取這個網頁的話
怎麼樣爬都爬不出關注者列表
原本是用urllib2加header來爬
但後來發現網頁好像是用JS來跑的
改成以下的code
http://codepad.org/oRVQkGF9
但還是一樣的結果
我想爬的內容在 <div id="space-body"></div>裡面 但爬出來都是空的
可以的話還請各位大神們能給點意見
作者: uranusjr (←這人是超級笨蛋)   2017-08-31 16:05:00
Selenium 遇到元素是空的第一件事情先加個 delay 壓壓驚
作者: itisjoe ( _(:3」∠)_)   2017-08-31 16:27:00
bilibili 我之前有抓過播放列表的資訊 ajax 沒有防外連可以用 chrome 的 Developer Tools 開其中的 Network 看https://space.bilibili.com/ajax/* 開頭的都有可能資訊大多都是 json 格式 很好處理
作者: rocker915 (Kiisar)   2017-08-31 16:36:00
謝謝大大們 目前有看到東西了!

Links booklink

Contact Us: admin [ a t ] ucptt.com