[問題] beautifulsoup爬蟲問題

作者: snakei14702 (sun)   2020-01-03 05:51:32
小弟寫了一段程式碼爬蟲
不過很怪
這個網站有部分爬得出來
(https://histock.tw/stock/mainprofit.aspx?no=00632R&from=20181102&to=20181102)
有部分爬不出來
像是我要找這個網站的'table'
https://i.imgur.com/eqSE67i.jpg
寫了以下程式碼確找不到:
import requests
from bs4 import BeautifulSoup
source = requests.get('https://histock.tw/stock/mainprofit.aspx?no=00632R&from
=20181102&to=20181102', verify= False)ꀊ
soup = BeautifulSoup(source.text, ["lxml-xml"])
table = soup.find('table')
print(table)
可是有的tag找的到
我去讀soup用肉眼搜尋
裡面還真的沒有table這個tag
不知道是我用的方法不對還是怎樣
麻煩版上強者幫忙解惑了
謝謝!!
作者: TuCH (謬客)   2020-01-03 10:04:00
應該是動態網頁
作者: penut85420 (PenutGGorz)   2020-01-03 12:43:00
.aspx網頁應該是動態生成網頁內容可以試試看用selenium套件去爬內容再套bs4
作者: snakei14702 (sun)   2020-01-03 15:21:00
謝謝兩位我晚上試試感謝
作者: f496328mm (為什麼會流淚)   2020-01-04 23:32:00
bs4 會有讀不到的問題,我之前也用bs4後來改用 lxml
作者: TakiDog (多奇狗)   2020-01-05 02:53:00
lxml速度快的多,用selenium下下下策,看一下封包用requests吧
作者: poototo (poototo)   2020-01-05 08:21:00
selenium把瀏覽器視窗及載圖關掉

Links booklink

Contact Us: admin [ a t ] ucptt.com