[問題] 神秘金字塔爬蟲問題

作者: kakar0to (Poker Face)   2019-10-26 13:54:24
請問有人會爬神秘金字塔的網頁嗎?
例如下面這個頁面
https://norway.twsthr.info/StockHolders.aspx?stock=0050
我想把這些資訊爬出來
20191025 703,000 89,452 7.86 450,780 64.12 75 20 5 5 45 61.57 88.80
20191018 753,500 90,255 8.35 498,135 66.11 72 16 5 5 46 64.01 87.95
...
我觀察網頁原始碼, 這些資訊大概在這兩種標籤的<td>裡面.
<tr class='lDS'> 與 <tr class='lLS'>
不過我用beautifulSoup 去撈<tr class='lDS'>這個tag,
似乎也會撈到<tr class='lLS'>這個tag裡面的<td>的資訊
code如下,
soup = BeautifulSoup(respStr,'html.parser')
tr_list = soup.find_all('tr')
for idx,tr in enumerate(tr_list):
if tr.get('class') == ['lDS']:
td_list = tr.find_all('td')
for idx2,td in enumerate(td_list):
print(td.text)
想問是不是有可能beautifulSoup有機會parse錯誤?
如果是的話 有大大知道怎麼解決這個問題嗎?
或者給我個建議 可以用什麼其他的方式把這些資訊爬出來?
感謝.
作者: ckc1ark (偽物)   2019-10-26 15:02:00
div.get => tr.get ?
作者: kakar0to (Poker Face)   2019-10-26 15:23:00
div.get 是我打文章筆誤 code是tr.get已修正文章
作者: ppc0715 (Casper)   2019-10-29 12:04:00
使用pandas 處理應該會簡單點吧

Links booklink

Contact Us: admin [ a t ] ucptt.com