Re: [問題] 新手學python想抓網頁資料

作者: alvinlin (林矜業)   2019-07-26 10:25:46
幫你實做了一下順便當練習。給你參考。
import sys
import bs4 as bs
from PyQt4.QtGui import QApplication
from PyQt4.QtCore import QUrl
from PyQt4.QtWebKit import QWebPage
import urllib.request
import pandas as pd
class Client(QWebPage):
def __init__(self, url):
self.app = QApplication(sys.argv)
QWebPage.__init__(self)
self.loadFinished.connect(self.on_page_load)
self.mainFrame().load(QUrl(url))
self.app.exec_()
def on_page_load(self):
self.app.quit()
url = 'http://ww2.money-link.com.tw/etf/Ranking2.html'
client_response = Client(url)
source = client_response.mainFrame().toHtml()
soup = bs.BeautifulSoup(source, 'lxml')
js_test = soup.find('table', class_='ETF_table_2 sticky-enabled')
print(js_test.text)
https://i.imgur.com/IlD0trt.jpg
要下載PyQt4
https://i.imgur.com/FcPpN6C.jpg
※ 引述《yeeche (yeech)》之銘言:
: 各位前輩好
: 小弟是python新手 程度應該很low
: 想請教一下用python抓網頁的功能
: http://ww2.money-link.com.tw/etf/Ranking2.html
: 我想抓取這個網頁的
作者: yeeche (yeech)   2019-07-26 12:34:00
真是太感動了 大感謝 我先好好學習!!
作者: HenryLiKing (HenryLiKing)   2019-07-26 13:39:00
原來還可以這樣用 PyQT!!! 好厲害!!請問PyQT會像selenium一樣被偵測出是機器人嗎QQ?
作者: alvinlin (林矜業)   2019-07-26 15:02:00
ㄟ...我其實整個程式都是照原原po裡有篇YouTube連結裡的原封不動照抄。只有HTML的Tag和Class換掉而已。在這之前也沒看過。
作者: brt   2019-07-26 15:39:00
pyqt那個只是包裝的瀏覽核心真正抓的還是BS
作者: vi000246 (Vi)   2019-07-26 22:21:00
怕被偵測機器人可能要學如何偽裝表頭了
作者: poem5566 (幹你蜆仔)   2019-07-30 16:23:00
太感謝了 感恩分享

Links booklink

Contact Us: admin [ a t ] ucptt.com