[問題] 抓不到YouTube搜尋結果的href

作者: s09173120901 (關你屁事)   2018-01-29 04:16:08
大家好,寒假到了,無聊寫寫爬蟲
如題,我卡關了,不論我用get還是find都抓不到調皮的href,只會print標題而已
因為我只想抓第一個,所以我這樣寫,求各路大神幫忙(困擾我好幾天了都睡不好覺)
https://i.imgur.com/k18flRu.jpg
https://i.imgur.com/0Hvg6u1.jpg
https://i.imgur.com/qYB59v1.jpg
from selenium import webdriver import time from bs4 import BeautifulSoup from se
lenium.webdriver.common.keys import Keys browser=webdriver.Chrome() browser.impl
icitly_wait(1) browser.get('https://www.youtube.com') time.sleep(5) URL="" for d
ata in open('test.txt','r',encoding='UTF-8'): 胬? data=data.strip() 胬? br
owser.get('https://www.youtube.com/results?search_query='+data+"+OP") 胬? sou
p=BeautifulSoup(browser.page_source) 胬 time.sleep(2) 胬? for i in soup.f
ind('a','yt-simple-endpoint style-scope ytd-video-renderer'): # 找尋第一個 <div>
區塊且 class="img_div_width" 胬胬胬? print (i) 胬胬胬? print ('-'
*50) 胬胬胬? a = i.get('href') 胬胬胬? print (a) 胬胬胬? #U
RL="https://www.youtube.com"+a 胬胬胬? #print (URL) 胬胬胬? print
(-'*100)
作者: s09173120901 (關你屁事)   2018-01-29 04:22:00
第二張圖註解有誤
作者: ckc1ark (偽物)   2018-01-29 11:57:00
find回傳的是<class 'bs4.element.Tag'> 不用再forx = soup.find(....); x.get('href')即可另外 想讓別人幫你找bug 弄個可以複製的code應該是基本的
作者: tentenlee (天天)   2018-01-29 12:59:00
youtube不是有api可以搜尋? 幹嘛那麼麻煩呀?
作者: s09173120901 (關你屁事)   2018-01-30 01:16:00
感謝提醒,已編輯經過一番嘗試 終於理解二樓說的了,十分感謝
作者: jamesxxx1997 (黃~)   2018-01-30 21:48:00
排版...
作者: galeondx   2018-03-06 04:22:00

Links booklink

Contact Us: admin [ a t ] ucptt.com