[問題] Selenium爬資料時點不到下一頁

作者: timwen (婚前憂鬱症)   2019-02-12 03:13:05
小弟爬蟲新手
之前看到網路有人分享爬世界盃的隊伍資料的程式碼
就抄下來練習...
http://zq.win007.com/big/team/TeamSche/19.html
這是我練習的網頁,英超Arsenal的球隊賽程
我想練習把這52頁的賽程抓下來
我的程式碼如下:
# -*- coding: UTF-8 -*-
import selenium
import bs4
import traceback
import time
import csv
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common import keys
driver=webdriver.Chrome()
driver.get('http://zq.win007.com/big/team/TeamSche/19.html')
target=driver.find_elements_by_xpath('//div[@id="div_Table2"]/table/tbody/tr')
for index in range(60):
...程式碼省略...
print(mergegame)
driver.find_elements_by_link_Text('下一頁').click()
driver.close()
我點選不到下一頁,執行60次的迴圈時,
會不斷重複抓第一頁的資訊
如果不能用link_text,有更好的解決方法嗎??
第一次發文,不知道描述的問題跟提供的線索足不足夠
搜尋舊文找Selenium時也找不到相關線索
還請大家海涵...
感謝解答
作者: rexyeah (ccccccc)   2019-02-12 08:04:00
find by css selector or by xpath呢?
作者: HenryLiKing (HenryLiKing)   2019-02-12 08:35:00
你要看看是不是已經被當作機器人了,有可能被塞假資料了OAO
作者: wsybu (%小步步%)   2019-02-12 14:47:00
設定一下useragent...因為我記得預設user agent裡面有headless的字串..可能會被server發現
作者: max0616 (MAX)   2019-02-13 23:27:00
用用看xpath吧
作者: ntumath (math mad)   2019-02-14 02:14:00
你用的是find_elements,回傳的是一個listdriver.find_elements_by_link_text('下一頁')[0].click如果你改用css或xpath還是用elements的話,會鬼打牆XD

Links booklink

Contact Us: admin [ a t ] ucptt.com