Re: [問題] 用selenium爬蟲instagram

作者: rexyeah (ccccccc)   2019-02-08 20:56:17
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
(...)
def get_element(self, selector):
ele = WebDriverWait(self.driver, timeout).until(
EC.presence_of_element_located((By.CSS_SELECTOR, selector)))
return ele
===
以前爬的時候看stackoverflow寫的一個等待element被畫好然後回傳element的method
timeout值可以自己設定,不過我沒有處理exception,請原po與大家鞭一下 :)
※ 引述《ms0615122 (Miao~)》之銘言:
: 想請問爬instagram留言的時候
: 需要點選載入更多留言
: 我是使用find_element_by_xpath後.click()
: 因載入留言的時間長不一定
: 雖然有加入time.sleep()但有時還是會來不及載入,想請問有更智能的方法判斷是否已經
: 載入好網頁,我再用.click()嗎?
: (曾經嘗試過driver.implicitly_wait()過,但測試不出效果,可能這個函數只有在更換
: url才有效果?)
: 第一次在板上發問,請有經驗的大大解答一下><,手機排版傷眼抱歉了
作者: Sunal (SSSSSSSSSSSSSSSSSSSSSSS)   2019-02-08 22:01:00
只有我覺得selenium的各種方法很不直覺嗎?XD
作者: utap2001 (尋找一個漫長的答案 )   2019-02-08 22:36:00
這個wait的方法是還蠻不直覺的,好麻煩( ̄~ ̄)
作者: TitanEric (泰坦)   2019-02-08 23:40:00
這感覺有點async
作者: s860134 (s860134)   2019-02-16 00:36:00

Links booklink

Contact Us: admin [ a t ] ucptt.com