作者:
MAGICXX (逢甲阿法)
2020-11-07 16:15:46我現在用爬蟲去抓資料
可是有時候在下載還沒完成之前 他就又去重新找新的資料 然後就會少抓一筆資料
然後就會跳過一筆資料 害我的資料常常會有缺少
請問一下 selenium 有沒有 "檔案下載完成之後 再做接著的動作" 這種機制
謝謝
作者:
pig98520 (CheinFeng)
2020-11-07 17:41:00加一個檢查檔案是否存在的機制？
作者:
MAGICXX (逢甲阿法)
2020-11-07 18:00:00可是 我下載的檔案都是隨機的亂碼 有辦法判別嗎？而且其實都很小 他們下載很快 點了下載之後 因為他伺服器端處理下載會有延遲 才會發生下載錯誤的問題...
作者:
lambo (Lambo)
2020-11-07 18:06:00已經知道延遲 不然就sleep一下？
作者:
MAGICXX (逢甲阿法)
2020-11-07 18:27:00設太短會沒用 設太長等很久...我剛剛試了一下 大概200~300個檔案會跳一次 很討厭....
土炮一下，搜索下載資料夾檔案有沒有.tmp之類，下載中檔案印象chrome會有不同副檔名
作者:
MAGICXX (逢甲阿法)
2020-11-08 03:10:00因為資料名稱是亂碼 沒辦法先放在for裡面給他跑最後我還是給他sleep...雖然我覺得應該有方法才對...
作者:
LP9527 (ㄊㄇ抽菸都去)
2020-11-08 11:08:00用 「檔案數量 」作判斷啊..
作者:
s860134 (s860134)
2020-11-10 09:14:00檔案數量和 .temp 應該是合理解
作者:
MAGICXX (逢甲阿法)
2020-11-11 11:53:00我最後是去比對 如果沒有crdownload 就繼續抓這樣