[問題] 檔案下載完畢後才繼續 MAGICXX PTT批踢踢實業坊

作者: MAGICXX (逢甲阿法) 2020-11-07 16:15:46

我現在用爬蟲去抓資料
可是有時候在下載還沒完成之前他就又去重新找新的資料然後就會少抓一筆資料
然後就會跳過一筆資料害我的資料常常會有缺少
請問一下 selenium 有沒有 "檔案下載完成之後再做接著的動作" 這種機制
謝謝

作者: pig98520 (CheinFeng) 2020-11-07 17:41:00

加一個檢查檔案是否存在的機制？

作者: MAGICXX (逢甲阿法) 2020-11-07 18:00:00

可是我下載的檔案都是隨機的亂碼有辦法判別嗎？而且其實都很小他們下載很快點了下載之後因為他伺服器端處理下載會有延遲才會發生下載錯誤的問題...

作者: lambo (Lambo) 2020-11-07 18:06:00

已經知道延遲不然就sleep一下？

作者: MAGICXX (逢甲阿法) 2020-11-07 18:27:00

設太短會沒用設太長等很久...我剛剛試了一下大概200~300個檔案會跳一次很討厭....

作者: andy19960407 (258698) 2020-11-07 22:49:00

直接先判定好要下載哪些資料在for 起來載勒？

作者: Pieteacher (pieteacher) 2020-11-07 22:52:00

time.sleep()

作者: ripple0129 (perry tsai) 2020-11-08 00:23:00

土炮一下，搜索下載資料夾檔案有沒有.tmp之類，下載中檔案印象chrome會有不同副檔名

作者: MAGICXX (逢甲阿法) 2020-11-08 03:10:00

因為資料名稱是亂碼沒辦法先放在for裡面給他跑最後我還是給他sleep...雖然我覺得應該有方法才對...

作者: TitanEric (泰坦) 2020-11-08 09:11:00

https://reurl.cc/R1Er7g感覺可以用以上chrome內建機制解

作者: LP9527 (ㄊㄇ抽菸都去) 2020-11-08 11:08:00

用「檔案數量」作判斷啊..

作者: annheilong (方格子) 2020-11-09 10:22:00

你有辦法下載檔案就會知道檔名吧？

作者: s860134 (s860134) 2020-11-10 09:14:00

檔案數量和 .temp 應該是合理解

作者: MAGICXX (逢甲阿法) 2020-11-11 11:53:00

我最後是去比對如果沒有crdownload 就繼續抓這樣

繼續閱讀