python長時間不定期運行 如何記錄執行位置
舉例:
目前我用字典檔關鍵字逐次google搜尋
將結果提取域名儲存
但問題關鍵字有20多萬筆
我目前方式是 將有執行過的關鍵字另外存檔
每次停止腳本時 再去刪除關鍵字已執行的
一直重複 覺得很麻煩
想爬蟲也是會遇到這樣問題 都要紀錄爬到哪裡 重新設定頁數
有沒有什麼通用的方式可以解決呢?
最理想希望 我只需要按執行和停止 直到全部運行完畢
麻煩給些思路 感謝各位

list本身就是個queue，需要的只是pivot

結束時記錄下一個關鍵字，下次再開就會從它開始

好 謝謝分享 我再去爬文

記錄了關鍵字就可以用關鍵字查字典

字典檔A不是被你搜尋過就刪掉了嗎？下次開始執行不就不會重複了？還是你是手動刪除阿？用python寫一個function負責刪查過的不就行了嗎上面提到紀錄下一個關鍵字 你隨便存在一個檔裡 下次打開直到搜到那個關鍵字再開始也行