[問題] 新手請益 爬蟲資料停止更新

作者: faithinu (彩色的肝)   2020-12-09 22:37:42
各位前輩大家好
小弟爬蟲新手
因為真的很想去五月天的演唱會
所以寫了程式去爬 drama-ticket版
邏輯上大概是每隔一小段時間爬這個版的第一頁
如果文章標題有"售"跟"五月天" 就會傳line提醒我
只爬第一頁是因為沒有特殊狀況的話
一分鐘內的文章數應該不會超過一頁
程式碼如下
https://ideone.com/Z2psBR
https://i.imgur.com/mFz6oL4.png
執行起來長這樣
https://i.imgur.com/SDsWbkL.png
寫完測試沒問題之後我有包成.exe方便使用
但我發現有時候他就莫名停下來不會在更新了
也不會一直更新等待時間
請問執行過程中有可能出現哪些問題導致這樣的情況發生呢?
小弟的理解是 就算網頁讀取錯誤 應該只會找不到標籤
然後繼續往下執行 想不到會在哪裡產生runtime error
謝謝
作者: kane111 (kane)   2020-12-09 23:18:00
request的時候要先用try?
作者: TakiDog (多奇狗)   2020-12-10 00:54:00
網頁如果是有問題的,後續找標籤又index 可能IndexError檢查status_code 做好log紀錄,方便後續找錯
作者: f496328mm (為什麼會流淚)   2020-12-10 14:00:00
request 設個timeout
作者: bochengchen (LFII)   2020-12-12 18:01:00
Ptt altert可以看看

Links booklink

Contact Us: admin [ a t ] ucptt.com