[問題] 爬蟲如何做到多進程異步處理 surimodo PTT批踢踢實業坊

[問題] 爬蟲如何做到多進程異步處理

作者: surimodo (好吃棉花糖) 2022-10-05 10:48:08

模擬程式碼大概這樣
https://pastebin.com/Ty672dLY
先創進程池
然後在裡面跑任務
不過是跑不動的
要移除第八行 async 跟第十四行的 await
才能跑(而且就算移除有機率會卡死)
但移除後
其實只是加一堆冗餘程式碼跑同步處理沒有異步處理
我哪裡需要修改
才能在單一進程裡面執行異步處理

作者: lycantrope (阿寬) 2022-10-05 11:06:00

你搞混concurrent跟async

作者: timsheu (為道日損) 2022-10-05 15:23:00

沒仔細看你其它部份，但你的do_stuff裡面的sleep不能用time.sleep，得改用 await asyncio.sleep

作者: cocoaswifty (coco) 2022-10-05 18:17:00

43行加個tab

作者: lycantrope (阿寬) 2022-10-06 08:41:00

是44行多個tab吧 async內用time.sleep就會停住所有coroutines

作者: zerof (貓橘毛發呆雕像) 2022-10-07 00:35:00

嚇歪你是不是想找：https://www.books.com.tw/products/0010867281

繼續閱讀

Re: [問題] 簡單寫一個PicPick的外掛程式Hsins [問題] Linebot，回傳及時爬蟲資料(續)crazystyle63 [問題] import requests 出現問題ccs93313 [問題] 簡單寫一個PicPick的外掛程式note100 [問題] 在python上read_csv問題vianvian1213 [問題] 請問如何選取目標時間willie88ai [問題] GUI framework選擇liupoyip [問題] 多張照片截圖問題awaysu Mac 更新後打不開 PyCharmjackchen5577 [問題] 請問dataframe欄位順序的查找tuberosum