小弟剛入門python沒多久
我現在在寫一個爬蟲的東西,處理過程有點複雜,資料量又大,想導入多進程加快速度
我是用進程池pool,但是看網路上的教學好像通過apply_async執行的task只能接收一個引數的樣子
前面有幾個task需要用到的資料已經處理好了,但我不知道怎麼丟進去,有高手能交流一下嗎?
範例:
def task:
(do somthing)
main:(主程式)
a(陣列)
b(陣列)
c(Beautifulsoup)
job = [pool.apply_async(task, (d,)) for d in xxx]
我想把a,b,c這三個每個task都會用的資料丟進task,要怎麼做比較好?