[問題] Pool and for loop

作者: Draic5566 (拼錯的狄拉克)   2021-08-06 11:59:48
Code 先奉上:
from multiprocessing import Pool
import numpy as np
Nj=2
Dataold=np.zeros((5,Nj))
def MT(i):
DataMT=np.zeros((Nj))
for j in range(0,Nj):
DataMT[j]=Dataold[i,j]+i
return DataMT
if __name__=='__main__':
for k in range(0,2):
pool = Pool(processes=6)
list_start_vals = range(0, 5)
array_3D = np.array(pool.map(MT, list_start_vals))
Dataold = array_3D
print(array_3D[4,0])
pool.close()
output:
4.0
4.0
問題:
原本預計第二個4.0應該要是8.0,因為認為Dataold = array_3D會把原本定
義的Dataold取代掉,並帶入第二圈的k迴圈,但事實上並沒有。
解: 沒事了... 我改在linux上跑就沒問題
而windows會跑失敗,原因大概是spawn和folk的設定差異
(此文不刪,留給有類似問題的人參考)
描述:
1. 第一個4.0是來自於 k=0, 第二個是 k=1
2. 其中一個解法: 把pool.map 改成pool.starmap,並且把Dataold當作參數
但實際要跑的code很巨大,Dataold會是一個巨大的array
因此這樣寫code會跑很慢很沒效率
3. pool.map 會給一個 1*2 的 array
而np.array(pool.map(....))會把上面的array排成 5*2 array
感謝! 我只有微薄的P幣能夠報恩,謝謝
作者: aassdd926 (打東東)   2021-08-06 15:52:00
不知道為何如此,但我會試試看 pass 1D array 進去,不要讓mulitiprocessing 的function access a globalvariable,然後再把吐出來的1D array疊起來,因為以我的了解,不同的process memory space不同

Links booklink

Contact Us: admin [ a t ] ucptt.com