程式碼在
https://ideone.com/3ZTGat
opencc是下面這個版本
https://pypi.org/project/opencc-python-reimplemented/
環境是python3.8, windows8.
#1 result = []
#2 for i in range(total):
#3 res = pool.apply_async(self.func1, args=(i,))
#4 result.append(res)
#5 pool.close()
#6 #pool.join()
#7 self.aa = OpenCC('s2twp')
1. 如果self.aa有設值，程式跑完需要16秒
2. self.aa拿掉的話0.13秒就跑完
3. 如執行pool.join()，結果是0.18秒
4. 把#7把放pool.join前面，並執行pool.join()，結果16秒
5. 把#7加到__init__，並執行pool.join()，結果16秒
6. 把self.aa = OpenCC(..)改成 aa=OpenCC(..), 0.1x秒
感覺只要apply_async的任務跑完前，把OpenCC指給self，就會卡卡的，
問題感覺是出在opencc, 請問有可能是什麼原因？
opencc只有一隻py檔，就下面這隻
https://github.com/yichen0831/opencc-python/blob/master/opencc/opencc.py
作者:
djshen (djshen)
2020-04-27 02:39:00不懂和multiprocessing有什麼關係
作者: MARGHT 2020-04-27 03:24:00
的確沒關係
作者:
djshen (djshen)
2020-04-27 10:39:00不懂和multiprocessing有什麼關係
作者: MARGHT 2020-04-27 11:24:00
的確沒關係
作者:
TuCH (謬客)
2020-04-28 02:06:00開multiprocess 成本很高 開了是要丟大量運算 平行化的效果才顯現得出來
作者: extraymond (extraymond) 2020-04-28 05:45:00
在linux下面跑，最花時間的是24行，拿掉就0.1x秒不過滿不固定的，你原始的code有時候也會0.1X秒如果你把self.func1移出a，最慢的情況會變成0.3X印象位置multiprocess你傳object進去，他會複製整份a，包含a.test 時間差異應該從這邊找應該會有些結果
作者:
djshen (djshen)
2020-04-28 06:55:00map的時候會pickle method, 剛好你傳的是bound method會把整個object一起pickle 然後傳到child process又剛好pickle是在get的時候才call你可以試試看print(len(pickle.dumps(self.func1)))一開始想成copy on write
作者:
TuCH (謬客)
2020-04-27 18:06:00開multiprocess 成本很高 開了是要丟大量運算 平行化的效果才顯現得出來
作者: extraymond (extraymond) 2020-04-27 21:45:00
在linux下面跑，最花時間的是24行，拿掉就0.1x秒不過滿不固定的，你原始的code有時候也會0.1X秒如果你把self.func1移出a，最慢的情況會變成0.3X印象位置multiprocess你傳object進去，他會複製整份a，包含a.test 時間差異應該從這邊找應該會有些結果
作者:
djshen (djshen)
2020-04-27 22:55:00map的時候會pickle method, 剛好你傳的是bound method會把整個object一起pickle 然後傳到child process又剛好pickle是在get的時候才call你可以試試看print(len(pickle.dumps(self.func1)))一開始想成copy on write
作者:
AndCycle (AndCycle)
2020-04-29 00:08:00你要考慮跑 process 起來的代價跟考慮他會活多久
作者:
zerof (貓橘毛發呆雕像)
2020-04-30 23:54:00樓樓上正解
作者:
jn8029 (宅男8029)
2020-05-04 22:00:00