[問題] multiprocess變得很慢?

作者: tsaiminghan (tsaiminghan)   2020-04-27 02:02:07
程式碼在
https://ideone.com/3ZTGat
opencc是下面這個版本
https://pypi.org/project/opencc-python-reimplemented/
環境是python3.8, windows8.
#1 result = []
#2 for i in range(total):
#3 res = pool.apply_async(self.func1, args=(i,))
#4 result.append(res)
#5 pool.close()
#6 #pool.join()
#7 self.aa = OpenCC('s2twp')
1. 如果self.aa有設值,程式跑完需要16秒
2. self.aa拿掉的話0.13秒就跑完
3. 如執行pool.join(),結果是0.18秒
4. 把#7把放pool.join前面,並執行pool.join(),結果16秒
5. 把#7加到__init__,並執行pool.join(),結果16秒
6. 把self.aa = OpenCC(..)改成 aa=OpenCC(..), 0.1x秒
感覺只要apply_async的任務跑完前,把OpenCC指給self,就會卡卡的,
問題感覺是出在opencc, 請問有可能是什麼原因?
opencc只有一隻py檔,就下面這隻
https://github.com/yichen0831/opencc-python/blob/master/opencc/opencc.py
作者: djshen (djshen)   2020-04-27 02:39:00
不懂和multiprocessing有什麼關係
作者: MARGHT   2020-04-27 03:24:00
的確沒關係
作者: djshen (djshen)   2020-04-27 10:39:00
不懂和multiprocessing有什麼關係
作者: MARGHT   2020-04-27 11:24:00
的確沒關係
作者: TuCH (謬客)   2020-04-28 02:06:00
開multiprocess 成本很高 開了是要丟大量運算 平行化的效果才顯現得出來
作者: WusoAiwen (Wuso)   2020-04-28 03:48:00
沒有大量運算用multiprocess反而會變慢
作者: extraymond (extraymond)   2020-04-28 05:45:00
在linux下面跑,最花時間的是24行,拿掉就0.1x秒不過滿不固定的,你原始的code有時候也會0.1X秒如果你把self.func1移出a,最慢的情況會變成0.3X印象位置multiprocess你傳object進去,他會複製整份a,包含a.test 時間差異應該從這邊找應該會有些結果
作者: djshen (djshen)   2020-04-28 06:55:00
map的時候會pickle method, 剛好你傳的是bound method會把整個object一起pickle 然後傳到child process又剛好pickle是在get的時候才call你可以試試看print(len(pickle.dumps(self.func1)))一開始想成copy on write
作者: TuCH (謬客)   2020-04-27 18:06:00
開multiprocess 成本很高 開了是要丟大量運算 平行化的效果才顯現得出來
作者: WusoAiwen (Wuso)   2020-04-27 19:48:00
沒有大量運算用multiprocess反而會變慢
作者: extraymond (extraymond)   2020-04-27 21:45:00
在linux下面跑,最花時間的是24行,拿掉就0.1x秒不過滿不固定的,你原始的code有時候也會0.1X秒如果你把self.func1移出a,最慢的情況會變成0.3X印象位置multiprocess你傳object進去,他會複製整份a,包含a.test 時間差異應該從這邊找應該會有些結果
作者: djshen (djshen)   2020-04-27 22:55:00
map的時候會pickle method, 剛好你傳的是bound method會把整個object一起pickle 然後傳到child process又剛好pickle是在get的時候才call你可以試試看print(len(pickle.dumps(self.func1)))一開始想成copy on write
作者: AndCycle (AndCycle)   2020-04-29 00:08:00
你要考慮跑 process 起來的代價跟考慮他會活多久
作者: zerof (貓橘毛發呆雕像)   2020-04-30 23:54:00
樓樓上正解
作者: jn8029 (宅男8029)   2020-05-04 22:00:00

Links booklink

Contact Us: admin [ a t ] ucptt.com