※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言：
: 　
: pytorch在處理多GPU運算有data parallel跟distributed data parallel
: 　
: 我理解的前者是用multithread來解這問題 後者是multiprocess
: 　
: 在Python中 multithread要應對GIL 大量運算問題使用multithread其實不如單線程
: 　
: 所以data parallel實質單線程?
: 　
測了一下 我用fashion MNIST測
隨便搓的CNN
DP跑100多秒 單線程49秒
Python多線程==仿賽