※ 引述 《sustainer123 (溫水佳樹的兄長大人)》 之銘言：
:
: pytorch在處理多GPU運算有data parallel跟distributed data parallel
:
: 我理解的前者是用multithread來解這問題 後者是multiprocess
:
: 在Python中 multithread要應對GIL 大量運算問題使用multithread其實不如單線程
:
: 所以data parallel實質單線程?
:
: 另外我昨天搞了個distributed data parallel
:
: 但accuracy比data parallel低超多 這為啥
:
: 超參數都一樣
:
: pytorch好難 哇哇嗚嗚嗚
:
救我 dp跟ddp到底要怎麼改超參數啊
我照chatgpt改 改完還是只上升一些
dp的準確率是0.7 ddp只有0.4
我照文檔做 結果直接報error
還有我明明用8片GPU
結果只要用2片以上搞DDP
馬上報error
dp明明就正常8片
頭好痛