1. PTT
  2. Marginalman

懂深度學習的請進

作者: sustainer123 (caster)   2024-12-16 17:36:56
一樣分散式訓練的問題
我拿fashion MNIST當實驗品
然後十次疊代
超參數隨便調
單卡跟DP的Batch設64
4卡設16
跑出來的時間分別是
單卡:49秒
DDP:84秒
DP:107秒
我無法理解為啥DDP會低成這樣
而且我用4張A100 沒道理輸一張A100吧
作者: sustainer123 (caster)   2024-12-16 17:37:00
模型就DNN 隨便搓的
繼續閱讀
[閒聊] 全世界選美都在政治正確VedanRe: [ZZZ] 1.5的內鬼資訊更新ParkChanWookRe: [閒聊] POE2whatthefk[日旅] 來鄉下看風景SadolapapaRe: [對話] JIWP要不要買這個toy123456655Re: [BGD ] 中国台湾，“北漂”到台北的年轻人，正在JoJo111[台籃] 鬧場就是鬧場，什麼祝對方聖誕快樂，十幾joejoe14758Re: [閒聊] 你板麥塊大師請進crimsonmoon9[姆咪] 還有糕手v03516020[閒聊] 車上的三角警示牌都放哪裡kevinlee2001

Links booklink

Contact Us: admin [ a t ] ucptt.com