Re: [菜單] 60K 深度學習機

作者: kuarcis   2018-04-15 14:05:08
這邊提供一些個人實作上的經驗
目前要組深度學習機,假如你同時符合以下三個情境:
A.目的是為了學怎麼開發(沒有已經做好的模型)
B.要在某個期限之內有明確產出或結論
C.資金不足以直接全部設備攻頂的狀況下,
強烈建議先把資金砸在CPU上
為什麼呢?
因為深度學習有一件很重要的事情叫做tuning
tuning的時候很難預期參數或是layer到底好不好
這種狀況下最好的策略是:開很多個不同參數的模型,一起訓練
假設你是用NVIDIA的顯卡跑計算,會遇到一個問題:
NVIDIA的顯卡,一個GPU一次只能跑一個任務(計算)
執行的時候可以多個執行序一起排隊等GPU用
但是計算的時候,所有執行序還是要排隊等GPU閒下來
可以參考quora上這篇問答:
https://goo.gl/8thHLG
用CPU同時跑模型其實有類似的問題
但是CPU核心很便宜(跟GPU比),可以直接1950X或是買xeon/epyc解決
接下來,就是真正的問題:
你的模型用CPU跑跟用GPU跑,速度到底差多少
一樣回到前面的三個情境
假如你發現你的模型用CPU跑跟用GPU跑速度只差一倍
(這在開發過程中很合理)
但是你的程式碼在同時訓練多個模型的時候,
GPU版的程式碼要排隊等GPU核心空閒,CPU版的不用
差距會縮小,
甚至整個tuning的過程,可能用CPU做比較快
至於你的程式有多少執行時間,是用在GPU外處理資料的部分
那就是另外一個故事了
大guy4john
※ 引述《bear1222 (棕熊)》之銘言:
: 已買/未買/已付訂金(元):未買
: 預算/用途:練習深度學習,不玩遊戲
: CPU (中央處理器):Intel i7-8700 3.2GHz
: MB (主機板):華碩 ROG STRIX Z370-F GAMING
: RAM (記憶體):金士頓 16G*2 DDR4-2133
: VGA (顯示卡):EVGA GTX1080 FTW GAMING ACX3.0 8G
: HDD (硬碟):WD 1TB (10EZEX) 藍標
: SSD (固態硬碟):Intel 760P 256G
: DVD-RW (燒錄機):無
: PSU (電源供應器):海韻 Focus+ SSR-750FX 750W
: CHASSIS (機殼):F.D R5(永夜黑)靜音款
: MONITOR (螢幕):無
: Mouse/KB (鼠鍵):無
: 其它 (自填):CPU散熱:快睿 H7
: Windows 10 64bit 中文家用隨機版
: 注意1:自稱小妹或會透露自己性別的舉動要注意可能會引來不必要的紛擾,請注意。
: 注意2:標題是否有寫明"預算"、"用途"? 沒有請按Ctrl+x 然後按T改標題
: 注意3:請多加利用線上估價系統來進行估價以及價格查詢 (僅供參考)
: 禁止任何估價系統的連結,估價系統的估價單號
: 與估價系統網址的數字。視為估價單單號。
: 與相關包含手寫、excel、估價系統的擷圖連結。
: 2017/07/01會處罰。
: 菜單文與情報文,禁止任何估價系統連結與擷圖、包含文字估價單號碼。
: (參閱板規1-2-3、1-3-9)
: 違反者:刪文、水桶十日。
: 注意4:為保障您的權益,購物消費請索取統一發票,並盡量以含稅價取貨
: 注意5:若有任何問題請先洽詢板務。
: 除了練習Python TensorFlow、Pytorch等深度學習框架外
: 偶爾也會用Visual Studio寫寫C++ code
: 都主要著重於影像處理、電腦視覺領域
: 請各位大大不吝指教了,謝謝!
: 總價 (未稅/含稅):60068

Links booklink

Contact Us: admin [ a t ] ucptt.com