[請益] 買Nvdia 50系列顯卡跑大模型?

作者: chanjungwu (chanjung)   2025-01-27 22:11:42
近期想更換顯卡(僅考慮,非必要),
近期AI越來越強大,
時常我會用到deepseek或其他ai來寫寫程式,
想說未來可能如果自己有一個AI在家裡跑,
若考慮到耗電量
翻譯或是寫程式不曉得會不會划算?
也不曉得跑不跑得動(沒這方面經驗)
可能偶而用於生成圖片報告或ppt等,
想請教這邊是否有大大有經驗,
考慮入手50系列最低階的試試看,跑得動嗎?
作者: spfy (spfy)   2025-01-27 22:59:00
跑不動 不用想太多
作者: foodre   2025-01-28 13:02:00
能跑得動的狀置,普通家用插頭都供不了電。
作者: shihkai (加油吧~)   2025-01-28 17:01:00
要自己訓練模型就別想了,現在終端能跑的都是拿別人訓練好的模型來做推論
作者: boringuy (不看不聽不想)   2025-01-28 22:34:00
他只是想跑模型吧,誰會想自己訓練模型去安裝ollama後自己跑模型試試就知道了我的感覺還是花點錢線上跑比較實際
作者: Dcpp2015 (DC)   2025-01-29 02:49:00
跑AI那就是5090了。
作者: yocpswang (伊果)   2025-01-29 14:05:00
不用想,已經買不到了
作者: bioleon (死在巨蟹女)   2025-01-29 15:53:00
只能買3090 4090 5090
作者: lordmi (星宿喵)   2025-01-29 19:10:00
目前用3060 12G跑語言小模型,能用。不過未來模型應該是最低16起跳
作者: fuyofuyo (K.E)   2025-01-30 09:25:00
除非要做規定外功能,寫程式訂閱比較實在
作者: cp296633 (Joey)   2025-01-30 17:17:00
https://ollama.com/library/deepseek-r1/tags4070跑14b(q4_K_M)模型大小9GB 顯存占用也差不多8.9GB獨顯VRAM>6G都能先跑來玩看看啊 ..扣掉下載模型檔案時間RUN起來不用5分鐘..教學水管零度有
作者: likeapig (想換電腦)   2025-01-31 13:46:00
為什麼不是ChatGPT?
作者: jhjhs33504 ( )   2025-02-01 20:26:00
你想到的 老黃都想過了 等機器人的大腦出貨就知道了
作者: WhitePope (白教皇)   2025-02-04 15:10:00
個人跑的模型頂多十億資料等級與完整模型數千億級的相差甚遠玩玩可以,不用抱太大期待連翻譯都翻得文不對題
作者: csgod1325 (alex)   2025-02-05 13:35:00
會跑模型可以直接買張H100來玩架伺服器
作者: arrenwu (鍵盤的戰鬼)   2025-02-06 12:51:00
我覺得你不妨等到你真的有需求的時候在想這件事情?

Links booklink

Contact Us: admin [ a t ] ucptt.com