※ 引述《abcd5566 (塔綠班都垃圾)》之銘言：
: 看電腦板怎一堆人在搶5070Ti顯卡
: 我也在等5070Ti配9800X3D的套裝機出來
: 這年頭連70Ti都會大缺貨
→ linbasohigh: 跑AI的話，至少要買到5090的32G記憶122.121.224.214 02/21 14:06
其實現在有很多框架可以降低 LLM 模型的 VRam 需求量,
我不久前看到一個可以用 8G VRam 跑模型的框架.
當然記憶體大有它的好處,
1.可以跑參數更大的模型,畢竟 7B 以下的 deepseek 是渣?
2.輸出 token 的速度會快一點,畢竟女的一秒叫十聲跟一秒叫二十聲的感覺就不一樣
不過如果你得用四十萬買十二顆 CPU 才能獲贈一張 5090 的話,那還不如...