作者:
LimYoHwan (gosu mage)
2025-02-02 22:38:25個人是不太了解, 因為也不是AI專家
現在看到中國在魔改二手顯卡跑一些千億級參數大模型推理和優化
他們拿這些二手顯卡跑 運行DeepSeek-Vision R1 72B、Llama 3.2 Vision 90B、Qwen2.5 72B和Qwen1.5 130B
就問了chatgpt這些大模型，通常需要高端什麼GPU。
回答就這張圖
https://i.imgur.com/cTD1LBh.png
但是中國現在魔改二手顯卡, 竟然也能跑
以下這台經過chatgpu比較,相當於H200 141GB × 1, 售價23000人民幣
88g顯存大模型推理機器，深度學習主機，四卡水冷2080ti22g一體機，GPU服務器，88g
vRAM服務器，ai繪圖服務器
deepseek-r1 32b能到20token/s
待機46分貝，4張卡溫度31℃，超級靜音，非常適合家用。
整機所有配件保修一年，讓您省時省力省心
，把主要精力與時間放在模型開發與應用上，不必操心硬件的穩定性。
帶觸摸屏幕
配置單如下：
CPU：epyc7402
顯卡：2080ti魔改22g＋一體水×4
主板：epycd8
內存：ddr4 3200 recc 64g
硬盤：鎧俠rc20 2t
電源：長城2000w金牌電源
機箱：瓦爾基里vk02，帶10.1寸觸摸屏幕
https://i.imgur.com/iTtlDiZ.jpeg
https://i.imgur.com/toc6Oh7.jpeg
https://i.imgur.com/H9w8Adj.jpeg
這樣大量搞起來, 會是對nvda毀滅性的打擊嗎？