作者:
chin2049 (YesOrNo)
2025-01-17 14:12:33目前用macbook air m1
想說用這麼久了想換16"用看看
用途是利用空暇時間
寫macOS iOS程式 或是 網頁
或許還會跑AI試試
電商16"m2 pro目前的價格在6萬內
跟16"m4 pro 官網版本差距有快三萬(84,900)
想問一下舊版跟新版差距大不大
不知道該不該直上m4 pro
想請教版友
作者:
Rougun (Rougun)
2025-01-17 15:43:00想玩 Ollama 的話看你偏好玩小模型還是大模型也想玩ram 就愈大愈好啦，小模型且只是寫程式應該是沒差多少啦
作者:
doubi (我會飛)
2025-01-17 16:47:00M2 跟 M4 速度體感差很多, 尤其是多開應用的時候我現在就是同時 M2 + M4 在用 XDM2 是公司發的, 很容易讓我等待
差距蠻大的 但還是要看你的使用狀況我想ram大小還是優先
作者:
joumi (揪咪^.<)
2025-01-17 17:44:00直上
作者:
KINGWAP (阿姆斯撞)
2025-01-17 19:22:00可以去蝦皮找找看有沒有保內的M2 max 64G玩AI推理64G是很基本的
作者:
yhubi (B)
2025-01-17 22:03:00$77,300 原價 $84,900 :: 16 吋 MacBook Pro M4 Pro 可參考
作者:
Bambe (起笑的我們:P)
2025-01-18 00:13:00給你參考一下，我之前用 Mac Mini M2 Pro 32G Ram 跑 70b模型，大概十分鐘跑不到十個字...
作者:
autopass (how to give name)
2025-01-18 00:32:0070b 45Gb左右，沒64g ram真的玩不起直接串API吧，公司真機密資料看老闆要不要贊助
作者:
Bambe (起笑的我們:P)
2025-01-18 00:37:00不過剛測試 32b(19GB) 的速度還算可接受
作者:
Bambe (起笑的我們:P)
2025-01-18 02:19:00剛測試了跑個 40b(23GB) 的就有點喘了，需要重開機才能跑
作者:
chin2049 (YesOrNo)
2025-01-18 09:34:00好的 參考一下
有錢想玩就直上，要不然不如不買，買一半那種最浪費花了一筆錢，然後又得不到想要的效果，白花
作者: FishYui (FishYui) 2025-01-19 00:24:00
推樓上，之前就是買了一個不上不下的規格用的很有疙瘩
好奇，就算ram滿足讀取大模型的需求，不過回應速度能夠滿足即時性嗎？感覺每秒token數會很低
作者: Louis430 (Louis) 2025-01-19 18:02:00
推 jacklin2002
目前影響模型性能的應該都是記憶體頻寬問題 尤其是不夠用然後用到swap的時候純推理時的計算性能應該都夠用了
Mac跑模型就是用時間來換記憶體容量，要快要打只有老黃啊，之前看評測M4 Pro 回應token每秒就11-13左右
作者: jhjhs33504 ( ) 2025-01-21 14:40:00
量化的模型在不同VRAM大小佔用GPU/CPU的資源天差地遠
Jh大可以解釋一下，我不太懂為什麼相同量化模型在不同的vram下，CPU/GPU會有不同嗎？
作者:
kt56 2025-01-26 03:26:0016 吋 MacBook Pro M1 Pro 全新未拆47000
作者: jhjhs33504 ( ) 2025-01-27 21:04:00
那種壓縮方式並不是無損的 損失部分有不可控的副作用同一個量化模型用CPU或用GPU執行的指令集與精度不一樣排列組合產出的結果品質就是天差地遠當然其中差距就是需要相當的背景知識去調整執行程序甚至是調整訓練方法可能要查一下訓練模型的機房規模有多大心裡才會有概念