你太腿了= = 你會驚訝有人把R1放在手機上測試
就代表你跟這個行業完全不熟= =
對於開源也很不熟
兩年前就有llama2, GPT2各種大小的模型隨你下載
在手機上頭跑我們只考慮你的model size 你是llama DeepSeek 還是阿薩布魯8.7都沒差
玩家土炮都會比公司快 因為不用在意用戶體驗 只是像是一個大學生專題等級的東西
會動就好
依照2025年的手機 緊繃能跑個4B這個大小的模型 用INT8 大概需要4GB的記憶體
如果是用INT4 大概對半 只需要2GB 一些關鍵的參數會用到Q5_0效果會比較好
但是一個AI模型佔用2GB記憶體有點誇張 通常比較適合的是100M~1B 這個大小的模型
像是R1 1.7B 用INT4 or Q4_1這種 大概900MB 對於現代的手機而言不是什麼問題
差別只有token rate而已
你用純CPU也能跑 甚至跑得還不差 完全夠自用
只是GPU更適合 因為同樣的耗能 token rate更高
你只追求會動 那什麼東西都行
追求不高的token rate 你的桌電就行
追求商業等級的token rate 目前只有GPU行
大概是這樣
: 當一堆人在炒DS抄襲 盜用 其實也用了五萬顆H100沒什麼了不起的時候
: 全球玩家已經有人試著把DS離線安裝在手機上測試
: 發現這東西真的可以大幅減少對硬體的需求
: 而且最可怕的是這東西還開放原始碼給大家使用
: 有人下載了671B到自己個人電腦建模
: 而這對市場整個行業的發展方向其實是很大的衝擊吧
: 有沒有這種開源給全球玩家去玩的八卦??