※ 引述《zenice (阿排)》之銘言：
:

: 速度還不錯 每秒有70token
: 我順便看了一下占用 100%跑在GPU上面
: 顯存大概吃了11G
姆咪
果然32b直接炸了==
5080不調參的話基本跑不了
每秒6.6個token太難受了
在可用邊緣 我還是回去用14b好了==
他怎麼就不能出個20b之類的版本
剛好跑滿15 16g的顯存