[問題] safetensors 轉gguf後 答非所問

作者: gostjoke (鬼笑話)   2024-09-11 10:02:11
不好意思 版上有人遇到這個問題嗎?
我之前準備了一個測試訓練 強化某問題(instruction)
模型是 Chinese llama 1.3B
然後再FT 後可以回答出該問題
但用llama.cpp轉gguf後答案整個歪掉 此外原本的許多問題都答不出來或答非所問
有人遇到這個問題嗎?
作者: DaOppaiLoli (大歐派蘿莉)   2024-09-12 07:32:00
你要不要附上指令參數,可能跟 prompt format 有關

Links booklink

Contact Us: admin [ a t ] ucptt.com