※ 引述 《cities516》 之銘言：
: 我還是看不懂Deepseek怎麼壓低成本
: https://i.imgur.com/awdsFCF.png
: 蛤 Mixture of Experts也不是新東西ㄚ
: Multi layer attention 也老東西了
: 啊？？
: 有沒有讀過原文paper的能解釋一下
找到兩個關鍵字
1. Reinforcement Learning
2. Self distillation
我先假設Perplexity沒在幻想症發作
這還是很奇怪ㄚ
因為這種吃自己拉的屎的行為
前提是模型本來就夠屌了 才能這樣玩
難怪大家都猜說DeepSeek直接偷GPT-4
但是CloseAI哪可能這麼容易給你偷到模型出來
我猜是用llama 2之類的開源模型下去fine tune吧