→ William: 現代ML跟混沌有關？也太亂套了... 223.137.83.145 01/30 15:55
→ William: 還有deepseek的實作就不是你想像的用同 223.137.83.145 01/30 15:59
→ William: 一份資料重複學習.. 223.137.83.145 01/30 15:59
→ William: deepseek r1跟你的論文的實作就不同..先 223.137.83.145 01/30 16:13
→ William: 去看過deepseek的論文再來討論.. 223.137.83.145 01/30 16:13
不要在那邊吹啦!
deepseek的論文當然是一再吹噓自己的系統有多好
但是學界論文早就已經指出這種拿自己生成的資料再訓練的結果將導致AI 模型崩潰
https://reurl.cc/Kd5EWp
這就是CHAOS理論中穩定收斂模型(之前講反了)
整個系統就只存在單一資料，其他有用的資料都被捨棄了
原生資料的多元性不見了
這就是知識蒸鰡的最大致命傷
也注定了他絕對不會超越原始訓練模型
這篇論文已經講得很清楚了
The Curse of Recursion: Training on Generated Data Makes Models Forget
https://arxiv.org/pdf/2305.17493
翻譯成中文就是遞歸的詛咒：AI生成資料的訓練使模型忘卻原始資料
你就不用在那邊硬ㄠ了
退化模型崩潰
退化模型崩潰是指退化學習過程，隨著時間的推移，模型開始忘記不太可能發生的事
件，因為模型因其現實投影而中毒。
文章「遞歸的詛咒：產生資料的訓練使模型忘記」探討了遞歸訓練模型對其產生資料的有
害影響。這個過程被稱為“退化模型崩潰”，會導致退化學習週期，模型逐漸忘記實際的
資料分佈。這種遞歸訓練導致模型與罕見事件和異常值失去聯繫，從而隨著時間的推移簡
化和扭曲了它們對現實的理解。
當模型隨著時間的推移，開始忘記或忽視不太可能發生的事件，因為它們越來越受到現實
預測的「毒害」時，就會發生退化模型崩潰現象。這些模型不斷地從它們的產出中學習，
而不是從各種新的現實世界數據中學習，從而強化了狹隘的視角。這種自我強化循環可以
顯著影響模型識別和回應罕見或新事件的能力。
GenAI 工具通常充當“平均值的反芻者”，從廣泛的數據集中進行概括。然而，當輸入資
料因模型的輸出被回饋而變得逐漸統一時，反應的相關性和準確性可能會顯著降低。這種
退化過程削弱了模型處理異常值或非典型案例的能力，而這對於細緻的決策和創新至關重
要。