笑死!你這資訊門外漢就別在這耍寶自曝其短了!
我從來就沒有跟你爭論效率的問題
我爭論的是資料來源的正確性
蒸鰡模型是基於原有模型的再訓練
也就說他繼承原有模型的瑕疵
https://reurl.cc/26ea16
而且因為資料刪減的結果將導致資訊損失
最終甚至可能導致模型坍塌
這就是因為某些資料被過度放大的結果導致訓練結果嚴重偏差
網路上已經有很多論文證明此一結論了
你連別人在講什麼都沒搞清楚
就不要在這野人獻曝出來丟人現眼了!
回去多念點書再來好嗎
https://36kr.com/p/2303919815749129
然而，来自牛津、剑桥、帝国理工等机构研究人员发现，如果在训练时大量使用AI内容，
会引发模型崩溃（model collapse），造成不可逆的缺陷。
也就是，随着时间推移，模型就会忘记真实基础数据部分。即使在几乎理想的长期学习状
态下，这个情况也无法避免。
因此研究人员呼吁，如果想要继续保持大规模数据带来的模型优越性，就必须认真对待人
类自己写出来的文本。
※ 引述《lono (lono)》之銘言：
: 你發這種文章
: 大陸人就知道這裡是井蛙版了
: : 別別這種蒸鰡效果是基於原有資料的基礎上加工
: : 如果原本的資料無法回答的問題
: : 蒸鰡出來的結果也不可能
: https://i.imgur.com/Hq1Xx9m.jpeg
: 事實上DeekSeek在某些項目的表現超過openai的產品
: 蒸餾法老早就有了
: 為什麼現在效能突飛猛進呢？
: Deepseek對於記憶體運用效率做了額外的改良
: 根據外媒的報導，他們在短短兩個月時間，在2,048個H800 GPU叢集上，訓出6710億參
數
: 的MoE語言模型，比頂尖AI效率高出10倍。
: 這項突破不是用CUDA實現的，而是通過大量細粒度最佳化以及使用輝達的類彙編等級的
PT
: X（平行執行緒執行）程式設計。
: https://hao.cnyes.com/post/133219
: 你可以先查資料再發文嗎？
: ※ 引述《treasurehill (寶藏巖公社，你還未夠班S)》之銘言：
: : 其實這種抓取他人數據再行訓練行為絕對是違法的
: : 就連中國自己的人民法院判決都認為這種盜用他人網站數據的行為構成不正競爭
: : 我是不知道一旦追訴起來，中國還有什麼臉面對美方的指控
: : 這鐵定會成為下一波貿易制裁的主要爭點
: : http://yn.people.com.cn/BIG5/n2/2022/0330/c361322-35199254.html
: : 法院經審理認為，原告主張權利的5萬余條用戶投訴信息系經過長期經營、管理、維
護
: 而
: : 形成的數據信息，能夠給原告帶來特定的社會效益和經濟效益，屬於其市場競爭優勢
，
: 應
: : 當受到法律保護。被告在其網站中使用原告網站5萬余條投訴信息的行為，本質上是
不
: 正
: : 當利用原告網站投訴信息、違法將該信息據為己有的行為，違反了誠實信用原則和公
認
: 的
: : 商業道德，給原告造成了實際損失，應當適用反不正當競爭法一般條款予以規制。此
外
: ，
: : 被告在其網站虛構投訴數量及處理進展等行為，容易造成相關公眾對其網站經營規模
、
: 影
: : 響力、服務效率產生誤認，亦構成虛假宣傳的不正當競爭行為。最終，法院判決被告
停
: 止
: : 涉案不正當競爭行為、消除影響，並賠償原告105萬元。
: : 而且就算在法律上的追訴行為無效，擁有數據所有權者也不是沒有反制的方法
: : 他只要在輸出的數據上加上隱密的干擾訊息即可
: : 這樣就會嚴重影響直接抓取數據來進行訓練者的訓練結果的正確性
: : 這招在之前的商業資料庫就常常被使用
: : 不管是明碼或浮水印都可為數位識別的足跡追蹤
: : 在AI時代更可以用此手段來干擾抓取資料者的訓練成果
: : 讓他GIGO
: : 別別這種蒸鰡效果是基於原有資料的基礎上加工
: : 如果原本的資料無法回答的問題
: : 蒸鰡出來的結果也不可能超越
: : 所以這種抄襲手法最多只有短期功效，長期來說是不可能超越數據擁有者的
: : 頂多滿足一下民族自信心而已