[新聞] Hugging Face逆向工程DeepSeek-R1,將打

作者: purplvampire (阿修雷)   2025-02-01 08:43:05
1.媒體來源:
iThome
2.記者署名:
文/李建興 | 2025-01-31發表
3.完整新聞標題:
Hugging Face逆向工程DeepSeek-R1,將打造開放推理模型Open-R1
4.完整新聞內文:
中國人工智慧公司所開發的DeepSeek-R1模型發布以來,相對低廉的硬體與訓練成本就能
展現高水準推理能力,在市場引發極大震盪。Hugging Face現正根據DeepSeek所公布的研
究內容進行逆向工程,試圖推出名為Open-R1的開放版本,期望在透明、可驗證的環境下
讓研究社群能更深入了解該突破性技術。
由於DeepSeek-R1以遠低於市場預期的成本達到與先進模型相近的推理表現,業界與學界
都希望能了解技術全貌,但DeepSeek未公開完整的訓練資料集與程式碼,使得外界對其稱
為開源模型的真實性存有疑慮。Hugging Face工程師認為,如果只釋出模型權重與部分技
術報告,仍不足以滿足真正的開放標準,因而決定透過逆向工程與大規模協作,建置完整
可供研究者自行驗證與調整語言模型,成為推理模型的開放訓練工作管線與資料集。
深度學習社群之所以對此舉格外關注,主要是因為DeepSeek-R1在數學、程式開發與科學
領域的推理能力,甚至能與知名的OpenAI o1模型一較高下,而開發成本卻聲稱僅有美國
人工智慧公司花費的一小部分。一旦Hugging Face成功重現Open-R1,研究人員將可確切
掌握其中關鍵架構、訓練步驟,以及在有限硬體資源下達到高效訓練的方法。
目前Hugging Face團隊的做法,是先分析DeepSeek發布的技術報告與模型論文,並嘗試從
現有權重中推斷其訓練配方與資料分布。由於DeepSeek並未開放完整的資料集與程式碼,
Hugging Face需要召集志願者,共同整理出可供公開使用的高品質推理資料,藉此復刻或
接近DeepSeek-R1所使用的多階段訓練策略。
當Open-R1順利出爐,將不只是一個DeepSeek-R1複製品,更可能在技術透明度與研究價值
上進一步超越原始模型。Open-R1可供任何人檢閱並改良強化學習流程、語言模型結構以
及推理邏輯。這對需要確保模型輸出精度與可控性的企業而言相當重要,也進一步突顯了
開源社群在推動人工智慧技術發展時所扮演的關鍵角色。
Open-R1模型的訓練將使用Hugging Face的Science Cluster運算資源,該叢集有96個節點
,每個節點有8張顯示卡,共768顆Nvidia H100可用於密集訓練,Hugging Face預計在數
周內推出第一個可公開測試的原型版本。
5.完整新聞連結 (或短網址)不可用YAHOO、LINE、MSN等轉載媒體:
https://www.ithome.com.tw/news/167171
6.備註:
當有一群人在64天安門上做文章否定DS模型的表現時,
另一群人正在想辦法山寨DS
而拿200E預算的前部長則是拿著破解64天安門問題洋洋得意
話說回來,我當天早上就已經破解的東西有什麼好吹的?

Links booklink

Contact Us: admin [ a t ] ucptt.com