OpenAI 最近推出了 GPT-o1，但很多人可能還沒意識到這件事的嚴重性。事實上，OpenAI
已經找到了一條通往 AGI（通用人工智慧）的階梯！這個新模型的關鍵在於，它已經整合了
ToT（思維樹）和 RL（強化學習），在大型語言模型（LLM）領域達到了類似 AlphaGo Zer
o 的水準。
很多人以為 LLM 就是個「刷題機器」，記住了大量的資料，所以我們在人類記憶力上輸了
。但這種想法只能說對一半。之前的 LLM 確實是從大量資料中，透過模式相似性來猜測答
案。模型夠大，猜得也夠準，但一旦遇到需要推理和邏輯的超長尾問題，就掛了。沒有連貫
的推理能力，肯定解不出來。
然而，o1 模型的訓練方式完全不同。它花了大量時間在模型微調上，讓模型針對已知的問
答，把所有的思考過程（CoT）都想出來。網路上很多資料只有問題和答案，中間的推理過
程要嘛沒有，要嘛只提重點。這些都是靠強化學習逼出來的。
如果有興趣，建議大家讀一下 OpenAI 官網的技術報告和論文：
https://openai.com/index/weak-to-strong-generalization/
。重點在這句：「當我們用這種方法，用 GPT-2 級別的模型來監督 GPT-4 在 NLP 任務上
的表現，結果模型的性能通常介於 GPT-3 和 GPT-3.5 之間。」
在這種新機制下，OpenAI 已經不需要再從網路抓資料了。他們可以透過 LLM 之間的互動，
產生問題和答案，進行更廣泛、更完整的訓練。而且這種訓練方式相當於，你雖然只學過小
學數學，但經過長時間的策略搜索和 ToT 機制，類似於 System 2 的思考，你可以解出國
中數學題。
當這些能力達到單一模型的算力極限時，可以透過擴大模型，把新知識裝載進更大的模型，
透過 Transformer 達成 System 1 思考的嵌入。這就像學好國中數學的新模型，開始挑戰
高中數學。提升智力的方式是無限的，只受限於你的 GPU 算力。
你知道嗎，OpenAI 在解決 AIME 2024 的最新題目時，沒有任何過去的考古題可參考，裡面
的推導公式連他們的員工都看不懂。難道還有人以為 AI 是靠背題目來解答的嗎？
※ 引述 《wsad50232 (GGYY)》 之銘言：
: 標題: Re: [討論] OpenAI GPT o1模型
: 時間: Tue Sep 17 12:46:33 2024
:
:
: 不就是語言模型+題庫
:
: 題庫1000題不夠，那就10000題
: 一萬題不夠，那就10萬題
: 看你人的腦袋能裝多少題庫 拼的過嗎？
:
: 但是對那些非一般性的
: 面向多的，沒有標準答案的
: 個別性強，特殊場合，網上找不到答案的
: 資料不足，不完善的
:
: AI 就嗝了
:
: 某小氣公司 難得花了大錢 買了Licence
: 打算明年縮減一半的人力來完成更多的工作
:
: 只能說這些早就不碰技術的高層
: 異想天開 腦袋裝屎
:
: AI 能解的問題 人工早就解了
: 人工不能解的 AI 也不能解
: 但是AI會唬爛很多行不通的答案
: 來浪費人工去驗證
:
: