週末來加值信仰\@n@/ 這是蓋茲幾天前的見解 (註一)
https://www.youtube.com/watch?v=jpfC7rzoX2A
專訪問蓋茲 你認為AI是Bubble嗎 類似網路泡沫嗎 蓋茲基本回答就是 絕對不是
他的回答可以內化好幾塊 基本上指出包含到軟體後端的整合和優化等後續工作
甚至稍微過度臆測延伸 這都意味系統都有可能重新推倒設計(e.g.AI PC/Phone/雲端基建)
這也意味者需多產業會興起 可能是投資人的一個光明參與機會
最近透過人類數據加值AI算法已經慢慢被AI自己模擬數據取代 從CLIP時期開時
展現的大數據雖重要 算法通常也可以學習野生大量數據法則 但這幾年算法上意識到
數據的品質更為重要 像BLIP2和LAION都是透過用filter方式去除噪聲野生數據來改善
野生數據品質 但這方法有一定的瓶頸
(曾經看過一個demo是 有人把slack上所有對話數據去fine-tune LLM
然後給一些任務 結果LLM只會回答will do. Things is on track. Stay on Tune.
Still in my to-do list等垃圾回答而非產生真正有意義答案)
NVDA最新的Nemotron揭示了 大量高品質數據可以用模擬仿真產生 而訓練完模型
又會超越野生數據訓練出的大模型 事實上像OpenAI Sora模型也可能走這條路
外界高度懷疑Sora透過用遊戲虛擬引擎(Unreal)產生空間模擬資料 幫助機器學習
最近越來越多算法也開始尋求透過模擬場景來增加無標籤數據的高品質性
甚至透過機器去教機器(參照 https://tinyurl.com/38x9md8s)
這也意味者算力/記憶體空間需求會繼續線性成長 後其他用AI改進"效率" "生產工具"
等軟體開發整合也陸陸續續地開始在亮相 像是Adobe pdf reader/MS Office
生產工具變得越來越聰明
然後人類以後的功能就是當電池了 連當數據產生器的功能也被機器奪去 QnQ