※ 引述《xross (xross)》之銘言：
: AI 比你想得有料
: Andrej Karpathy 自己都說他自己大部分時間都靠 AI 生 code 了
: https://karpathy.medium.com/software-2-0-a64152b37c35
: 這篇老文章就有說
: 空間時間複雜度?? 可以吃嗎
: Software 2.0 告訴我們
: Constant running time
: Constant memory use
: 內文也提到
: 人類智慧結晶 搞出來的 cache-optimized B-Trees 直接被 AI 幹翻
: (版上臥虎藏龍 手魯industry-ready-B-Tree的高手可以出來嗆一下嗎?)
: "outperforming cache-optimized B-Trees by up to 70% in speed while saving an
: order-of-magnitude in memory."
: 這讓我想到 DLSS 也是藉由 AI/DL 直接做到以前一堆專家搞出來的upscale + AA根本
: 到不了的好效果
: 說了這麼多
: 希望能盡快看到 官方 PTT app
: 目前可能 AI 還在學習怎麼寫
下班前看到就認真回覆一下，
先說你有點搞錯Karpathy所謂的Software 2.0了，Software 2.0也不是什麼很新的概念。
他的概念就是過往我們使用從底層打包上來的Library來顯式開發API為Software 1.0，而
2.0則是只有定義數據集，定義神經網路框架跟訓練，最後將網路編寫成二進制透過工業
化流水線軟體平台部署。
不過有一個很大的前提，「定義搜索空間跟優化方向」，這個神經網路優化方向是需要人
工來定義的，這邊其實前幾年AlphaTensor就有做出實驗，直接透過強化學習去找矩陣乘
法的最佳解，結果確實找到了一組可以應用的比原本最佳矩陣乘法快了20%的解。
定義目標的依舊是電腦科學家/工程師，不是說什麼老闆/PM啊，你去跟老闆/PM講解Low r
ank tensor decomposition ，他只會跟你說聽不懂。
其實Software 2.0就是現在我們在做的深度學習/LLM這件事情，理論上有可能讓一個夠大
的模型來解決一切的問題，讓神經網路包覆整個底層軟體。如果要做一個複雜功能就直接
給兩個Software 2.0模組組合去一起做反向傳播優化，然後就可以去配適到我們的開發任
務上，只是那個結果我們可能很難解釋他(90%的ACC不一定代表能夠fit到所有未知的數據
上)。
如果模型參數量不夠大還是會有No free lunch的問題，所以未來很長一段時間依舊是會
有神經網路搭配顯式編程的方式持續，Karpathy後面也有提出Software 2.0的限制，不是
絕對樂觀看待的。
以上