自從 Hinton 提出反向傳播演算法以來，人工智慧領域在過去幾十年來並沒有出現真正意義上的突破。目前的進展主要集中在透過收集更多訓練資料和建立更大的神經網路來提高模型效能。然而，這種粗放的做法並沒有觸及問題的核心，只是不斷填滿內核空間，並沒有帶來演算法層面的革新。
雖然像 CNN 和 Transformer 這樣的架構看似新穎，但實際上，如果運算能力夠強大，這些技巧也並非必要。理論上，一個兩層的無限寬神經網路就足以擬合任何複雜邊界，並且擁有無限大的模型容量。
真正的突破需要在演算法層面實現創新，而計算力只是次要因素。目前，
整個人工智慧框架都建立在統計機器學習的基礎上，這限制了我們的思維和探索。
我們局限於inference 要嘛 Frequentist ，不然就 Bayesian inference，
導致陷入暴力求解的困境，並寄望於Scaling Law帶來的救贖。
一些研究者開始嘗試從 Information Theory、Causality Entropy 切入，這可能會帶來新的希望。
※ 引述《sxy67230 (charlesgg)》之銘言：
: ※ 引述《seraphimm ()》之銘言：
: : https://i.imgur.com/pydjqnE.jpeg
: : https://i.imgur.com/vf98RM8.jpeg
: : 很多年前光日本對於機器人早就開始
: : 2024還在炒機器人
: : 大家都需要機車汽車但不一定需要飛機
: : 所以好的道具不是人人用的著
: : 無法普遍與量化
: : 只能夠在特定的人與行業企業使用
: : 這種只變成危害大於進步的獨大炒作
: : 面對全球廣泛性
: : 戰爭風險，氣候變遷，資源匱乏，能源危機
: : AI這爛炒作根本就是加速人類世界的崩壞
: : 科科科
: 認真說，股價會不會出現泡沫我感覺很難說，不過過往經驗是2000年Internet的出現，曾
: 經帶動美國股價暴衝但又馬上泡沫暴跌，雖然股價泡沫了但Internet卻已經變成人類最基
: 本的權利之一了。
: 我自己本身是業內人，當前AI也差不多是這種狀態，基本上技術、理論都已經是實打實可
: 以被驗證了，套一句Yoshua Bengio最新論文的聳動標題：「當前AI還不具備意識，但根
: 據技術理論我們人類是有能力賦予他意識的。」
: AI革命這幾年也帶起來一系列腦科學的研究，有興趣可以翻一下最新的研究幾乎所有研究
: 人員都認同人腦就是一個巨大的表徵向量機，就像蘋果跟香蕉其實有他對應的表徵空間關
: 聯性。可能的猜測意識就是向量之間符號的交互作用下產生的，所以如果能破解基本上就
: 是下一個世代的工業革命，我們現在只是在革命浪潮前而已。
: 然後我認為當前不管是GPU或是CPU、TPU、NPU都不太可能是未來符合AI的晶片架構，因為
: 人腦根本就不是馮諾伊曼架構的。給一點乾貨，當前美國、中國學界對於存算一體的晶片
: 都有一些進展，我認為存算一體才是未來，畢竟人腦也沒有一個叫做Memory跟ALU的器
: 官，整塊大腦其實神經科學的研究下發現整個大腦神經都是皮質柱根本不存在差異，存算
: 一體的架構幾乎可以
: 確定解決儲存、功耗瓶頸了。
: 大概隨便聊聊聊到這邊，不然小粉綠看不懂又說我誇對岸要爆氣，畢竟我可不想被砍。
: 嘻嘻