Re: [爆卦] 2024諾貝爾物理獎

作者: sxy67230 (charlesgg)   2024-10-09 18:15:01
※ 引述 《Eriri》 之銘言:
: 其實小弟對這次物理獎最大的疑問 並不是在於"夠不夠物理"
阿肥外商碼農阿肥啦!
快下班才看到這篇,寫得太好了。就補充幾個點,當前深度學習很少會去提Hopfield Netwo
rk甚至Boltzmann machine真正的原因就是當前的模型架構早就脫離全連結的架構了。
不知道全連結可以看看這張我從微軟官方找到的兩層RBM圖:
https://i.imgur.com/IsU2Adg.png
如果像這種全連結做深做複雜以後,由於兩兩神經節點會相互更新,得到新的權重會還會在
反覆疊代到取得動力平衡為止。所以計算複雜度就會很高,加上不管是Hopfield或是Botzma
nn machine都不像是監督式NN或自監督NN有真實的標籤可以對照,這種仿生Cognitive mode
l最初就是想模擬生物腦,所以效果都沒辦法做大做深,更不用論現實可用程度。
所以當前流行的就是非全連結的NN再暴力用反向傳播,直接用微積分的chain rule去偏導求
整個模型的梯度再一次性更新,這樣非常簡單也非常暴力,做深以後可以擬合任何非線性函
數,連隨便一個AutoEncoder模型都輾壓Hopfield,暴力計算下證明了機械腦根本不需要真
的模仿生物腦也可以成功。
補充差不多這樣

Links booklink

Contact Us: admin [ a t ] ucptt.com