※ 引述《mathbug (天堂的定義)》之銘言:
: 個人覺得有兩個方向可能可以試試 讓AlphaGo更接近完美
: A. 訓練棋譜先分類 如我之前的文章所說明 #1MvdF35h
: (避開勝負手/無理手翻盤的棋譜 訓練時只採用完勝的棋譜)
在Alpha Go已經訓練完棋譜部份都在跑自對戰的現在
這樣相當於要重新建構整個類神經網路。
個人覺得比較接近其他人/團體要師法Alpha Go可以嘗試的方法
否則要DeepMind重建整個類神經網路然後重新訓練的成本太高了。
(只有最初Supervised Learning有用到棋譜,
後面Reinforcement Learning都是自對戰)
: B. 將評價網路中的勝率最高著點改為圍地目數最多之著點
: 當然可以兩種都記錄下來
: 根據以上的第2點,比方說,模擬10000盤,某a點圍地最多,它的勝率也應該是
: 勝率最高的幾個點之一,這絕對是正相關的兩種參數
: (若不是,系統的不穩定性就出來了(如第四盤的鬼手出現))
你可能誤會value network的使用方式了?
value network回傳的是不是一個著手。
value network回傳的是一個值,是對於落子後盤面的勝率估計
也就是輸入是一個盤面,輸出是估計勝率
然後在MCTS中,一個葉節點的值是 (1-\lambda) 模擬值 + \lambda 估計值
因此value network是用於修正MCTS中random game的精準度的。
相當於估計直說這手的勝率是70%,
模擬的部份幫忙看是比70%高或低多少。
所以如果一開始value network的估計值差很遠,
對同一個點做再多模擬也救不回來,因為他是一個線性公式,與模擬次數無關。
估計值總是會提供一定的影響力。
至於把MCTS中的分數全部改為目數/點數呢?
這個基本上在MCTS蓬勃發展時代(2006-2012)大家就試過了
結論是用目數取代勝率MCTS的收斂比較慢。
因為獲勝目數的平均值意義太低,
90盤輸1目10盤贏10目,和45盤輸1目55盤贏1目
平均都是+0.1,但是正常都會懷疑+10的那10盤棋
究竟是絕妙好棋,還是對手應錯,別忘了,這些都是random game的結果。
另外,陳鐘誠教授對AlphaGo的理解是有問題的,
建議原Po去讀Nature的原始論文比較不會被誤導。