嗨各位，最近花了一些時間學習機器學習相關主題，想說來用python設計一個會玩21點的
機器人好了，以下會簡單介紹我使用的遊戲環境，深度神經網路，和相關成果。
一、遊戲環境：openAI的gym，簡單程式碼如下
https://imgur.com/wCFHI5t
可以看到要在python搭建Blackjack環境其實非常簡單，import完gym之後用gym.make就能
搭建各種遊戲環境。
二、規則：
而我們這個遊戲是我們要擔任player的角色和莊家(dealer)對賭，我們起始會有兩張
手牌，莊家則會有一張。點數方面2~10都以牌面作為點數，J,Q,K都算10點，ace可算1或1
1?
我們只有兩種動作可以選擇：拿牌(hit)或不拿(stand)。
目標是讓手牌點數和最靠近21點，若超過21點(爆牌)則直接判定輸了。
在我們決定不拿牌後，換莊家開始拿牌，莊家若手牌和低於17點，必須繼續要牌。
最後比誰的牌點數和最靠近21誰就贏了。
後續我還有改寫gym的環境讓我們可以做雙倍加注(double)，讓玩家可以採取
更多策略，更符合實際情況。
總之這張圖的重點在env.step(action)那行，簡單說就是
我們隨機採取了一個action(0代表stand, 1代表hit)然後observation就是遊戲當前狀態
，會回傳一組數字：(我方當前手牌和, 莊家手牌, 我方是否有ace)，那reward就是強化
學習當中很重要的機制，可以讓我們透過這種獎懲機制去訓練模型，-1代表輸了;0代表
我們還沒爆牌或是平手;1代表我們贏了。done回傳True或False表示當局結束與否。
在完全採取隨機action的情況下玩10萬場的勝率約27%。
三、訓練方法：Deep Q Learning
我是用keras搭建神經網路的，因為比tensorflow簡潔直觀。附上我使用的超參。
https://imgur.com/Fbv8Nwp
我搭建了三層fully connected layer，activation function都用relu沒問題，
但output layer的activation function就不能用relu了，因為在DQN中我們的input
是遊戲的state也就是我們上面提到的observation，我們的output則是在碰到這樣的
state，我們“採取各個動作預期的reward們”
打個比方：我們可能input [11, 6, 0]，表示我們手牌和是11，莊家拿6，我們沒ace。
這個神經網路的output應該要像這樣 [-0.4 0.2]，其中-0.4表示採取stand預期的
reward，0.2表示採取hit預期的reward，那我們當然希望reward越大越好所以就採取
hit這個動作。
因此這個output通常是有正有負的，不能用relu，那就用linear吧。
再簡單提一下memory，是我們儲存各個observation跟action的地方，在訓練的時候
會從中隨機抽樣用TD的方法去不斷更新我們的神經網路。
四、基本版訓練成果：
https://imgur.com/9l0Akrl
靠左的數字是我們的手牌，上面的數字是莊家的手牌，H(hit拿牌)或S(stand不拿)
則是這個神經網路打算採取的策略，會有兩段是因為上面那段是手上沒有ace的情況
，下面是有ace的。
可以看到這個神經網路已經可以做出和人類非常相近的決策：在大牌選擇stand，
小牌選擇hit，並在手上有ace的時候更積極hit。而在這樣策略下勝率提升到42%，
敗率49%。
也就是說平均每下注一百元會輸掉七元，雖然相較完全隨機玩有顯著的進步，但還有
進步空間，因此我決定加入其他戰略(double)讓玩家可以選擇雙倍下注，看能不能
讓機器人有更聰明的表現。
五、加入double戰略
由於openAI的原始程式碼並沒有double的功能因此我自己改寫了一下他們的程式碼，
簡單來說現在玩家可以選擇在第一手要不要double，要是double的話，玩家只能再拿
一張牌，然後莊家開始要牌。
神經網路方面我一樣用DQN下去train，只是在output的時候變成輸出三種動作的
期望reward。除此之外我參考了周莫煩的code和prioritised replay的paper實作了
優先回放，其中有用到sumtree的資料結構。也加入了doubleDQN的訓練方法。
六、double版訓練成果
在看這個神經網路的決策之前我們先看一下我們人類推算出的最佳21點戰略表。
https://imgur.com/15vKVBF
然後這是我們的神經網路在面對各種情況所下的決策表。
https://imgur.com/eKQzWDW
可以看到明顯它學習到在我們握有9, 10, 11且莊家是weak hand的時候可以進行
double，還有在手上有ace的時候該如何double等等。雖然不盡完美，但在我用這個
神經網路下去玩一百萬場的結果平均每一百元大約輸2.X元左右，如果真的要贏錢，
可能還要加上split的戰略和算牌了。
七、結語
其實發文也同時是記錄自己的學習筆記和找到同樣對RL也有興趣的朋友、前輩一起
討論啦，感謝大家耐心看完。要是對我的程式碼有興趣歡迎去我的github按個星https://
github.com/blue0107/DQN-blackjack-pokerbot，歡迎大家討論
指教啦！