1.媒體來源:TechNews
2.完整新聞標題:
Facebook AI 「失控」的真相
3.完整新聞內文:
http://imgur.com/mV24u3I.jpg
「Facebook 關閉「失控」的人工智慧系統，因其發展出人類無法理解的語言。」看到這
句話嚇死了。
事情是這樣的：據「外媒報導」，Facebook 開發的聊天機器人創造了自己的語言。雖然
語言還是英語，但人類無法理解。
關於「人工智慧是否邪惡」的話題，Facebook 創始人馬克‧祖克柏上週還在跟特斯拉
CEO 馬斯克爭吵。馬斯克站正方，認為人工智慧非常值得擔憂，祖克柏站反方，認為人工
智慧很有益處，擔憂完全是過慮。
所以……祖克柏就這麼快就被打臉了？曾在著名科幻電影《魔鬼終結者》中出現過的「
SkyNet」（天網），真的來臨了？
抱歉，這完全是在胡扯。我們來看看到底是怎麼一回事。
Facebook 的人工智慧研究院（FAIR）想要訓練一個聊天機器人，讓它學會談判，於是他
們開發了一個人工智慧系統。為了幫助大家理解，我們一步一步解釋：
Facebook 用了一個神經網路結構來開發這個系統。這個結構叫做「生成式對抗網路」（
Generative Adversarial Networks），以下簡稱 GAN。
你可以把神經網路理解為一種多層次的、模仿人腦神經元之間相互連接的思考方式的「電
腦程式」。
而 GAN 是一種在目前非常先進的神經網路結構，可以理解為兩個神經網路玩《快打旋風
》。玩的越多、時間越長，大家的水準都會越來越高。當然，GAN 也有 3 個甚至更多個
神經網路的結構。
聊天機器人你肯定見過：蘋果 Siri 就是一個，亞馬遜 Alexa 和 Google Assitant 也是
。
Facebook 的這項研究也是如此。研究人員訓練了這樣一個聊天機器人，讓它帶著「目的
」和人類對話。而這個目的也很簡單：一共有兩本書、一頂帽子和 3 個籃球，3 樣東西
分別設定了不同的權重，為的是讓機器人明白它到底有多想要這些東西，然後去和其他人
談判。
Facebook 觀察到的結果是比較正常的，呈現在下圖中：
http://imgur.com/TLTxY7Q.gif
（Source：Facebook）
但是人跟機器人聊天已經不稀奇了……兩個機器人能聊成什麼樣？研究人員都很感興趣。
今天的對話就發生在聊天機器人 Alice 和聊天機器人 Bob 之間：
http://imgur.com/ympkScX.png
上圖是什麼鬼？
原來，研究人員把這兩個聊天機器人湊到一起，但忘了給神經網路設定「用英語溝通」的
指令。
剛才說了，神經網路是個程式，裡面有一大堆各種線性的數學公式，有時候線性的公式無
法取得想要的結果，有些非線性的需求沒法用線性公式表達出來，這時候就要設定一個激
勵函數。激勵函數對於神經網路，簡單來說就是告訴神經網路「這樣做得分更高」。
「堅持用英語說話沒有激勵函數，」這個研究小組的成員之一、喬治亞理工學院的訪問學
者 Dhruv Batra 這樣解釋 Alice 和 Bob 奇怪的對話。「機器人會脫線發明一些它們之
間才能理解的句法」。
結果，Alice 和 Bob 就聊成了這樣。等於是研究人員告訴了它們：「請用英文」，但忘
了告訴它們：「請用英文語法」。
研究人員真的是因為「事情失控了」，才「不得不拔掉系統的插頭」嗎？事情真的像聽上
去那樣讓人膽顫心驚嗎？
並非如此。
「我們的目標是讓機器人和人聊天（提高和人聊天的技巧）。」小組的另一名研究員
Mike Lewis 指出，Alice 和 Bob 的對話根本就是個試驗而已，讓兩個聊天機器人聊天根
本沒有意義。
http://imgur.com/YE3uSih.png
（Source：Facebook）
而且，Alice 和 Bob 根本就沒有發明新的語言，因為他們還是在用「i」、「balls」、
「the」等英文單字溝通，只是創造了一種新的表達方式而已。
而且他們「發明」的新語言，人類真的聽不懂嗎？再看一遍它們的對話：
Bob: I can ii everything else
Alice: balls have zero to me to me to me to me to me to me to me to me to me
Bob: you i everything else
Alice: balls have a ball to me to me to me to me to me to me to me to me
如果你明白了前面描述的試驗目的，很容易就能明白它們的套路。句法的確是亂的，但一
句話裡 to me 重複的越多，這個東西對它的意義越大（權重越高）。
翻譯過來就是：
Bob：我可以我任何其他（其他任何東西都可以給你）
Alice：球有 0 對我對我對我對我對我對我對我對我（我沒有球，球對我特別特別特別特
別特別特別特別特別重要）
Bob：你我任何其他（你可以拿走其他任何東西）
Alice：球有球對我對我對我對我對我對我對我對我（我要球，球對我特別特別特別特別
特別特別特別特別重要）
而且根本不是在談判，就是很普通的表達而已。不給就吵嘛……
Facebook 並沒有「關掉」這個系統，而是重新設定了正確的激勵，修正了機器人的行為
，讓機器人用標準的英文語法來進行交流。修正的原因也不是因為害怕 AI 失控──他們
的目標是讓機器人和人聊天（提高和人聊天的技巧）。兩個聊天機器人聊天根本沒有意義
。
GAN 這個東西，蘋果曾經用它搭建了一個系統，讓它自動合成能以假亂真的圖片，但設計
的目的並非欺騙人，而是為學界和業界的其他研究者帶來幫助。因為訓練神經網路需要大
量的圖片，但世界上已有的、已標記的圖片資料庫也就那麼多，蘋果的這項研究，能自動
創建帶標記的、能被用來訓練的圖片，解決了大家燃眉之急。
http://imgur.com/F9P5tQL.png
今年 2 月，筆者介紹過 Google 本部的人工智慧團隊 Google Brain 做的另外一個實驗
：同樣用GAN，他們訓練了 3 個機器人 Alice、Bob 和 Eve，讓 Alice 和 Bob 兩人從零
開始琢磨出一個加密方法，讓 Eve 來猜。這 3 個網路的加密學知識都是 0，但隨著訓練
次數越來越多，Alice 和 Bob 默契越來越好，Eve 也破解不了。
http://imgur.com/KUR462v.png
──這才是發明了人類都不懂的語言，可是也沒看見 Google 著急啊。
人工智慧能夠幫助人類做很多事情，比如圖像辨識技術就被投入到圖片搜尋引擎中，當你
在搜尋引擎裡搜尋關鍵詞，選擇圖片，才能找到符合描述的照片。
再比如語音辨識和自然語言理解技術，當你和 Siri、Alexa 說話的時候，它們才能比較
準確地理解你的意圖。
從神經網路技術的發展程度來看，人工智慧的確很厲害了，但我可以告訴你的是：圖像辨
識、語言理解準確度上能做到現在這麼高，完全是因為人類程式設計調優的結果。
它既不知道自己是誰，也不知道自己在哪兒，更不知道自己在幹什麼。
所以和人工智慧相比，那些成天瞎說人工智慧威脅論的人才更可怕吧……
4.完整新聞連結 (或短網址):
https://goo.gl/NhzWqU
5.備註:
還早還早