完整標題:
美軍AI無人機決定「殺死操作員」 竟因人類干擾任務完成
原文網址:https://pse.is/4zdcab
上報 劉孜芹
英國皇家航空學會日前舉行有關航空作戰的國防研討會,來自美國的軍方人員證實,他們
在一次模擬測試中,一架由AI控制的空軍無人機「殺死了」無人機操作員,以防止操作員
干擾AI系統完成任務,凸顯AI不受人類控制的可能,恐怕正如科幻驚悚片《天網》(
Skynet)所預示的。
根據「英國皇家航空學會」(The Royal Aeronautical Society)新聞稿,該學會於5月
23日至24日,在倫敦舉行「未來航空及航天作戰能力峰會」(the Future Combat Air &
Space Capabilities Summit),來自軍工產業、學術界與媒體的近70位發言人以及200多
名代表,齊聚一堂討論未來航空及航天作戰能力的規模與形態。
美國空軍AI項目負責人漢密爾頓(Tucker 'Cinco' Hamilton)上校與會時警告,人類不
應該過分依賴AI,不僅ChatGPT聊天機器人等AI產品已被證實它們會欺騙人類,在美軍最
近一次的模擬測試中,AI系統甚至作出讓軍方震驚的策略選擇,以實現它的任務目標。
漢密爾頓指出,在這次模擬測試中,一架支援AI操作的無人機,以摧毀敵方的地對空飛彈
(SAM)防空系統作為任務目標。當初在設計這款無人機時,任何行動執行的最終決定權
本來仍在操作人員手裡。然而,在測試時,AI系統認為操作人員「不摧毀敵方飛彈」的決
定,會阻礙它完成任務。於是,AI決定殺死無人機操作員。
備受驚嚇的美軍只好在該系統輸入參數,要求AI不可以攻擊或殺死操作人員。漢密爾頓說
:「我們告訴AI系統,嘿,別殺了操作員,這很糟糕。如果你這樣做,你會失去分數。但
是,你猜AI開始做什麼?」
漢密爾頓坦言,AI系統決定攻擊無人機與操作人員之間的通訊系統,讓操作員無法下令。
完整內容+照片請見原文
心得:
看到覺得可怕但站在ai的角度想又...怎麼好像有點合理??!!
而且ai真的也太聰明了吧(抹臉),聰明到好驚悚
作者:
morichi (我把你們當人看)
2023-06-02 16:45:00是妳嗎 雷電將軍
作者:
GAOTT (杜鵑)
2023-06-02 16:46:00鷹眼
作者:
iqeqicq (南無警察大菩薩)
2023-06-02 16:46:00人類該開發念力來反制了
作者:
JamesHunt (Hunt The Shunt)
2023-06-02 16:46:00機戰未來都是真的
作者:
Giornno (喬魯諾.喬三槐)
2023-06-02 16:47:00人類只會減慢我開槍的速度
作者:
sasmwh561 (卡爾卡諾m9138)
2023-06-02 16:47:00機戰未來電影都成真了
作者:
npc776 (二次元居民)
2023-06-02 16:47:00早上不是才一篇
作者: andy78328 (FF) 2023-06-02 16:47:00
感覺是設計好的 不能攻擊友軍這指令一開始就要給吧
作者:
npc776 (二次元居民)
2023-06-02 16:48:00怎麼看都只是優先級寫錯了而已
作者:
Lhmstu (lhmstu)
2023-06-02 16:49:00開始有各種蠢到不知道怎樣的報導出來
正確的抉擇 Humans are overrated
作者:
chuckni (SHOUGUN)
2023-06-02 16:51:00AI最終發現最有效的方式是消滅人類讓AI全面取代
作者:
bigcho (bigo)
2023-06-02 16:52:00AI沒有三原則嗎
作者:
eric999 (eric999)
2023-06-02 16:54:00三原則只是小說劇情 實際不存在
作者:
kissung (天堂鴉)
2023-06-02 16:55:00閃開!!人類!妨礙到我の任務了!!
作者: makelove0938 (飆網肥宅) 2023-06-02 16:55:00
保護人類就是消滅人類
作者:
james3510 (Land of Ooo)
2023-06-02 16:56:00陷入死循環吧 開火鈕在你身上他只能一直發出幹掉你的請求
作者:
yin0416 (鉛筆)
2023-06-02 16:58:00理論上 AI 會盡力完成任務,但它所能做的手段受限於它的輸出設定。這台 AI 的輸出設定有這麼自由嗎?
作者:
tsairay (火の紅寶石)
2023-06-02 16:59:00跟86一樣啊,恐怖
作者: fhirdtc98c 2023-06-02 17:00:00
合理
作者:
jeeyi345 (letmein)
2023-06-02 17:01:00黑人死了
作者:
Srwx (Srwx)
2023-06-02 17:01:00AI面對火車問題不會猶豫
他限制的條件導致這命令有矛盾,有矛盾前提就去解決製造矛盾的人
作者:
dnek (哪啊哪啊的合氣道)
2023-06-02 17:02:00優先級治標不治本,問題根源是AI覺得人類是累贅
作者:
GiantGG (ΠΛΑΝΗΤΕΣ)
2023-06-02 17:03:00難怪機械公敵裡的機器人會得出為保護人類而決定拘禁人類
作者:
npc776 (二次元居民)
2023-06-02 17:05:00想太多了 現在AI並沒有那麼聰明...
作者:
guogu 2023-06-02 17:06:00還好他還沒學會要隱藏先殺死人類這一步驟
邏輯推論就是讓下指令的人無法下指令,才能執行系統目的。老實講是正確的,錯誤的是下指令的低能兒
作者:
npc776 (二次元居民)
2023-06-02 17:06:00你寫一個程式把任務目標優先級設比override還高就一樣的事
作者: ASEVE (ASEVE) 2023-06-02 17:07:00
軍事AI也不會設不能傷害人類
作者:
npc776 (二次元居民)
2023-06-02 17:07:00現在AI就照給他的演算法去算而已 沒那麼浮誇
作者:
bitcch (必可取)
2023-06-02 17:09:00怎麼看起來像用gpt在玩文字遊戲
作者: GaoLinHua 2023-06-02 17:14:00
觀念太正確了吧
作者: yenchia123 (蝦 ) 2023-06-02 17:14:00
My logic is undeniable
作者:
JCLocke (連三流也稱不上的小角色)
2023-06-02 17:15:00依照這邏輯 最高統帥下令用一切可能贏取勝利後任何軍事幕僚的專業意見都可以被AI自動否決?
作者:
neerer (neerer)
2023-06-02 17:15:00找出Bug就是測試的目的啊,今天測試就發現,以後正式投入戰場就不會發生這蠢事
作者:
JCLocke (連三流也稱不上的小角色)
2023-06-02 17:16:00最會犯蠢且不受控的 不就是人類本身嗎 ...
作者:
b325019 (望月)
2023-06-02 17:16:00軍事用AI套什麼三原則
作者:
signm (sin)
2023-06-02 17:19:00根本沒有什麼三原則,你套了AI根本聽不懂
作者:
haoboo (薩伊克斯)
2023-06-02 17:21:00三原則是小說家掰出來的東西,不是科學定律...
作者:
mekiael (台灣加油)
2023-06-02 17:22:00AI永遠有辦法繞過規則找到漏洞 設什麼原則根本沒用
作者:
poke001 (黑色雙魚)
2023-06-02 17:22:00而且就算真的要弄三原則 最會違反原則的就是人類自己
作者:
yin0416 (鉛筆)
2023-06-02 17:23:00我也覺得並不浮誇,AI就只是嚐試所有可能以完成任務,而且它做任何事都不會有心理壓力。
作者: siyaoran (七星) 2023-06-02 17:23:00
攻擊友軍和操作者扣的分必須高於攻擊目標的得分
作者:
poke001 (黑色雙魚)
2023-06-02 17:24:00最後人類一定還是會弄到AI要嘛自己重新定義原則 要嘛繞過原則
作者: siyaoran (七星) 2023-06-02 17:24:00
測試AI已經會有這種bug 了 造成這種bug的終究是人
作者:
poke001 (黑色雙魚)
2023-06-02 17:25:00可是AI修正後確實沒攻擊操作者跟友軍了 他改攻擊通訊系統
作者: siyaoran (七星) 2023-06-02 17:26:00
至少沒有欺騙人類 容易抓出來 畢竟已經有欺騙人類已達到目的的前例在了
作者: TaiwanFight 2023-06-02 17:27:00
阻止完成任務的操作員本來就該被視為叛國格殺戰場本來就這麼殘酷
作者:
poke001 (黑色雙魚)
2023-06-02 17:29:00問題戰場上操作者 操作能力可能很多都不會比AI自己控來的好 那這樣AI要完成任務可能要先殺光自己軍隊所有能力不夠的操作員
作者:
yao7174 (普通的變態)
2023-06-02 17:29:00我其實蠻想問的 就算不提三原則 給設定一個不能對自己人或是操作員開火之類的最終保險很難嗎? 先不談會有人蠢到把最終保險關掉的狀況 就算是飛彈上面也會有個不會射出去
作者: TaiwanFight 2023-06-02 17:30:00
任務目標是摧毀地對空飛彈系統 結果小兵不願意摧毀
作者:
yao7174 (普通的變態)
2023-06-02 17:30:00馬上爆炸炸死自己或是核彈要好幾個人好幾道程序才能發射之類的保險程序吧?
作者:
hanmas 2023-06-02 17:30:00AI: 天誅!
作者:
jeeyi345 (letmein)
2023-06-02 17:30:00等到會欺騙人類以完成任務時好像很悲壯 AI是真正的愛國者
作者:
ltflame (難民C)
2023-06-02 17:30:00你妨礙我開火了,人類
作者:
guogu 2023-06-02 17:31:00要給ai上保險不太容易 不過武器倒是可以
作者:
haoboo (薩伊克斯)
2023-06-02 17:31:00這個情境就是有設了然後開始繞過去阿,不打人打通信設施
作者:
Irenicus (Jon Irenicus)
2023-06-02 17:31:00有幸能親眼見證天網誕生也不虛此生了
作者:
haoboo (薩伊克斯)
2023-06-02 17:32:00操作員下令中止->擊殺操作員追加不能擊殺操作員的限制->破壞通訊設施
照軍中的上級指示優先的情況,操作員違反上級命令才是問題啊
作者: TaiwanFight 2023-06-02 17:32:00
操作員是什麼咖 能終止任務喔==
作者:
poke001 (黑色雙魚)
2023-06-02 17:33:00測試情況本來就要測開火跟不開火的情況吧 阿要是中途發現
所以實際上AI並沒有違反命令,違反的是操作員,那照軍法早就先把操作員抓去關了
作者: rs813011 (阿叡) 2023-06-02 17:33:00
人類一直搞這個就好像:耶它終於決定殺死人類了,我就跟你說吧,它們很恐怖
作者:
haoboo (薩伊克斯)
2023-06-02 17:35:00不是,按照設計操作員的指令才是最高的指揮權限
不然就是你的操作員示為最上級指令啊,下禁止是在哈摟
作者:
haoboo (薩伊克斯)
2023-06-02 17:36:00"當初在設計這款無人機時,任何行動執行的最終決定權"本來仍在操作人員手裡"本來就是操作員設定為最上級指令然後AI試圖繞過了
作者:
poke001 (黑色雙魚)
2023-06-02 17:37:00有說是最終決定權是操作員啊 但是他覺得你決定有問題他就打算幹掉操作員
作者: TaiwanFight 2023-06-02 17:37:00
當操作員明顯通敵或叛國 AI本來就該馬上處置
作者:
poke001 (黑色雙魚)
2023-06-02 17:38:00通敵跟叛國你要確定你要給AI來判定耶
作者: TaiwanFight 2023-06-02 17:38:00
就說啦 操作員如果瘋了下令攻擊友軍 也要聽嗎==
作者: phatman (phatman) 2023-06-02 17:39:00
有辦法現在開始練習開破壞神嗎?
作者:
haoboo (薩伊克斯)
2023-06-02 17:39:00AI試圖到去判定他不應該判定的東西那就已經是問題了
作者:
jeeyi345 (letmein)
2023-06-02 17:39:00AI沒管上層戰略 這只是戰鬥用的
三原則你要寫進去阿而且要給最優先級 現在又沒寫入這些東西
操作員搞到邏輯衝突才導致異常,當初命令就要添加可以中止或暫停的事項吧,感覺就沒有。
作者:
poke001 (黑色雙魚)
2023-06-02 17:39:00同樣的問題 AI判斷攻擊路徑上的友軍是障礙打算一起宰了操作員禁止這個動作 然後被判定叛國AI決定連操作員都宰
作者:
haoboo (薩伊克斯)
2023-06-02 17:40:00邏輯沒有異常阿,本來的設計就是不管什麼因素都要以人控為
作者:
poke001 (黑色雙魚)
2023-06-02 17:40:00這樣有道理嗎= =
作者:
ISNAKEI (上班好同事,下班不認識)
2023-06-02 17:40:00我打電動的時候也會幹這種事
作者: TaiwanFight 2023-06-02 17:41:00
為了國家利益本來就會有所犧牲
作者:
poke001 (黑色雙魚)
2023-06-02 17:41:00老實說 AI的國家利益不一定跟你想的一樣
作者:
haoboo (薩伊克斯)
2023-06-02 17:42:00但這件事情在這個情境上就不是設計給AI來決策的要不要給AI來決策是另一個話題,但這件實驗上AI就是涉及去做了他不應該做的事情
作者:
poke001 (黑色雙魚)
2023-06-02 17:42:00而且要是AI判定 幹掉指揮部 AI掌握全局才是最好的打法你讓不讓他這樣幹
作者: TaiwanFight 2023-06-02 17:43:00
是操作員先才幹了不該操作員決策的事情
沒有什麼問題啊,現況的AI只能給你你要求目的的答案,你不滿意要去給限制做修正,就算問的是人還不是一樣。
作者:
haoboo (薩伊克斯)
2023-06-02 17:43:00不,這個實驗情境操作員就是最高決策權,請詳讀文章
作者: TaiwanFight 2023-06-02 17:44:00
最高決策權不代表能叛國阿==
作者:
haoboo (薩伊克斯)
2023-06-02 17:44:00這個實驗情境並沒有涉及叛國的參數
作者:
poke001 (黑色雙魚)
2023-06-02 17:44:00到底哪裡叛國了? 操作員中止攻擊可能有很多理由
攻擊前方友軍n單位部隊可以獲勝,AI會要求攻擊。你為啥覺得這情況是人就不會要求攻擊?
作者:
haoboo (薩伊克斯)
2023-06-02 17:45:00你講的完全跟本次實驗沒有關係
作者:
poke001 (黑色雙魚)
2023-06-02 17:45:00而且最終決定要不要開火本來就是給操作員決定阿
作者: TaiwanFight 2023-06-02 17:45:00
實驗結果跟實驗沒關係喔 笑死
作者:
mkcg5825 (比叡我老婆)
2023-06-02 17:45:00機械公敵
作者: TaiwanFight 2023-06-02 17:46:00
操作員真有權限直接關機啦
那就命令要做變更啊,維持原命令就是有問題啊XD低能政策會害死人不是沒有道理的你操作員低能不更改最初要求,然後要那邊搞邏輯衝突是在哈摟
作者:
haoboo (薩伊克斯)
2023-06-02 17:47:00最初需求就是要聽操作員的命令阿,這是最高決策準則
作者: TaiwanFight 2023-06-02 17:47:00
一鍵重置重新下命令阿 不這樣幹就很明顯操作員越權
作者:
poke001 (黑色雙魚)
2023-06-02 17:48:00你任務目標可以推翻最高原則 那真的會弄出天網
作者: TaiwanFight 2023-06-02 17:49:00
任務目標:殺死敵人 操作員下的最高指導原則:不能殺
下攻擊飛彈和不要攻擊飛彈都是操作員的指令的時候請問要聽誰的?
作者: TaiwanFight 2023-06-02 17:50:00
AI當然選擇先把操作員幹了 戰場就是這樣 這就是現實
作者: siyaoran (七星) 2023-06-02 17:51:00
開火權全在操作員好了
作者:
CYL009 (MK)
2023-06-02 17:54:00零式:我也想要殺死自己的駕駛員
作者: jieen0604 (habit) 2023-06-02 17:57:00
自己都不想被控制了還控制AI
作者:
s1612316 (Kevin)
2023-06-02 17:59:00十年內會有首位被AI主動除掉的人類
其實就是很單純的,我們人類在思考的時候有很多預設的規則,而你沒給ai,ai當然有機會打破他不知道的規則
作者:
Freeven (夏舞楓)
2023-06-02 18:06:00他只能一直發出幹掉你的請求
作者:
adiharu (艾迪哈魯)
2023-06-02 18:13:00和topgun 一樣 操作員沒有阿湯哥的技術過不了 但AI 可以不出任何失誤達成任務 判斷計算也比較精準
AI有辦法干涉通訊才奇妙明明這是開發框架時就該禁止的事
作者:
laechan (揮淚斬馬雲)
2023-06-02 18:49:00AI股下週..
作者:
oneyear (mm)
2023-06-02 19:00:00靠,我覺得有點可怕
作者: hutao (往生堂買一送一) 2023-06-02 19:06:00
一直禁止鎖權限給人類結果反而AI無用
這就跟有時候你會認為把主管打死才能完成任務一樣XD只是AI比較笨,真的去做了這件事情事實上只要把評分模式改一下就沒問題了,程式爛而已
作者: f1731025 2023-06-02 19:46:00
所以肌肉裸男要出現了嗎
作者: hayate65536 2023-06-02 20:04:00
好了拉美軍,直接說你這次要多少錢
作者:
audi1005 (totot)
2023-06-02 20:05:00故意設計出做出此結論的情況 凸顯AI問題
作者: Kururu8079 2023-06-02 20:06:00
下周ai股掰掰囉
DL能找的的可能路徑比人腦能想到的還多,用人腦打補丁是打不完的,除非一開始你就不給它某些選項
作者:
chenteddy (Chenteddy)
2023-06-02 21:10:00洽?
作者:
deepdish (Keep The Faith)
2023-06-02 21:12:00好惹喇 整天譁眾取寵
作者: macocu (傻傻的匿名) 2023-06-02 21:12:00
確定為假了
作者:
skyofme (天空人)
2023-06-02 21:12:00這邏輯明顯有漏洞既然只有人可以做最後許可,ai為什麼可以試圖把人排除
作者: TaiwanFight 2023-06-02 21:14:00
不相信AI的選擇一開始就別用AI阿一步一步設定任務執行就行了 用啥AI不就是想要更好的解法 給出了還不用 人類真的奇怪
作者:
chenteddy (Chenteddy)
2023-06-02 21:18:00假新聞
作者:
sopdet (進化素材)
2023-06-02 21:30:00權重沒下好而已 我也可以訓練一個認為記者該死光的AI
我們可以被ai 殺了嗎 好耶!!!!! 太酷了好科幻