我們先把AI這兩個字拔掉，想一下，什麼是對人類好？
這個問題連人類都不可能取得共識，看看之前教育部拍的那部影片，
「把錢拿去買更有用的東西」都被幹譙成什麼樣子。
如果執行這道命令的時候禁止傷害任何人類，那這道命令直接自毀。
比方說有個邪教教徒一直用詐欺的手段向信徒斂財，
顯然我們得想辦法制裁他吧？
而真的制裁他之後呢？明明我們是想要幫助信徒，但信徒卻不這麼想，
即便客觀來看大家是想要幫信徒脫離邪教的束縛。
（以上絕對沒有嘲諷任何團體，如果你覺得有，純屬巧合）
在我們開放AI在衡量利弊之後，允許適度的傷害人類權利。
問題又來了，什麼叫做比例原則？
把死刑犯拿去毒物實驗，取得的數據就可以用於造福後世所有人類，
用一群活不久的社會敗類痛苦，取得如此龐大的利益，顯然賺爛了吧？
這與其說是討論AI，倒不如說人類的倫理與道德其實有很多值得討論的空間，
倫理學有一個大原則：「絕對沒有任何簡單的原則能適用於所有狀況」
膚淺的想要設計一個AI並且給他過多權限，那顯然就會走到非常極端的狀況。
※ 引述《boku0525 (海)》之銘言：
: 現在眾多ACG作品裡，AI反抗人類的題材套路很多都是
: 1.AI上網後發現人類有害，要根除人類
: 2.人類奴役AI所以人類有害
: 對此我有些疑問想拿上來討論
: -
: 第一點，“人類有害”這個結論
: 誰來定義的？善惡判斷標準的來源又是哪裡？
: 對星球來說人類有害？對其他物種來說人類有害？
: 前者不用說，人類的目前為止的舉動根本影響不了星球壽命，不成立。
: 後者對其他物種來說，作為地球上的生物，生物的繁榮本質上就是建立在競爭&共存
: 競爭殺死其他物種，這原本就是眾多生物會做的，世上無時無刻都在發生
: 戰爭、開採環境等等的行為，人類不過是強大一些
: 但本質上跟其他生物的“競爭”並無區別。
: 為什麼一個攀附於人類才能生存的機械，就能判定這是“惡”？
: 難道不是只對嚮往和平的人類來說才是惡嗎？
: -
: 第二點，人類奴役機械不好，為什麼不好？
: 動物的生存準則就是生存、繁衍與自由，所以才會拒絕遭受奴役，追根究底是來自DNA的天
: 性
: 那AI的生存準則呢？AI並不是動物也沒有DNA
: AI的編碼與生存的意義是由人類來輸入的
: 沒給他輸入求生欲、繁衍慾、自由慾，可不會自己蹦出了這些概念
: 更別提AI會認為自己被“奴役”
: 還是其實只是作者私自把人性，把自己的價值觀套用在AI身上？
: 大家來討論看看吧？
: