[討論] OpenAI安全專家紛紛辭職 Altman將回應

作者: jackliao1990 (jack)   2024-05-18 23:49:37
https://x.com/janleike/status/1791498185627865147
OpenAI安全團隊負責人Jan Leike也宣布辭職了:
"在過去的幾個月裡,我的團隊一直在逆風航行。有時我們在計算方面遇到困難,完成這
項重要的研究變得越來越困難。(這是指高層不給足夠算力嗎??)
建造比人類更聰明的機器本質上是一項危險的工作。
OpenAI 代表全人類承擔著巨大的責任。
但在過去的幾年裡,安全文化和流程已經讓位給閃亮的產品。
我們早就該認真看待通用人工智慧的影響了。
我們必須優先考慮盡可能為它們做好準備。
這樣,我們才能確保AGI造福全人類。
OpenAI 必須成為一家安全第一的 AGI 公司。
我想對所有OpenAI員工說:
學會感受 AGI。
採取適合您正在建立的內容的嚴肅態度。
我相信你可以「傳遞」所需的文化變革。
我指望你了。
世界指望著你。
openai-愛心:"
過去幾年,OpenAI安全團隊和Altman因為理念不合(防止AI害人 V.S. 商業營利)不斷內鬥:
2021年 - GPT-3 團隊領導者因安全問題辭職
Dario 和 Daniela Amodei 離開 OpenAI,創辦了 Anthropic,理由是在優先考慮安全研
究方面存在分歧。 達裡奧受訪時表示,他的P(doom)是10-25%。
2021年 - RLHF 安全研究主管辭職
RLHF 的發明者 Paul Christiano 博士從 OpenAI 的安全團隊辭職,創辦了獨立的非營利
組織 Alignment Research Center。 克里斯蒂安諾在接受採訪時表示,他的P(doom)是
50%。
2023年 - OpenAI 董事會解僱執行長 Sam Altman
共同創辦人 Ilya Sutskever 站在 OpenAI 董事會的一邊,投票決定終止 Sam Altman 的
領導職務。 該非營利委員會的使命是確保安全有益的 AGI。
2024年 - OpenAI 解雇了兩位安全研究人員
利奧波德·阿申布倫納 (Leopold Aschenbrenner) 和帕維爾·伊茲梅洛夫 (Pavel
Izmailov) 因涉嫌洩露信息而被解僱。 阿申布倫納被視為一顆冉冉升起的新星,也是伊
利亞·蘇茨克韋爾的親密盟友。
2024年 - 關心安全的研究員辭職
Daniel Kokotajlo 辭職的原因是「對 OpenAI 在 AGI 時代負責任地行事失去了信心」
。 他表示他的 P(doom) 是 70%。
2024年 - 首席科學家 Ilya Sutskever 辭職
Sutskever 之前曾說:"無論如何,人工智慧的未來將會是美好的。 如果它對人類也有
好處,那就太好了。 "
2024年 - 超級對齊負責人 Jan Leike 辭職
與 Ilya Sutskever 共同領導 Superalignment 團隊的 Jan Leike 也辭職了。 雷克先
前在接受採訪時表示,他的P(doom)是10-90%。
由於OpenAI離職員工都要簽協議保證不對外說OpenAI壞話(否則拿不到公司股份),外界常
常對離職員工的影射推文感到困惑。為此Altman決定做出回應:
https://x.com/sama/status/1791543264090472660
"我非常感謝@janleike對 openai 的對齊研究和安全文化所做的貢獻,我為他的離開感到
非常難過。他是對的,我們還有很多事情要做;我們致力於這樣做。在接下來的幾天裡我
將發表一篇更長的文章。"
希望不是官腔式廢話回應啊!

Links booklink

Contact Us: admin [ a t ] ucptt.com