※ 引述《sxy67230 (charlesgg)》之銘言：
→ kuma0326: 中國在生成式語言AI研究上最大的麻煩是223.138.120.220 06/03 12:39
→ kuma0326: 需避免出現敏感詞、思想不正確的內容223.138.120.220 06/03 12:39
今天剛好處理新的研究項目忙到沒時間回覆，這邊說一下，其實當前生成式語言模型避免
出現敏感詞或思想不正確不止是中國，包含Meta、Google很多研究員都在研究如何讓模型
可控（包含關注我們想關注的內容並且可以給予模型個性設定並且避免遺忘性格設定諸如
此類）。
不過語言模型其實比很多人想像的更難控制，原因就出在於訓練數據的天然分佈跟下一個
詞預測的熵累加，這會導致最終損失跟不確定性被放大，當前還是一個待解決如何讓AI學
習人類大腦的雙系統模式（快思-系統1，慢想-系統2）。像最近gpt4o就有prompt注入風
險，駭客可以直接透過注入特殊格式的prompt開啟上帝模式，若是有廠商拿4o進行具體商
業利用可能還會有嚴重的損失，這也是為什麼可控、安全的AI模型是這幾年來從業研究員
在呼籲連署的。
差不多4醬，因為話題剛好涉及最近正在研究的東西所以就有點雜念隨筆談一下。