https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2825395
研究團隊隨機從史丹佛大學、維吉尼亞大學等機構招募了50名醫生，其中包括44名內科醫
生、5名急診醫生和1名家庭醫生，總共26名主治醫師和24名住院醫生。研究團隊接著再從
90年代以來的105個經典病例中進行了選擇和改編。所有病例均來自真實病人但最終診斷結
果從未公開，這樣醫生和ChatGPT都無法預先知曉答案。4位專業醫師選出6個最終入選病例
給受試者一個小時做判斷。
研究團隊使用提示工程框架，迭代開發了一個最優的0樣本提示，其中包含了任務細節、背
景、指示等關鍵要素，且每個病例使用相同提示。研究員會將優化後提示連同病例內容輸
入ChatGPT，每個病例獨立運行三次。研究員不對ChatGPT的輸出做任何人工修改直接交給
評分者一起盲評，評分者也不知道哪些結果由ChatGPT產生。
結果單獨使用ChatGPT得到的診斷得分中位數高達92%，明顯高於對照組，且p值為0.03，具
有統計意義。需要注意的是，這些病例是經過人類臨床醫生篩選和總結，人類已經對提取
關鍵資訊。在實際臨床中，獲取資訊的過程更加複雜，因此實驗結果並不代表大模型能在
臨床中取代人類 。