李飛飛親自撰文，數十名科學家簽署聯名信，反對加州AI限制法案
https://www.jiqizhixin.com/articles/2024-08-07-4
機器之心
AI真的已經危險到要如此監管的地步了嗎？
在創新的熱土矽谷， 李飛飛 、 吳恩達 等AI 科學家正在與監管部門展開一場關於安全
與創新的拉鋸戰。
這場拉鋸戰的核心是一個名叫SB-1047 的法案。 該法案的全名為「Safe and Secure
Innovation for Frontier Artificial Intelligence Act（《前沿 人工智慧 模型安全
創新法案》），試圖為高風險的AI 模型建立明確的安全標準，以防止其被濫用或引發災
難性後果。
該法案於今年2 月在參議院被提出，隨後引起了很大的爭議。 許多科學家認為，法案的
條款過於不合理，將對科技創新造成毀滅性的影響。
法案連結：
https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047
具體來說，該法案旨在從模型層面對 人工智慧 進行監管，適用於在特定計算和成本閾值
之上訓練的模型。
模型覆蓋範圍如下：
1.使用超過10^26 次整數或浮點運算的計算能力進行訓練的 人工智慧 模型，其成本超過
一億美元（100,000,000 美元），該成本是根據開發者合理評估的訓練開始時 雲端運算
的平均市場價格計算得出的。
2.利用等於或大於10^25 次整數或浮點運算三倍的運算能力，對範圍內的模型進行微調而
創建的 人工智慧 模型。
這個範圍基本上涵蓋了現在市面上所有主流的大型模型。 如果法案通過，這些模型都將
被定義為存在「潛在危險」或需要額外監督。
法案還要求模型開發者對其模型的下游使用或修改承擔法律責任。 在訓練開始之前，開
發人員需要證明他們的模型不會啟用或提供「危險功能」，並實施一系列保護措施來防止
此類使用。 這將阻礙開源社群的發展。
監督新法律執行的將是一個「前沿模型部門（frontier model division）」，這是一個
新成立的監督和監管機構。 該機構將制定安全標準並就 人工智慧 法律提供建議，向該
機構歪曲模型的功能可能會使開發人員因偽證而入獄。
法案中還加入了吹哨人保護條款，保護和鼓勵AI 開發實體內部的舉報者，確保員工可以
在不受報復的情況下報告企業的不合規情況。
如果法案獲得通過，州長Gavin Newsom 的一個簽名就可以將其納入加州法律。 a16z 普
通合夥人Anjney Midha 表示，如果這項法案在加州獲得通過，將為其他州樹立先例，並
在美國國內外產生連鎖反應—— 本質上對創新狀況帶來巨大的蝴蝶效應。
在太平洋夏令時間8 月7 日早晨，相關部門將舉行關於該法案的聽證會。 留給科學家的
抗議時間已經不多了。 因此， 李飛飛 親自撰文，陳明法案利害。 還有一些科學家正在
簽署一封聯名信，以阻止法案通過。
李飛飛 撰文抨擊SB-1047
李飛飛 在文章中表示：「加州的SB-1047 將產生重大而意想不到的後果。如果通過成為
法律，SB-1047 將損害正在萌芽的 人工智慧 生態系。 SB-1047 將不必要地懲罰開發人
員，扼殺開源社區，並阻礙 人工智慧 學術研究，同時無法解決其旨在解決的真正問題
。 」
她寫道：
首先，SB-1047 將過度懲罰開發者並扼殺創新。 如果 人工智慧 模型被濫用，SB-1047
要求責任方和該模型的原始開發者承擔責任。 每個 人工智慧 開發人員（尤其是嶄露頭
角的程式設計師和企業家）不可能預測到其模型的每種可能用途。 SB-1047 將迫使開發
人員退步並採取防禦行動— 這正是我們試圖避免的。
其次，SB-1047 將束縛開源開發。 SB-1047 要求所有超過特定閾值的模型都包含“終止
開關”，這是一種可以隨時關閉程序的機制。 如果開發人員擔心他們下載和建置的程式
會被刪除，他們在編寫程式碼和協作方面就會更加猶豫。 這個終止開關將摧毀開源社區
，這是無數創新的來源。 其影響不限於 人工智慧 領域，而是在從GPS 到MRI 到網路本
身的各個領域。
第三，SB-1047 將削弱公共部門和學術 人工智慧 研究。 開源開發對於私營部門很重要
，但對學術界也至關重要。 如果沒有協作和對模型數據的訪問，學術界就無法進步。 如
果我們的機構無法獲得適當的模型和數據，我們將如何培訓下一代 人工智慧 領導者？
終止開關甚至會進一步削弱學生和研究人員的努力，與大型科技公司相比，他們在數據和
計算方面已經處於劣勢。 當我們應該加倍加大公共部門 人工智慧 投資時，SB-1047 將
為學術 人工智慧 敲響喪鐘。
最令人擔憂的是，該法案並未解決 人工智慧 進步的潛在危害，包括偏見和深度偽造（
deepfake）等等。 相反，SB-1047 設定了一個任意閾值，調節使用一定運算能力或花費
1 億美元訓練的模型。 這項措施遠非提供保障，只會限制包括學術界在內的跨部門創新
。 如今，學術 人工智慧 模型低於這個門檻，但如果我們要重新平衡私營和公共部門 人
工智慧 的投資，學術界將受到SB-1047 的監管。 我們的 人工智慧 生態系統將會因此而
變得更糟。
SB-1047 的限制過於武斷，我們必須採取相反的做法。
我並不反對 人工智慧 治理。 立法對於 人工智慧 的安全有效發展至關重要。 但 人工
智慧 政策必須賦能開源開發，提出統一且合理的規則，並建立消費者信心。 SB-1047 未
達到這些標準。
數十位科學家聯名反對
針對SB-1047，除了 李飛飛 ，由加州大學7 個校區的師生以及來自其他20 多個機構的研
究人員組成的團體也在積極行動。 他們共同起草並簽署了一封反對SB-1047 的公開信，
從研究者的角度出發，陳述該法案對加州 人工智慧 研究和教育目標的損害。
聯名信從以下幾個方面展開論述SB-1047 的不合理性：
1.法案會為開源模型的發布帶來「寒蟬效應」，進而損害研究
法案中要求對「前沿模型」進行「安全審核」和具備「完全關閉」能力，可能會嚴重阻礙
開源和開放 權重 模型的發布。 這些嚴格的規定對於私有實體控制的專有模式來說可能
更容易實現，而對於非營利組織或大學聯盟所使用的開放模式則較為困難。 法案中關於
安全展示和審核的條款表述不夠具體，依賴可能尚未存在且可能缺乏科學嚴謹性的測試
。 這種審計的潛在成本對於有獲利產品的商業實體來說可能容易承擔，但對於像Meta 的
LLaMA 系列這樣的商業實體的科學性開放發布，或是由非營利組織或大學聯盟訓練的開放
模型，情況可能並非如此。
由於這些繁瑣的限制，開源模型的開發者可能會選擇在加州或美國以外建立系統，並在避
免責任的前提下發布其模型。 在這種情況下，不顧合規的私人行為者可能會秘密使用這
些模型，而受到公共工作性質約束的學術研究人員將被排除在外，這促使他們更改研究主
題或轉移到不侵犯其學術自由的司法管轄區。 開源模型的可獲取性對於現代學術AI 研究
至關重要，因為它們使學術界能夠探索模型的工作原理、訓練過程中的能力提升以及如何
進行改進和破解。
2、 人工智慧 風險預測與「能力」評估存在不科學性
作為 人工智慧 、 機器學習 和 自然語言處理 領域的專家，這些研究者強調：SB-1047
中提到的評估模型風險的建議方法非常值得懷疑。 科學界就 語言模型 或其他前沿 人工
智慧 系統是否以及如何對公眾構成威脅尚未達成共識。
3.對開源模型的保護不足
儘管法案提到未來可能對開源模型提供特例，但由於 參數 數量的快速增長和計算成本的
降低，現有的保護措施可能難以持續。 在沒有強有力的保護措施的情況下，這些模型面
臨的後果可能很快就會顯現出來。 此外，性能相當的小型模型相比大型模型需要更高的
計算成本。 因此，法案中的修正案預計無法緩解對開源模型發布的負面影響，而嚴格的
報告和審核要求也將不必要地影響研究活動。
4.對學生的就業安置和職業成就的擔憂
SB-1047 未來可能會阻礙對 人工智慧 有興趣的學生進一步學習相關知識，甚至可能會阻
止新人才進入電腦科學等關鍵領域。 此外，隨著科技業從大公司向新創公司的轉變，額
外的監管障礙可能會透過支持更大、更好的企業來削弱新興創新者。 這種轉變可能會縮
窄學生的職業道路。
除了公開信，還有一些研究者選擇在社群媒體上發聲。 其中，一位系統生物學家指出，
SB-1047 就像在我們還不知道病原體是什麼、何時會感染我們以及感染會發生在哪裡之前
就激活了發炎反應。
此前， 吳恩達 也多次就此事發聲。 他認為，監管機構應該監管應用而不是技術。 例如
，電動機就是一項技術。 當我們將其放入攪拌機、電動車、透析機或導引炸彈中時，它
就成為了一種應用。 想像一下，如果法律規定，當任何人以有害的方式使用馬達時，馬
達製造商都要承擔責任。 那個馬達製造商要么停產，要么將馬達製造得非常小，以至於
對大多數應用來說毫無用處。 如果我們通過這樣的法律，可能會阻止人們製造炸彈，但
我們也會失去攪拌機、電動車和透析機。 相反，如果我們專注於特定的應用，就可以更
合理地評估風險並判斷如何確保它們的安全，甚至禁止某些類型的應用。
AI 真的已經危險到要如此監管的地步了嗎？ 對此，你怎麼看？
參考連結：https://a16z.com/sb-1047-what-you-need-to-know-with-anjney-midha/
https://drive.google.com/file/d/1E2yDGXryPhhlwS4OdkzMpNeaG5r6_Jxa/view
https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/?abc123