[新聞] AI晶片如何讓美國電網癱瘓?微軟工程師:

作者: anti87 (天機老人)   2024-03-30 10:13:03
原文標題:
AI晶片如何讓美國電網癱瘓?微軟工程師:只要10萬片就完了
原文連結:
https://www.ctee.com.tw/news/20240329701360-430704
發布時間:
2024.03.29 16:25 中時新聞網
記者署名:
吳美觀
原文內容:
全球掀起人工智慧(AI)熱潮,也讓AI進化成吃電巨獸!一位微軟工程師爆料,如果在美
國同一個州部署超過10萬片H100 GPU高階晶片,就會導致電網癱瘓。顯見AI運算速度愈快
,電力供應需求暴增將成為令人擔憂的問題。
財聯社報導,人工智慧聊天機器人ChatGPT開發者OpenAI下個版本GPT-5模型尚未面世,似
乎已開始著手訓練GPT-6,不過電力可能成爲一個「卡脖子」難題。
AI新創公司OpenPipe創辦人Kyle Corbitt在社群平台X上透露,自己最近與一位負責GPT-6
訓練集群項目的微軟工程師討論新版本中遇到的問題,這位工程師抱怨,不同區域GPU之
間部署infiniband(無線頻寛)級別鏈接,實在非常痛苦。
Corbitt接著問「為何不將訓練集群集中同一個區域?」這位微軟工程師回答,有嘗試過
,但是如果在一個州放置超過10萬片H100 GPU,電網就會癱瘓。
10萬片H100是什麼概念?據市場調查機構Factorial Funds的報告顯示,OpenAI的文字生
成影片模型Sora在高峰期間需要72萬片H100,依該工程師說法,這個數量足以讓美國7個
州的電網崩潰。
Corbitt指出,隨著越強大的AI製造出來,開發這些模型的成本也越來越高,並面臨電力
供應所帶來環境挑戰。
OpenAI 執行長奧特曼(Sam Altman)曾為AI的電力需求「叫苦」。在年初的達沃斯論壇
上,他表示,AI發展需要能源方面的突破,AI將帶來遠超預期的電力需求。
有數據顯示,ChatGPT每天需要消耗超過50萬千瓦時的電力,用於處理約2億個用戶請求,
相當於美國家庭日用電量的1.7萬多倍;至於搜尋巨頭谷歌,若在每次用戶搜尋中都調用
AIGC,年耗電量將增至290億千瓦時,這甚至高於肯亞、瓜地馬拉等國1年的用電量。
心得/評論:
隨著AI運算速度愈快,電力供應需求也將暴增,將成為令人擔憂的問題
還好咱們台灣電網堅韌無比,不缺電,不停電,不是美國那種落後國家能比的
作者: zxcvb1234522 (滑仔)   2024-03-30 11:11:00
高算力=高耗電≠獲利
作者: minhsiensung (麵線)   2024-03-30 11:25:00
不管怎麼改 所有電力節點都要變壓器啊 華城表示:
作者: JOKO58802218 (鋼鐵加魯魯)   2024-03-30 11:55:00
慘爆

Links booklink

Contact Us: admin [ a t ] ucptt.com