Re: [新聞]輝達設廠「2處機會大」 黃仁勳認擔心電力

作者: sxy67230 (charlesgg)   2024-06-06 21:22:24
※ 引述《zkow (逍遙山水憶秋年)》之銘言:
: ※「新聞」標題須為原新聞標題且從頭張貼 ※
: 1.新聞網址︰
: ※ 請附上有效原文連結或短網址 ※
: https://www.setn.com/News.aspx?NewsID=1480587
: 2.新聞來源︰
: 三立新聞
: 3.完整新聞標題
: ※ 內文請完整轉載標題 請勿修改與刪減 ※
: ※ 注意發文標題 為原始新聞標題從頭張貼 切勿修改與刪減 ※
: 輝達設廠「2處機會大」 黃仁勳認擔心電力:會挑正確地點
: 4.完整新聞內容︰
: ※ 請完整轉載原文 請勿修改內文與刪減 ※
: 輝達設廠「2處機會大」 黃仁勳認擔心電力:會挑正確地點
: 2024/06/06 19:19:00
: 三立新聞網
我這邊幫老黃緩頰一下,我記得之前有在八卦發過文,當前如果要做預訓練的AI模型這個
就是一個耗電怪物。以Meta訓練llama3 70B(以當前來說就真的是700億個參數就只是小
模型)的模型從零開始2.4萬張H100初估就足以批敵半座小城市一天的用電量,如果未來
需要更大的訓練光是10萬張顯卡一起動作就足夠讓一個城市的電網癱瘓,這也是為什麼電
力問題是當前各國都重視的,沒有足夠的電力就沒有安全的AI。
以上這邊都還只是訓練,推論部分以OpenAI的數據為50萬千瓦,差不多是1/10個台積電一
天的消耗電量,如果在多幾個模型(依照當前模型的能力不太可能只靠一個版本的生成式
模型解決所有人類問題)就超過台積電用電了,所以大模型就是耗電怪獸這已經算是業界
、學界的共識了。
如果老黃是想要在台灣部署AI並且變成研發中心那能源問題就是要謹慎考慮的。

Links booklink

Contact Us: admin [ a t ] ucptt.com