Meta又開源AI模型,算盤打的是「AI元宇宙」!ImageBind如何帶來多感官體驗?
https://www.bnext.com.tw/article/75211
當各大科技公司在AI人工智慧的戰場上各顯身手,試圖占據AI市場的一席之地時,有個看
似沉寂許久的科技巨頭,看似把未來押在虛擬世界「元宇宙」而錯失了先機,卻正在迎頭
趕上,不斷推出、甚至開源自家的AI研究成果──那就是Meta。
Meta於5月9日宣布了一個新的開源AI研究項目,名為「ImageBind」,且不只可以生成文
字、或是圖片,還可以串聯起文本、聽覺、視覺數據、3D深度資訊、溫度、動作數據。這
可能將是虛擬世界「元宇宙」計畫的一大步,也代表未來AI的走向,將會是創造身歷其境
的多感官體驗。
雖然這還在研究階段,Meta近期也還稱不上高調,但也不斷公開自家的研究項目,與相較
之下越來越神秘的OpenAI和Google形成強烈對比。
人工智慧「多模型」型態,將是生成式AI的趨勢?
早先廣為人知的生成式AI如Midjourney、Stable Diffusion和DALL-E,都是在訓練階段時
就已經把文字和圖片「連接」在一起的系統,在訓練時,這些模型就會以文字敘述來尋找
視覺資料中的模式。目前其他生成聲音或是短片的生成式AI也是如此。
但Meta表示ImageBind模型連結的不只文字和圖片,還包括了溫度(紅外線影像)、3D深
度距離、還有用慣性測量裝置(inertial measuring unit,IMU,可在手機或智慧手錶中
追蹤螢幕轉向等活動)所取得的動作數據。
這個模型將預期的成果是: 模擬人的感知 ,用有限的數據來生成複雜的場景。如果未來
能夠搭配虛擬實境設備使用,ImageBind不僅可以生成感官效果,還可以在使用者所在的
站台或座椅環境生成動作或效果。例如:輸入「長途旅行」,ImageBind可能就可以讓你
置身於搖晃的甲板,讓你聽到海浪聲,並給你陣陣涼爽的海風。
Meta也在官方部落格指出,未來其他感覺數據也會添加到模型當中,例如觸覺、嗅覺和大
腦fMRI信號等。文章中也指出,這個研究讓AI生成模型「更接近人類在許多不同形式的資
訊當中,同步、整體且直接的學習。」
不過,這都還只是研究項目,目前都沒有實際的應用成果或消費者心得。不過,繼去年9
月Meta低調推出短片生成AI模型後,這個研究項目在未來,也可能會是Meta元宇宙大夢的
重要里程碑。
Meta早就是AI老手?大方開源AI研究,能搶先訂下標準?
儘管低調,人工智慧在Meta早就已經是旗下Facebook或Instagram貼文與短影音的幕後關
鍵。用戶在Instagram上看到的所有內容中,就約有40%是由AI推薦的,而Instagram和
Facebook兩個一起算的話,比率則是20%。在業務方面,Meta的主要業務──銷售廣告,
也是AI來操盤的。
Meta在AI領域的最大優勢之一,就是旗下的研究部門,許多專家認為,Meta團隊的競爭力
並不輸Google和OpenAI等同行。
雖然Facebook和Instagram大量使用AI,但Meta的應用程式都不允許人們創建新內容,如
文本或影像。外媒《Vox》指出,可能跟Meta長期被控「散播仇恨言論、錯誤訊息」的罵
名有關,Meta還不想倉促建立一個會產生更多有害或是不正確內容的工具。
其實,Meta已經嘗試過了,他們去年11月所發布、以學術論文進行訓練的實驗性AI工具「
Galactica」吐出了不符合事實的種族主義訊息,在三天內就被撤下了。
Meta同時也面臨硬體設備難以執行人工智慧系統的問題。去年9月,Meta內部發布的一份
備忘錄表示,該公司「在AI開發方面,工具、工作流程和製程方面存在重大差距」,並且
需要「在這方面進行大量投資」。
不過,Meta的人工智慧研究部門仍定期發布公開的AI研究論文(不包括社群媒體演算法的
AI)。其他AI公司,如Google和OpenAI因競爭而不那麼願意公開研究成果。
Meta執行長馬克.祖克柏就曾表示, 公開研究成果可以讓Meta率先制定AI產品開發的行
業標準,並讓外部開發者更好地融入Meta的生態系統 。今年2月,Meta的研究部門與研究
人員就開放LLaMA的大型語言模型給AI社群索取使用權限。
LLaMA的能力目前落後於OpenAI最新的GPT4模型以及Google的Bard,但開放資源仍然代表
著AI研究社區不須強大的電腦,就可以修改底層程式碼。但這也有專家認為,過於自由的
開放可能會遭到惡意使用。
====
用AI來做虛擬實境的感覺模擬是很不錯。
看來野心不小,各種感覺都想加進去。
真讓它成功了,以後搞虛擬實境遊戲就要用它的技術了。
但問題還是一樣,這些資訊要怎進入使用者的腦中?
現在可沒這種腦機連接技術,也不知道那時才會有。
作者: AfterDark (我祇是來借個電話) 2023-05-16 18:21:00
部門都砍了 還要繼續騙錢嗎?
作者:
Ttei (T太)
2023-05-16 18:21:00還敢來騙阿
作者:
tym7482 (Max)
2023-05-16 18:21:00股東請加碼給錢
作者: nowingboy (xiezheng) 2023-05-16 18:22:00
元宇宙已經死了 現在還要來騙錢
作者:
reaturn (廿年後回頭看台灣)
2023-05-16 18:23:00改玩 多元宇宙啊
作者:
UnaBaby (晚安布布)
2023-05-16 18:23:00有一說一meta開源的東東有幾個還不錯用
作者: jaffson8909 (galaxy8560) 2023-05-16 18:23:00
嘎尾老蘇99會員
元宇宙也不算死了 就這些大佬想要的東西技術跟不上就像這篇的內容 感覺模擬技術是需要的沒錯...但最根源的腦機連接技術就沒有 弄再多都沒底像Cover老老實實地弄虛擬演唱會就很實際....
拜託他們拿個五十億給Star Citizen 好不好?
作者:
Satoman (沙陀曼)
2023-05-16 18:25:00腦機介面現在要實用不是裝備太多就是得腦袋開洞插UCB
作者:
ZMTL (夜風/瀟湘 VR板已經開板!)
2023-05-16 18:25:00看目標是什麼啊,研究也是需要一篇又一篇的引用論文堆上去終點訂好在那裡的話,中間不做永遠走不過去Meta比較尷尬的是語言模型之前外洩,雖然也有陰謀論
作者: fhirdtc98c 2023-05-16 18:27:00
太狠了
作者:
ZMTL (夜風/瀟湘 VR板已經開板!)
2023-05-16 18:27:00但如果不把目標放遠一點的話,近期就... 已經一堆人在改他外洩的語言模型了
他們之前流出的LLama很有料啊 有些團隊用那個搞出可以裝在自機的gpt了 表現好像能到七八成
作者: SALEENS7LM (我愛我婆,更愛你的) 2023-05-16 18:28:00
說真的我們現有腦研究都還只摸到一些皮毛而已,腦機或基本的頭戴式微波爐要問世還需要一段時間
作者:
MrJB (囧興)
2023-05-16 18:28:00AwIw元w宇w宙
作者:
egg781 (å–µå‰)
2023-05-16 18:28:00他們的AI領域不是被超車了嗎?因為中途中斷跑去賠137億
作者:
iWatch2 (有錢吃鮸沒錢免吃)
2023-05-16 18:30:00NVDA噴爛
作者:
gox1117 (月影秋楓)
2023-05-16 18:30:00繼續騙
作者:
ZMTL (夜風/瀟湘 VR板已經開板!)
2023-05-16 18:30:00他們之前被外洩的語言模型是現在許多開源語言模型的基底
作者:
s175 (ㄏㄏ)
2023-05-16 18:31:00湊在一起做撒尿牛丸
作者:
ZMTL (夜風/瀟湘 VR板已經開板!)
2023-05-16 18:31:00陰謀論的說法是他們在找全世界免費的開源工程師幫忙打工
這也是先畫大餅而已 而且裡面的內容其實也是當初元宇宙希望能達到的最終境界 只是現在又塞AI進來而已
作者: aa091811004 (falaw) 2023-05-16 18:33:00
不太看好
作者:
lolic (lolic)
2023-05-16 18:33:00沒東西才需要一直報出來騙錢
他們ai比源宇宙強太多了 現在還有全世界的人一起改進不要太小看
元宇宙 meta 一個遊戲都不會做 是元個毛 虛擬世界靠幻想哦 元宇宙製作難度怕是Mate壓身家都做不出來
作者: s1032kj (無聊) 2023-05-16 18:37:00
再次推出要你命3000 股價再漲一倍
作者: bobby4755 (蒼鬱之夜) 2023-05-16 18:39:00
沒想到還不想放棄耶
說真的 meta這樣幹對你各位完全是利多好不好,開源ai不用和chatgpt那樣還要想盡辦法繞過ㄌㄨㄟㄌㄧ限制,它不香嗎?
作者:
zeyoshi (日陽旭)
2023-05-16 18:44:00虧爛了不找點韭菜怎麼止損
作者:
gsock (急煞客)
2023-05-16 18:45:002023了 還在元宇宙
作者: hutao (往生堂買一送一) 2023-05-16 18:48:00
跟風馬笑死,人傻錢多?
作者:
Bugquan (靠近邊緣)
2023-05-16 18:53:00meta的AI很強啊,只是不知道為什麼傻了去做元宇宙
作者: NCTU87 (八七) 2023-05-16 19:12:00
有一說一 從小看FAIR論文長大
作者:
WarIII (我愛艾艾)
2023-05-16 19:12:00開源要有能量也是要社群領袖出來說真香 才有爆發的可能偏偏這群人是最不受控的
作者:
yudofu (豆腐)
2023-05-16 19:16:00看開源的內容就知道以為meta只是單純的大型GTA或者MMO的想法有多麼可憐
作者:
bnn (前途無亮回頭是暗)
2023-05-16 19:30:00你首先要先開源 才能吸引人來幫你開源打工 最後才收割
作者: jackpod2 (節怕吐) 2023-05-16 19:50:00
記得有加霸王條款,只能研究用。要商用就要看meta的心情了
作者: a82611141 2023-05-16 20:25:00
llama 有料