Re: [新聞] 輝達CMU新研究!機器人跳APT舞驚豔全網

作者: zxwxz (zxwxz)   2025-02-06 02:21:18
這階段是機器人的pre-training階段,類似大語言模型要去網路爬蟲把人類所有語言都爬進
來做預訓練,老黃這招就是要把所有的人類動作影片全部映射會機器人身上,不然根本沒啥
機器人的動作可當數據集,到時影片上所有人類可做的動作都會被所有機器人學起來,單一
指令到單一動作就可以串起來了,大概是走路,開門,握手,揮手,到非常基本的獨立單一
動作,但光這件事就很重要,機器人要在預訓練階段就知道所有動作要如何保持身體平衡,
要如何避免碰撞,要如何做觸碰反饋調整,就像成人走路不會需要思考怎樣走才不會摔倒,
要學到肌肉記憶等級的基本行為技能,重點不是仿照動作而已,而是這些模仿的機器人不會
摔倒,有達到動態自主平衡機制
最終如果要叫機器人自己打掃房間,還是要非常強的推理大腦才有辦法自主做事,但嫁接推
理模型上去應該不是太難的事,只是端側算力還要好幾個量級上去才行。
但今年機器人的發展,可能就有波小高潮,因為工廠打工的機器工人可以只做單一指令高重
複動作,就能上產線了,比家戶使用情境會簡單超多,只要能動態學習視覺到行為的復刻,
那上產線是很快的事
※ 引述 《LDPC (Channel Coding)》 之銘言:
: 標題: Re: [新聞] 輝達CMU新研究!機器人跳APT舞驚豔全網
: 時間: Thu Feb 6 01:19:38 2025
:  
: https://hao.cnyes.com/post/133793
:  
: 這機器人就是一個里程碑 (參照#1dZhKNT2 motion retarget和虛擬世界訓練)
: (詳細訓練過程 參照上面連結Fig 2)
: 之前機器人各路玩家的夢想就是 把人類影片所有動作去教他給機器人
: 概念就是 把影片直接扔進去 受益於poset estimation 可以把人類動作拆解成
: 骨架 接者用motion retarget 在虛擬世界去做校正 最後部署到現實世界
:  
: 這個最重要點就是 以後機器人看個影片 就可以學會人類動作 搭配LLM Gen AI之後更能
: 創造動作 我們家的多拉a夢快要出來了 @@/
:  
: 股點? @n@ 就是老黃RRRRRRR
:  
:  
: ※ 引述《randy225 (資方打手)》之銘言:
: : 原文標題:輝達CMU新研究!機器人跳APT舞驚豔全網 「人形機器人」奧運會2030年可

: : ※請勿刪減原文標題
: : 原文連結:https://news.cnyes.com/news/id/5851739
: : https://hao.cnyes.com/post/133793 (機器人動作)
: : ※網址超過一行過長請用縮網址工具
: : 發布時間:2025-02-05 17:30
: : ※請以原文網頁/報紙之發布時間為準
: : 記者署名:鉅亨網編譯陳韋廷 綜合報導
: : ※原文無記載者得留空
: : 原文內容:
: : 機器人版的柯比布萊恩 (Kobe Bryant)、詹皇(LeBron James)、C 羅 Cristiano
: : Ronaldo 真的來了,而這一切全拜卡內基美隆大學(CMU) 和輝達(NVDA-US) 所提出的一

: : real2sim2real 模型 Aligning Simulation and Real Physics(ASAP),ASAP 能讓人

: : 機器人掌握非常流暢且動感的全身控制動作,就連跳時下最紅的 APT 也相當流暢。
: : 中國智能資訊社交平台《新智元》報導,市場可以期待在 2030 年看到人形機器人奧運

: : 盛宴,CMU 與輝達提出的 ASAP 專案包含預訓練和後訓練兩大階段。在第一個階段中,

: : 過重定向的人體數據,在模擬環境中預訓練運動追蹤策略,第二階段將這些策略部署到

: : 實世界,並收集真實數據來訓練一個「殘差」動作模型,用來彌補模型與真實世界物理

: : 態之間的差距。
: : 然後,ASAP 把這個 delta 動作模型整合到模擬器中,對預訓練策略進行微調,讓它和

: : 實世界的動力學更匹配。具體步驟分為四步,分別是運動跟蹤預訓練與真實軌跡收集、

: : 異動作模型訓練、策略微調以及真實世界部署。
: : 研究人員在三個遷移場景中評估了 ASAP 的效果。從 IsaacGym 到 IsaacSim、從
: : IsaacGym 到 Genesis,以及從 IsaacGym 到真實世界,使用的機器人則是中國廠商宇

: : 的 G1 人形機器人。
: : 最後,研究者藉助 delta 動作模型對預訓練的策略進行微調,使其能夠更好地適應真

: : 世界的物理環境,從而實現更穩定、敏捷的運動控制。
: : sim2real 一直是實現空間與具身智慧的主要路徑之一,被廣泛應用在機器人模擬評估

: : 中,而 real2sim2real 直接打破了繁瑣的動作微調的難題,彌合 sim2real 的差距,

: : 機器人能夠模仿各種類人的動作。
: : 輝達資深研究科學家 Jim Fan 興奮地表示,透過 RL 讓人形機器人成功模仿 C 羅、詹

: : 和科比!
: : 報導指出,CMU 跟輝達的研究有四大貢獻。第一個是提出 ASAP 框架,運用強化學習和

: : 實世界的數據來訓練 delta 動作模型,有效縮小了模擬與現實之間的差距。其次,成

: : 在真實環境部署全身控制策略,實現了不少以前人形機器人難以做到的動作。
: : 第三大貢獻則是 ASAP 能有效減少動力學不匹配問題,讓機器人做出高度敏捷的動作,

: : 時顯著降低運動跟蹤誤差。最後,研究者開發並開源了一個多模擬器訓練與評估代碼庫

: : 以促進不同模擬器之間的平滑遷移,並加快後續研究。
: : 心得/評論:老黃在中國跳APT,而輝達與CMU開發的軟體讓機器人動作更靈活
: : 看完上面網址的影片,真的超驚嘆,機器人的動作會進步到什麼地步??
: : 動作逼真到很扯,未來機器人陪你運動XD
: : ※必需填寫滿30正體中文字,無意義者板規處分
:  
:
作者: dongdong0405 (聿水)   2025-02-06 09:27:00
工業機器人確實不完全需要人形 不如說做人形反而還浪費成本

Links booklink

Contact Us: admin [ a t ] ucptt.com