【ZiDongHua之“自動化學(xué)院派”收錄關(guān)鍵詞：星海圖  斯坦福大學(xué) 機(jī)器人  具身智能機(jī)器人  】
 
　　開發(fā)者生態(tài)|斯坦福大學(xué)x星海圖：助力推出全身移動操作家務(wù)機(jī)器人套件
 
　　01
 
　　家庭場景需要怎樣的機(jī)器人？
 
　　What Kind of Robots Do Family Scenes Need?
 
　　想讓機(jī)器人真正“融入”家庭，成為人類的生活助手，絕非易事。在實(shí)驗室中，移動操作機(jī)器人或許能精準(zhǔn)抓取物品或完成簡單指令，但當(dāng)場景切換到真實(shí)家庭環(huán)境——比如需要一邊開門一邊搬運(yùn)重物、整理不同高度的儲物架，或是清潔馬桶等復(fù)雜任務(wù)時，機(jī)器人面臨的挑戰(zhàn)將指數(shù)級上升。
 
　　近期，斯坦福大學(xué)李飛飛團(tuán)隊在機(jī)器人全身移動控制領(lǐng)域取得了重要進(jìn)展。
 
　　項目網(wǎng)站：https://behavior-robot-suite.github.io
 
　　斯坦福團(tuán)隊基于針對當(dāng)前機(jī)器人動作基準(zhǔn)的分析發(fā)現(xiàn)，機(jī)器人對于家庭任務(wù)的成功執(zhí)行依賴于三大核心能力：
 
　　1.雙手協(xié)調(diào)能力：搬運(yùn)大件物品或整理衣物時，雙機(jī)械臂需緊密配合，確保物品穩(wěn)定拿取與放置。
 
　　2.穩(wěn)定且精確的導(dǎo)航能力：長距離移動中避免碰撞，精準(zhǔn)定位目標(biāo)位置，保障高效、安全地到達(dá)指定地點(diǎn)。
 
　　3.高覆蓋范圍的末端執(zhí)行器可達(dá)性：家中物品分布在不同高度和空間，機(jī)器人必須靈活調(diào)整姿態(tài)，確保能觸及各類物品完成操作。
 
　　然而，復(fù)雜的硬件設(shè)計（如雙臂、移動底盤和多自由度軀干）雖然能提供物理支持，卻讓策略學(xué)習(xí)變得困難。如何高效采集數(shù)據(jù)、協(xié)調(diào)全身動作的模型訓(xùn)練，成為制約機(jī)器人落地的關(guān)鍵瓶頸。為此，斯坦福大學(xué)李飛飛團(tuán)隊使用星海圖機(jī)器人本體，推出BRBEHAVIOR Robot Suite(BRS)機(jī)器人套件。
 
　　該套件基于星海圖的全尺寸雙臂仿人形機(jī)器人R1，結(jié)合了低成本全身數(shù)采同構(gòu)遙操作硬件JoyLo和全身視覺運(yùn)動注意力策略WB-VIMA，在硬件與算法層面實(shí)現(xiàn)協(xié)同創(chuàng)新，為家庭場景中的機(jī)器人全身控制移動操作提供了全新解決方案。
 
　　02
 
　　BRS機(jī)器人套件
 
　　BRBEHAVIOR Robot Suite
 
　　BRS突破一：低成本遙操作數(shù)據(jù)采集方案JoyLo
 
　　數(shù)據(jù)采集是機(jī)器人學(xué)習(xí)的基礎(chǔ)，但傳統(tǒng)數(shù)采方法或依賴昂貴的數(shù)采設(shè)備，或操作復(fù)雜且難以協(xié)調(diào)全身動作。為實(shí)現(xiàn)高自由度移動機(jī)械臂的無縫控制，并促進(jìn)下游策略學(xué)習(xí)的數(shù)據(jù)采集，斯坦福團(tuán)隊構(gòu)建出了低成本全身遙操作數(shù)采設(shè)備JoyLo(Joy-Con on Low-Cost Kinematic-Twin Arms)，并使用JoyLo實(shí)現(xiàn)對星海圖R1機(jī)器人的全身控制。
 
 
　　BRS硬件系統(tǒng)概覽。左側(cè)：BRS中使用的是帶有靈活軀干的輪式雙臂操作機(jī)器人Galaxea R1。右側(cè)：專為通用性而設(shè)計的低成本全身遙操作界面JoyLo。
 
　　JoyLo的硬件使用任天堂Switch手柄結(jié)合3D打印的雙臂連桿，實(shí)現(xiàn)針對星海圖R1機(jī)器人3自由度底盤、4自由度軀干、14自由度雙臂及執(zhí)行器的低成本全身控制。這套方案的優(yōu)勢在于：
 
　　●高效的全身控制：
 
　　用戶可以通過小體積的手柄和雙臂連桿控制星海圖仿人形機(jī)器人R1的移動底盤、軀干和雙臂，能夠像玩主機(jī)游戲一樣輕松控制復(fù)雜的機(jī)器人姿態(tài)和動作。
 
　　●直觀的交互反饋：
 
　　多樣的觸覺反饋（如手柄震動）可以實(shí)時提示用戶操作狀態(tài)，如抓取成功或碰撞預(yù)警，從而進(jìn)一步升級實(shí)時的交互反饋。
 
　　●高質(zhì)量的真機(jī)數(shù)據(jù)：
 
　　與基于VR及Apple Vision Pro的遙操作方案相對比，JoyLo采集數(shù)據(jù)的任務(wù)成功率比VR遙操作方案高出5倍、平均完成時間比VR遙操作方案低23%。特別是在復(fù)雜及長程任務(wù)上，JoyLo方案表現(xiàn)出色，采集到的軌跡可直接用于策略學(xué)習(xí)，無需復(fù)雜的數(shù)據(jù)后處理過程。
 
　　●低成本的結(jié)構(gòu)設(shè)計：
 
　　整個系統(tǒng)由3D打印的雙臂連桿、低成本Dynamixel電機(jī)和Joy-Con控制器組成，總成本低于500美元，且模塊化設(shè)計便于更換組件。
 
　　●易于使用的實(shí)時控制器：
 
　　BRS包含一個直觀的、基于Python接口的實(shí)時控制器，能將目標(biāo)關(guān)節(jié)位置和目標(biāo)速度轉(zhuǎn)換為控制命令，通過ROS發(fā)送給機(jī)器人。
 
　　用于全身遙操作和數(shù)據(jù)采集的JoyLo
 
　　BRS突破二：多層級全身控制算法框架WB-VIMA
 
　　解決數(shù)采硬件的問題后，如何讓機(jī)器人自主規(guī)劃全身動作仍是難題。此前多數(shù)方法將機(jī)器人全身的關(guān)節(jié)動作進(jìn)行“扁平化”預(yù)測，忽略層級依賴，導(dǎo)致誤差累積（例如底座移動偏差會讓機(jī)械臂完全抓空）。BRS提出的WB-VIMA算法，通過兩大創(chuàng)新解決這一問題：
 
　　●自回歸全身動作去噪：
 
　　利用機(jī)器人實(shí)體的固有層次結(jié)構(gòu)，先預(yù)測底盤移動動作，再基于底盤狀態(tài)預(yù)測軀干姿態(tài)，最后協(xié)調(diào)雙臂動作，層層遞進(jìn)確保對全身協(xié)調(diào)運(yùn)動進(jìn)行建模。
 
　　●多模態(tài)觀測注意力機(jī)制：
 
　　使用以本體為中心的彩色點(diǎn)云和機(jī)器人關(guān)節(jié)位置以及移動底座速度作為觀察輸入。通過將各模態(tài)觀察編碼為觀察令牌，再將當(dāng)前和先前時間步的觀察令牌組裝成視覺運(yùn)動序列，經(jīng)過因果自注意力機(jī)制處理，使策略有效融合多模態(tài)信息，避免過擬合單一信息源。
 
　　注：WB-VIMA模型架構(gòu)。WB-VIMA自回歸地對空間內(nèi)的全身動作進(jìn)行降噪，并使用自注意力動態(tài)聚合多模態(tài)觀察。通過利用機(jī)器人體現(xiàn)中的層次相互依賴關(guān)系以及多模態(tài)感官輸入提供的豐富信息，WB-VIMA可以實(shí)現(xiàn)有效的全身策略學(xué)習(xí)。
 
　　為驗證WB-VIMA的能力，斯坦福團(tuán)隊將RBS套件應(yīng)用于五項真實(shí)家庭場景中，包括：
 
　　●倒垃圾：從室內(nèi)拾取垃圾袋并運(yùn)送至室外。
 
　　●整理貨架物品：將地面箱子精準(zhǔn)放置到多層貨架。
 
　　●整理衣物：從衣柜取出外套并平鋪至沙發(fā)床。
 
　　●清潔馬桶：開蓋擦拭、按壓沖水按鈕全程自主完成。
 
　　●派對后清理房屋：收集餐具并放入洗碗機(jī)。
 
　　結(jié)果顯示，BRS成功讓機(jī)器人勝任這些多樣化家務(wù)任務(wù)，其創(chuàng)新算法WB-VIMA在所有任務(wù)表現(xiàn)上全部優(yōu)于基線方法（包括DP3及基于RGB圖像的擴(kuò)散策略RGBDP）。端到端長程任務(wù)成功率比DP3高13倍、比RGBDP高21倍；在平均子任務(wù)成功率上，WB-VIMA比DP3高1.6倍、比RGBDP高3.4倍。
 
 
　　不同算法在五項代表性家務(wù)活動的成功率。注：“ET”表示整個任務(wù)，“ST”表示子任務(wù)
 
　　WB-VIMA在五項家務(wù)任務(wù)中的端到端模型演示：
 
　　倒垃圾：機(jī)器人從客廳拾取垃圾袋→導(dǎo)航至門口→開門→移動到室外垃圾桶
 
　　整理貨架物品：機(jī)器人在儲藏室內(nèi)從地面拾取箱子→移動到四層貨架→（根據(jù)可用空間）將箱子放置在相應(yīng)的貨架層上
 
　　整理衣物：雙機(jī)械臂配合取出衣架上的外套，平鋪在沙發(fā)床上
 
　　清潔馬桶：靈活調(diào)整軀干角度，開蓋、擦拭、按壓沖水按鈕一氣呵成
 
　　派對后清理房屋：機(jī)器人按順序完成從打開洗碗機(jī)門→整理桌面餐具→放置餐具進(jìn)洗碗機(jī)→關(guān)閉洗碗機(jī)門
 
　　03
 
　　星海圖：全方位賦能，探索前沿科技
 
　　Galaxea:Empowerment and Exploration
 
　　斯坦福團(tuán)隊整套BRS機(jī)器人套件均基于星海圖R1機(jī)器人進(jìn)行開發(fā)，目前論文、代碼、硬件設(shè)計方案和數(shù)據(jù)已經(jīng)全部開源，歡迎全球頂尖的開發(fā)者通過訪問項目網(wǎng)站(https://behavior-robot-suite.github.io)了解詳情。同時，星海圖也將持續(xù)為開發(fā)者提供全方位支持，滿足全鏈路開發(fā)需求：
 
　　●數(shù)據(jù)采集：
 
　　星海圖自研同構(gòu)遙操作平臺R1 Teleop，可以實(shí)現(xiàn)與JoyLo硬件同樣高效的數(shù)據(jù)采集效果。星海圖R1系列全系仿人形機(jī)器人，均可搭配同構(gòu)遙操作平臺，助力開發(fā)者完成低成本高效數(shù)采工作。
 
　　●機(jī)器人算法驗證：
 
　　WB-VIMA的開源框架可無縫接入星海圖機(jī)器人本體及開發(fā)環(huán)境，助力開發(fā)者快速驗證算法，大幅縮短研發(fā)周期。
 
　　●場景拓展：
 
　　不論是家務(wù)勞動，還是商業(yè)應(yīng)用，甚至是工業(yè)場景，高自由度星海圖仿人形通用機(jī)器人系列可以支持開發(fā)者探索更多復(fù)雜的移動操作任務(wù)。
 
　　無論是高校實(shí)驗室還是企業(yè)研發(fā)團(tuán)隊，星海圖將持續(xù)提供硬件方案、數(shù)據(jù)支持和開發(fā)工具鏈，助力全球開發(fā)者攻克機(jī)器人全身控制挑戰(zhàn)，讓具身智能機(jī)器人真正走進(jìn)千家萬戶。