【ZiDongHua之創(chuàng)新自化成收錄關(guān)鍵詞：機(jī)器人 機(jī)器學(xué)習(xí) 斯坦福大學(xué)】
 
　　CoRL 2024|谷歌DeepMind、Meta與Franka Robotics共探機(jī)器人學(xué)習(xí)領(lǐng)域新突破！
 
　　機(jī)器人學(xué)習(xí)會議CoRL(Conference on Robot Learning)是一年一度的國際會議，會議重點(diǎn)討論機(jī)器人和機(jī)器學(xué)習(xí)的交叉學(xué)科。今年于11月6日至9日在德國慕尼黑盛大舉行，吸引了眾多機(jī)器人界專業(yè)人士及同行業(yè)伙伴參觀并聆聽學(xué)術(shù)成果的發(fā)表！
 
　　谷歌DeepMind、Meta、英偉達(dá)、Amazon Robotics等多家知名科技公司贊助并出席CoRL。Franka Robotics作為世界級一流機(jī)器人研究平臺也贊助并出席了這一盛會，見證了多個(gè)大學(xué)及研究機(jī)構(gòu)的學(xué)者們借助Franka Robotics機(jī)械臂發(fā)表的學(xué)術(shù)成果，包括視覺語言模型、遙操作、機(jī)械手開發(fā)等創(chuàng)新方向。讓我們來一探究竟吧！
 
　　01
 
　　AHA-用于檢測機(jī)器人操控故障的視覺語言模型
 
　　由Jiafei Duan領(lǐng)導(dǎo)，華盛頓大學(xué)及英偉達(dá)等機(jī)構(gòu)的學(xué)者們聯(lián)合發(fā)表的AHA，是一個(gè)專門為機(jī)器人任務(wù)失敗檢測和推理設(shè)計(jì)的視覺語言模型。它通過自然語言識別并解釋機(jī)器人的操作失敗情況。在訓(xùn)練過程中，AHA使用了FailGen生成的大規(guī)模失敗軌跡數(shù)據(jù)集，該數(shù)據(jù)集通過模擬擾動生成失敗示例。AHA不僅在模擬中表現(xiàn)出色，還能在真實(shí)世界中推廣，顯著提升機(jī)器人任務(wù)的成功率和錯誤修復(fù)能力。該模型能幫助改進(jìn)任務(wù)規(guī)劃、激勵函數(shù)及子任務(wù)驗(yàn)證，從而增強(qiáng)機(jī)器人操作的穩(wěn)定性和效率。
 
 
　　更多項(xiàng)目詳情在論文：AHA:https://aha-vlm.github.io/
 
　　更多團(tuán)隊(duì)成果：Manipulate-Anything:https://robot-ma.github.io/
 
　　Robo-Point:https://robo-point.github.io/
 
　　02
 
　　SkillGen-高效技能學(xué)習(xí)與部署的自動化示范生成
 
　　由英偉達(dá)團(tuán)隊(duì)發(fā)布的SkillGen，是一種自動化演示生成系統(tǒng)。用于幫助機(jī)器人高效學(xué)習(xí)和執(zhí)行復(fù)雜技能。只需少量人類演示數(shù)據(jù)，SkillGen便自主生成大量演示動作，并適應(yīng)不同場景。這些數(shù)據(jù)訓(xùn)練的機(jī)器人可以執(zhí)行多種操作任務(wù)，展現(xiàn)出高成功率。SkillGen還支持仿真到真實(shí)的零樣本遷移，使機(jī)器人在復(fù)雜環(huán)境中靈活適應(yīng)，顯著減少人力需求。
 
 
　　更多項(xiàng)目詳情在論文:https://skillgen.github.io/
 
　　03
 
　　ManipGen-局部策略實(shí)現(xiàn)零樣本長時(shí)間操控
 
　　由卡耐基梅隆大學(xué)及蘋果團(tuán)隊(duì)聯(lián)合發(fā)布的ManipGen，是一項(xiàng)創(chuàng)新研究，旨在讓機(jī)器人更靈活地完成復(fù)雜多步任務(wù)。傳統(tǒng)機(jī)器人往往難以適應(yīng)新的物體和環(huán)境，需要大量人工演示。而ManipGen通過“局部策略”進(jìn)行操作規(guī)劃，使機(jī)器人在不依賴新示例的情況下完成一系列分步任務(wù)。它結(jié)合視覺、語言和運(yùn)動規(guī)劃，賦予機(jī)器人對物體和場景的理解能力，因此可以在復(fù)雜場景中更自主地行動。實(shí)驗(yàn)表明，ManipGen在任務(wù)執(zhí)行中表現(xiàn)優(yōu)異，尤其適合不同物體和場景的復(fù)雜操作任務(wù)。
 
 
　　更多項(xiàng)目詳情在論文:https://mihdalal.github.io/manipgen/
 
　　04
 
　　PointFlowMatch-從點(diǎn)云中學(xué)習(xí)機(jī)器人操控策略的條件流匹配方法
 
　　由德國弗萊堡大學(xué)計(jì)算機(jī)科學(xué)團(tuán)隊(duì)提出的一種名為PointFlowMatch的新方法，用于從點(diǎn)云數(shù)據(jù)中學(xué)習(xí)機(jī)器人操控策略。通過條件流匹配（CFM）技術(shù)，PointFlowMatch可以生成機(jī)器人長時(shí)間、多階段的操作路徑，并適應(yīng)多種任務(wù)情境。實(shí)驗(yàn)表明，該方法在RLBench測試任務(wù)中的成功率達(dá)到了67.8%，是現(xiàn)有最佳方法的兩倍。該技術(shù)為機(jī)器人學(xué)習(xí)復(fù)雜操控任務(wù)提供了更靈活和高效的解決方案。
 
　　更多項(xiàng)目詳情在論文：http://pointflowmatch.cs.uni-freiburg.de/
 
　　05
 
　　Get a Grip-多指抓取算法穩(wěn)定實(shí)現(xiàn)模擬到現(xiàn)實(shí)的遷移
 
　　由斯坦福大學(xué)和加州理工學(xué)院學(xué)者聯(lián)合發(fā)明了一種新方法Get a Grip，通過使用判別模型評估抓取來實(shí)現(xiàn)多指抓取穩(wěn)定模擬到現(xiàn)實(shí)轉(zhuǎn)移。并發(fā)布了一個(gè)包含350萬次抓取的大型數(shù)據(jù)集，涵蓋了各種不同的抓取示例以及相應(yīng)的感知數(shù)據(jù)。通過這個(gè)數(shù)據(jù)集訓(xùn)練抓取評估，研究表明其性能超越了現(xiàn)有的生成模型，尤其在現(xiàn)實(shí)環(huán)境中的表現(xiàn)更加優(yōu)秀。研究結(jié)果也表明，數(shù)據(jù)的規(guī)模對實(shí)驗(yàn)成功產(chǎn)生重大作用。
 
　　更多項(xiàng)目詳情在論文：https://arxiv.org/abs/2410.23701
 
　　06
 
　　Vocal Sandbox-語音指令教機(jī)器人執(zhí)行任務(wù)
 
　　由斯坦福大學(xué)學(xué)者們開發(fā)的Vocal Sandbox項(xiàng)目，提出了一個(gè)新框架，用于實(shí)時(shí)的人機(jī)協(xié)作，能夠讓機(jī)器人從人類的多種輸入中持續(xù)學(xué)習(xí)和適應(yīng)，包括語音指令、視覺演示和物理引導(dǎo)。該框架旨在提高機(jī)器人響應(yīng)性，使其能夠?qū)W習(xí)復(fù)雜任務(wù)并適應(yīng)不同的環(huán)境。用戶可以逐步教會機(jī)器人多層次技能，從簡單的操作到更高級的規(guī)劃行為，這些技能都可以在不同任務(wù)中重復(fù)使用。
 
　　在禮品包裝組裝和定格動畫制作的測試中，Vocal Sandbox表現(xiàn)出顯著的易用性提升，減少了22%的訓(xùn)練時(shí)間，讓非專業(yè)用戶也能高效地教會機(jī)器人物體操作和復(fù)雜的運(yùn)動技能。