智元開源百萬(wàn)真機(jī)數(shù)據(jù)集!具身智能領(lǐng)域的ImageNet時(shí)刻已到來(lái)!
智元開源百萬(wàn)真機(jī)數(shù)據(jù)集!具身智能領(lǐng)域的ImageNet時(shí)刻已到來(lái)!
作為上海模塑申城語(yǔ)料普惠計(jì)劃中的一份子,智元機(jī)器人攜手上海人工智能實(shí)驗(yàn)室、國(guó)家地方共建人形機(jī)器人創(chuàng)新中心以及上海庫(kù)帕思,今天重磅發(fā)布全球首個(gè)基于全域真實(shí)場(chǎng)景、全能硬件平臺(tái)、全程質(zhì)量把控的百萬(wàn)真機(jī)數(shù)據(jù)集開源項(xiàng)目AgiBot World。這一里程碑式的開源項(xiàng)目,標(biāo)志著具身智能領(lǐng)域“ImageNet時(shí)刻”已到來(lái)。
這是智元機(jī)器人本年度開源的第三個(gè)項(xiàng)目,亦是對(duì)智元818發(fā)布會(huì)承諾的完美兌現(xiàn)。我們將按計(jì)劃在HuggingFace、Github以及agibot-world.com項(xiàng)目主頁(yè)上分批上傳數(shù)據(jù),加速人類邁向通用人工智能的新時(shí)代。
項(xiàng)目開源地址
HuggingFace:
https://huggingface.co/agibot-world
Github:
https://github.com/OpenDriveLab/agibot-world
項(xiàng)目主頁(yè):
https://agibot-world.com/
AgiBot World是全球首個(gè)基于全域真實(shí)場(chǎng)景、全能硬件平臺(tái)、全程質(zhì)量把控的百萬(wàn)真機(jī)數(shù)據(jù)集。相比Google開源的Open X-Embodiment數(shù)據(jù)集,AgiBot World長(zhǎng)程數(shù)據(jù)規(guī)模高出10倍,場(chǎng)景范圍覆蓋面擴(kuò)大100倍,數(shù)據(jù)質(zhì)量從實(shí)驗(yàn)室級(jí)上升到工業(yè)級(jí)標(biāo)準(zhǔn)!在這個(gè)具身數(shù)據(jù)的世界里,機(jī)器人不再只是進(jìn)行簡(jiǎn)單的桌面任務(wù),而是進(jìn)入到人類日常生活的方方面面。
01/
多樣任務(wù)
十八般武藝樣樣精通
AgiBot World數(shù)據(jù)集中涵蓋的場(chǎng)景具備多樣化和多元化特點(diǎn),從抓取、放置、推、拉等基礎(chǔ)操作,到攪拌、折疊、熨燙等復(fù)雜動(dòng)作,幾乎涵蓋了人類日常生活所需的絕大多數(shù)場(chǎng)景。比如,其中一個(gè)視頻展示的是機(jī)器人在電腦主機(jī)中裝內(nèi)存條的過(guò)程,這需要機(jī)器人毫米級(jí)精細(xì)控制,稍有不慎就可能導(dǎo)致設(shè)備損壞,其如神經(jīng)纖維般靈敏的末端觸覺傳感器,助力機(jī)器人實(shí)現(xiàn)了精準(zhǔn)的對(duì)接;還有試圖教會(huì)機(jī)器人如何用洗碗機(jī)的視頻——在這條數(shù)據(jù)中,展現(xiàn)了廚房水池里勺筷碗盤層層堆疊,機(jī)器人將雜亂的餐具一一準(zhǔn)確無(wú)誤地整理至洗碗機(jī)相應(yīng)卡槽中,操作流程長(zhǎng)且動(dòng)作十分繁瑣。AgiBot World數(shù)據(jù)集中收錄了80多種日常生活中的多樣化技能視頻,讓機(jī)器人能夠“十八般武藝樣樣精通”。

02/
全域場(chǎng)景
上得廳堂下得廚房
AgiBot World數(shù)據(jù)集誕生于智元自建的大規(guī)模數(shù)據(jù)采集工廠與應(yīng)用實(shí)驗(yàn)基地,空間總面積超過(guò)4000平方米,包含3000多種真實(shí)物品,一方面為機(jī)器人大規(guī)模數(shù)據(jù)訓(xùn)練提供場(chǎng)地,另一方面真實(shí)復(fù)刻了家居、餐飲、工業(yè)、商超和辦公五大核心場(chǎng)景,全面覆蓋了機(jī)器人在生產(chǎn)、生活中的典型應(yīng)用需求。

家居場(chǎng)景再現(xiàn)人類真實(shí)住宅布局,包括臥室、客廳、廚房、衛(wèi)生間等核心空間,可以實(shí)現(xiàn)機(jī)器人家務(wù)清潔、物品整理和廚房任務(wù)等。工業(yè)場(chǎng)景模擬分揀與物流自動(dòng)化,復(fù)刻工業(yè)倉(cāng)庫(kù)與生產(chǎn)線,包括分揀系統(tǒng)、打包設(shè)備、傳輸帶等,可以實(shí)現(xiàn)物料分揀、包裝打包、物流搬運(yùn)等。通過(guò)多場(chǎng)景的高度還原與任務(wù)設(shè)計(jì),AgiBot World為機(jī)器人研發(fā)和測(cè)試構(gòu)建了實(shí)現(xiàn)具身智能的必要條件。

像這樣類似的真實(shí)場(chǎng)景AgiBot World百萬(wàn)真機(jī)數(shù)據(jù)集中有100多種,家居占40%、餐飲20%、工業(yè)20%、商超10%以及辦公場(chǎng)景10%,其中80%的任務(wù)均為長(zhǎng)程任務(wù),任務(wù)時(shí)長(zhǎng)集中在60s-150s之間,并且包含多個(gè)原子技能,長(zhǎng)程數(shù)據(jù)是DROID和OpenX-Embodiment的10倍以上,3000多種物品基本涵蓋了這五大場(chǎng)景,同時(shí)還在不斷豐富中。
場(chǎng)景和任務(wù)分布
各個(gè)場(chǎng)景物品分類
數(shù)據(jù)集時(shí)長(zhǎng)分布
03/
全能硬件
沒(méi)有金剛鉆難攬瓷器活
機(jī)器人能夠如此靈活智能、勝任多種任務(wù)和技能,也得益于智元對(duì)于機(jī)器人本體的迭代升級(jí)——我們?yōu)闄C(jī)器人安裝了8個(gè)環(huán)繞式布局的攝像頭,讓機(jī)器人可以實(shí)時(shí)360度全方位感知周圍環(huán)境的動(dòng)態(tài)變化;配備6自由度靈巧手,保障動(dòng)作精準(zhǔn)且靈活,同時(shí)末端還增加了六維力傳感器和高精度觸覺傳感器,能夠感知力的微小變化,做到“拿捏有度”;機(jī)器人全身?yè)碛?2個(gè)主動(dòng)自由度,能夠靈活應(yīng)對(duì)多種復(fù)雜任務(wù)。
04/
質(zhì)量把控
嚴(yán)師出高徒
同時(shí),數(shù)據(jù)集的質(zhì)量,也是決定機(jī)器人能否快速學(xué)習(xí)的關(guān)鍵。AgiBot World中的數(shù)據(jù),都需歷經(jīng)一套嚴(yán)苛的流程與驗(yàn)證鏈路。在項(xiàng)目之初,我們便邀請(qǐng)學(xué)界、工業(yè)界、消費(fèi)者等多方介入提出建議,不斷迭代流程設(shè)計(jì)規(guī)劃;數(shù)據(jù)采集質(zhì)量環(huán)節(jié),無(wú)論是采集員還是采集質(zhì)量,均由完善的管理體系和專業(yè)的管理團(tuán)隊(duì)全程保障;對(duì)于采集到的數(shù)據(jù)本身,將通過(guò)端、云兩側(cè)嚴(yán)格篩選,自動(dòng)剔除不符合要求的數(shù)據(jù),再由專業(yè)的審核員逐幀審核,確保每一個(gè)動(dòng)作都符合任務(wù)標(biāo)準(zhǔn);最后,這些數(shù)據(jù)還會(huì)通過(guò)算法進(jìn)行二次驗(yàn)證,全方位筑牢數(shù)據(jù)質(zhì)量防線。
高質(zhì)量的數(shù)據(jù)集對(duì)于當(dāng)下具身智能技術(shù)的發(fā)展尤為重要?,F(xiàn)有開源數(shù)據(jù)集,或多或少都存在采集流程缺乏標(biāo)準(zhǔn)化、機(jī)器人構(gòu)型過(guò)時(shí)、數(shù)據(jù)質(zhì)量格式參差不齊等問(wèn)題,在機(jī)器人策略學(xué)習(xí)的過(guò)程中甚至?xí)?lái)副作用。
谷歌OXE數(shù)據(jù)集,任務(wù)缺少真實(shí)生活場(chǎng)景,
本體多樣,數(shù)據(jù)質(zhì)量和格式參差不齊
智元在此刻開源全球首個(gè)基于全域真實(shí)場(chǎng)景、全能硬件平臺(tái)、全程質(zhì)量把控的百萬(wàn)真機(jī)數(shù)據(jù)集AgiBot World,是具身智能技術(shù)發(fā)展的重大突破和里程碑事件,更是推進(jìn)具身智能通用人工智能(AGI)實(shí)現(xiàn)的重要加速器。我們通過(guò)匯聚頂尖資源與技術(shù)力量,將共同推動(dòng)具身智能發(fā)展新范式,加速人類邁向通用人工智能的新時(shí)代,在全球范圍內(nèi)奠定中國(guó)在這一前沿領(lǐng)域的領(lǐng)導(dǎo)地位。
未來(lái),智元機(jī)器人將陸續(xù)開源千萬(wàn)仿真數(shù)據(jù),以支持更泛化和更通用的大模型訓(xùn)練;將發(fā)布具身基座大模型,可支持模型微調(diào),賦能千行百業(yè);發(fā)布全套工具鏈,實(shí)現(xiàn)采集、訓(xùn)練和評(píng)測(cè)完美閉環(huán);為激發(fā)創(chuàng)新的無(wú)限潛能,我們還將舉辦一系列AgiBot World Challenge,歡迎科技愛好者加入我們!
我要收藏
點(diǎn)個(gè)贊吧
轉(zhuǎn)發(fā)分享
咨詢?cè)斍椋?/strong>如需咨詢文中涉及的相關(guān)產(chǎn)品或解決方案詳情,請(qǐng)加微信:ZiDongHuaX 。
微信聯(lián)盟:人工智能微信群、機(jī)器人微信群、大模型微信群、具身智能微信群,各細(xì)分行業(yè)微信群:點(diǎn)擊這里進(jìn)入。
鴻達(dá)安視:水文水利在線監(jiān)測(cè)儀器、智慧農(nóng)業(yè)在線監(jiān)測(cè)儀器 查看各品牌在細(xì)分領(lǐng)域的定位宣傳語(yǔ)
微信聯(lián)盟:人工智能微信群、機(jī)器人微信群、大模型微信群、具身智能微信群,各細(xì)分行業(yè)微信群:點(diǎn)擊這里進(jìn)入。
鴻達(dá)安視:水文水利在線監(jiān)測(cè)儀器、智慧農(nóng)業(yè)在線監(jiān)測(cè)儀器 查看各品牌在細(xì)分領(lǐng)域的定位宣傳語(yǔ)


評(píng)論排行