当前位置:首页 > 科技  > 网络

具身智能小镇来了!机器人逛超市买菜满街跑

来源: 责编: 时间:2024-07-23 07:13:46 412观看
导读 超逼真的机器人小镇来了!在这里,机器人可以像人一样在超市里购物:买菜回家做饭:在办公室里接咖啡(旁边还有人类同事):不只有人形机器人,机器狗、臂式机器人也在这个“城市”里穿梭自如。这就是由上海AI实

超逼真的机器人小镇来了!Tfx28资讯网——每日最新资讯28at.com

在这里,机器人可以像人一样在超市里购物:Tfx28资讯网——每日最新资讯28at.com

具身智能小镇来了!机器人逛超市买菜满街跑Tfx28资讯网——每日最新资讯28at.com

买菜回家做饭:Tfx28资讯网——每日最新资讯28at.com

具身智能小镇来了!机器人逛超市买菜满街跑Tfx28资讯网——每日最新资讯28at.com

在办公室里接咖啡(旁边还有人类同事):Tfx28资讯网——每日最新资讯28at.com

具身智能小镇来了!机器人逛超市买菜满街跑Tfx28资讯网——每日最新资讯28at.com

不只有人形机器人,机器狗、臂式机器人也在这个“城市”里穿梭自如。Tfx28资讯网——每日最新资讯28at.com

具身智能小镇来了!机器人逛超市买菜满街跑Tfx28资讯网——每日最新资讯28at.com

这就是由上海AI实验室新提出的首个模拟交互式3D世界:GRUtopia(中文名:桃源)。Tfx28资讯网——每日最新资讯28at.com

在这里,由多达100k个交互式、带精细注释的场景自由组合成逼真城市环境。Tfx28资讯网——每日最新资讯28at.com

包含室内室外,餐厅、超市、办公室、家庭等89个不同场景类别。Tfx28资讯网——每日最新资讯28at.com

具身智能小镇来了!机器人逛超市买菜满街跑Tfx28资讯网——每日最新资讯28at.com

由大模型驱动的NPC,可以在这个世界里和机器人对话交互。Tfx28资讯网——每日最新资讯28at.com

这样一来,各种机器人能在虚拟小镇里完成各种行为模拟,也就是近流行的Sim2Real路线,能大幅降低具身智能现实世界数据收集难度和成本。Tfx28资讯网——每日最新资讯28at.com

该项目计划开源,现阶段在GitHub上已提供demo安装指南。Tfx28资讯网——每日最新资讯28at.com

安装成功后,就能在demo里控制一个人形机器人在房间内活动,并支持调整不同视角。Tfx28资讯网——每日最新资讯28at.com

机器人的虚拟桃源Tfx28资讯网——每日最新资讯28at.com

其核心工作共有三项:Tfx28资讯网——每日最新资讯28at.com

GRScenesGRResidentsGRBenchTfx28资讯网——每日最新资讯28at.com

其中,GRScenes是一个包含大规模场景数据的数据集。Tfx28资讯网——每日最新资讯28at.com

它极大程度上扩展了机器人可以活动和操作的环境范围,此前的工作更聚焦于家庭场景。Tfx28资讯网——每日最新资讯28at.com

该研究表示,他们的目标是将通用机器人的能力扩展到各种服务场景,比如超市、医院等。同时覆盖室内室外环境,包括游乐园、博物馆、展览馆等。Tfx28资讯网——每日最新资讯28at.com

对于各个场景,他们都进行了精细高质量建模,100 个场景包含 96 个类别的 2956 个交互式物体和 22001 个非交互式物体。Tfx28资讯网——每日最新资讯28at.com

GRResidents是一个NPC系统。Tfx28资讯网——每日最新资讯28at.com

它由大模型驱动,同时对模拟环境中的场景信息非常了解。因此NPC可以推断物体之间的空间关系,参与动态对话和任务分配。Tfx28资讯网——每日最新资讯28at.com

借助于这个系统,GRUtopia可以生成海量场景任务供机器人完成。Tfx28资讯网——每日最新资讯28at.com

通过与人类进行交叉验证,NPC系统在描述和定位对象上的准确率都不错。Tfx28资讯网——每日最新资讯28at.com

在描述实验中,让NPC系统随机选择一个物体进行描述,人类能找到对应物体就算成功。Tfx28资讯网——每日最新资讯28at.com

在定位实验中则反过来,如果NPC系统能根据人类给出的描述找到对应物体就算成功。Tfx28资讯网——每日最新资讯28at.com

调用不同大模型的成功率不尽相同,综合来看GPT-4o的表现好。Tfx28资讯网——每日最新资讯28at.com

GRBench是一个评估具身智能表现的benchmark。Tfx28资讯网——每日最新资讯28at.com

它包含3个基准,涉及目标定位导航(Object Loco-Navigation)、社交定位导航(Social Loco-Navigation)和定位操作(Loco-Manipulation),这三种评估的难度逐渐递增。Tfx28资讯网——每日最新资讯28at.com

为了分析NPC和控制API的性能,研究提出了基于LLM和VLM的基线,以验证基准设计的合理性。Tfx28资讯网——每日最新资讯28at.com

实验结果表明,与随机策略相比,在所有基准测试中,使用大型模型作为后端代理的表现都更好。Tfx28资讯网——每日最新资讯28at.com

而且Qwen-VL在对话上的表现超过了GPT-4oTfx28资讯网——每日最新资讯28at.com

后整体对比来看,GRUtopia其他平台在各个维度上都更强大。Tfx28资讯网——每日最新资讯28at.com

该研究工作由上海人工智能实验室OpenRobot Lab领衔。Tfx28资讯网——每日最新资讯28at.com

该实验室聚焦研究具身通用人工智能,致力于构建软硬虚实一体化的通用机器人算法体系。Tfx28资讯网——每日最新资讯28at.com

今年5月,该团队还发布了具身多模态大模型Grounded 3D-LLM,能够自动化生成物体到局部区域的场景描述与具身对话数据,有效缓解了目前三维场景理解的局限性。Tfx28资讯网——每日最新资讯28at.com


文章出处:量子位

本文链接:http://www.28at.com/showinfo-17-102814-0.html具身智能小镇来了!机器人逛超市买菜满街跑

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 让全球电脑蓝屏两次 那个男人完成了史诗级成就

下一篇: 百度健康发布智能体家族:让大家看得起病、看得好病

标签:
  • 热门焦点
Top