在机器人技术的前沿探索中，智元机器人近期推出了一项重大创新——AgiBot Digital World，一个专为机器人操作技能研究与应用量身打造的仿真框架。该框架不仅提供了灵活的仿真数据生成方案，还配套预训练的大规模仿真数据和统一的模型评测标准，并慷慨开源了海量的仿真数据资源。
AgiBot Digital World框架集成了海量的高保真三维资产，涵盖了多样化的场景、物体和机器人模型。这些资产通过精细的人工建模、三维重建技术和前沿的生成式人工智能技术转化而来，旨在满足各类复杂机器人操作任务的仿真需求。借助NVIDIA Isaac-Sim仿真平台，AgiBot Digital World能够实现高度逼真的视觉渲染和精确的物理模拟，使得仿真环境与真实世界的差异微乎其微，无论是光影效果还是物理交互都显得异常真实。
AgiBot Digital World的一大亮点是其丰富的三维资产库。这些资产包括各种物体、场景和机器人模型，能够满足从简单到复杂的机器人操作任务仿真。例如，光透过窗户的投射效果、物体随机器人动作而产生的倒影等，都呈现出极高的真实感。该框架还能模拟真实世界的物理效应，如机器人将小车放入篮子时产生的晃动，进一步增强了仿真的逼真度。
为了提升仿真的灵活性和多样性，AgiBot Digital World引入了多模态大模型。这一功能支持基于资产库自动生成操作任务，以及根据指定任务自动生成操作场景和物体布局。这意味着，根据实际的训练需求，可以轻松地创建出多样化、复杂度可调的仿真任务与环境，从而实现数据的闭环。例如，在书房场景中，如果机器人需要从桌面任务转向书架上的立面操作，只需一键召唤取书任务，系统即可自动捕捉到环境中的书架，并根据需要调用资产库补充物体或切换场景。
在数据生成方面，AgiBot Digital World提供了多元化的专家轨迹生成策略。这些策略包括真机操作数字孪生、具身智能体自动生成和仿真遥操作。通过这些策略，可以生成丰富多样的专家轨迹数据，增强模型在真实环境中的泛化能力。同时，数据生成引擎还支持环境光照、物体材质和物理属性的随机化，以及多种操作轨迹增强方式，进一步提升了数据的多样性和鲁棒性。
智元机器人此次开源的仿真数据涵盖了家居、商超、办公、餐饮和工业五大场景，其中家居场景最为丰富，占比高达36%。数据集中包含了超过180种具体物品，涵盖了9大品类和9种主要材质。还囊括了12种核心技能，如抓、放、插、倒等，使得数据集能够灵活应对各种复杂任务。这些数据具有高质量、高泛化性、任务多样性和应用灵活性等特点，为端到端模型的可靠训练提供了坚实基础。
本文链接：http://www.28at.com/showinfo-45-11147-0.html智元机器人发布仿真框架AgiBot Digital World，海量数据集助力具身智能开发
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
