​DeepMind研发新AI项目Open-X Embodiment，可控制各种类型的机器人

摘要：文章概要:- Google DeepMind与33家其他研究机构合作，开展了一个新项目，旨在创建通用型AI系统，可与不同类型的物理机器人一起工作，并执行多种任务。- 他们提出的Open-X Embodiment项目结合了多个机器人类型的数据..

文章概要:

- Google DeepMind与33家其他研究机构合作，开展了一个新项目，旨在创建通用型AI系统，可与不同类型的物理机器人一起工作，并执行多种任务。

- 他们提出的Open-X Embodiment项目结合了多个机器人类型的数据集和能够跨多种任务传递技能的模型，取得了比传统方法更好的训练效果。

- 研究人员基于Transformer深度学习架构开发了RT-1-X和RT-2-X模型，这些模型在各种任务中表现出色，对机器人领域的研究具有重要意义。

近日，Google DeepMind与33家其他研究机构合作推出了一个令人瞩目的新项目，旨在解决机器人领域的一个重大挑战:为每个机器人、任务和环境训练机器学习模型所需的巨大工作量。这个项目的目标是创建一个通用型AI系统，能够与不同类型的物理机器人协同工作，并执行多种任务。

Google Robotics的高级软件工程师Pannag Sanketi表示:“我们观察到，机器人通常擅长专业领域，但在通用性方面表现较差。通常情况下，您必须为每个任务、机器人和环境训练一个模型，更改一个变量通常需要从头开始。”

为了克服这一挑战，他们推出了Open-X Embodiment项目，引入了两个关键组成部分:一个包含多个机器人类型数据的数据集，以及能够在广泛任务范围内传递技能的模型系列。研究人员将这些模型在机器人实验室和不同类型的机器人上进行了测试，在训练机器人方面取得了卓越的结果，相比于传统方法，表现出更高的成功率。

这个项目的灵感部分来自于大型语言模型（LLMs），它们在大规模通用数据集上训练时，能够匹敌甚至胜过在狭窄任务特定数据集上训练的小型模型。令人惊讶的是，研究人员发现这一原则同样适用于机器人领域。

为了创建Open X-Embodiment数据集，研究团队收集了来自20个不同国家的22种机器人实体的数据，数据集包括超过500种技能示例和150，000个任务示例，总计超过100万个事件（事件是机器人每次尝试完成任务时执行的动作序列）。

与此数据集相配套的模型基于Transformer深度学习架构构建。RT-1-X是基于Robotic Transformer1（RT-1）构建的，它是一个用于实际机器人领域的多任务模型。RT-2-X则是基于RT-1的继任者RT-2构建的，它是一个视觉-语言-行动(VLA)模型，学习了来自机器人和Web数据的知识，可以响应自然语言指令。

研究人员在五个不同的研究实验室中使用五种常用的机器人对RT-1-X进行了各种任务的测试，结果表明，与为每个机器人专门开发的模型相比，RT-1-X在任务中表现出了50%更高的成功率，如拾取和移动物体以及打开门等。该模型还能够将其技能推广到不同的环境，而专门的模型适用于特定的视觉环境。这表明，在多种任务中，基于多样示例训练的模型表现出色。根据论文，该模型可以应用于各种机器人，从机械臂到四足动物。

RT-2-X在新任务和紧急技能方面比RT-2成功率高出三倍，尤其在需要空间理解的任务方面表现更好，例如区分在布料附近移动苹果和将其放在布料上的任务。

研究人员计划进一步研究如何将这些进展与DeepMind开发的自我改进模型RoboCat的见解相结合，RoboCat可以在不同的机械臂上执行各种任务，并自动生成新的训练数据来提高其性能。

他们已经开源了Open X-Embodiment数据集和RT-1-X模型的小版本，但没有开源RT-2-X模型。他们相信这些工具将改变机器人的训练方式，加速研究进展，促进机器人相互学习，以及研究人员之间的知识交流。机器人领域的未来在于使机器人能够相互学习，让研究人员互相学习。