波士顿动力、特斯拉,你们的劲敌终究还是来了
三个技术关键词:大语言模型、 Sim2Real 和 NeRF 技术,然后“一气呵成”。
“潜水”两年后,以色列人形机器人公司 Meetee Robotics 发布了首款双足人形机器人 MenteeBot 原型视频。MenteeBot 身高1.7米,体重约70公斤,展示了端到端完成任务的能力——走到厨房将水果放到盒子里,然后将盒子放到指定位置。整个流程,导航、运动、场景理解、物体检测、抓取和自然语言理解,一气呵成。
值得注意的是,视频中的 MenteeBot 并不是通过一个命令来完成该任务的。人类首先告诉它去厨房,等机器人到了厨房后,再向它发出收拾水果的指令。机器人能否一次性完成同样的任务还有待观察。不过,Mentee Robotics 也指出,这还不是准备部署的最终版本。
Meetee Robotics 是一家颇有来头的初创公司,核心创始人 Amnon Shashua 是耶路撒冷希伯来大学的计算机科学教授 ,也是全球最大高级驾驶辅助系统( ADAS )供应商 Mobileye 的创始人。Mobileye 曾是特斯拉的核心供应商,2017年被英伟达以153亿美元收购。后来,英特尔又以167亿美元的价格将其送到纳斯达克。
Amnon Shashua 现在仍是 Mobileye CEO ,也是好几家知名 AI 公司创始人之一。其中,AI21Labs 作为最早将生成式 AI 带给大众的公司之一,也被视为 OpenAI 的强劲对手。
这位教授的头衔可真多啊.......几乎都站在了技术前沿上
基于这位核心创始人的经历,几乎可以预判 Mentee Robotics 核心技术至少覆盖两个重要领域。一个是生成 AI,当下最令人兴奋的 AI 研究优势就是大语言模型和机器人的结合,他也创建了一家生成式 AI 公司。另一个肯定与计算机视觉有关(想想自动驾驶),MenteeBot 可能仅使用基于视觉的摄像头来感知周围世界。
事实上,也正如 demo 所展示的,由于集成了大型语言模型,MenteeBot 能理解自然语言命令,执行任务,就像一个可以听懂你的话,完成任务的小助理。接下来,由于三维重建技术神经辐射场( neural radiance fields,NeRF )已成为自动驾驶必不可少的关键技术之一,MenteeBot 也毫无悬念地采用了这一技术。有了 NeRF ,机器人就像获得了 3D 视觉 能力,在接收到人类命令后,接着像人一样实时感知和理解周围环境,并定位自身,同时规划动态路径以避开障碍物。最后,机器人使用模拟器到现实 (Sim2Real) 机器学习方法,将模拟环境下规划的运动通过步态和手部运动应用到现实世界中,走向目的地、完成抓取任务。
Amnon Shashua表示,机器人的每个层面都集成了 AI。将这些技术无缝集成,MenteeBot 就能够执行完整的任务流程——从理解人类的指令,到感知和分析环境,再到规划和执行任务,一气呵成。
从官方公布的另外两个视频来看,你会发现,心灵手巧是 MenteeBot 另一个特点(如下)。据说,工程团队还开发了专有电机来增加机器人的灵活性。视频中,机器人可以握住并将不同家用物品递给人而不损坏它们,可见手部非常灵活,动作也精准,适合做一些精细的家务活儿。
在下面这个搬运重物的视频中,Mentee Robotics 展示了类似人类的平衡能力和控制力,在搬运重物时会自动调整步态保持平衡,比如侧身行走或者弯曲关节部分。
两年前,Amnon Shashua 等人创立了 Mentee Robotics。公司在新闻稿中称,“我们正处于计算机视觉、自然语言理解、强大而详细的模拟器,以及从模拟到现实世界方法走向融合的风口浪尖。” 这种融合也构成了打造通用双足机器人的起点,它可以自由在人类环境中行动,做家务,从模仿中快速学习。
除了 Shashua,创始团队还包括 CEO Lior Wolf (也是前 Facebook AI 研究总监)以及 CTO Shai Shalev-Shwartz,他也是以色列耶路撒冷希伯来大学教授、现任 Mobileye CTO。到目前为止,该团队已经帮助该公司筹集了1700万美元。
Mentee Robotics 也在下一盘很大的棋,他们的人形机器人产品将分为两个版本。一个准备进入千家万户,操持家务,能透过自然语言和视觉能力,快速学习新技能。另一个仍然面向工业场景,比如物流仓库。MenteeBot 最多可承载50斤左右重的负荷,一次充电可运行长达5小时。Mentee Robotics 计划在2025年第一季度推出一款可量产的原型。虽然价格成谜,但据说还是“负担得起”。
参考链接
https://www.menteebot.com/
更新于:6个月前