看完这场震惊所有人的“虚拟人”对话,我觉得元宇宙可能真要来了…

2023-10-01 13:39
摘要:元宇宙这个概念,自从2021年被扎克伯格带火后,给人们的感觉一直就像个“最熟悉的陌生人”,总是若即若离,忽远忽近的。说直白点儿,就是大家都觉得它存在感不够强,没有想象的那么厉害。因为提起元宇宙,网友们脑海..

元宇宙这个概念,自从2021年被扎克伯格带火后,给人们的感觉一直就像个“最熟悉的陌生人”,总是若即若离,忽远忽近的。说直白点儿,就是大家都觉得它存在感不够强,没有想象的那么厉害。

因为提起元宇宙,网友们脑海中的印象还是这样的:

扎克伯格曾遭到“群嘲”的著名Horizon Worlds虚拟形象自拍,图片来自Facebook

可是才短短一年,一场长达1小时,发生在元宇宙世界的隔空对话就横空出世,炸翻了社交网络。这次轮到网友傻眼,纷纷惊呼,怎么一不留神它就悄悄进化成这样了?!

近日,麻省理工学院科学家、同时也是人工智能大佬和知名播客主播的Lex Fridman,对Meta首席执行官马克·扎克伯格进行了一场关于增强现实、AI和大语言模型的深度访谈。

与以往不同的是,这次两人没有在物理世界碰面,而是相隔着大半个美国,在元宇宙里以超逼真的3D虚拟形象完成了对话。截至硅星人发稿时,这场名为「First Interview in Metaverse」的采访已在 X(原推特)上狂揽近1千3百万观看量。

视频开头,Lex Fridman的全身版高清数字分身出现在一片白色未来感空间中,他说:“尽管Mark和我在现实世界中相隔数百英里,但由于我们的形象都以照片级精度的3D模型建模,并伴随空间音频相互呈现,我俩就像在同一个房间面对面交流。这项技术实在太令人惊叹了!我认为这将是未来人类在互联网上更深度有意义连结彼此的方式。”

两人在访谈中都佩戴着Meta Quest Pro VR头显。可能是因为视野里的效果太过真实,Lex一度像个好奇宝宝,除了咧嘴“傻笑”,就是不停感叹:“我在哪儿?Mark真的是你吗?这太棒了!你不介意我离你太近吧?”

当然,视线距离是可以调整的。不仅如此,你还可以通过控制手柄来调整光源位置,找到最凸显自己面部优点的照明角度。

扎克伯格介绍说,与Horizon Worlds中的卡通版本或视频传输不同,创建这些全新模拟真人的Meta Codec虚拟形象,需要对用户的各种面部表情和动作细节进行广泛扫描,而后建模并压缩成一个编码版本。

随后,头戴设备的实时眼部和面部追踪功能会捕捉用户表情,映射到3D虚拟化身上,并“发送一个编码版本的你应该看起来的样子”给虚拟世界或会议通话另一端的人们,在他们眼前呈现一个足以以假乱真的你。

由于元宇宙里的形象数据是以编码形式传输,所以除了逼真外,也比发送一个完整的沉浸式视频更加节省带宽。

从采访视频来看,虚拟化身呈现出对真人细节的还原能力确实太强,用Lex的话说,“它捕捉到了一切,包括人脸上的缺陷。对我来说,这些缺陷正是人的微妙之处,这些小雀斑、皱纹、不对称的脸颊、笑的时候眼角的表情…它们让我更加享受其中,意识到完美并不是沉浸的关键。”

“眼睛的确很重要,”扎克伯格说道:“许多研究证明,人的交流主要是靠表情和肢体完成的,而不是靠语言。Meta一直努力用自己的经典虚拟系统捕捉这些表情,通过照片般的真实体验,带来特殊的临场感。”他认为这也触及了虚拟现实和增强现实的视觉核心,就是令人们不论在世界上的哪一个地方,都会感觉在一起。

想象未来进入会议室,有些人实际在现场,有些人则以这种逼真的虚拟形态出现,并通过结合混合现实技术叠加在物理环境上:你以为TA坐在桌子边跟你聊项目,其实TA远在千里之外;夜深人静一个人在外地想家的时候,带上头显亲人就近在咫尺。而对面人的一颦一笑,每一个细微的面部表情,都可以几乎没有延时和耗损地立体真实再现。

体验过程中,Lex一直禁不住惊呼这太美妙了,“我此刻心跳很快,对话的亲密感可以这样远程实现。我感受到了情绪,也感觉到你我真实存在。这是我人生中最难以置信的体验之一,真的大开眼界!”

不过需要说明的是,实现视频中的对话效果目前对普通人还不是那么容易。在开始采访前,两人都曾提前飞到匹兹堡,在Meta Codec项目组进行了融合当前软硬件最高技术、长达几个小时的细节扫描。

在前几天刚结束的Connect大会上扎克伯格说过,他最大的愿景就是让那些高大上的科技变得亲民,改变大多数人的生活。那么这次,他对未来又有什么构想呢?

小扎表示现在我们才刚刚开始。通过先扫描少数人,收集足够多的表情数据,来探索整个流程能简化到什么程度,进而在应用到大量人群时更流畅。虽然目前这项技术还没完全准备好推向市场,但在未来几年内,会持续调整和优化,以早日应用到工作场景,解决生产力问题。

Meta正在努力实现的是,只需用手机进行非常快速的人脸扫描,比如拿起手机在脸前晃动、说几句话、做一些表情,全程可能只需两三分钟,就产生如同现在的通话质量。如何在保证体验的同时更高效,仍是接下来面临的挑战之一。

Lex认为,全新的Meta Codec Avatars显然已经越过了曾经的“恐怖谷底”,镜头里的小扎看起来完全和本人一样,接着他试探性地笑着问:“所以我们也不需要胳膊和腿了,对吧?”

“不不,这些我们还是会解决的”,扎克伯格赶忙解释道,“实际上有个问题是,高精度的全身扫描需要强大的算力支持,无论对于头显的传感器还是渲染能力。所以我们也许会考虑以较低的保真度还原身体,比如仍保留大的动作,但脸才是最需要解析的东西。毕竟眉毛移动一毫米就会传达截然不同的情绪,相比之下,胳膊移动一英寸也显得没那么重要了。”

Horizon Worlds里的虚拟形象曾因苍白的表情和缺少下半身被人们形容为”恐怖谷效应“,图片来自Meta

两人后来还聊到了刚刚问世的Quest3、增强现实、元宇宙中的人工智能和人类的未来。Lex把这次和扎克伯格的访谈调侃成“互联网里表情最僵硬的两个人在元宇宙的相遇”,他觉得在这个虚拟空间里,自己的表现力更容易被捕捉到,能更真实地传达情绪:“我真希望更多的人能来亲自体验!” 小扎也表示非常期待网友们看到这集播客后的反应,唯一担心的是观众透过2D屏幕,能否真地感受到这种呼之欲出的真实震撼感。

而从网友们的留言来看,显然不仅感受到,而且被结结实实地震撼了。

即使这几个月已经被谷歌、微软、特别是OpenAI的ChatGPT几轮暴风式更新洗礼过,也算见过大世面,这次元宇宙里的采访还是超越了人们的认知范围。全球顶级Youtuber 野兽先生 (MrBeast)在视频下留言说,“我们是怎么从像素虚拟人来到这儿的,我到底错过了什么!”其他人也纷纷跟帖表示“这是我见过最难以置信的事情之一”。

v

有人说,在引领科技创新的强者队伍里,Meta永远占有一席之地。被质疑、取笑甚至诟病了那么久,元宇宙还是进化成这样一种强大的3.0形态来了。

Lex说,我看到了未来。

扎克伯格说,我相信接下来的一年会相当疯狂。

不论Meta未来会怎样发展,走向如何,这场史上首次跨越百英里、元宇宙中的“真人”隔空对话都具有里程碑式的意义。而生于这个时代,见证一切不可能变为可能的我们,本身就已经足够幸运。

更新于:2023-10-01 13:39