原生鸿蒙AI浓度要爆表了：鸿蒙原生智能加持，华为小艺进化成系统级智能体
“鸿蒙原生智能”Harmony Intelligence来了!
一年一度华为开发者大会上，余承东首次揭秘。
而在Harmony Intelligence革新下，华为小艺也迎来了重大升级——
现在，它不仅仅是AI助手，而是系统级智能体。
基于盘古大模型5.0，目前华为小艺现在已掌握万亿级Tokens知识量、支持23类TOP场景、任务成功率达90%。
只需一句话，它就可以实现跨多个应用的规划和任务执行;而要在第三方APP上想要处理文字图表信息，也通通不在话下。
对屏幕上的内容，小艺应对自如。比如有地址信息的情况，就能直接询问导航到这里的时间/距离，询问附近停车场/地铁站等信息。
现在，HarmonyOS NEXT已启动面向开发者和先锋用户的Beta升级，余承东喊话:
星河璀璨，加入鸿蒙正当时!
而小艺作为HarmonyOS NEXT的一部分，它的这次全面升级也透露出，正式版HarmonyOS NEXT的AI浓度要爆表。
所以，小艺到底完成了哪些能力大升级?
小艺全面升级:系统级智能体
如果说去年留给大家的印象是首个大模型加持的智慧语音助手，那么今年小艺已经成长为一个智能体，系统级别那种。
换言之，就是AI与OS紧密融合，能力升级也将更为彻底，同时也可以直接触达用户侧的需求。
那么基于盘古大模型的升级迭代，小艺能力可以说来了个大升级，在记忆、推理、知识问答等方面的能力大幅提升。
除此之外，还更开放，多达300+的服务通过意图框架接入，这样一来，可以更高效地满足用户需求。
最直观的，就是交互设计——真正意义上操作系统级别的超级入口。
小艺位于手机屏幕底部导航条，长按导航条就可以随时唤醒小艺;此外还新增拖拽方式，支持全局拖拽文字、图片、文档等内容给小艺，随时让小艺为你智能处理信息。
一个具体在办公场景中的例子，比如一则开会通知文本拖拽给小艺，它就能根据通知内容，拉起日历创建行程;再给他一个带表格的图片，他能帮你转成表格文件处理数据……
除此之外，还可以随时根据屏幕内容跟小艺进行问答、发出指令。
手机真就变成了你的一个办公助手，你不需要在多个应用直接反复横跳操作，更加专注的在手上的任务，这样零门槛地就感受到大模型所赋予的能力。
而更深层次的升级，是跨设备跨应用的感知规划，完全是个专业又能干的助手了。
一方面，基于融合系统感知的意图能力以及专业知识解析能力，小艺化身华为产品专家，跨各种设别终端来为用户答疑解惑。目前覆盖华为终端1+8设备产品知识，一整个格局打开。
比如购车前辅助决策，你可以问:问界M7和M5的车型对比;购买之后，也可以提供专业全面的解答。
另一方面在系统内部它能实现跨应用的任务规划与调度，以此来实现更复杂的应用。
要实现这一点，对智能体的挑战并不小。首先它需要有感知和理解能力要精准，不管是对设备、对应用的感知，还是对与用户这边意图、需求的理解，然后再进行多步骤的任务规划、工具调度和执行能力。
而在发布会上，小艺为我们展现了这样一个场景。
要跟小伙伴一起踢足球，只需要跟小艺说，“发条短信给吴双，告诉他后天下午足球赛的比赛地点”。
接下来全部交给小艺，首先它从日程找到相关的时间地点，然后找到联系人，并编辑好一条短信内容进行发送。这个过程中，小艺完成了日历、联系人、短信三个应用的协作。
最后，面对用户更多个性化的场景和需求，小艺还搞了一波大的——
更多生态应用和服务，可以通过意图框架，接入小艺智能体，提供更加自然高效的用户体验。
换言之，它联合开发者以及生态伙伴一起，人多力量大，就不信这样还不够懂你。
比如出行类APP接入意图框架之后，小艺就能帮助规划行程，自动订机票，到出发时实时信息同步，以及之后本地“衣食住行”服务。
以往智能体最多可能只停留在打开APP这一步骤，但现在同生态伙伴合作，小艺能贯穿整个出行场景全流程，「最后一公里」也全部打通。
接下来小艺还将会接入更多行业知识和应用功能，与更多开发者一起打造出行、运动、娱乐、生活、办公等行业智能体，一起为消费者提供各个专业领域的服务，实现精准推荐和服务闭环。
小艺如何做到?
一系列能力升级背后，关键问题是，小艺如何在短短1年时间内升级成为智能体?
目前，业内已经逐渐达成一个共识:大模型重塑终端，智能体必不可少。
这是因为在实际应用场景中，如果仅依靠大模型自身的智力水平，其能力一定十分有限。比如在知识领域，知识增强方法已经成为一个研究热点，这是让大模型更高效拓展知识水平的方法之一。
除了知识拓展外，智能体构建还需要考虑对物理世界的感知与理解、对复杂任务的拆解与执行等。
具体来看小艺的技术升级路线，其实主要关注了四个方面:
底层模型
智能原生系统深度整合
端云协作
开放生态
首先在模型层面，它依托的盘古大模型在本次HDC上已完成全新升级。
在盘古大模型加持下，小艺在多模态理解生成上变得更强，并能完成复杂逻辑推理。
其次，HarmonyOS本身也更加原生智能化。
在最新发布中，华为宣布通过软硬芯云整合，HarmonyOS NEXT构建了全新鸿蒙原生智能架构。它基于华为自研的全栈硬件与基础设施，构建了端云协同的算力调度系统和推理框架，让AI大模型运行地更加高效，支持更安全的隐私保护。
该架构中，统一的AI系统底座为原生智能应用和小艺智能体持续输入AI能力。
它能在OS层提供统一的AI基础模型、数据接入等，同时为OS其他子系统（如媒体子系统、文件子系统等）提供协调一致的智能化改造。
由此，小艺可以具备四方面能力:
感知和记忆
自主规划
工具
行动
感知方面，小艺可以通过HarmonyOS获取到设备在硬件传感器和软件传感器方面的信息，利用多模态大模型理解图文、视频、语音、传感信号等模态信息，并能将这些碎片化的感知信息进行全场景融合。
记忆方面，通过建立一个存储并管理用户信息的记忆体，小艺可以在解答问题、执行操作时进一步结合用户习惯，给出更具个性化的回答和反馈。
在具体任务上，小艺能根据用户提出的显性或隐式诉求，自己理解、拆解任务，并将一个个子任务编排成链，形成具体的可执行过程。
它可以调用HarmonyOS上的工具和服务。包括OS系统工具（如日历、计算器等）和第三方服务。
在此基础上，HarmonyOS构建了系统级的意图标准体系。它能通过多维系统感知、大模型等能力构建全局意图范式，可以更深入理解用户的潜在意图。
畅想一下，假如想要在飞行途中提前缓存视频，传统智慧助手需要至少3条准确指令才能完成:
1、打开华为视频
2、找到XX视频
3、下载5-8集
但是在意图框架下，这些步骤可以省略成一句话:我坐飞机时想要看正在追的剧。
得到用户需求后，系统级智能体可以先在全局范围内检索到用户明天有从北京飞往深圳的航班，根据用户日常习惯，它能从华为视频上找到最近正在追的剧以及进度。因为知道飞行时间为3个小时，剧集每集时长为40分钟，系统智能体会计算后缓存5机剧集。甚至它会在执行一系列操作时，确保手机处于WiFi连接状态。
在全局范围内具备更强能力后，底层计算也需要做出相应调整。
华为采用端云协同的方式，让端侧侧重感知执行，云侧侧重规划决策，从而实现了全局化智能。
端云芯片同源，能更有利于端云算力协同，并且能让多设备之间的流转体验更好。
通过实现端云统一的AI计算生态，端云的算子优化可以相互使能或借鉴。
与此同时，华为还构建了“软硬芯云一体化安全架构”，通过深度整合软件、硬件、芯片与云端各层防护机制，来确保数据、应用和用户交互的安全。
最后，HarmonyOS还构建了开放的生态系统。
通过开放模型开发部署能力、提供与HarmonyOS深度适配的原子化API接口以及高阶AI系统能力组件（AI控件、意图框架），开发者可以快速开发与迭代。
其中，通过控件AI化可将原生鸿蒙AI能力开放给三方应用，更多三方应用调用HarmonyOS NEXT的AI能力，鸿蒙生态也更进一步壮大。
比如，小艺智能体可以在系统中调用、编排更多服务，而不是仅限于系统应用。目前，支付宝、钉钉、去哪儿、同程旅行等都与HarmonyOS展开合作，能通过小艺为用户更便捷、更智能化提供服务。
终端智能分5级，现在已到L3
以上便是此次小艺智能体升级背后的技术揭秘。
在华为同清华张亚勤院士领导的清华大学智能产业研究院AIR团队联合发布《AI与人协作、服务于人——AI终端白皮书》中提到，AI终端智能化可分为L1-L5级。
目前可以感知到的是，小艺已经部分达到了L3+水平。
未来，随着大模型、智能体等技术不断发展，终端操作系统还会更加智能化，HarmonyOS也正在朝着这个方向加速前进。
比如白皮书中提到，更智慧的操作系统应该是动态的、自主的和自适应的，它将像一个值得信赖的伙伴，不断适应用户，满足他们的需求，预测他们的诉求，并迎合他们的喜好。
在这方面，华为正在不断探索，被LREC-COLING2024接收的AutoDE方法，它能够自动化动态评估AI助手的API调用能力。通过利用LLM来模拟真实用户的交互，该方法能够更真实地评估AI助手的能力。
△来源于论文《Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants’ API Invocation Capabilities》
可以看到，华为不仅在探索如何更好优化AI助手，还把智能体理念融入到了AI开发中。
而在AI驱动下，各个设备之间的联系也将变得更加紧密，“以设备为中心”的交互模式正在向“以场景为中心”转变。
HarmonyOS的1+8+N融合感知不仅能够覆盖全场景，而且一直在设备之间的通信、全面感知和服务流转上不断迭代升级。
结合全新小艺智能体，这不仅能为用户带来更好的连续服务智能体验，也能为生态带来智慧分发入口与新流量。
如今，HarmonyOS NEXT面向开发者和先锋用户开放Beta，正式版本预计将在年内亮相，届时小艺智能体将一同与大家见面。
在发布会上，华为终端BG首席执行官何刚先生表示，HarmonyOS NEXT诞生在AI大模型时代，能让华为有机会将AI与OS深度结合。
而在大模型重塑终端浪潮之下，HarmonyOS也变得更加值得期待。
回看1年以前，小艺作为首个引入盘古大模型能力的终端智慧助手，掀起了AI重塑手机、重塑OS的浪潮。
1年时间里，包括苹果在内，厂商们在AI终端上的角逐更加激烈。
为什么大家都要去做?
有来自技术驱动的影响，有手机等终端品类再增长的行业发展要求……但更关键的因素在于，大模型对终端OS和智慧助手的重塑，能直接提升每一位用户的体验，更让人们相信如“贾维斯”一般的超级助理真的有望成为现实。
当下，AI已经成为手机市场的最大卖点，每一款新机上市，都不敢不强调它有了哪些AI新功能、调用了哪家大模型。
但这或许还只是开始。
正如最初人们无法想象大模型如何“塞入”终端一样，现在的技术进展和应用生态都还未发展完善，真正意义上的AI OS及设备，仍旧需要厂商们去逐步探索。
其中，自研基因不断提高的华为，无疑是最值得期待的厂商之一。从底层芯片、软件系统到上层算法，华为正在构筑更加开阔和丰富的生态;这种全栈自研也使得华为能够将AI与OS的融合更加透彻。再加上背靠全球亿万用户、多年来对终端用户需求的深刻理解，华为的优势不言而喻了。
不过，说一千道一万，该怎么把AI融入到OS里，关键还得看用户的想法。
AI手机火了一年，你对哪个新能力最有feel?原因是什么?还希望看到哪些大模型玩法来到手机等终端设备上?
更新于：4个月前