高通与 Meta 合作：利用 Llama 2 模型启用设备端人工智能应用

摘要：高通和 Meta 两家公司今天宣布，将从 2024 年开始，这家社交网络公司的新大型语言模型 Llama 2 可以在手机和 PC 上的高通芯片上运行。迄今为止，大型语言模型主要在大型服务器机房上运行，使用英伟达图形处理器，这..

高通和 Meta 两家公司今天宣布，将从 2024 年开始，这家社交网络公司的新大型语言模型 Llama 2 可以在手机和 PC 上的高通芯片上运行。

迄今为止，大型语言模型主要在大型服务器机房上运行，使用英伟达图形处理器，这是由于该技术对计算能力和数据的巨大需求，推动了英伟达股价的上涨，今年已上涨超过 220%。但是，对于像高通这样的手机和个人电脑领先芯片制造商来说，人工智能热潮的收益相对较少。高通股价今年迄今上涨约 10%，落后于纳斯达克指数的 36% 的涨幅。

周二的宣布表明，高通希望将其处理器定位为非常适合人工智能的「边缘」设备，而不是「云端」。如果大型语言模型可以在手机上运行而不是在大型数据中心中，这可能会降低运行人工智能模型的显著成本，并可能带来更好、更快的语音助手和其他应用程序。

高通将在其设备上提供 Meta 的开源 Llama 2 模型，相信这将实现智能虚拟助手等应用程序。Meta 的 Llama 2 可以执行与 ChatGPT 类似的许多功能，但可以以更小的程序打包，使其能够在手机上运行。

高通的芯片包括适用于人工智能模型所需计算的「张量处理器单元」（TPU）。然而，与备有尖端 GPU 的数据中心相比，移动设备上可用的处理能力相形见绌。

Meta 的 Llama 引人注目之处在于，Meta 公开了其模型的「权重」，这是一组帮助指导特定人工智能模型运作的数字。通过这样做，研究人员甚至商业企业可以在自己的计算机上使用这些人工智能模型，无需请求或支付许可费用。而其他知名的大型语言模型，如 OpenAI 的 GPT-4 或 Google 的 Bard，是封闭源代码的，其权重是严格保密的。

高通此前与 Meta 密切合作，特别是在其 Quest 虚拟现实设备的芯片上。高通还演示了一些在其芯片上运行较慢的人工智能模型，例如开源图像生成器 Stable Diffusion。