Meta推出Llama 2,大模型赛道要因开源乱起来了

2023-07-22 13:56
摘要:最近这段时间,Meta可谓是成为了海外互联网行业的焦点,其创始人扎克伯格一边与马斯克约架,一边仅用5天收获上亿用户的Threads成功奇袭了推特。近日,此前本来在AI大模型战局中扮演小透明角色的Meta,突然又搞出了一..

最近这段时间,Meta可谓是成为了海外互联网行业的焦点,其创始人扎克伯格一边与马斯克约架,一边仅用5天收获上亿用户的Threads成功奇袭了推特。近日,此前本来在AI大模型战局中扮演小透明角色的Meta,突然又搞出了一件大事。

就在北京时间7月19日,Meta方面在微软的Inspire合作伙伴大会上宣布,将与包括微软在内的主要云计算服务提供商合作,推出新一代开源大模型Llama2,并将该模型免费开放给商业和研究机构使用。

根据Meta方面的说法,在这一项目中,他们承担了大模型训练的成本,而包括微软、亚马逊在内的云计算服务提供商将托管这款大模型,并提供运行其所需的算力。对此,Meta生成式AI事业群副总裁Ahmad Al Dahle表示,Meta方面之所以迅速推出Llama2,是因为前代产品Llama的受欢迎程度出乎预料,他们收到了超过10万个关于Llama的申请。

彼时Meta给Llama的身份是开源研究工具,只提供非商业化机构使用,如果不是这款大模型意外在4chan上泄露,很有可能就默默无闻了。如今回过头来看,Llama的泄露很有可能是Meta有意而为之,并借此来试探社区对于开源大模型的态度,而在得到了社区身体力行的支持后,Llama2也就很快诞生了。

值得一提的是,Llama2并不是Meta的赶工之作,如果他们没有弄虚作假的话,其本身的性能就相当出世。根据Meta方面公布的数据显示,Llama2相较于上一代训练数据提升了40%,上下文长度也翻倍,并采用了分组查询注意力机制。在官方给出的测试结果中表明,Llama2在mmlu、agieval等多个权威大模型评测基准中,关于推理、编码、知识测试等方面的表现都优于其他开源模型,甚至在某些场景下有着接近GPT-3.5的水准。

不过性能或许并非外界对于Llama2的到来感到欢欣鼓舞的关键,Meta决定其可免费用于商业用途,无疑才是大家喜出望外的原因。为了实现可控的商业化,Meta方面已经组织自己的员工和第三方围绕Llama2进行了Red Team测试,避免该模型产出有害内容,并为开发者制定了使用指南和守则。

事实上,Meta的Llama系列大受业界欢迎的原因很简单,因为这是一个少有的开源AI大模型。但受到开源协议的限制,基于该模型衍生的产品都无法商业化,直到Llama2的出现给了整个业界一个“站在巨人肩膀上”的机会。

至于说为何Meta会选择开源Llama2,而不是像OpenAI的ChatGPT、谷歌的Bard一般敝帚自珍,扎克伯格是这样说的,“Meta有着悠久的开源历史,开源推动创新,它让更多开发者能够使用新技术进行开发,同时提高了技术的安全性。我们相信如果生态系统更开放将带来更多进步,这就是我们开源Llama2的原因。”

要知道截至目前为止,无论海外市场的OpenAI、微软、谷歌,还是国内的百度、阿里、360,在AI大模型领域都采用的是“闭门造车”的策略。这也是为什么大模型到底是不是创业的机会,会在创业者和投资人之间产生分歧的关键。

事实上,大语言模型是“力大砖飞”的结果,在OpenAI的ChatGPT一鸣惊人之前,业界更青睐的是谷歌的Transformer模型,追求的是如何设计出更小、更快,但更准确的神经网络。而ChatGPT的成功,就成功在它提出了一个新的思路,那就是加大参数、加高算力的大模型也是一条路,并且真的让其产生了智能。

但问题在于,如果单纯从技术层面出发,大模型的技术壁垒并非深不可测,否则即便OpenAI对自己基于人类反馈的强化学习(RLHF)技术秘而不宣,也没能阻挡不了百度的文心一言、阿里的通义千问、谷歌的Bard等一众大模型的出现。甚至在很短的时间里,国内市场的“百模大战”就正式开打,这也代表着这个领域的先发优势可能几乎不值一提。

只可惜,大模型的技术壁垒不高或许仅仅是针对大型互联网厂商适配,但对于创业者而言,需要高算力、大数据和强算法,并且消耗海量资源的搭建通用大模型几乎只能是巨头们的游戏,大多数创业者有心无力。如果没有Meta开源的Llama,创业者就只能加入OpenAI的生态,并使用后者的付费API来打造自己的产品,这就等于是要依附于OpenAI。所以一旦有的选,大家显然并不希望将身家性命交付他人之手。

而Meta此前泄露的LLama给了资源有限的创业者施展拳脚的舞台,基于LLama模型以及LoRA训练技术,开源社区也打造出了ChatLLaMa、Koala等模型。利用社区的力量群策群力最终实现极低成本下的高速迭代,这就是开源大模型的优势。就像有谷歌员工坦言的那般,“如果存在一个没有使用限制的免费高质量替代品,谁又还会为带有使用限制的产品买单呢?”

以闭源自研产品为核心,用API或插件的形式向开发者赋能,这是OpenAI、百度的道路,也是当年苹果在iOS上所采取的策略,但入局大模型领域慢人一步的Meta已经失去了先机,因此选择开源就是试图复刻Android当年的成功路径,用开放来吸引更多人来共建生态。以史为鉴,可知兴替,这点几乎放之四海而皆准。

更新于:2023-07-22 13:56