• 首页

    • 开源LLM部署框架FlexFlow：低延迟、高性能

    2023-08-23 12:43

    FlexFlow 是一个分布式深度学习框架，提供低延迟、高性能的 LLM（Large Language Model）模型服务。它通过使用推测性推理和树状并行解码技术，显著提高了 LLM 模型的服务速度。项目地址:https://github.com/flexflow..

    中国科学院团队首篇LLM模型压缩综述：细聊剪枝、知识蒸馏、量化技术

    2023-08-27 13:41

    随着 LLM 的突破性工作逐渐放缓，对于如何让更多人使用 LLM 成为时下热门的研究方向，模型压缩可能是 LLM 未来的一个出路。此前 OpenAI 首席科学家 Ilya Sutskever 表示可以通过压缩的视角来看待无监督学习。本文首..

    LangFuse：为LLM应用设计的开源可观察性和分析解决方案

    2023-08-31 13:28

    LangFuse 是一种专门为低延迟消息（LLM）应用设计的开源可观察性和分析解决方案。它的主要用途是用于生产环境，但也有一些用户在本地开发 LLM 应用时使用。LangFuse 的主要目标是提供实时的、深入的、可操作的见解，..

    清华、微软等淘汰提示工程师？LLM与进化算法结合，创造超强提示优化器

    2023-10-03 12:56

    【新智元导读】提示工程可以自动化了?EvoPrompt的出现解决了大型语言模型性能依赖高质量提示的挑战，同时展示了LLM在传统算法中的潜在价值。将LLM的能力和传统算法结合起来，会碰撞出怎样的火花?最近清华大学、微软..

    Datasaur推出LLM实验室，助力企业构建自定义AI应用

    2023-10-27 12:21

    要点:Datasaur推出LLM Lab，帮助企业构建类似ChatGPT的自定义大型语言模型应用，提供全方位界面，从数据收集到模型选择和性能优化。LLM Lab使企业能够在云端或本地部署上构建内部自定义生成式AI应用，同时减少了来自..

    Cohere 推出适用于企业LLM应用的Embed V3

    2023-11-03 12:49

    要点:Cohere推出Embed V3，这是其嵌入模型的最新版本，旨在帮助企业构建大型语言模型（LLM）应用程序，具有增强的数据压缩功能。Embed V3在语义搜索和利用大型语言模型（LLMs）的应用程序方面与OpenAI的Ada和各种开..

    李开复估值10亿美元的LLM创业公司推出开源模型Yi-34B

    2023-11-06 14:02

    要点:中国计算机科学家李开复创办了01.AI，旨在为中国市场开发本土大型语言模型，以满足中国对开放AI的需求。01.AI在成立七个月后发布了其首个开源语言模型Yi-34B，拥有340亿参数，表现卓越，引起了广泛关注。01.AI..

    新方法揭示了如何利用一个大语言模型来越狱另一个大语言模型

    2023-11-08 12:02

    划重点:

    深度催眠引发的LLM越狱：香港浸会大学揭示大语言模型安全漏洞

    2023-11-22 13:34

    要点:大语言模型（LLM）在各应用中成功，但容易受到Prompt诱导越过安全防护，即Jailbreak。研究以心理学视角提出的轻量级Jailbreak方法DeepInception，通过深度催眠LLM使其越狱，并规避内置安全防护。利用LLM的人格..

    田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍！

    2023-12-07 13:10

    田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题，将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法，通过识别和保留重要的tokens，显著减少了内存占用，..

    微信二维码