美国芯片初创公司Etched AI近日宣称,他们成功开创了一项新的技术,将Transformer架构直接“烧录”到了芯片中,创造出了世界上最强大的专门用于Transformer推理的服务器。据称,这项技术可以运行万亿参数的模型,甩..
这两天国内外人工智能圈子都在热议Groq:这个硅谷公司的产品基于自研芯片可以做到在大模型推理时每秒处理将近500个token。500个token什么概念,大概就是一句话的响应时间只需要不到2秒,如此这般的文字生成速度,甚至..