给大模型补脑？腾讯发布ELLA，让SD模型提示词理解能力更强

摘要：腾讯昨天发布了一个名为ELLA的项目，这是一个高效的大语言模型适配器，能够无需训练就增强现有SD模型提示词理解的能力。ELLA将强大的大语言模型整合到文本到图像的扩散模型中，从而显著提升模型处理文本对齐的能力，..

腾讯昨天发布了一个名为ELLA的项目，这是一个高效的大语言模型适配器，能够无需训练就增强现有SD模型提示词理解的能力。ELLA将强大的大语言模型整合到文本到图像的扩散模型中，从而显著提升模型处理文本对齐的能力，而不需要额外对U-Net或大语言模型进行训练。

项目地址:https://top.aibase.com/tool/ella

为了顺畅地整合两种预训练模型，项目团队探索了多种语义对齐连接器的设计，并提出了一种创新模块——时间步感知语义连接器（TSC）。这个连接器能够根据时间步的变化，动态地从大语言模型中提取条件，帮助扩散模型在不同的去噪阶段更好地理解长而复杂的文本提示。

ELLA的设计使其可以轻松整合到社区模型和工具中，增强它们对复杂提示的遵循能力。为了评估文本到图像模型在处理密集提示方面的性能，团队还引入了一个名为密集提示图基准（DPG-Bench）的新挑战，该基准包括1000个密集的提示。

通过大量实验，研究人员发现，当处理包含多对象、不同属性和关系的复杂组合时，ELLA在密集提示遵循方面的表现优于目前最先进的方法。这个项目的发布为文本到图像模型的发展带来了新的可能性，也为未来的研究和应用提供了新的思路。