Headless语言模型：通过捆绑嵌入提高模型的训练速度

摘要：要点:1. 提出了一种新的预训练方法，称为无预测头语言模型，它移除了对词汇空间概率分布的预测需求，而是关注用对比方式重构表示。2. 该方法只需要改变目标函数，可以直接应用于经典语言模型预训练目标。3. 在单语和..

要点:

1. 提出了一种新的预训练方法，称为无预测头语言模型，它移除了对词汇空间概率分布的预测需求，而是关注用对比方式重构表示。

2. 该方法只需要改变目标函数，可以直接应用于经典语言模型预训练目标。

3. 在单语和多语编码器以及单语解码器中实验表明，Headless语言模型预训练相比经典方法在给定运算量下表现更好，计算效率更高。

研究人员发现了一种改进语言模型性能的方法——Headless语言模型，即将输入嵌入与模型的其他嵌入捆绑在一起，并使用对比损失。通常情况下，语言模型的输入和输出嵌入层是分开的，但这种新方法通过捆绑它们，提高了模型的训练速度和准确性。这一创新有望在大规模语言处理任务中取得广泛应用。

Headless语言模型通过移除语言模型预测词汇空间概率分布的需求，改为学习重构输入嵌入的对比方式，提供了一种创新预训练方法。作者提出了一种对比权重绑定损失，可以直接作为经典语言模型的目标函数替代，因此可以轻松集成到已有代码库中。

论文地址:https://arxiv.org/pdf/2309.08351.pdf

在英文和多语言单向编码器以及英文解码器模型的中等规模预训练实验中发现，在类似运算量下，Headless语言模型相比经典方法有显著提升，下游表现更好，数据效率更高，计算效率也更高。

例如，Headless语言模型在GLUE基准测试上的结果比对应的经典模型高1.6分，在LAMBADA数据集上的准确率提高了2.7分。

此外，训练Headless语言模型可以节省高达20倍的运算量。总的来说，这项工作为以对比学习取代交叉熵作为自监督预训练目标开辟了道路，为语言表示学习提供了一种高效可行的替代方案。