马毅团队新研究：微调多模态大模型会灾难性遗忘

摘要：要点:1. 马毅团队提出了EMT框架，评估微调后的多模态大模型（MLLM）的灾难性遗忘。2. 实验表明，微调MLLM在提升微调数据集性能的同时，也导致其他数据集性能下降。3. 微调过程中，MLLM会产生与微调数据集相关的幻觉..

要点:

1. 马毅团队提出了EMT框架，评估微调后的多模态大模型（MLLM）的灾难性遗忘。

2. 实验表明，微调MLLM在提升微调数据集性能的同时，也导致其他数据集性能下降。

3. 微调过程中，MLLM会产生与微调数据集相关的幻觉文本，忽略原始问题。

随着GPT-4的发布，多模态大模型（MLLM）成为热点。业界常将视觉编码器与语言模型集成构建MLLM。尽管微调后的MLLM在视觉语言任务上表现强劲，但仍面临灾难性遗忘的问题，即过拟合微调数据集后，在其他任务上的性能下降。

论文地址:https://arxiv.org/pdf/2309.10313.pdf

马毅团队提出了EMT框架，专门评估MLLM的灾难性遗忘。流程是:

1）输入图像;

2）要求MLLM分类;

3）用另一个语言模型评估分类正确性。

结果显示，测试的MLLM大多无法保持与视觉编码器相近的分类性能。

研究还针对LLaVA做了微调实验。证实了适度微调有益，但过度微调会导致非微调任务遗忘。另外，微调后的MLLM会产生与微调数据集相关的幻觉文本，而非原始问题。

本研究首次系统评估了MLLM中的灾难性遗忘问题，为后续工作提供了框架和基准。遗忘问题的产生也启示我们，在追求单任务性能的同时，还需注意保持模型的泛化能力，防止过拟合。模型设计和训练技巧仍需进一步优化，以平衡不同能力之间的权衡。