数据集生成模型DatasetDM：可生成准确的感知注释

摘要：DatasetDM 是一个通用的数据集生成模型，能够产生多样化的合成图像以及相应的高质量感知注释，包括分割掩码、深度估计和人体姿态估计等。项目地址:https://weijiawu.github.io/DatasetDM_page/该模型基于预训练的扩..

DatasetDM 是一个通用的数据集生成模型，能够产生多样化的合成图像以及相应的高质量感知注释，包括分割掩码、深度估计和人体姿态估计等。

项目地址:https://weijiawu.github.io/DatasetDM_page/

该模型基于预训练的扩散模型，并将文本引导图像合成扩展到感知数据生成领域。通过解码扩散模型的丰富潜在编码，可以有效地生成准确的感知注释。训练该解码器只需要少于1%（大约100张图像）的手动标注图像，从而实现无限大的注释数据集生成。生成的合成数据可用于训练各种感知模型进行下游任务。

核心功能:

1. 生成多样化的合成图像:DatasetDM 利用 GPT-4等大型语言模型产生无限多样的引导语句，从而生成多样化的合成图像。

2. 高质量感知注释生成:利用训练好的解码器模块，DatasetDM 能够将扩散模型的潜在编码准确解码为感知注释，如分割掩码、深度估计等。

3. 多任务支持:DatasetDM 支持多个下游任务，包括语义分割、实例分割、人体姿态估计和深度估计等，为不同任务提供统一的数据生成和感知注释。

4. 高效的数据集生成:通过使用合成数据，DatasetDM 大大减少了数据采集和标注的时间成本，能够快速生成大规模的高质量感知数据集。

5. 强大的性能:DatasetDM 在语义分割和实例分割等任务上取得了最先进的结果，并且在领域泛化和零样本分割等方面表现出较强的鲁棒性和灵活性。

6. 可扩展的应用:DatasetDM 可以灵活应用于图像编辑等新领域和任务，为用户提供更多的创造力和应用场景。