数据集生成模型DatasetDM:可生成准确的感知注释

2023-08-16 14:01
摘要:DatasetDM 是一个通用的数据集生成模型,能够产生多样化的合成图像以及相应的高质量感知注释,包括分割掩码、深度估计和人体姿态估计等。项目地址:https://weijiawu.github.io/DatasetDM_page/该模型基于预训练的扩..

DatasetDM 是一个通用的数据集生成模型,能够产生多样化的合成图像以及相应的高质量感知注释,包括分割掩码、深度估计和人体姿态估计等。

项目地址:https://weijiawu.github.io/DatasetDM_page/

该模型基于预训练的扩散模型,并将文本引导图像合成扩展到感知数据生成领域。通过解码扩散模型的丰富潜在编码,可以有效地生成准确的感知注释。训练该解码器只需要少于1%(大约100张图像)的手动标注图像,从而实现无限大的注释数据集生成。生成的合成数据可用于训练各种感知模型进行下游任务。

核心功能:

1. 生成多样化的合成图像:DatasetDM 利用 GPT-4等大型语言模型产生无限多样的引导语句,从而生成多样化的合成图像。

2. 高质量感知注释生成:利用训练好的解码器模块,DatasetDM 能够将扩散模型的潜在编码准确解码为感知注释,如分割掩码、深度估计等。

3. 多任务支持:DatasetDM 支持多个下游任务,包括语义分割、实例分割、人体姿态估计和深度估计等,为不同任务提供统一的数据生成和感知注释。

4. 高效的数据集生成:通过使用合成数据,DatasetDM 大大减少了数据采集和标注的时间成本,能够快速生成大规模的高质量感知数据集。

5. 强大的性能:DatasetDM 在语义分割和实例分割等任务上取得了最先进的结果,并且在领域泛化和零样本分割等方面表现出较强的鲁棒性和灵活性。

6. 可扩展的应用:DatasetDM 可以灵活应用于图像编辑等新领域和任务,为用户提供更多的创造力和应用场景。

更新于:2023-08-16 14:01