Meta提出TextureDreamer:利用扩散模型生成完整的3D模型纹理贴图
2024-01-19 12:56
高质量的3D内容对于AR/VR、机器人技术、电影和游戏等应用至关重要。然而,纹理的创作一直是视觉和图形领域的挑战之一。传统方法需要密集的视角采样和准确对齐的几何信息,而学习方法则受限于特定数据集内的类别形状。
论文地址:https://arxiv.org/pdf/2401.09416.pdf
本文提出了TextureDreamer方法,通过少量图像(3至5张)引导,实现了从真实环境中合成纹理并转移到任意对象的目标3D形状。其核心思想是个性化几何感知分数蒸馏(PGSD),结合了个性化建模、变分分数蒸馏和显式几何引导。与以往方法相比,TextureDreamer在纹理质量上取得了显著改进,成功实现了对不同几何形状的逼真、语义丰富的纹理转移。
实验证明,TextureDreamer超越了先前的最先进方法,极大地推动了纹理创作的民主化。通过对Dreambooth、ControlNet和分数蒸馏等关键技术的综合应用,TextureDreamer展现了在图像引导纹理合成领域的卓越性能。
更新于:7个月前