DreamMat:根据文字描述生成高质量基于物理渲染的材质
2024-06-05 12:11
划重点:
DreamMat 是一种工具,可以根据文字描述生成高质量 PBR(基于物理渲染) 材质。
它采用几何和光照感知的扩散模型,确保生成的材质与给定的几何和光照环境匹配。
DreamMat 消除了常见的固定阴影效果,使渲染效果更真实,适用于游戏和电影制作等领域。
近期研究取得突破,通过2D 扩散模型在未纹理的原始网格上生成外观。然而,这些方法生成 RGB 纹理时往往包含不必要的固定阴影效果,在下游应用中导致渲染效果不真实。与其只生成 RGB 纹理,生成物理渲染(PBR)材质可能是一个更有前景的解决方案。然而,直接从2D 扩散模型提取 PBR 材质参数仍然存在材质分解不正确的问题,例如在反照率中固定的阴影效果。
效果展示视频如下:
DreamMat 应运而生,致力于解决上述问题,通过文字描述生成高质量 PBR(基于物理渲染) 材质。发现大规模2D 扩散模型只能训练生成最终着色颜色,导致在提取过程中材质分解不足的问题。
DreamMat产品入口:https://top.aibase.com/tool/dreammat
为了解决这个问题,其大致流程为,首先通过微调新的光照感知2D 扩散模型,使其根据给定光照环境条件,生成特定光照条件下的着色结果。然后,在材质提取过程中应用相同的环境光,DreamMat 可以生成高质量的 PBR (基于物理的渲染)材质,不仅与给定的几何一致,而且在反照率中不包含任何固定的阴影效果。
大量实验表明,通过这种方法生成的材质对用户更具吸引力,并在渲染质量上显著优于基准方法,适用于游戏和电影制作等下游任务。
更新于:3个月前