图片、视频直接生成3D高斯分布!免费体验,已正式商用

2023-11-12 13:45
摘要:图源备注:图片由AI生成,图片授权服务商Midjourney知名3D扫描应用企业Polycam在官网宣布,结束对3D GAUSSIAN SPLATS(以下简称“3DGS”)的测试,正式投入商业使用。3DGS是一款通过图片或视频,就能直接生成3D高斯..

图源备注:图片由AI生成,图片授权服务商Midjourney

知名3D扫描应用企业Polycam在官网宣布,结束对3D GAUSSIAN SPLATS(以下简称“3DGS”)的测试,正式投入商业使用。

3DGS是一款通过图片或视频,就能直接生成3D高斯分布的生成式AI产品。通过插件还能将生成的产品导入到Unity、 Unreal等游戏开发引擎中使用、二次编辑,这对于3D设计师、房地产经纪、博物馆展示、医疗研究、电商展示等帮助巨大。

目前,3DGS处于免费在线体验状态,不锁区直接访问。如果你想使用更高级的功能,例如,一次性上传1000张图片、15分钟超长视频就需要付费。对于普通人来说,免费功能就足够了。

此外,生成的内容在商用方面没有版权风险,因为上传的素材都是你自己的。

在线体验地址:https://poly.cam/gaussian-splatting

3D高斯分布简单介绍

为了让大家更好理解3DGS产品的性能,「AIGC开放社区」先简单介绍一下3D高斯分布。

3D 高斯分布用于体积渲染、可视化和图像处理领域。该技术主要将一系列的样本点、粒子、数据点映射到一个三维网格上,并通过使用高斯函数来调制这些点,以此来生成平滑的、连续的三维数据图像。

简单来说,就是用2D平面来生成,可拖动、展示的3D多维度图像。该技术在气象、医学、金融等领域应用非常多,主要用于3D多维度展示。

传统上开发3D高斯分布需要专业的技术背景以及耗费大量的时间,而3DGS极大简化了这一流程,用户只需要上传图片或者视频就能直接生成。

3DGS使用方法

1)3DGS使用方法非常简单,登录网址(https://poly.cam/gaussian-splatting)然后点击“Create a3D Gaussian Splat”即可。

2)点击“Choose from filesystem”开始上传文件。免费版最多可上传200张图片或3分钟视频,如果有更多需求可开通Pro付费。

3)上传完图片后,点击“Upload Process”就可以开始制作了,如果你需要对图片进行排序,可以点击“Sequential”按钮。

通常生成的时间与你上传的图片或视频的大小有关,内容越大,消耗的时间就越多。

3DGS上传技巧

起初「AIGC开放社区」在体验的时候出现了不少错误生成效果不理想,后来发现上传的图片还是有一些技巧的。

1)上传的图片需要动作连续,不能杂乱无章,例如,我们要生成一个房子展示的3D高斯,需要按照顺时针或者逆时针,有顺序的拍摄尽量保持50%的图片重叠,这样3DGS的生成的效果更逼真。

简单来说,可以把3DGS当成是一个连环画生成器,所以,你上传的素材之间一定要有关联,方便神经网络进行识别。

2)多角度拍摄,可以先拍近景、然后再拍远景,尽量多角度的去拍摄,这样呈现的效果也更加多元化。

3DGS技术原理简单介绍

3DGS的核心技术是一种光栅化技术,使用了大量高斯函数而不是传统的三角形来表示场景。这些高斯函数包括位置、变形、颜色等参数。

3DGS还使用了结构从运动算法从图像中恢复点云。然后将点云转换为高斯函数。然后,利用可微分高斯光栅化,通过类似神经网络的随机梯度下降进行训练,优化高斯函数的参数。

在训练过程中,3DG使用自动稠密和剪枝来调节高斯函数的分布,以更好地适应细节。最终,经过训练的高斯函数可用于实时快速光栅化生成逼真图像。

相比之前的实时渲染技术,3DGS生成的图像质量大幅提升,完全可达到静态渲染的照片级逼真效果。

此外,3DGS的渲染速度非常快,如果图片质量、视频比较小,完全能够做到实时交互。

更新于:2023-11-12 13:45