游戏江湖

摘要3DGS 最近彻底改变了辐射场重建，实现了高质量的新视角合成和快速渲染。然而，由于3D高斯的多视角不一致性（multi-view inconsistent），3D高斯无法准确地表示曲面。我们提出了 2DGS，这是一种从多视角图像中建模和重建几何精确辐射场的新方法。我们的主要想法是将 3D volume 折叠成一组 2D 定向平面高斯盘 (2D oriented planar Gaussian disks)。 与 3D 高斯不同，2D 高斯在对曲面进行建模的同时，还提供了与视图一致（ view-consistent）的几何形状。 为了精确恢复薄曲面并实现稳定的优化，我们引入了一种透视精确的 2D“泼溅”流程，利用 ray-splat 相交和光栅化技术。此外，我们还加入了深度扰动（depth distortion）和法线一致性项，以进一步提高重建质量。 我们证明，我们的可微分渲染器可以实现无噪声和详细的几何重建，同时保持有竞争力的外观质量、快速训练速度和实时渲染。我们的代码将公开发布。 关键词：novel view synthesis, radiance fields, s ...

3D GS 整体框架 (1) 使用 SfM 从一组图像中生成稀疏点云（调用 COLMAP 库 ） (2) 点云经初始化生成 3D 高斯椭球集。（当由于某种原因无法获得点云时，可以使用随机初始化来代替，但可能会降低最终的重建质量） (3)(4) 通过泼溅等一系列 [[#3D GS 的前向过程]]，进行光栅化渲染 (5)(6) 训练：与神经网络类似，我们使用随机梯度下降法进行训练，但这里没有神经网络的层的概念 (都是 3D 高斯函数)。 训练步骤如下: 经过步骤 (3)(4) 渲染出图像 根据渲染图像和 GT 之间的差计算 loss 根据 loss 进行 3D 高斯的参数控制 基于梯度进行 3D 高斯的自适应密度控制 3D Gaussian 定义3D 高斯的属性包括 （所有属性都可以通过反向传播来学习和优化）： 属性 优化方法 中心坐标 $\mu$ （$x,y,z$ ）的均值 3D 协方差矩阵 $\Sigma=RSS^\top R^\top$ [[#参数优化]] 不透明度 $α$ [[#自适应密度控制]] 颜色 $c(r,g,b)$ [[# ...

[!abstract]最近，辐射场（Radiance Field）方法彻底改变了用多张照片或视频拍摄的场景的新视角合成。然而，要达到较高的视觉质量，仍然需要神经网络，而神经网络的训练和渲染成本很高，同时，最新的快速方法不可避免地要以速度换质量。对于无边界的完整场景（而不是孤立的物体）和 1080p 分辨率的渲染，目前没有一种方法能达到实时显示率。我们引入了三个关键要素，使我们能够实现最先进的视觉质量，同时保持有竞争力的训练时间，更重要的是，我们能够在 1080p 分辨率下实现高质量的实时（ ≥30 fps）新视角合成。 首先，从摄像机校准过程中产生的稀疏点开始，我们用3D高斯（3D Gaussians）来表示场景，这种3D高斯保留了用于场景优化的连续体积辐射场的理想特性，同时避免了在空白空间（empty space）进行不必要的计算；其次，我们对3D高斯进行交错优化/密度控制，特别是优化各向异性协方差，以实现对场景的精确表示；第三，我们开发了一种快速可见性感知渲染算法，该算法支持各向异性泼溅（splatting），既能加速训练，又能实现实时渲染。我们在几个已建立的数据集上 ...

[!abstract]3D 编辑在游戏和虚拟现实等许多领域中起着至关重要的作用。传统的 3D 编辑方法，依赖于像网格和点云这样的表示方式，往往无法真实地描绘复杂的场景。另一方面，基于隐式 3D 表示的方法，如神经辐射场（NeRF），能够有效地渲染复杂的场景，但处理速度较慢，并且对特定场景区域的控制有限。针对这些挑战，我们的论文提出了 GaussianEditor，一种基于高斯泼溅（GS）的创新高效的 3D 编辑算法，这是一种新颖的 3D 表示方法。GaussianEditor 通过我们提出的高斯语义追踪（Gaussian semantic tracing）来增强编辑的精度和控制能力，在训练过程中追踪编辑目标。此外，我们提出了分层高斯泼溅（HGS）来在二维扩散模型（2D diffusion models）的随机生成指导下实现稳定和精细的结果。我们还开发了高效的物体移除和整合（removal and integration）的编辑策略，这是现有方法面临的一个具有挑战性的任务。我们的综合实验证明了 GaussianEditor 在控制能力、效果和快速性方面的优势，标志着 3D 编辑领域的重 ...

[!abstract]最近在 3D 内容创建方面的进展主要利用基于优化（optimization-based）的 3D 生成方法，通过得分蒸馏采样（SDS）进行。尽管展示了有希望的结果，但这些方法通常在每个样本的优化过程中速度较慢，限制了它们的实际应用。 在本文中，我们提出了 DreamGaussian，一种新颖的 3D 内容生成框架，同时实现了效率和质量。我们的关键见解是设计了一个生成式的 3DGS 模型，配合了在 UV 空间中进行网格提取和纹理细化。与神经辐射场中使用的占用剪枝（occupancy pruning）相比，我们证明了 3D 高斯的渐进密集化在 3D 生成任务中收敛速度显著更快。为了进一步提高纹理质量并促进下游应用，我们引入了一种将 3D 高斯转换为带纹理 Mesh 的高效算法，并应用了一个微调阶段（fine-tuning stage）来细化细节。 大量实验证明了我们提出的方法具有卓越的效率和竞争力的生成质量。值得注意的是，DreamGaussian 仅通过单视图图像在 2 分钟内生成高质量的纹理网格，相比现有方法实现了约 10 倍的加速。 1 引言自动化的 ...

Gaussian Frosting 高斯糖霜（简称 Frosting） [!abstract]我们提出了 Gaussian Frosting，这是一种新的基于 Mesh 的表示，用于实时高质量渲染和编辑复杂的 3D 效果。我们的方法建立在最近的 3DGS 框架的基础上，该框架优化了一组 3D 高斯以近似图像的辐射场。 我们建议在优化期间首先从高斯中提取基础 Mesh ，然后在 Mesh 周围构建和细化具有可变厚度的自适应高斯层，以更好地捕捉曲面附近的精细细节（fine details）和体积效果，例如头发或草。我们将这一层称为高斯糖霜，因为它类似于蛋糕上的糖霜涂层。材质越绒软（fuzzier，毛发柔软卷曲的），糖霜就越厚。 我们还引入了高斯参数化以强制它们留在糖霜层内，并在变形、重新缩放、编辑或对 Mesh 动画处理时自动调整其参数。 我们的表示允许使用 GS 进行高效渲染，以及通过修改基础 Mesh 进行编辑和动画。我们证明了我们的方法在各种合成和真实场景上的有效性，并表明它优于现有的基于曲面的方法。我们将发布我们的代码和基于网络的查看器作为额外的贡献。 Keyw ...

[!abstract] 摘要我们提出了一种方法，通过使用一组稀疏的输入视图集优化隐式连续体积场景函数（an under-lying continuous volumetric scene function），实现了合成复杂场景新视角（novel views）的最好（state-of-the-art）结果。我们的算法使用全连接 (非卷积) 深度网络表示场景，其输入是单个连续的 5D 坐标 (空间位置 (x, y, z) 和观看方向 （θ，∅）)，其输出是体积密度以及在该空间位置依赖于视图的发射辐射率。（view-dependent emitted radiance）。我们通过沿相机光线查询 5D 坐标来合成视图（synthesize views），并使用经典的体渲染（volume rendering）技术将输出的颜色和密度投影到图像中。因为体渲染是自然可微的（naturally differentiable），所以优化我们的表示方法所需的唯一输入是一组具有已知摄像机位姿的图像。我们描述了如何有效地优化神经辐射场（neural radiance fields），以渲染具有复杂几何形状和外 ...

作者主页：Antoine Guédon (anttwo.github.io) SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh rendering SuGaR： 用于高效 3D Mesh 重建和高质量 Mesh 渲染的曲面对齐的 GS 本问将 surface 译为曲面，将 Mesh 翻译为网格 [!abstract]我们提出了一种方法，可以从3DGS中精确、快速地提取 Mesh。 GS 最近非常流行，因为它能产生逼真的渲染效果，同时训练速度明显快于 NeRFs。然而，从数百万个微小的三维高斯中提取 Mesh 是一项挑战，因为这些高斯在优化后往往是无序的，而且迄今为止还没有提出任何方法。 我们的第一个关键贡献是一个正则化项（regularization term），它能促使高斯与场景曲面保持一致。与通常用于从神经 SDF 中提取 Mesh 的 Marching Cubes 算法相比，这种方法快速、可扩展并能保留细节。最后，我们引入了一 ...

关注作者：涛然易 - 主页 (taoranyi.com) GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion modelsGaussianDreamer: 通过桥接 2D 和 3D Diffusion Model，实现从 Text-to-3D高斯 的快速生成 [!abstract]最近，从文本提示（prompt）生成 3D 资产（asset）的技术取得了令人印象深刻的结果。无论是 2D 还是 3D 扩散模型（Diffusion Model） 都可以根据提示生成不错的 3D 对象。 3D Diffusion Model 具有良好的 3D 一致性，但由于可训练的 3D 数据昂贵且难以获取，其质量和泛化能力有限。 2D Diffusion Model 具有强大的泛化和精细生成能力，但很难保证 3D 一致性。 本文试图通过最近的显式和高效的 3DGS 表示来融合这两种类型的扩散模型的能力。提出了一种快速的 3D 对象生成框架，命名为 GaussianDrea ...