中文题目：基于多项式的神经辐射场实时渲染

论文题目：Polynomial for real-time rendering of neural radiance fields

录用期刊/会议：The Visual Computer(CCF C)

原文DOI：https://doi.org/10.1007/ s00371-024-03660-4

原文链接：https://link.springer.com/article/10.1007/s00371-024-03660-4

录用/见刊时间：2024.9.27

作者列表：

1) 朱丽萍 中国石油大学（北京）信息科学与工程学院 计算机系教师

2) 周海波 中国石油大学（北京）信息科学与工程学院 硕21

3) 吴祀霖 中国石油大学（北京）信息科学与工程学院 硕22

4) 程天荣 中国石油大学（北京）信息科学与工程学院 硕23

5) 孙红军 中国石油大学（北京）信息科学与工程学院 计算机系教师

背景与动机:

基于神经辐射场的研究所面临的一个共同挑战就是图像的渲染速度慢，导致这一现象的原因在于极端的采样要求和昂贵的神经网络查询成本，对于一条光线的渲染需要查询神经网络的每个5维坐标（位置坐标与视角坐标）的映射。PlenOctrees方法通过将NeRF模型转化成体素结构并利用八叉树存储，实现了离线渲染，在渲染速度上得到了指数提升。但此类方法以牺牲大量的存储空间来换取渲染时间的突破，且在场景细节的渲染上效果不佳。

针对这些问题，本研究提出PNeRF（Polynomial for Neural Radiance Fields）模型来训练三维场景表示。通过神经网络推理得到渲染结果只需要查询一次网络，在渲染时间上大幅度提升，为了进一步优化渲染速率，又设计了六轴曲面方法来存储渲染视图，将观察起点与方向映射的渲染值通过六轴曲面模型存储，实现离线渲染。

设计与实现:

本研究将三维静态场景表示为6D神经辐射场的连续函数，其输入是观察起点坐标x0和观察方向向量d，其输出是场景空间的密度多项式系数、颜色多项式系数以及与观察位姿相关的像素颜色权重w。本文将此场景表示方法称为PNeRF模型，即基于多项式的神经辐射场场景表示。PNeRF的整体架构如下图1所示。

 

 

图1 基于多项式的神经辐射场

为了更好的反映颜色变化情况，对每条光线设置权重w(x0,d)，权重w与观察位姿相关，表示为光线色彩RGB三通道分别对最终像素的贡献度，取值范围为[0,1]，此外，每条光线的强度比例为一常数，为方便于计算，将其与权重混合在一起，即w(x0,d)表示光线色彩贡献度与强度的乘积，得到新的体渲染方程为：

 

推理得到单光线渲染方程的最终形式为：

 

进一步计算积分得到在PNeRF网络中的最终体渲染推理方程式为：

 

在方程式中，F(s)与f(s)分别为三维空间中体积密度函数与原函数在光线发射方向d上的梯度向量。

在渲染视图时，本节提出了六轴曲面（Six-axis surfaces，Sas）的球面数学模型，如图2所示，不再使用坐标原点发射的一条射线与球面交于一点的传统思想，而是通过坐标轴，以X轴与Y轴发射两个平面与球面交于一点的观念。为了使分布更为均匀，通过三维坐标轴的六个方向划分球面，对这六个球面分别表示。 

 

图2 六轴曲面模型可视化

以Z轴正方向上的球面为例，设从X轴发射的平面与Z轴的夹角为u，从Y轴发射的平面与Z轴的夹角为v，根据X轴发射的平面与Z轴的夹角可以得到平面法向量，为X轴向量与平面在ZoY平面上的交点到原点向量之间的叉乘，解算两平面与球面的交点得到Z轴正方向上的曲面方程为：

如图3所示，在六轴曲面方程的基础上用网格来分割曲面，网格顶点上存储对应观察位置的渲染视图，网格内的切点则通过顶点的插值来实现。

 

图3 距离场插值算法

在四个顶点存储的视图中，对应相同坐标的像素颜色值ci会有一定差距。本研究使用距离场来描述插值点的视图颜色，通过顶点插值得到对应坐标上的颜色值，每个顶点对插值点颜色的贡献度与距离相关，且贡献度总和为1。则顶点贡献度表示为：

 

实验结果及分析:

本文依照在LLFF数据集上呈现。所有的消融实验均在模型选择的最佳参数上进行的。

表1 不同模型组件的实验结果

 

 

图4 不同渲染加速算法合成新视图

根据LLFF数据集来进行实验并评估本章节的算法。首先，在渲染质量上，如图6所示，展示了真实的360度场景Horns与Trex的渲染结果对比，渲染质量评估数值对比见表2。

表2 不同方法的比较

  

其次，对比渲染时间性能，综合渲染质量对PNeRF结合六轴曲面模型的性能进行评估。如图5所示。 

              

图5 渲染速率与质量综合对比                 图6 渲染速率与存储成本的综合对比 

最后，在存储成本上的对比，如图6所示。PNeRF模型的存储空间大小仅仅只需保存网络权重的空间且渲染速率表现较优。

 

结论:

本文主要研究基于多项式的体渲染表示以及六轴曲面模型实现离线渲染。基于多项式的体渲染表示方面，本文对当前离散化的体渲染表示进行了优化，根据多项式拟合离散点的性质，将体渲染表示连续化并转换到三维空间中，通过实验证明提出的基于多项式的体渲染表示在提升渲染速率上的有效性。对于六轴曲面模型，本文设计了网格分布均匀、存储成本更小的球面存储结构，来存储渲染的视图从而实现离线实时渲染，实验结果表明，该方法可以大幅度提升渲染速率，有效压缩存储空间。结合以上两个方式，有效地提高了渲染速度，压缩了存储成本，实现了离线实时渲染。

作者简介:

朱丽萍，博士。中国石油大学（北京）计算机系副教授，硕士生导师。目前主要研究方向是大数据和数据挖掘方向，尤其关注深度学习在计算机视觉方向上的应用，已发表论文多篇高水平论文。

联系方式：zhuliping@cup.edu.cn。