立体光度测量由高斯喷洒法和逆渲染完成-计算机科学-3D 逆向渲染-神经网络-算法.pdfVIP

立体光度测量由高斯喷洒法和逆渲染完成

MatéoDucastelYvainQuéauDavidTschumperlé

UniversitéCaenNormandie,ENSICAEN,CNRS,NormandieUniv,GREYCUMR6072,F-14000Caen,France

Résumé–Lesalgorithmesrécentsdel’étatdel’artenstéréophotométrierecourentàdesréseauxdeneuroneset

fonctionnentsoitparapprentissageàpriori,soitparoptimisationparrenduinverse.Ici,nousrevisitonsleproblème

delastéréophotométriecalibréeenexploitantlesavancéesrécentesenrenduinverse3D,avecleformalismedes

GaussianSplatting.Cecinouspermetdeparamétriserlascène3Dàreconstruire,etdel’optimiserdemanièreplus

explicable.Notreapprocheintègreunmodèlesimplifiédereprésentationdelalumière,etmontrelepotentieldu

moteurderendudesGaussianSplattingpourleproblèmedelastéréophotométrie.

Abstract–近期的光度立体视觉算法依赖于神经网络，并且通过先验学习或逆向渲染优化进行操作。在这里，

我们借助3D逆向渲染方面的必威体育精装版进展，利用高斯散射法形式化方法重新审视校准光度立体的问题。这使我们能

本够以更易于解释的方式对要重建的3D场景进行参数化并对其进行优化。我们的方法结合了一个简化的光线表示

译模型，并展示了高斯散射渲染引擎在光度立体问题上的潜力。

中

11介绍是在图像中每个点处观察到的对象的法线。该

v

4模型可以通过最小二乘优化进行逆向求解，但是存在

8立体光度测量的一个目标是通过使用固定相机但不同一些限制，特别是无法处理投影阴影和镜面反射，这

6

6照明位置拍摄的多张照片来估计描述物体表面的3D使得它对于复杂材料和场景的实际应用不够稳健。在

0.法线图。在这里，我们提出探索一种新的方法来解决此开创性的初步方法之后，后续的大多数方法都将投

7立体光度测量问题，这种方法基于最近的高斯溅射形影阴影和镜面反射视为异常值数据，同时开发了更复

0

5式主义。这种形式主义将场景建模为三维空间中的高杂且健壮的优化方法以稳定收敛。

2

:斯场，并附有各种属性（主要是方向、大小和颜色）。最近，一些利用深度机器学习的方法出现了以克服这

v

i随后，专用的渲染引擎能够快速地从任何视角重新生些限制。Hardy等人和[2]提出了一个多尺度监督学习

x

r成场景的渲染图。值得注意的是，该引擎是可微分的，方法，在该方法中，一个神经网络在包含大量形状和

a

因此可以在传统的优化方法（如梯度下降法）中发挥材料多样性的数据库上进行训练，以直接估计法线图。

作用，以估计高斯参数，使重合成场景的渲染结果尽Yamaguchi等人和[13]使用了通过深度任意获得的深

可能接近输入图像（解决一个逆问题）。因此，我们提度地图估算来粗略地初始化法线图，并利用专用神经

出利用这种形式主义