面向移动设备的态目标的光场渲染技术研究.pdf

摘要 摘 要 随着多媒体技术的不断发展，视频技术也需要从二维向三维转变，和普通的 二维视频相比，三维视频增加了场景的深度信息，增强了视觉的现实感和逼真感， 可以给用户提供全方位沉浸式的感受。三维视频技术可以广泛应用于数字电视、 移动设备系统，三维视频会议系统、虚拟现实系统等方面，而其中移动设备系统 更为人们所关注，移动设备已经逐渐成为人们进行信息获取、处理处理、个人娱 乐等的重要途径。因此人们迫切的希望在移动设备上享受真实感绘制，比如：显 示真实感的3DTV、虚拟现实的漫游等等。 移动设备由于采用电池供电，存储器空间有限，带宽较小，因此移动设备的 真实感绘制系统应具有低功耗和低带宽的特点。传统的计算机图形学是建立在基 于3D网格模型的绘制基础上，能否准确的构建成场景的3D网格模型将直接影响 最终绘制的效果，整个绘制过程与场景复杂度有关，带来了功耗大的问题。而基 于图像的绘制技术(IBR)由于与场景复杂度无关且真实感强等特点，在近十年来 成为真实感绘制的研究热点，但由于其数据量庞大，对于移动设备有限的存储空 间和带宽非常不利。针对这些问题，本文提出了一种面向移动设备的动态3D目 标的真实感绘制技术。 主要工作和创新如下： 1) 针对移动设备存储空间小和带宽有限的特点，提出了一种面向移动设备 的动态3D目标的光场渲染编解码器设计。由于3D网格模型来源于图 像，降低了人工建模的复杂度。同时，由于具有场景目标的几何信息， 场景目标重构所需的图像数量可以大量减少，降低了数据量，有利于低 带宽的移动设备的数据传输，实验结果表明，数据量相比基于图像的绘 ‘制方法，存储数据量以及传输数据量都得到了有效的降低。 2) 结合重建的目标的3D网格模型，提出了一种面向移动设备的目标表面 光场采样方法，详细分析了光场采样前的可见性问题以及虚拟视点的生 成方法。该方法不但可以实现真实感效果，而且可以实现自由视点的绘 制。实验结果表明，这种采样方法准确记录了目标向空间发出的光线信 息，包括了光线的强度和光线的方向。 3) 由于采样的光场矩阵包含的数据量较大，不利于视频数据的传输，提出 了一种自适应的奇异值分解算法，自动控制光场矩阵的分解级数，解决 了人为主观因素的控制，保证重建质量的同时，提高了压缩率。光场矩 阵分解后获得目标的表面纹理和视点纹理，采用矢量量化和S3TC压缩 摘要 算法去除纹理图像之间及内部的冗余信息，实验结果表明，在保证真实 感效果的前提下，数据量得到了有效的降低。此外，S3TC算法为图形 硬件广泛支持的标准纹理压缩算法，有利于实现光场重建的硬件加速过 程。 4) 提出了一种面向移动设备的光场渲染解码器的硬件架构设计，采用自行 设计的图形处理器，对光场解码过程进行硬件加速，实现实时绘制。同 时针对解码器中负责光场重建的核心单元——纹理映射单元，提出了一 种FPGA设计方案，对其中的纹理存储单元(Cache)进行了优化设计，采 用了基于4×4压缩纹素块的存取方式，充分地利用了像素间的相关性， 提高Cache的命中率，减少了对总线带宽的需求。实验结果表明，该架 构可以实现动态3D目标的真实感绘制，证明了本文提出的面向移动设 备的动态3D目标真实感绘制的可行性。 关键词：移动设备，三维视频，光场，真实感绘制，编解码器 II ABSTRACT ABSTRACT With ttle ofmultimedia needto deVelopment techniques，Videotech