基于各向异性扩散的深度图像增强要点.doc

目录 摘要 1 1 引言 2 2 相关工作 3 2.1 指导深度上采样 3 2.2 引导深度图像修复 3 2.3 各向异性扩散 3 3 方法论 4 3.1 问题制定 4 3.2 数值方案 4 4 实验 5 4.1 实验在Middlebury数据集上 6 4.2 实验在Kinect数据集上 6 4.3 实验在雷达数据上 8 结论 0 参考文献 1 基于各向异性扩散的深度图像增强 摘要： 关键词： 1 引言 在本篇论文中，我们提出基于各向异性扩散的引导深度增强。将已知深度值的像素视为热源。通过参考图像提供的颜色信息的引导，深度可以从源扩散到深度缺失的区域。尽管基于偏微分方程的各向异性扩散在图像平滑和修补[20][4] [2] [3]中被广泛使用但是据我们所知，他们没有为引导集成其他的图像。 此外，我们将引导向异性扩散的稳态问题放到著名的随机游走模型[8] [30] [11]中考虑 而不是反复进行深度扩散。该模型在图像分割[8] [30] [11]是普遍存在的，但它很少用于图像增强的应用程序。通过这个模型，引导深度增强问题能够通过求解一个稀疏线性系统来解决。 2 相关工作 2.1 指导深度上采样 它的目的是通过融合高分辨率视觉图像和低分辨率深度数据 来 生成高清晰度深度图。为此，马尔可夫随机域（回收设施）被首先使用[6]。它通过优化一个能量函数来推断深度，这个能量函数是由对已知测量结果的长期合理的评估和对深度平滑的长期正交化组成。之后，提出了几个MRF的基础方法，这个方法通过进一步考虑新的正交化来拓展这份先进的工作，例如，非局部平滑约束[28][18]和时间相干性[31]。另一组有关这个问题的方法是基于滤波技术。他们大多使用联合双边滤波器或它们的变化[1] [29] [7]来整合深度采样的颜色信息。 2.2 引导深度图像修复 引导深度图像修复这个问题对于Kinect-like传感器的发展很感兴趣。在过去的两年中，我们提出各种方法来填充深度图中的无效区域，这些深度图是有着参考视觉图像对准的。有研究将传统的修补算法[2] [5] [23]拓展到引导案例中。具体地讲，新的修补模式[14][21]和扩展命令[14] [15]被设计用以归纳引导信息。这些方法仅限于其中无效区域被有效区域包围的情况下，以至于他们不适用于引导采样。与他们相反，另一组研究中采用滤波器[19] [10]，这为采样工作的同时，也为引导深度进行修补。 2.3 各向异性扩散 各向异性扩散各向异性扩散此处主要指的是热扩散框架，该框架通过偏微分方程（PDEs）来表示。基于偏微分方程的各向异性扩散被广泛用于在图像或表面平滑[20][4]，图像修复[2] [3]，分割[24][11]，以及其他图像处理应用[27]。最相关的工作是滤波和图像修复技术。就我们所知，这些技术没有集成高分辨率参考图像来引导这个扩散过程。在这项工作中，我们将引导深度增强，包括修补和采样，表述为一个线性各向异性扩散问题。我们的扩散是通过一个大的从稳态中衍生出来的稀疏线性系统来进行的，而不是像传统技术一样反复的解决问题。 3 方法论 3.1 问题制定 假设我们事先已经给出了一个对准的深度图和彩色图对。深度图要么是包含无效的区域要么是分辨率比配对彩色图像低。彩色图像假定为无缺陷的。我们将一个像素p=（X，Y）中的深度和颜色，分别由D（P）和I（P）来表示。 p在一个图像区域Ω。已知深度值的像素被称为种子像素，其点集表示S.如果我们将种子像素作为热源，那么深度增强就可以像热源扩散一样，在这些图上是从热源开始的。扩散过程由以下偏微分方程表示： （1） 其中W（P; t）是点P在时间t的扩散系数并且D0（p）为初始状态的深度值。扩散系数的空间变化取决于所给的彩色引导图，从而使式（1）变成各向异性扩散。 上述偏微分方程是一个初值问题[13]。在该方程所代表的扩散系统中，我们感兴趣的只是深度值趋于稳定的状态[8] [30] [11]。因此，毫不犹豫，我们在式中舍弃t符号，并获得下面的等式： （2） 方程（2）的解对应于我们期待实现的深度图增强。当初始深度图给出，大幅度的增强质量依赖于W（P）的选择。因此，我们探讨的扩散系数的设计将表现在如下求解稳态问题的方法中。 3.2 数值方案 我们已经将深度图像的增强问题制定成各向异性扩散的过程。扩散传导系数是一个条件，它依赖于彩色引导图像，但独立于深度值。因此，我们引导的深度增强是一个线性各向异性扩散问题[11]。线性意味着W不是D或?D的函数。 现在，让我们把线性各