《图像修复.ppt

图像修复 Image Inpainting jyzw_zw 2010-10-25 Bertalmio 2000年首次提出“图像修补（image inpainting）” 利用损坏图像已知信息，按照一定规则对损坏区域进行填补，其目的是使修复够图像接近或达到原图像的视觉效果。 缺少足够信息保证唯一正确的修复结果，因此是一个病态问题，解的合理性取决于人类视觉系统的接受程度。 几种图像修复实例 旧照片修复 Old Photo Restoration 字幕去除 Text Removal 目标物去除 Object Removal 视觉认知规律 结构性 结构型轮廓在感知中的作用最为明显，断断续续的线条出现，大脑将其连接成一个整体。 相似性 对于未知区域的信息，大脑根据相似性原理，使用其邻域的信息进行推断，把类似的物体组合在一起。 结构优先 结构在视觉感知中作用更重要，结构修复优先保持整体图像一致性，否则先进行纹理填充会出现细节相似但整体产生偏差的情况 纹理一致 纹理并不被大脑所重视，如果不仔细观察，则被看成是相似物体，而不会主动分辨其中细节，因此，修复纹理时只要不出现不同于当前纹理的新信息，大脑就不容易察觉。 图像修复经典方法 一. 基于结构的修复方法 模拟微观修复机制 BSCB模型 Bertalmio（2000） 依据手工修复的经验，将边缘信息沿着等照度线方向扩散到待修复区域内。 修复结果 存在问题 算法时间复杂度太高，执行速度非常慢 对大的缺陷区域的修复，效果不好 稳定性不好，有时会导致修复图像视觉效果不好 容易受到噪声干扰，影响等照度线方向的判断 模拟宏观修复机制 1. 整体变分（TV）模型 ChanShen（2001） “最佳猜测”原理与贝叶斯框架理论 图像修复问题是一个贝叶斯问题 u：原始图像 u0：破损图像 P(u0 | u)：似然项（数据模型），依赖观测数据 P(u)：先验项（图像模型），反映主观自然性评价 TV模型 D：待修补区域 E：待修补区域的外邻域 I：原始图像 I0：破损图像 第一项是为了使待修复区域及其边界尽可能的平滑 第二项是保持修复结果与原图的一致性 由变分原理，最小化上式等价于求解对应的Euler-Lagrange方程 实质为各向异性扩散方程 物理意义：如果当前点与邻点的梯度较小，即差别较小时，具有较高的扩散系数，会与邻点相平滑；如果差别较大，那么扩散系数较低，则基本保持当前点的值。 缺点：不满足“连接性准则”，扩散强度仅依赖于等照度线的对比度或强度，不依赖于等照度线的几何信息。 基于曲率驱动扩散（Curvature-Driven Diffusion,CDD）方法 加入等照度线几何信息——曲率 加入曲率信息，大曲率处扩散强度大，小曲率处扩散逐渐消失 基于结构修复算法缺点 本质上是一种信息扩散的过程，修复区域较大时，使由外边界向区域中心的信息扩散过程变得极慢，运算量剧增。 扩散过程使得修复区域过于平滑，若修复区域存在丰富纹理，就会使修复区域变得模糊。 分析过于局部，仅利用修复区域邻域的信息，缺少整体指导。 二. 基于纹理修复 与基于结构修复方法不同 充分利用视觉认知规律的相似性原则，追求整体一致性。 基于结构修复是通过信息扩散实现修复，是基于点的分析；基于纹理修复利用图像块之间的相似性，是基于块的分析。 基于纹理修复是在全图有哪些信誉好的足球投注网站以寻找最匹配的块，利用信息更充分。 基本思想： 由为缺损区域中采样合适的图像块，复制或合成到缺损区域中，同时保证纹理结构的连续性和相似性。 修复优先级问题 修复块优先级决定因素： 1. 数据项：在图像边缘数据项值较大，优先修复边缘。 2. 置信度：反映待修复块信息完整程度。置信度越高，块内信息缺失越少，修复可靠度越高，应优先修复。 修复结果 算法缺点： 寻找匹配块时，大多采用全局有哪些信誉好的足球投注网站方法，增大了修复时间。 缺少对图像结构分析，造成局部相似整体却不和谐的结果。 由于采用块匹配粘贴的缘故，在处理结构信息时，可能无法自然的拼接，产生块效应。 改进： 研究规则纹理的方向特性，找到图像中纹理的大致走