图像融合技术概述.pptVIP

图像融合技术和方法 西安交通大学自动控制研究所 目录 定义 应用 分类 像素级融合方法 融合评价方法 信息融合图像识别方法 研究方法 研究展望 定义 图像融合是一门新兴的学术研究方向，作为信息融合的一个重要分支，是多传感器信息融合中可视信息部分的融合，它将多元信道所采集的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特征以供观察或进一步处理。它是一门综合传感器、图像处理、信号处理、计算机视觉和人工智能等技术的现代高新技术。 应用 军事应用 远程遥感 美国陆地资源卫星LANDSAT是最早投入实际使用的图像融合系统。 广泛采集地球远程遥感图像。1972年 Landsat1 1999年 Landsat7 已采集百万张图像，广泛用于农业，地理学，森林学，教育，地图绘制和全球变革研究。 分类 * * 2004年9月 医疗应用 海湾战争中发挥很好作战性能的“LANTIRN”吊舱就是一种图像融合系统。是一种用于飞行战斗机的低空红外夜视目标侦测系统。 LANDSAT项目工作组 LANDSAT采集的图像 LANDSAT发射火箭 预处理 特征提取 图像分类 应用 图像 像素级图 像融 合 特征级图 像融 合 决策级图 像融 合 像素级融合是在严格配准的条件下，直接利用来自各个传感器的信息进行像素与像素关联的融合方法，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。其主要优点是能保持尽可能多的现场数据，提供其他融合层次所不能提供的细微信息。由于该方法的融合基础是严格的像素对准，所以对不同传感器采集视场的配准要求很高。 特征级融合是在像素级融合的基础上，使用参数模板、统计分析、模式相关等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假特征，以利于系统判决。特征级融合可从两方面进行研究，目标状态数据融合和目标特性融合。该层融合的优点在于实现了可观的信息压缩，便于实时处理，其融合结果能够最大限度地给出决策分析所需要的特征信息。研究方法主要从聚类分析法、Dempster-Shafer推理法、贝叶斯估计法、神经网络法等展开。 决策级融合关联各传感器提供的判决，以增加识别的置信度。决策级融合方法主要是基于认知模型的方法，需要采用大型数据库和专家判决系统来模拟人的分析、推理、识别、判决过程，以增加决策的智能化和可靠性。决策级融合的主要优点在于：通信及传输要求低，容错性高，数据要求低，分析能力强。研究方法主要集中于贝叶斯估计法、神经网络法、模糊聚类法及专家系统等。 1.1高斯窗口函数 多分辨融合 1 金字塔技术 可分离性 、归一化 、对称性 、奇偶项等贡献性 1.2高斯金字塔 1.2各种金字塔技术 1.2.1 Laplacian金字塔技术 1.2.2 对比度金字塔技术 1.3金字塔融合算法 1.3.1 获取每一路图像的Gaussian金字塔序列 1.3.2 获取每一路图像的Laplacian或对比度金字塔等序列 1.3.3 该塔序列对应级融合，融合算子很多，最常见的取“与”或“或”。 1.3.4 融合塔序列逆构最底层图像（以对比度塔为例） 2 小波变换 小波变换（Wavelet Transform）是一种新型的工程数学工具，由于其具备的独特数学性质与视觉模型相近，因此，小波变换在图像处理领域也得到了广泛的运用。用在图像融合领域的小波变换，可以说是金字塔方法的直接拓展。 Mallat经典算法 设输入图像为 令 Mallat图像分解算法如下 式中，Z为整数级，{h，g}为选定的滤波器组，1=j=N,N为离散小波变换分解层数。 重构算法为 对任意 上的二维矩阵 满足： 定义如下算子为 其简洁形式为 低频分量 图像的水平边缘 图像的竖直边缘 角点和45o方向边缘 如果将图像的离散小波变换与图像的Gaussian金字塔分解进行简单对比，可以认为离散小波变换在提取图像低频部分的同时，较Gaussian金字塔分解多出两个方向的分解处理。图像融合在这些特征域内进行，理论上较Gaussian金字塔融合具有更好的效果。 基于小波变换的融合算法 1 获取每一路图像的小波金字塔序列：对两幅图像分别作多尺度小波变换，得到两幅图像在不同尺度下的低频方向、水平方向、垂直方向、 45o角方向的高频信息图序列。 2 小波多分辨融合：对两幅图像的不同层次、不同特征层的信息图分别附加一定的权重进行融合，从而得到融合图像的小波多分辨结构