红外图像融合及其实时处理技术.pptVIP

* 基于XtremeDSP的高层次设计方法 XtremeDSP设计套件包括System Generator和AccelDSP两个工具。 * SoPC设计流程 * 基于SoPC的伪彩色融合处理架构 * 图像采集与输出模块设计 * 伪彩色融合算法模块设计 将融合算法模块作为MicroBlaze的协处理器，其间用高速FSL总线连接。 * 伪彩色融合算法模块设计 首先将融合算法算法在AccelDSP中的实现，架构如图所示。 查看RTL报告，获取数据运算时间 协处理器每次计算1个像素融合结果：单次运算耗时340ns，总耗时141ms； 利用面积换速度原则，使协处理器每次计算25个像素融合结果，单次运算耗时1.42ms，总耗时23.47ms。 算法协处理器IP核的生成及使用 * 其他接口模块的设计 本系统存储器由三部分组成，分别使用不同的总线和接口； UART接口、GPIO接口模块，以及DMA控制器、存储器控制器模块； 系统中断控制器的使用： * SoPC融合系统综合结果 在XPS默认设置和约束下，XST综合得到的系统时钟周期为4.663ns，即最高为214.452MHz，因此系统工作在200MHz时钟下是安全的。 根据综合报告系统资源占用情况如表6-1。 * SoPC系统软件流程 * SoPC融合系统实验结果 实验一：可见光与长波红外图像融合实验 实验二：中波红外和长波红外图像融合实验 * SoPC融合系统性能测评 * 多色智能焦平面系统芯片 本课题未来的方向是集红外图像非均匀性校正、 无线光输出、融合处理甚至目标检测的多色智能型焦平面。 * 为什么要做片上数据处理？ * 多色智能焦平面单芯片实现途径 系统级封装（SiP）：采用任何组合，将多个具有不同功能的有源器件与可选择性的无源器件以及诸如MEMS或光学器件等其他器件，组装成为可提供多种功能的单个标准封装件，形成一个系统或者子系统。 相对于SoC，SiP具有提供高密度封装、多功能化设计、较短的市场进入时间以及更低的开发成本等优势。 有望给智能红外焦平面系统单芯片化带来突破。 LOGO 视觉模型的双红外图像伪彩色融合理论及SoPC实现关键技术 报告人：许廷发 北京理工大学光电学院 2011年3月12日 * 主要内容 国内外的研究动态 1 视觉模型的双红外图像融合理论 2 视觉模型的目标伪彩色融合理论 3 双红外图像融合硬件平台设计 4 伪彩色图像融合算法SoPC实时实现 5 结束语 6 北京理工大学光电学院 * 课题背景和意义 红外焦平面的发展 由单色到多色 从分立到集成 数据处理从片外到片上 功能从单一到智能 多源图像融合技术 融合算法研究 实时融合系统 多色红 外智能 焦平面 * 双红外图像融合算法研究现状 不同的分类：按其理论基础分、按融合结果的色彩分、按分辨力的级别分、…… 灰度图像融合：代数法、PCA法、调制法、金字塔多分辨法、小波多分辨法、 …… 伪彩色图像融合： Waxman算法 Toet算法 色彩传递法 * 视觉神经动力学模型 人类以及绝大多数动物的视觉系统是自然界最完美的成像及处理系统； 人眼视网膜同心圆拮抗式感受野； 响尾蛇视顶盖6种双模式细胞：视网膜和视皮层的完美结合； Hodgkin等据此提出了视觉神经动力学被动膜方程，它是中心-环绕拮抗感受野的一种动力学描述，具有适合于彩色图像增强应用的属性和性能。 北京理工大学博士学位论文答辩 * 被动膜方程在图像处理中的应用 ON、OFF拮抗细胞的稳态响应： 中心-环绕区域输入信号相同时：增强反差、突出边缘、压缩动态范围； 中心-环绕区域输入信号不同时：保留共同信息，增强不同信息，有效改善信号对比度。 * 双红外图像特性分析——辐射特性 黑体中波、长波红外辐射度在高低温区有明显差异； 目标与背景辐射对比度中波红外明显大于长波红外，意味着热目标在中波图像中更为突出； 长波更适合探测中低温目标，中波更适合探测高温目标。 * 基于被动膜方程的图像融合框架 基本框架： 双波段红外图像融合架构： * 算法改进 引入响尾蛇视觉模型中“与细胞”响应，用来强化融合过程中的去相关操作： * 融合算法评价 采用主观评价方法： 评价结果： * 图像融合中受到的挑战 海面目标图像融合 图像融合输出终端： 人眼观测 机器后处理 * 基于视觉注意模型的图像融合 在视觉范围内，那些能够产生新异刺激、较强刺激或人所期待刺激的视觉对象容易引起观察者的注意： 数据驱动，自底向上 任务驱动，自顶向下 经典的可计算的视觉注意模型：Itti模型 * 基于改进的视觉注意模型红外目标检测 * 红外图像融合规则的研究 常用的融合规则：取系数绝对值较大法、基于局部能量的融合规则、基于多算子的融合规则、…… 效果越好的融合规则往往计算量越复杂，并且局