基于SIFT算法的局部图像拼接技术实现-刘玉华教授课题组首页.PPT

摄影测量系统中基于SIFT算法  的柱面全景图像拼接实现 答 辩 人: 高琦 指导老师: 刘玉华 教授 2015年5月24日 目 录 计算机学院 总结与展望 5 基于SIFT算法的局部图像拼接技术实现 3 图像拼接技术及理论基础 2 绪论 1 摄影测量系统中柱面全景图像的拼接与实现 4 绪论(1/3) 手工拼接 全景相机拍摄 软件处理 全景图像的发展 软件方法进行图像拼接 将一组有重叠部分的图像序列利用算法拼接成无缝、宽视角、高清晰的全景图像 图像拼接的应用领域 图像拼接技术在医学图像处理、军事应用、遥感摄影和虚拟现实技术等领域有着广泛的应用 图像拼接技术促进数字摄影测量技术的发展 计算机学院 绪论(2/3) 图像拼接在国内外的研究现状 全景图像拼接技术伴随着计算机技术和数字图像技术的 发展不断被创新，其发展势头迅猛。 1996年R.Szdiski和J.Coughlan共同提出在图像拼接中应用投影变换的思想; 2000年，S.Peleg等人经过对 R.Szdiski 理论的总结与研究，提出了采用自适应模型的的图像拼接算法; 2003年，M.Brown提出了基于SIFT特征匹配的图像拼接算法; 2012年，梁艳菊、李庆等人总结了SIFT特征匹配的优缺点，提出了一种基于SURF的全景图像拼接算法. 计算机学院 本文研究内容 图像柱面投影 图像SIFT特征点提取 特征点匹配 图像融合 选取多处地点原始图像序列进行拼接测试与分析 绪论(3/3) 计算机学院 图像拼接技术及理论基础(1/3) 计算机学院 成像变换原理 将不同坐标系下的图像变换到一个坐标系下，可采用投影变 换，其对于摄像机的平移、旋转拍摄、镜头的缩放和水平竖直扫 动等，其原始图像上直线性质不变。 图像坐标系 成像平面 世界坐标系 摄像机坐标系 图像拼接技术及理论基础(2/3) 计算机学院 图像配准 基于待配准图像灰度信息的配准方法 基于待配准图像变换域内信息的配准方法 基于待配准图像特征信息的配准方法 图像融合 直接平均像素法 最大最小值法 加权平均法 (1) 特征点提取 (2) 特征点匹配 (3) 构造变换矩阵 图像拼接技术及理论基础(3/3) 计算机学院 全景图分类 按照拼接基准表面的投影模型可以分为立方体全景图、球面全景图和柱面全景图 立方体全景图 球形全景图 柱面全景图 视平面 全景图 本文采用模型 基于SIFT算法的局部图像拼接技术实现(1/7) 图3.1 拼接算法流程图 计算机学院 采集两幅有重叠区域的图像 对图像进行SIFT特征点提取 对特征点进行匹配并剔除错误的匹配特征点 精确匹配并得出变换矩阵 图像融合 生成拼接图 开始 局部图像拼接流程 局部图像拼接流程如下： (2) 提取SIFT特征点； (3) 特征点匹配； (4) 得出变换矩阵 ； (5) 图像融合； (1) 采集原始图像； 经过上述流程最终生成拼接图。 基于SIFT算法的局部图像拼接技术实现(2/7) SIFT特征点提取 SIFT，即尺度不变特性变换(Scale-invariant Feature Transform，SIFT)，其特征点具有尺度、位置和方向不变性。提取的过程主要为如下四步： 尺度空间的建立及极值检测 计算机学院 确定关键点位置 为特征点分配方向 为特征点生成特征描述符 图3.2 SIFT特征点 基于SIFT算法的局部图像拼接技术实现(3/7) 特征点匹配与提纯（1/2） 匹配的标准就是计算两个特征点的欧氏距离L ，L最小表示最具匹配特性，这里采用K-D树的数据结构来存储特征描述子，利用BBF算法进行遍历有哪些信誉好的足球投注网站，初步匹配。 计算机学院 图3.3 K-D Tree数据结构 Root Left Left Right Right Left Right K-D Tree y x y 基于SIFT算法的局部图像拼接技术实现(4/7) K-D树和BBF算法 计算机学院 K-D树即K-Dimension树，是二叉树的扩展形式。相当于树中每一个节点都有K维。 BBF(Best-Bin-First)是一种改进的K-D树最近邻查询算法。 图3.4 两幅图像特征点 图3.5 图像特征点匹配关系 特征点匹配与提纯（2/2） 基于SIFT算法的局部图像拼接技术实现(5/7) RANSAC算法精确匹配并得出变换矩阵 计算机学院 该算法主要是在一组数据集中进行迭代运算，筛选掉其中包含的“局外点”，并估算出其数学模型的参数。经过RANSAC算法处理后得出图像的变换矩阵。 图3.6 特征点匹配对筛选 图3.7 与变换矩阵作用后图像 基于SIFT算法的局部图像拼接技术实现(6/7) 计算机学院 图