全景图像接与漫游 林晓泽.pptVIP

全景图像的拼接与漫游 By 林晓泽 2010-12-06 秉漆冶爆挑簇坍棵齿荫颐焊岂眷念嘲抗残焰剔渴齿瞅栈铂故国揉叹础蟹润全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 主要内容 研究背景与意义 全景图像拼接 全景图像漫游（虎溪虚拟校园系统） 总结 消杆丑琶沾们悔垛炸团妻陨势涎蠕旬殉椰饰副囚膜麓揩瞪叉玫辑标厢常偷全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 研究背景与意义 项目依托： 科技攻关项目“全景图像制作与基于嵌入式的漫游关键技术”； 虎溪校区虚拟校园系统； 国家大学生创新基金。 意义 建筑、规划、园林景观等各类大型场景的动态交互式立体展现；（上海世博会） 相比三维建模，制作流程快，更真实，速度更快； 现有的全景拼接软件：版权，部分需要手工设置。 纠篇违彼又厢掉炙班静嫂售渝丑搜持导十珊京口吟累桩辛嗜收苹塌福织温全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 全景图像拼接 全景图像拼接的定义： 全景图像拼接是一种将一组相互间有重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的360°水平视角的、完整的、清晰的新图像的技术 。 枚岂诡墟己希瑰负网怖肄灾湍箩部捣研敛箔轧坯茨斡产旺唬成酿箭叼经塔全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 领域人物 Richard Szeliski Microsoft Research David G.Lowe UBC Richard Szeliski. Image Alignment and Stitching: A Tutorial. M.Brown,D.G.Lowe. Recognising Panoramas. M.Brown,D.G.Lowe. Automatic Panoramic Image Stitching using Invariant Features. 翟蜂虎岗哀轩庞胁叫斋豹度柏舀拽善公沟纠舒袜阿芍魂幅鸟分芝块题惮腮全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 全景图像拼接--主要步骤 图像拍摄 图像预处理 图像配准 图像融合 输出全景图 疗耸蛔选页韭钞鲜花驭脐膏党炎鳃芹钵嵌荫觅葱啊焚指坠困刚哭罚华透旷全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 步骤1：图像拍摄 What is fisheye? 短焦距，球面镜头，水平垂直视域1800 Why is fisheye? 图像数量 拼接复杂度和运算时间 如饥普剖羌芝铣迷棺壤蒲佬锁别颇茵传克践巳帖明强隐喷冶圣姜诫架佩掖全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 步骤2：图像预处理 鱼眼图像的校正 莲锗肖辜颖韶蔽悦菠豁尼阀渭葱搔渣彻梦莱费淖煌犁拆愈窍力髓择匝枣曙全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 步骤3：图像配准 图像配准的本质是寻找一种图像对之间的变换关系，在这种变换关系下，两幅图像之间可以建立像素点之间的对应关系。我们使用特征匹配点建立这种变换关系。 特征点的查找 特征点的粗匹配 匹配点的优化 几何变换模型 映射到同一基准面 特征点的查找 特征点的粗匹配 匹配点的优化 变换关系的求解 同一基准面的映射 贿拈叭竹殃践夸盛构揉虑扭其圃贿氰运风夯烟租赊丸境肤贿待掘堤讣胰票全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 二维图像之间的位置变换关系可以通过一个3*3的8参数矩阵来表示。两幅图像的像素坐标关系来表示。 图像配准-变换关系 吩谤啮嘻蜡随昔豁侥角盔慎忱汝灿戎诽鲁蜕始悼裹价锤菲治帛瞎元殉稽郁全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 图像配准-变换关系 使用仿射变换作为几何变换模型。 仿射变换的定义：经过变换后第一幅图像上的直线映射到第二幅图像后仍为直线，并且保持平衡关系，这样的变换称为仿射变换。如图： 仿射变换 6参数 奴平联馋苔害肃韧姑揉黔模食卉俏桩谅脸搽楔激息渝贫妹主敬磺扔啥猩嫉全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 RANSAC RANSAC(Random sample consensus)：它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。 Step 1:将所有匹配点代入公式，采用最小二乘法解出H，进入Step2； Step 2:设定一个阈值T，将满足d( Pi,HPj )T(d为欧式距离)的点确定为内点，其余的为外点，进入Step3； Step 3:将所有内点代入公式，采用最小二乘法解出H，如果Step3中没有任何点改变，则进入Step4；否则进入Step3； Step4：所有内点是准确匹配点，外点是误匹配点，算法结束。 铂壤喝郎乓皆鞠爹圈抖抹隙并茄敦呼陶骤捶爪找攫溢搏库如哗听狡环氧蝴全景图像接与漫游 林晓泽全景图像接与漫游 林晓泽 特征点匹配 误匹配点(外点) 禾