项目汇报 - 视听觉信息的认知计算.pptVIP

内容 研究动机 处理流程 AP (Affinity Propagation Clustering) AP的聚类数目 AP的Preference参数的计算方法 与GMM (Gaussian Mixture Model)对比 类内图像模型 监督多类标注 实验 时间性能 结论 参考文献 研究动机 图像标注的问题 (Fan2008) 图像语义的中间级别表示 语义鸿沟：低层视觉特征和图像语义的高层人类理解 多级图像语义表示 语义鸿沟：映射或分类问题 基于混合模型的贝叶斯分类器 SVM (Suport Vector Machine)分类器 一个普遍的问题: 对于大量图像概念来说，复杂度太高 AP算法通过递归地传播密切度信息从而学习数据的混合模型 (Frey2006) 处理流程 图像表示 从均一的图像块或图像格中提取颜色信息 语义鸿沟: 采用AP学习一个混合模型 使用GMM来近似类内的混合分布 应用Bayesian分类器把图像映射到类别标签 AP (Affinity Propagation) AP能以更低的错误率均匀地聚类，时间耗费大约是其他方法的百分之一 参数preference s(k,k) 影响聚类的数目 越大，则每个节点越倾向于选择自己作为代表点，从而使聚类的数目增加 preference的选择是一个NP-hard问题(Dueck2007) 对于某个特定的聚类数目，存在一个preference的值域 下图是当增大preference时聚类效果，其中p是相似度矩阵的均值 Preference参数的计算方法 引入先验知识 semantics(i)：图像 i 包含的语义标签数 clusters(s)：每个语义标签包含的聚类数目的经验值 一个经验性的预先建立的查找表map，根据聚类数目 c，返回 p 的次数 cluster (i)：图像 i 中的聚类数目 与GMM对比 无论 一个图像包含多么复杂的语义，GMM 中模型的数目不是自适应的 在高维特征空间里，GMM需要更多的特征点以获取较好的性能 1640 * 192 表示该图像被划分为1640个区域，每个区域的特征维数是192 类内图像模型 AP混合模型(Frey2006) 图像i 聚类 Si 属于图像 i L是先验概率密度函数 f()是所有聚类的约束函数 类似于GMM-EM，可使用EM来迭代 监督多类标注 没有图像分割时，对图像多类建模 (Carneiro2007) 怎样从正例和反例中对图像建模 某类正例集合中的反例信息，趋向于分布到整个特征空间 正例信息趋向于分布在某个狭小区域 使用统计决策理论 标注和检索都基于最小错误率理论 实验 数据集来自Visual Object Classes Challenge 2008 (VOC2008) 一个包含两类的子集 飞机和狗, 分别包含119 和186张图像 实验(续) 对于较简单的图像 “033” 基于GMM 和AP的方法取得了近似的结果 对于较复杂的图像 “037” 和 “066” 相同的条件下，基于AP的方法效果更好 对于192维特征空间来说，基于GMM的方法需要更多的特征点来取得同样的效果 时间性能 平均时间 基于AP的方法：0.281s 基于GMM的方法：19.6s AP 算法来自 B.J. Frey 和D. Dueck (AffinityPropagation) GMM Matlab 程序( From Patrick P. C. Tsui,Univ. Waterloo, 2006， /matlabcentral/fileexchange/8636) 结论 基于AP的方法不需要计算足够的统计信息，能避免由于直接设置代表点而引起的问题 (Frey2006) 本方法比较适于特征空间维数较高，或训练样例数目较少的情况 提高了时间性能 大约节省到百分之一 建模效果更好 自适应聚类数目 参考文献 (AffinityPropagation) /affinitypropagation/ (Carneiro2007) Carneiro, G.; Chan, A. B.; Moreno, P. J. Vasconcelos, N. Supervised Learning of Semantic Classes for Image Annotation and Retrieval IEEE TRANS. PAMI, 2007, 29, 394~410 (Dueck2007) Dueck, D. Frey, B. J. Non-metric affinity propagation for unsupervised image categorization ICCV, 2007 (Fan2008) Fan, J.; Gao, Y.; L