基于多阶信息的细粒度图像识别方法与应用.pdfVIP

摘要

图像分析在生产生活中有着广泛的应用，传统类别的图像分类已经取得了较大的突

破。与传统的图像分析相比，细粒度图像识别是专门针对某一类别的细分类进行识别的

课题，比如自然保护区的生物类识别、无人超市的商品识别等。由于细粒度图像数据集

难以收集，并且细粒度图像本身存在“类内差异大，类间差异小”的问题，其分类识别

存在一定挑战性。细粒度图像分类旨在学习一种鲁棒的图像表示，对相似种类的细微差

异进行建模。该领域的现有方法基于深度学习来设计算法模型，并使用一阶或高阶池化

来产生细粒度特征向量。尽管这些策略取得了一些进步，但使用单阶特征统计的网络仅

获取了最后一个卷积层的线性或非线性信息，而忽略了不同阶的特征相互补充的事实。

本文受高阶池化和特征学习的理论方法所启发，创新性地提出了基于多阶特征的细粒度

图像识别方法，取得了较高的识别准确度。本文研究的主要内容包括：

（1）结合多阶特征统计的图像分类模型（Multi-OrderFeatureStatisticalmodelfor

fine-grainedvisualcategorization，MOFS）。卷积神经网络中有一阶和高阶池化技术，不

同池化方式可以捕获具有差异性的图像特征。本文创新性地构建了一个结合多阶特征统

计的模型MOFS，使用两个子模型分别提取了一阶和二阶特征统计信息。模型同时结合

了多层级的判别信息，包括图像的局部信息、全局信息和特征相关性信息。MOFS在三

个细粒度分类数据集上实验，取得了优于其他方法的细粒度识别准确率，证明了多阶特

征有助于提升模型的表示能力。

（2）基于特征增强的多阶图像分类模型（FeatureEnhancedMulti-Ordermodelfor

fine-grainedvisualcategorization，FEMO）。MOFS模型没有捕获多层级的高阶特征，并

且其多阶特征权重需手动设置。在其基础上，本文提出基于特征增强的多阶图像分类模

型FEMO，模型通过共享权重的多分支池化的形式来统计差异化的特征信息。此外模型

创新性地设计了多层级特征的高阶提取方式，使得多阶的特征得到了增强。为了融合多

分支的池化预测，FEMO模型最后引入了单独的自适应权重网络。最终的实验证明了多

层级特征增强的有效性，并使得细粒度图像识别准确度进一步得到提高。

为了验证提出的模型的泛化性和实用性，本文将FEMO迁移到机器人抓取任务中，

构建了基于FEMO的抓取模型，并在相关的抓取数据集中进行训练。本文最后使用

PyBullet仿真包搭建了机器人仿真抓取环境，在仿真实验中模拟了机器人抓取检测的全

部过程，实现了比单阶网络模型更高的抓取检测性能。

关键字：深度学习，细粒度图像识别，特征学习，多阶池化，仿真实验

ABSTRACT

Imageanalysishasawiderangeofapplicationsinproductionandlife.Alarge

breakthroughhasbeenmadeinimageclassificationoftraditionalcategories.Comparedwith

traditionalimageanalysis,fine-grainedimagecategorizationistheresearchdirectionof

identifyingsub-categoriesofacertainclass,suchasbiologicalsub-categorycategorizationin

naturereserves,commoditycategorizationinunmannedstores,etc.Duetothefactthatfine-

grainedimagedatasetsaredifficulttocollect,andfine-grainedobjectsarecharacterizedby

largeintra-classvarianceandsmallinter-classvariance,i