野生鱼开集多分类与细粒度识别的深度学习方法.pdfVIP

摘要

野生鱼识别是海洋生态学研究的一个基本问题，对于生物多样性保护、海洋信

息化建设、智慧化海洋资源开发等方面均具有重要意义。鉴于海洋野生鱼的多样性

且存在大量的未知图谱，野生鱼识别属于开放集细粒度识别问题。由于传统方法识

别过程较复杂且准确率不理想，本文基于开集多种类识别和闭集精细化分类两个角

度构建了野生鱼细粒度图像识别的深度学习模型。主要研究内容如下：

针对野生鱼开集识别任务中的开放风险性、特征多样性和复杂性等问题，本文

提出了基于融合激活模式的开集多种类识别网络WildFishNet。首先，通过叠加多种

注意力机制来强化通道信息关联、抑制背景信息干扰，并采用神经结构有哪些信誉好的足球投注网站（NAS）

技术组合特征提取主干。同时，Softmax算法利用概率正相关性进行初步分类，

Openmax算法根据极值理论（EVT）重新拟合分布以纠正激活向量，最终串联两种

激活模式结合决策阈值实现高精度识别。此外，考虑到开集风险性构建了基于特征

距离的混合损失函数。其中，交叉熵损失函数保留类别间的可分性，同时引入中心

损失来优化类内特征间距为未知类预留足够的开放空间。最终在公开数据集

WildFish上设置开集样本，通过参数评估、收敛性分析并与多种方法在不同维度开

展了对比和消融实验。实验结果表明了WildFishNet在开集多种类识别中具有很强

的鲁棒性和有效性。

针对野生鱼特征的类内变异性和类间相似性等现象，本文借助多模态融合的思

想设计了基于卷积神经网络和循环神经网络的细粒度分类模型PairNet。该模型使用

了EfficientNet-B0和BiLSTM两种最优网络框架并行地对图像和文本数据进行建模。

然后，通过所提出的特征融合模块在多个的逻辑子空间中捕捉不同模态序列间的关

联性，并利用MLP模块增强特征的非线性表示。其中，多头交叉注意力模块根据文

本语义特征来关注图像的局部区域以弥补视觉单模态特征的不足从而有效提升分类

精度。最终，实验结果表明该方法能够有效提取细粒度图像更有辨识度的特征。同

时广泛的对比进一步验证了所提出分类模型的优越性。

关键词：深度学习；野生鱼识别；开集识别；细粒度分类；融合激活模式；多模态

特征融合

Abstract

Wildfishidentificationisafundamentalproblemofoceanecologyresearch,whichis

ofgreatsignificanceforbiodiversityprotection,marineinformationconstruction,and

intelligentmarineresourcesdevelopment.Inviewofthediversityofmarinewildfishand

theexistenceofalargenumberofunknowngraphs,wildfishrecognitionisanopenset

fine-grainedrecognitionproblem.Sincetherecognitionprocessoftraditionalmethodsis

complicatedandtheaccuracyisnotideal,thispaperconstructsdeeplearningmodelsfor

fine-grainedwildfishimagerecognitionbasedontheperspectivesofopensetmulti-species

recognitionandclosedsetfineclassification.Theresearchinthispaperisasfollows:

Tosolvetheproblemsofopenrisk,diversityandcomplexityoffeaturesinwildfish

opensetrecognitiontask,anopensetmulti-speciesrecogniti