基于实例筛选和非对称多层次结构的自监督预训练方法研究.pdfVIP

摘要

随着社会信息化的高速发展，计算机科学研究需要处理的数据的规模日益增大，人

工的数据标注是越来越昂贵而费时。自监督方法可以通过无需人工标注的方式，从数据

本身挖掘信息，通过设计合适的辅助任务来为特征提取器学习有区分度的视觉数据表征。

目前的自监督方法在单实例标志性数据集中预训练取得有效的进展。但针对目前运用越

来越广泛的多实例非标志性数据集，由于它们具有不同尺度的多个实例及大量的无效背

景信息，直接进行自监督预训练的效果则难以提升。

为了能直接在不具有任何人工标注的多实例数据集中进行预训练，也能得到有效的

特征提取器，本文提出了基于实例筛选和非对称多层次结构的自监督预训练模型。本文

的研究工作主要为：

（1）为了提取数据集中含有实例信息的局部区域，提出了无监督实例区域筛选模块。

该模块通过LC显著性检测和局部RGB信息熵两种指标，创新性地进行了一种二次筛

选的过程，利用自身的数据特点在无监督环境下高效地对局部实例区域进行筛选。

（2）提出了非对称的自监督对比学习框架。构建了非对称的局部对比尺度和非对称

的随机大小裁剪增强范式，从而提升了预训练过程中对比表征的区分度。

（3）基于全局-局部层次以及高分辨率-低分辨率层次两种多层次的范式，研究了综合

层次的自监督模型，通过不同层次的对比损失函数对图像表征进行了综合的对比学习。

实验表明本文提出的自监督模型能有效提升特征提取器在下游任务中的表现，具有

一定的理论和工程应用价值。

关键词：深度学习，自监督学习，预训练模型，对比学习

Abstract

Withtherapiddevelopmentofinformationtechnology,thescaleofdatathatcomputer

visionneedstodealwithisincreasing.Manualdataannotationisbecomingmoreandmore

expensiveandtime-consuming.Self-supervisedmethodscanmineinformationonlyfromthe

originaldatawithoutemployingexpensiveannotations.Itletthefeatureextractorlearns

discriminativevisualdatarepresentationsbydesigningappropriateauxiliarytasks.Currentself-

supervisedmethodshaveachievedsignificantsuccessinpre-trainingoniconicsingle-instance

datasets.Nevertheless,itisdifficulttogettheidealperformancepre-trainingdirectlyonthe

increasinglyusednon-iconicmulti-instancedatasets.Thesedatasetscontainseveralmulti-scale

instancesandalargeamountofbackgroundnoise.

Inordertopre-trainingonnon-iconicmulti-instancedatasetswithoutanymanual

annotationeffectively,thisthesisproposesanovelself-supervisedmodelbasedontheinstance

selectionmoduleandasymmetricmulti-levelstructure.Themaincontributioncanbe

summarizedas:(1)Anunsupervisedpatchselectionmoduleisproposedtoextractloca