MatSSL：用于金属 lograph 图像分割的鲁棒自监督表示学习-计算机科学-自监督学习-深度学习-预训练编码器.pdfVIP

MatSSL：用于金属lograph图像分割的鲁棒自监督表示学习

HoangHaiNamNguyen,PhanNguyenDucHieu,HoWonLee

KoreaInstituteofMaterialsScience

UniversityofScienceandTechnology

namhhn@ust.ac.kr,hieupnd@ust.ac.kr,h.lee@kims.re.kr

Contributeequally

Abstract1.介绍

本准确的微观结构分割是材料工程中从合金设计到

MatSSL是一种精简的自监督学习（SSL）架构，它在

译失效分析等关键任务的基础，但由于像素级标注的极

主干网络的每个阶段使用门控特征融合来有效整合多

中度稀缺，这一过程仍然具有挑战性。传统的监督深度学

级表示。

1习方法[1,2]，即使利用来自ImageNet[3]的迁移学习，

v当前对金属材料的显微图像分析依赖于监督方法，在使用少量专家标记的金相数据集进行训练时，仍然

4

8这需要为每个新的数据集重新训练，并且通常在只有会遭受不一致性和低准确性的问题，这些数据集通常

1少量标记样本的情况下表现不一致。每个材料系统只有几十个显微图像。

8

1.尽管自监督学习通过利用未标记的数据提供了有无监督和半监督管道（例如，聚类、伪标签）可

7希望的选择，但大多数现有方法仍然依赖大规模数据以利用未标记的数据[4,5]，但它们通常无法达到可靠

0

5集才能有效工作。的特征化所需的细粒度准确性。自监督学习（SSL）通

2过使用对比、生成、预测或自我标签等预训练任务来

:MatSSL的设计旨在克服这一限制。

v学习有用的表示而无需地面真实掩码[6–9]，提供了有

i

x我们首先在一个小规模、未标记的数据集上进行吸引力的替代方案。大多数最先进的SSL模型（例如，

r

a自监督预训练，然后在多个基准数据集上微调模型。MoCo,SimCLR）需要在相关领域的数十万到数百万张

生成的分割模型在MetalDAM上实现了69.13%图像上进行预训练才能取得良好的性能。这在金相学

的mIoU，优于ImageNet预训练编码器实现的66.73%，中是一个重大挑战，在这里通常只有几千张未标记的

并且与使用MicroNet进行预训练的模型相比，在环境显微照片可用。

屏障涂层基准数据集（EBC）上的平均mIoU提高了近在这项工作中，我们提出了MatSSL，一个专为多

40%。种材料的金相图像设计的简单轻量级对比自监督学习

框架。MatSSL采用了一种新颖的门控特征融合机制，

这表明MatSSL能够仅利用少