利用 L2 正则化、迁移学习和深度微调提高 U-Net 在 TEM 图像数据上的置信度-计算机科学-机器学习-缺陷检测.pdf

利用L2正则化、迁移学习和深度微调提高U-Net在TEM图像数据上的置信度

AidenOchoaXinyuanXuXingWang∗

PennStateUniversity

{aio5165,xkx5062,xvw5285}@

Abstract够采用大数据方法来进行原位TEM和4D扫描透射电

子显微镜（4D-STEM）等表征技术[8]。在4D-STEM

随着数据量的不断增加，开发自动化方法来识别透射或原位TEM实验中，仅一小时内就可以生成数太字节

本电子显微镜（TEM）图像中的纳米级缺陷变得至关重的数据[5]。然而，从数据中提取有意义的见解迅速成

要。然而，与传统照片中的特征相比，由于复杂的对比为了一个巨大的瓶颈，因为传统的人工图像分析方法

译机制和精细的缺陷结构，TEM图像中的纳米级缺陷表耗时、易受人为偏差影响，并且无法随着不断增长的数

中现出更大的变化性。这些挑战通常导致标注数据显著据量而扩展[11]。因此，开发高质量的自动化TEM图

1减少且注释错误率更高，给提高TEM图像分析机器学像分析方法至关重要。

v习模型性能带来重大障碍。为了解决这些问题，我们研自从卷积神经网络（CNN）被发现以来，机器学

9

7究了通过利用针对自然图像的大规模预训练模型来实习（ML）模型不仅能够超越传统计算机视觉技术，在

7现迁移学习的方法。某些图像分析任务上甚至超过了人类的能力[7]。在透

6

1.我们证明了通过使用预训练的编码器和L2正则射电子显微镜（TEM）的背景下，利用U-Net家族中

7化，复杂的语义特征被忽略，转而重视更简单、更可靠的模型进行二值分割实现了像素级别的缺陷结构分类，

0

5的线索，这大大提高了模型性能。然而，这种改进无法这对于识别连续性缺陷如晶界和相界面尤为重要[10]。

2通过传统的评估指标如F1分数来捕捉，因为人类注释然而，与应用于更典型的数据集相比，CNN模型对于

:

v错误被视为“groundtruth”可能会扭曲这些指标。相TEM图像分析的表现仍然较差。例如，大多数涉及基

i

x反，我们引入了独立于标注准确性的新型评估指标。以于U-Net的模型文献，包括开创性的论文[9]和流行的

r

aUOTEM图像中的晶界检测为例，我们发现我们的方

衍生版本如U-Net++[21]，都是专注于医学成像领域的

法使缺陷检测率提高了57%，这是一个衡量本工作中研究[9]。使用这些数据集时，通常可以看到F1分数在

使用的TEM数据集上模型性能的稳健和整体性指标。0.85至0.95之间的范围。类似的性能也可以在诸如林

最后，我们表明模型的自我置信度只能通过迁移学习业[14]、裂纹检测[6]、卫星成像[2]和植物病害[15]等

和深度层的微调来实现。应用中看到。然而，TEM应用通常报告的F1分数范

围为0.5–0.8[1]。

1.介绍这一性能差距的一个关键原因源自透射电镜图像

分析的内在复杂性。与光学图像不同，