预测图像分类器在图像失真下的可靠性-计算机科学-机器学习-图像分类-可靠性预测.pdfVIP

预测图像分类器在图像失真下的可靠性

*

DangNguyen,SunilGupta,KienDo,SvethaVenkatesh

22

AppliedArtificialIntelligenceInstitute(AI),DeakinUniversity,Geelong,Australia

{d.nguyen,sunil.gupta,k.do,svetha.venkatesh}@.au

Abstract

在图像分类任务中，深度学习模型容易受到图像失真的影响，即如果输入的图像是经过扭曲的，则其准确性

会显著下降。一个图像分类器被认为“可靠的”，如果它对扭曲图像的准确率高于用户指定的阈值。为了质

量控制的目的，预测图像分类器在某个扭曲水平下是否不可靠/可靠是很重要的。换句话说，我们想要预测某

本种扭曲程度是否会使得图像分类器变得“不可靠”或“可靠”。我们的解决方案是构建一个包含扭曲程度及

其“不可靠”或“可靠”标签的训练集，并训练一个机器学习预测模型（称为失真分类器）来对未知的扭曲

译程度进行分类。然而，学习有效的扭曲分类器是一个具有挑战性的问题，因为训练集高度不平衡。为了解决

中这个问题，我们提出了一种基于高斯过程的方法来重新平衡训练集。我们进行了广泛的实验以表明我们的方

2法在六个流行的图像数据集上显著优于几个基线模型。

v

1Keywords:图像分类；可靠性预测；图像失真；不平衡分类；高斯过程。

8

8

6

11.介绍

.

2

1许多图像分类模型已经从日常的普通任务如购物（GoogleLens）和娱乐（FaceApp），帮助人类到重要的

4工作如医疗保健（CalorieMama）和认证（BioID）。

2

:图像分类器的一个众所周知的弱点是它们容易受到图像失真的影响，即如果输入图像发生扭曲，其性能

v

i会显著下降[19]。如图1所示，ResNet模型在一组CIFAR-10图像上达到了99%的准确率。当这些图像稍微

x

r旋转时，其准确率降至82%。它为张旋转后的图像预测了错误标签，尽管人类可以轻松识别这些图像。

a

实际上，输入图像可能会以多种形式发生扭曲，例如由于相机不稳定导致的旋转图像、因照明条件差导致的

暗图像、因下雨天气造成的有噪点图像等。

为了质量控制的目的，我们需要在不同的失真水平下评估图像分类器，以检查在哪种情况下它是不可靠

或可靠的。由于这项任务非常耗时和昂贵，使用机器学习（ML）方法自动执行它非常重要。特别地，我们提

出了问题“我们能否预测图像失真下的模型可靠性？”，并将其形式化为一个二元分类问题。假设我们有一个

图像分类器和一组标记图像（我们称其为验证集）。我们将失真水平的有哪些信誉好的足球投注网站空间定义如下：(1)每一

个维度的都是一个失真类型（例如，旋转、亮度），以及(2)每一点都是失真水平（例如{旋转=20,

亮度=0.5})，用于修改图像，以创建一组失真图像。模型在畸变级别下被称为“可靠”的，如果

在上的准确性高于规定的阈值，否则称为“不可靠”。回想之前的示例，如果我们选择阈值%，

那么ResNet模型在旋转下是不可靠的，因为其准确率仅为82%。换句话说，扭曲程度-旋转有