TRIQA：通过有序失真三元组的对比预训练进行图像质量评估-计算机科学-机器学习-对比学习.pdfVIP

TRIQA：通过有序失真三元组的对比预训练进行图像质量评估

RajeshSureddi,SamanZadtootaghaj,NabajeetBarman,AlanC.Bovik

TheUniversityofTexasatAustin,SonyInteractiveEntertainment

ABSTRACT类。全参考图像质量评价（FR-IQA）涉及一个假设为

完美的参考图像和相应的失真图像，而减少参考图像

图像质量评估（IQA）模型旨在预测与人类判断一致

质量评价仅使用部分参考图像信息。无参考图像质量

的感知图像质量。无参考（NR）IQA由于缺乏参考图

评价（NR-IQA）则在没有参考图像的情况下进行操

像而特别具有挑战性。虽然深度学习显著推进了这一

作。由于流媒体公司和社会媒体平台提供的内容通常

本领域的发展，但在开发NR-IQA模型时，一个主要障

缺乏参考图像，因此研究界对改进的NR-IQA模型有

译碍是主观标记数据的可用性有限。大多数现有的基于

着巨大的需求。早期成功的NR-IQA模型[1],[2]通过

中深度学习的NR-IQA方法依赖于在大规模数据集上预测量失真图像从带通自然场景模型中的统计扰动而开

1训练，然后再针对IQA任务进行微调。为了进一步推

v动该领域的进展，我们提出了一种新方法，使用少量发，经常训练于包含失真图像和平均意见评分（MOS）

7的数据集上。最近，基于深度学习的IQA模型[3–9]

8参考内容图像构建自定义数据集，并引入了一个无参

6发展起来，这些模型使用多种不断演进的架构和损失

2考IQA模型，该模型结合了内容和质量特征以预测感函数进行计算和推理。大多数方法旨在提取内容与质

1知质量。具体而言，我们使用对比三元组学习训练一

7.个质量感知模型，使我们在样本较少的情况下也能进量特征一起或分开然后合并它们。同样地，我们的模

0型分别提取质量和内容感知特征，然后再将它们结合

5行高效的训练，同时在公开可用的数据集上实现强大

2在一起。具体来说，我们部署了一个在ImageNet上

:的泛化性能。我们的代码库可在/

v1预训练的ConvNeXt[10]骨干网络来提取内容感知特

irajeshsureddi/triqa获取。

x征，并引入了一种基于新型训练三元组策略来提取质

rIndexTerms—图像质量评估，对比学习。

a量感知特征的方法。虽然一些质量感知模型[8,9,11]

使用对比学习来学习特征表示，但它们并未结合失真

1.介绍训