PAT++：关于目标重识别中生成式视觉增强的一个警示故事-计算机科学-生成式人工智能-扩散模型-视觉增强.pdfVIP

PAT++：关于目标重识别中生成式视觉增强的一个警示故事

LeonardoSantiagoBenitezPereira,ArathyJeevan

UniversidadAutonomadeMadrid

ABSTRACT删除与某个特定个体如某位名人的所有相关数据）；以

生成数据增强在多个视觉任务中已显示出增益，但在及为特定产品生成针对性内容[6]（例如，为一款具体

对象重新识别——其中保留细粒度视觉细节至关重要的包型号生成广告图片）。在所有这些情况下，保持对

象的视觉身份至关重要。

——方面的影响力仍鲜为人知。在这项工作中，我们评

本估了身份保持图像生成在对象重新识别中的有效性。将生成数据增强应用于以身份为中心的应用程序

译我们的新管道名为PAT++，将扩散自蒸馏融入到成熟时会出现一个基本挑战：增强的图像必须保留定义身

中的Part-AwareTransformer中。使用UrbanElements份的特征[1]。例如，在ReID中，引入人工生成但

ReIDChallenge数据集，我们在模型训练和查询扩展身份不一致的图像可能会降低性能，因为细微的线索

1

v中进行了广泛的实验，使用生成的图像。我们的结果——如面部细节、衣物纹理或表面标记——对于区分

8显示了一致的性能下降，这是由于领域变化和未能保实例[7]至关重要。因此，有效的增强必须保持这些关

8

8留定义身份的特征所驱动的。这些发现挑战了关于生键的身份特征，同时仅引入允许的变化，如姿势、视

5

1成模型转移到细粒度识别任务的可转移性的假设，并角或背景。

.

7揭示了当前用于保持身份的应用程序的视觉增强方法几种方法被提出以应对这一挑战。标准图像条件

0

5的关键限制。扩散模型，如ControlNet[8]，可以根据参考图像引

2导生成，但通常无法保留细粒度的身份属性。Dream-

:IndexTerms—目标重识别，生成式人工智能，扩

vBooth[2]通过在一小批特定主题的图像上微调生成模

i散模型，城市元素挑战

x型来提高保真度；然而，它计算成本高昂，每个主题

r

a需要数十分钟的微调时间。InstantID[9]引入了一种

1.介绍

零样本替代方案，通过利用身份感知预训练和面部特

生成模型最近作为强大工具出现在计算机视觉任征点引导实现，但其范围仅限于人类面孔。最近，扩散

务的数据增强中，特别是在训练数据集有限或不平衡自蒸馏（DSD）[10]被提出作为一种可扩展的通用解

的情况下。这些技术我们称之为生成式视觉数据增强决方案。通过对包含491,000张以身份为中心配对图

[1]，涉及利用诸如稳定扩散等模型合成新的样本。例像的数据集进行预训练，DSD能够在广泛类别中实现

如，在区分鸭嘴兽和猫的二元分类任务中，当数据集保持身份不变的增强——包括物体、人物和动物——

中存在显著偏向于猫的类别不平衡时，可以使用文本而无需特定主题的微调。

到图像的生成模型来生成额外的鸭嘴兽图像。本研究调查了DSD在目标重识别任务中的适用

然而，在以身份为中心的任务中应用生成性增强性。所提出的流水线，名为PAT++，建立在Part-

技术仍处于探索初期。在这种任务中，相关的预测目AwareTransfo