任务特定的生成式数据集蒸馏与难度引导采样-计算机科学-深度神经网络-算法.pdfVIP

任务特定的生成式数据集蒸馏与难度引导采样

∗

MingzhuoLiGuangLiJiafengMaoLinfengYeTakahiroOgawaMikiHaseyama

HokkaidoUniverisyTheUniversityofTokyoUniversityofToronto

Abstract来越多的研究促使其迅速发展[19,27]。当前的数据集

蒸馏方法大致可以分为非生成和生成两类。传统的非

为了减少深度神经网络对大规模数据集的依赖，数据生成方法旨在优化一组固定的人工图像，其大小由每

本集蒸馏旨在生成紧凑、高质量的合成数据集，以达到与类图像（IPC）决定。通过使特定的训练目标与从原始

原始数据集相当的性能。生成模型的整合显著推动了数据集中得出的目标对齐来实现优化，在假设具有相似

译这一领域的发展。然而，现有方法主要集中在使提炼后对齐行为的模型将在下游任务中获得可比性能的情况

中的数据集与原数据集保持一致，往往忽略了对于下游下进行。不同的对齐目标产生了各种方法，包括梯度/

1任务性能至关重要的特定任务信息。本文专注于分类轨迹匹配[1,20,22,43]、分布/特征匹配[5,26,35,45]

v这一下游任务，提出了一种将难度概念纳入考量的任和基于核的方法[4,30]。

1

3务特定抽样策略，以更好地满足目标任务的需求。最终相比之下，生成数据集蒸馏方法利用生成模型[2,

3

3的数据集是从较大的图像池中按照匹配原始数据集难23,24,44]生产高质量的合成图像，通过将数据集的知

0.度分布获得的采样分布进行抽取。作为预处理步骤，应识嵌入到模型中使这一过程成为可能。这种修改提供了

7用了对数变换来纠正分布偏差。大量实验的结果证明按需生成任意大小的数据集的灵活性，有效解除了IPC

0

5了我们方法的有效性，并表明其有可能提升其他下游的约束并降低了时间成本，在持续学习[13,28]、联邦

2任务的表现。学习[15,21]、隐私保护[17,18,46]和神经架构有哪些信誉好的足球投注网站[8]

:

v

i等场景中尤其有益。在这些模型中，诸如Imagen[34]和

x

rStableDiffusion[33]这样的扩散模型因其稳健性和适应

a1.介绍

性展现出了极大的潜力，促进了利用它们进行有效数

随着深度学习的快速发展，深度神经网络因其在据集蒸馏[12,37,38]的兴趣不断增加。

各个领域（特别是在计算机视觉[10]中）广泛的应用尽管当前的生成型数据蒸馏方法已经展现了令人

而受到极大关注。然而，这些网络通常依赖大规模数据鼓舞的表现，这些方法主要集中在用从原始数据集中提

集来获得高性能，这导致了较长的训练时间，往往需要取的知识来指导模型上，忽略了与下游任务[12,25,37]

数小时甚至数天，并且对计算资源有巨大需求[29]。此相关的具体信息。这种训练目标和目标任务之间的差