不同目标先验下的视频目标分割及其对抗攻击算法研究.pdfVIP

摘要

视频目标分割任务旨在从给定视频中获取感兴趣目标的像素区域，可应用于自动

驾驶、视频会议、视频编辑、人机交互等多个实际场景。根据指定目标的方式即目标

先验的不同，视频目标分割可以分为对于自主定位目标的无监督视频目标分割、利用

目标相关的语句描述指定目标的参考语句视频目标分割、给定视频首帧像素级别标注

的半监督视频目标分割等设置。然而现有方法存在诸如分割目标未指定、处理速度慢、

候选目标交互复杂、生成候选掩膜相似等问题。同时，现有视频目标分割算法缺乏对

安全性的关注。为解决上述问题，本文围绕无监督视频目标分割与参考语句视频目标

分割展开研究，并从对抗攻击角度探讨现有视频目标分割算法的安全性。本文主要的

贡献阐述如下：

（1）针对分割目标未指定与处理速度慢的问题，提出基于高效长短期时序注意

力的无监督视频目标分割方法（LSTAN）。首先，针对分割目标未指定，提出了长期

时序记忆与短期时序注意力模块，分别捕捉持续存在的物体与移动的物体作为目标；

然后对编码持续存在物体与移动物体的特征表示进行融合，以准确定位目标所在像素

区域；另外，所提出的两个模块分别引入正交随机投影与基于局部性的滑动窗口机制

获得线性复杂度，最终获得实时分割速度。

（2）针对视频内候选目标交互复杂、候选目标掩膜相似的问题，提出基于完全

转换器的参考语句视频目标分割方法（FTEA）。首先，对于候选目标间交互复杂的

问题，提出完全转换器模型，该模型利用了转换器模块从视频与描述语句中学习视觉

文本特征表示，提出堆叠转换器模块从目标级别学习空间上下文，然后将解码的视觉

特征为对应准确的候选目标掩膜；其次，对于候选目标缺乏监督信息造成的生成候选

目标掩膜外观相似问题，提出了针对候选目标掩膜的多样性损失，鼓励候选目标掩膜

之间的差异，使得生成的候选目标掩膜尽可能覆盖所有真实候选目标，最终获得准确

的所指目标掩膜。

（3）针对视频目标分割算法的安全问题，提出了基于困难区域学习的视频目标

分割对抗攻击方法（ARA）。首先，针对现有视频目标目标分割算法，首次研究噪声

扰动对分割性能的影响，表明现有基于深度神经网络的方法存在安全缺陷；其次提出

对抗区域攻击方法，通过学习视频帧中难以被分割算法判别的像素区域，即困难区域，

来生成特定的噪声扰动加入至原始视频，增强对分割算法的攻击能力，从而有效降低

被攻击模型的准确率。

对于研究工作（1），在视频目标分割数据集DAVIS2016、YouTube-Objects和

FBMS上做了大量定量、定性以及消融实验。依据评价指标FPS，区域相似度与轮廓

准确率，所提方法LSTAN具有优越的分割速度与性能。对于研究工作（2），在视频

目标分割数据集A2D-Sentences、JHMDB-Sentences和Ref-YouTube-VOS上做了大量

定量、定性以及消融实验。依据评价指标OverallIoU、MeanIoU、Precision@X、mAP、

JMean、FMean，所提出的方法FTEA具有优越的分割性能。对于研究工作（3），

在视频目标分割数据集DAVIS2016、DAVIS2017、YouTube-VOS和A2D-Sentences

上进行了大量实验，所获得的定量和定性结果证明提出的对抗区域攻击方法能够有效

降低分割算法准确率。另一方面表明分割算法对噪声干扰的鲁棒性较差。

关键词：视频目标分割，时序注意力，堆叠转换器，对抗攻击

Abstract

Videoobjectsegmentationaimstoobtainthepixel-wiseobjectregionsofinterest

fromagivenvideo.Itcanbewidelyusedinautomaticdriving,videoconference,

videoeditingandhuman-computerinteraction.Accordingtothedifferentmethodsof

objectassignment,i.e.,objectpri