基于场景理解的视频表征学习.pdfVIP

摘要

信息时代的全面来临带动了视频数据的爆炸式增长，视频理解任务依托算法

和硬件的发展得到快速发展。视频数据包括时间和空间两种特征，利用好时空特征

进行视频理解可以为视频相关下游任务提供支撑。传统的视频理解主要基于动作

识别，忽略了语义信息丰富的场景信息。本文基于场景理解获取更为丰富的视频表

征信息。本文提出了一种基于Transformer结构的视频场景图生成模型。本文的主

要工作如下：

1.针对空间特征信息，传统的注意力机制可以很好地提取视频帧的全局空间

特征，但不能很好地提取局部特征。为了弥补传统注意力机制的不足，本文提出了

基于边界框和人体姿态特征关键点的局部空间可视矩阵，结合注意力机制形成局

部注意力模块，对局部空间特征信息进行提取。局部空间特征信息的提取是模型提

取全局和局部空间特征信息的基础；

2.针对时间特征信息，在提取全局时间特征信息时若考虑所有帧特征信息的

融合会导致计算复杂度过高。本文在兼顾计算复杂度的情况下提出了一种帧前随

机提取4帧的全局随机帧提取方案。全局时间特征的高效提取在不过多增加模型

复杂度的情况下实现了关系预测准确性的进一步提升；

3.针对特征融合，进一步引入姿态特征，提出了一种时空特征和姿态特征的

融合策略。模型在提取了时空特征信息的基础上，通过LightweightOpenPose模型

提取姿态特征，进一步利用自注意力和交叉注意力结合的策略进行特征融合，加强

了特征的语义信息，对于人-物关系的预测具有积极意义；

4.针对ActionGenome数据集物体类别和关系类别分布不均匀的问题，传统

的基于交叉熵损失函数的关系分类会产生长尾效应。本文提出了一个基于二部图

匹配和FocalLoss的损失函数。基于该损失函数进行关系预测模块的训练，提升了

关系预测的准确性，缓解了关系分类的长尾效应问题。

为了进一步引入姿态特征，模型对视频场景图任务中常用的ActionGenome数

据集中不包含人-物关系的帧和视频进行剔除。在处理后的数据集上进行了对几种

主流的视频场景图生成模型进行了对比实验。在相同实验环境下，本文相比当前最

优的GPS-Net模型在Recall@10上取得了0.1的提升，在Recall@20上取得了0.4

的提升，在Recall@50上取得了1.4的提升。

关键词：目标检测，场景图生成，注意力机制，姿态特征，二部图匹配

ABSTRACT

Theadventoftheinformationagehasledtotheexplosivegrowthofvideodata,and

videounderstandingtaskshavedevelopedrapidlyrelyingonthedevelopmentof

algorithmsandhardware.Videodataincludesbothtemporalandspatialfeatures.Using

spatial-temporalfeaturesforvideounderstandingcanprovidesupportforvideo-related

downstreamtasks.Traditionalvideounderstandingmainlybasedonactionrecognition,

whileneglectingsematicinformationfromscene.Morevideorepresentationinformation

isextractedbasedonsceneunderstandingbythesis.Avideoscenegraphgeneration

modelbasedontheTransformerstructureisproposedbythesis.Themainworkofthesis

isasfollows:

1.Forspatialfeature,thetraditionalattentionmechanismcanextractglobal