基于视频语义的多媒体内容检索.pdfVIP

摘要

面对爆炸式增长的不同长度的视频，如何进行高效管理及精准检索逐渐成为学术界和工

业界的关注要点。现有方法更多基于视频的镜头单元，采用基于内容的视频检索技术，在娱

乐、新闻等领域有着良好的应用。但仍然存在很多需要解决的问题：（1）单个镜头难以呈现

故事在语义上连贯的部分；（2）现有技术更多采用底层特征且基于实例查询，存在广泛的语

义鸿沟问题；（3）视觉和音频的高粗维向量使得交互式检索难以满足实时要求。

本文针对上述问题，从视频语义出发，采用视频场景分割和视频文本检索技术，实现基

于语义的多媒体视频管理功能，主要研究内容如下：

（1）本文提出一种基于Transformer的视频场景分割方法。本文基于相似镜头聚类的思

路，首先利用TransNetV2模型检测视频的镜头边界；然后，提出了一种基于VisionTransformer

(ViT)的场景分割模型，将预训练模型ViT迁移到下游任务场景分割中，作为骨架网络以提取

镜头多帧图片的潜在语义信息并融合，解决先前研究在复杂镜头转换时的过度分割问题；最

后，本文设计了一个改进的镜头重叠链算法，通过扩大对比范围、增大全局视野从而合并相

似镜头、完成场景分割。本文在大规模电影数据集MovieNet上进行了相关实验，结果表明，

相较于对比模型本文方法各项指标均有提高，在一定程度上提升了视频场景分割的性能。

（2）基于Transformer关注全局和CNN关注细节的特点，本文提出一种全局和局部特征

融合的视频文本检索方法。首先，在视频帧空间特征提取阶段，本文提出一种基于ResNet和

Transformer网络并行的双网络结构，利用ResNet网络的局部信息学习能力，将多尺度局部特

征与Transformer提取的全局特征耦合，提升模型空间信息学习能力；同时，本文提出一种改

进的桥梁连接单元，以解决ResNet特征和Transformer特征二者维数不一致和语义差异的问

题；随后，为了加强对视频时序信息的学习，本文提出了一个时序增强Transformer模块，通

过帧间差分法来强化模型对动态信息的建模，从而更准确地表达出视频的语义。本文在数据

集MSVR和MSRVTT上进行了相关实验，结果表明本文方法在大部分指标上均有提升；通

过检索结果展示，证实了本文方法对视频局部细节和动作信息学习能力的增强。

（3）针对过往研究的语义鸿沟和实时交互问题，本文在上述两个方法的基础上，探索了

一个基于语义的多媒体视频管理功能。首先，本文采用场景作为视频管理的最小单元，以解

决单个镜头的故事不完整性；随后，本文采用场景语义特征作为视频管理的索引，既弥补了

底层特征的语义鸿沟问题，也在检索速度上有较优的性能；最后，该功能采用自然语言进行

检索，以更符合人类视角的方式进一步化解语义鸿沟问题。本文通过网页端实现并展示该功

能，在实验中对比了以场景/镜头作为视频最小单元的视频管理方法，并采用电影数据和

MSRVTT数据集对该功能采用的模型和索引方法进行了相关性能测试，实验结果表明该功能

在检测精度和速度上的优越性。

关键词：视频语义，视频场景分割，视频文本检索，多尺度特征融合

Abstract

Withtheexplosivegrowthofvideosatdifferentlengths,peoplearepayingmoreattentionto

howtoefficientlymanageandaccuratelyretrievevideos.Theexistingmethodsaremorebasedon

videoshotunits,usingcontent-basedvideoretrievaltechnology,andhavegoodapplicationsin

entertainment,newsandotherfields.However,therearestillmanyproblemsthatneedtobesolved:

(1)Itisdifficulttoexpressacompletestorywithasingleshot;(2