短视频参与度预测的大规模多模态模型.pdfVIP

短视频参与度预测的大规模多模态模型

∗∗†

WeiSun,LinhanCao,YuqinCao,WeixiaZhang,WenWen,

†

KaiweiZhang,ZijianChen,FangfangLu,XiongkuoMin,GuangtaoZhai

EastChinaNormalUniversity,ShanghaiJiaoTongUniversity

CityUniversityofHongKong,ShanghaiUniversityofElectricPower

Abstract1.介绍

短视频平台如TikTok、YouTubeShorts和

本用户生成内容（UGC）在短视频平台上的迅速增长，使Snapchat的广泛流行导致用户生成内容(UGC)出现

译得视频参与度预测对于优化推荐系统和指导内容创作了前所未有的激增。每天有数百万条UGC视频上传到

中变得越来越重要。然而，由于语义内容、视觉质量、音这些平台上，准确预测视频参与度（即，估计视频吸引

2频特征和用户背景等因素之间复杂的相互作用，这一并保持观众注意力的可能性）已成为优化内容推荐、提

v任务仍然具有挑战性。以往的研究利用了来自不同模高用户留存率以及指导内容创作的关键。

6

1态的各种类型的特征，如视觉质量、语义内容、背景声视频参与度通常使用诸如观看次数、平均观看时

5音等，但往往难以有效地建模它们之间的跨特征和跨

2间、平均观看百分比和点赞率等指标来衡量[2]。然而，

0.模态交互。在这项工作中，我们实证研究了大规模多模这些指标可能存在偏差；例如，相比短片，长片完全被

8态模型（LMMs）在视频参与度预测方面的潜力。我们观看的可能性较低。为了解决这样的限制，一些研究提

0采用了两种代表性的LMMs：VideoLLaMA2，该模型

5出了更稳健的参与度指标。吴等。[55]引入了一种相对

2集成了音频、视觉和语言模态；以及Qwen2.5-VL，仅参与度指标，通过建模具有相似时长视频之间的相互

:

v建模视觉和语言模态。具体而言，VideoLLaMA2联合关系和排序顺序来考虑不同的视频时长。展等人。[60]

i

x处理关键视频帧、基于文本的元数据和背景声音，而建议为不同时长的视频训练单独的模型以减轻与时长

r

aQwen2.5-VL仅利用关键视频帧和基于文本的元数据。相关的偏差。李等。[21]提出了两种替代指标：标准化

在SnapUGC数据集上进行训练后，这两个模型相对于

平均观看百分比（NAWP），该指标对视频的平均观看

最先进的基线展示了竞争力的表现，彰显了LMMs在

百分比进行了标准化，以及参与延续率（ECR），该指

参与度预测中的有效性。值得注意的是，VideoLLaMA2