一种多模态融合的网络视频相关性度量方法详解.PDFVIP

第 １１卷第３期　 　 　 　 　 　 　 　 　 　 　 　 　 　 智　 能　 系　 统　 学　 报　 　 　 　 　 　 　 　 　 　 　 　 　 　 Ｖｏｌ．１１№．３ ２０１６年６月　 　 　 　 　 　 　 　 　 　 　 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ　 　 　 　 　 　 　 　 　 　 　 　 Ｊｕｎ． ２０１６ ＤＯＩ：１０．１１９９２／ ｔｉｓ．２０１６０３０４０ 网络出版地址：ｈｔｔｐ：／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ ｋｃｍｓ／ ｄｅｔａｉｌ／ ２３．１５３８．ＴＰ０９５７．０３２．ｈｔｍｌ 一种多模态融合的网络视频相关性度量方法 １，２ １ ２ 温有福 ，贾彩燕 ，陈智能 （１．北京交通大学交通数据分析与数据挖掘北京市重点实验室，北京 １０００４４；２． 中国科学院自动化研究所 数字内 容技术与服务研究中心，北京 １００１９０） 摘　 要：随着网络和多媒体技术的发展，视频分享网站中的网络视频数量呈爆炸式增长。 海量视频库中的高精度视 频检索、分类、标注等任务成为亟待解决的研究问题。 视频间的相关性度量是这些问题所面临的一个共性基础技 术。 本文从视频视觉内容，视频标题和标签文本，以及视频上传时间、类别、作者３种人与视频交互产生的社会特征 等多源异构信息出发，提出一种新颖的多模态融合的网络视频相关性度量方法，并将所获相关性应用到大规模视频 检索任务中。 ＹｏｕＴｕｂｅ数据上的实验结果显示：相对于传统单一文本特征、单一视觉特征的检索方案，以及文本和视 觉特征相融合的检索方案，文本视觉和用户社会特征多模态融合方法表现出更好的性能。 关键词：网络视频；海量视频；社会特征；交互；多源异构信息；多模态信息融合；相关性度量；视频检索 中图分类号：ＴＰ３９３　 文献标志码：Ａ　 文章编号：１６７３⁃４７８５（２０１６）０３⁃０３５９⁃０７ 中文引用格式：温有福，贾彩燕，陈智能．一种多模态融合的网络视频相关性度量方法［Ｊ］． 智能系统学报，２０１６，１１（３）：３５９⁃３６５． 英文引用格式：ＷＥＮ Ｙｏｕｆｕ，ＪＩＡＣａｉｙａｎ，ＣＨＥＮＺｈｉｎｅｎｇ．Ａｍｕｌｔｉ⁃ｍｏｄａｌｆｕｓｉｏｎａｐｐｒｏａｃｈｆｏｒｍｅａｓｕｒｉｎｇｗｅｂｖｉｄｅｏｒｅｌａｔｅｄｎｅｓｓ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ，２０１６，１１（３）：３５９⁃３６５． Ａ ｍｕｌｔｉ⁃ｍｏｄａｌ ｆｕｓｉｏｎ ａｐｐｒｏａｃｈ ｆｏｒ ｍｅａｓｕｒｉｎｇ ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ １，２ １ ２ ＷＥＮ Ｙｏｕｆｕ ，ＪＩＡ Ｃａｉｙａｎ ，ＣＨＥＮ Ｚｈｉｎｅｎｇ （１．ＢｅｉｊｉｎｇＫｅｙ ＬａｂｏｆＴｒａｆｆｉｃＤａｔａＡｎａｌｙｓｉｓａｎｄＭｉｎｉｎｇ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １０００４４，Ｃｈｉｎａ；２．ＩｎｔｅｒａｃｔｉｖｅＭｅｄｉａＲｅ⁃ ｓｅａｒｃｈ ａｎｄ Ｓｅｒｖｉｃｅｓ Ｃｅｎｔｅｒ，Ｉｎｓｔｉｔｕｔｅ ｏｆ Ａｕｔｏｍａｔｉｏｎ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １００１９０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｉｔｈ ｔｈｅ ａｄｖａｎｃｅｓ ｉｎ ｉｎｔｅｒｎｅｔ ａｎｄ ｍｕｌｔｉｍｅｄｉａ ｔｅｃｈｎｏｌｏｇｉｅｓ，ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｗｅｂ ｖｉｄｅｏｓ ｏｎ ｓｏｃｉａｌ ｖｉｄｅｏ ｐｌａｔｆｏｒｍｓ ｒａｐｉｄｌｙ ｇｒｏｗｓ． Ｔｈｅｒｅｆｏｒｅ，ｔａｓｋｓ ｓｕｃｈ ａｓ ｌａｒｇｅ⁃ｓｃａｌｅ ｖｉｄｅｏ ｒｅｔｒｉｅｖａｌ，ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ａｎｄ ａｎｎｏｔａｔｉｏｎ ｂｅｃｏｍｅ ｉｓｓｕｅｓ ｔｈａｔ ｎｅｅｄ ｔｏ ｂｅ ｕｒｇｅｎｔｌｙ ａｄｄｒｅｓｓｅｄ． Ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ ｓｅｒｖｅｓ ａｓ ａ ｂａｓｉｃ ａｎｄ ｃｏｍｍｏｎ ｉｎｆｒａ