神经离散令牌表示学习以大幅减少视频大型语言模型中的令牌数量-计算机科学-大语言模型-视频表示-计算机视觉.pdfVIP

神经离散令牌表示学习以大幅减少视频大型语言模型

中的令牌数量

HaichaoZhangYunFu

NortheasternUniversityNortheasternUniversity

Boston,MABoston,MA

zhang.haich@yunfu@

Abstract

本

译基于令牌的视频表示已成为使大型语言模型（LLMs）能够解释视频内容的

中一种有前景的方法。然而，现有的令牌减少技术，如修剪和合并，经常破坏

重要的位置嵌入，并依赖于从具有相似时空位置的相邻像素中采样的连续

4

v视觉令牌。通过仅移除一小部分令牌，这些方法仍然会产生相对较长的连续

0序列，这远远达不到平衡视频LLMs计算效率和令牌数量所需的极端压缩

8程度。在本文中，我们介绍了全新的任务极端缩短标记减少，旨在使用一组

9

6最少的离散令牌来表示整个视频。我们提出了VQ令牌，一个神经离散令牌

1表示框架，该框架(i)应用自适应矢量量化处理连续ViT嵌入以学习紧凑码

.

3本，(ii)通过令牌哈希函数保留时空位置，将每个网格级别的令牌分配给其

0

5最近的码本条目。在极端短令牌减少任务上，我们的VQToken将其序列压

2缩至原长度的0.07%，而在NextQA-MC基准上的准确率仅下降了0.66%。

:

v它还在ActNet-QA、LongVideoBench和VideoMME上实现了可比性能。我

i们进一步引入了令牌信息密度(密集_tok)指标，并正式化固定长度和自适

x

r应长度子任务，在两种设置下均达到了最先进的结果。我们的方法显著降低

a

了理论复杂度，增加了信息密度，大大减少了令牌数量，并在资源受限的环

境中使高效的视频大型语言模型成为可能。

1介绍

最近的视觉语言模型（VLMs）的进步已经实现了在各种任务中的统一零样本能力，包括视

觉问答Xiaoetal.(2021);Lietal.(2024a)、视频到文本生成Alayracetal.(2022)、视频分割Xue

etal.(2022)以及视频理解Zellersetal.(2022)。虽然VLMs在对齐视觉和语言信息方面表现出

色，但它们的计算成本仍然是一个关键瓶颈——尤其是在视频大型语言模型（vLLMs）中。

视频输入包含分布在许多帧上的时空信息，导致生成较长的标记序列，这对计算资源造成了

巨大负担Dosovitskiyetal.(2021);Yangetal.(2024)。因此，随着vLLMs规模的扩大Lietal.

(2024a);Zellersetal.(2022)，提高计算效率变得至关重要。

Correspondingauthor:HaichaoZhang(Authorwebpage:https://www.zhanghaichao.xyz/