快速运动估计和上下文感知优化在高效拜耳域视频视觉中的应用.pdfVIP

快速运动估计和上下文感知优化在高效拜耳域视频视觉中的应用

1121

HaichaoWang,XinyueXi,JiangtaoWen,YuxingHan

1ShenzhenInternationalGraduateSchool,TsinghuaUniversity

2DepartmentofComputerScience,NewYorkUniversity

Hychaowang@,losea0602@,jw9263@,yuxinghan@

Abstract在后端，视频计算机视觉是通过简单地以逐帧方式

视频计算机视觉系统的效率仍然是一个具有挑战性的任应用图像模型来实现的，这种方法将视频视为一系列独

务，由于视频内部存在较高的时间冗余。已提出了若干立的静止图像，完全忽略了视频数据中固有的丰富的

有效的方法来实现高效的计算机视觉。然而，它们并未时间信息和冗余性。这导致了巨大的计算低效，因为模

完全减少时间冗余，并且忽略了前端计算的开销。在本型会从头开始重复处理相邻帧中的相似内容。已经探

本文中，我们提出了一种高效的视频计算机视觉系统。首索了几种方法(Kondratyuketal.2021;Lietal.2019;

译先，移除了图像信号处理器，并直接将Bayer格式数据输Li,Shi,andLin2018;Wang,Wen,andHan2025)以提

入到视频计算机视觉模型中，从而节省了前端计算资源。高视频计算机视觉的效率。如图1(a)所示，它们利用

中其次，提出了一个基于快速块匹配的运动估计算法，专

来自H.264/H.265(Wiegandetal.2003;Pastuszakand

1门用于高效视频计算机视觉，并配有一个MV细化模块。Abramowski2015)视频编解码器或光流模型(Dosovit-

v为了纠正错误，引入了一个上下文感知的块细化网络来

0优化误差较大的区域。为进一步平衡准确性和效率，采skiyetal.2015;Ilgetal.2017;Hui,Tang,andLoy

9用了帧选择策略。在多个视频计算机视觉任务上的实验2018;Sunetal.2018)生成的运动信息。一个主要缺点

9

5表明，我们的方法实现了显著加速，并且性能损失轻微。是这种视频编解码器优化的是压缩而非视觉任务，从而

0产生了其自身的计算开销。虽然光流估计更具针对性，

.

8介绍但计算成本较高。此外，误差校正通常需要对所有帧

0进行完全编码以生成中间特征，这也引入了冗余性。另

5计算机视觉是人工智能的基础性挑战。基于CNN

2外，另一种方法(Jain,Wang,andGonzalez2019;Hu

:的ResNet(Heetal.2016)到基于Transformer的视

v觉Transformer(Dosovitskiyetal.2020)的深度模型etal.2023)通过使用不同的模型架构、尺寸或输入分辨

i