OpenDCVCs: 一个用于 DCVC 系列视频编解码器的 PyTorch 开源实现及性能评估.pdfVIP

OpenDCVCs:一个用于DCVC系列视频编解

码器的PyTorch开源实现及性能评估

YichiZhangFengqingZhu

PurdueUniversityPurdueUniversity

WestLafayette,USAWestLafayette,USA

zhan5096@Pzhu0@P

摘要—我们提出了一个开源的PyTorch实现开放直DCVC-HEM[4]和DCVC-DC[5]等DCVC变体中

流电压源，旨在推动可重复研究在学习视频压缩领域的发取得了经验上的成功，但缺乏开源和训练就绪的实现限

本展。OpenDCVCs提供了四个代表性深度上下文视频压缩制了可重复性和进一步的发展。特别是，官方仓库仅提

（DCVC）模型的统一和训练就绪实现——DCVC、带有时序

译供了评估代码而没有训练脚本，这限制了社区进行基准

上下文建模的DCVC（DCVC-TCM）、带有混合熵建模的

中DCVC（DCVC-HEM），以及带有多样化上下文的DCVC测试和扩展的能力。

1（DCVC-DC）。虽然DCVC系列在比特率减少方面显著优于为了解决这一差距，我们提出了开放直流电压源：

v

1传统编解码器和先进的学习模型，但之前的公共代码发布仅限于一个全面的开源PyTorch实现，实现了DCVC系列。

9评估代码，这为可重复性、基准测试和进一步开发设置了重大障OpenDCVCs包括四个代表性的深度视频编解码器—

4碍。OpenDCVCs通过提供一个全面的自包含框架来填补这一

4DCVC、DCVC-TCM、DCVC-HEM和DCVC-DC，并

0空白，该框架支持所有包含算法的端到端训练和评估。实现包括

.提供了完整的训练和评估流程。该实现设计用于易用

8详细的文档、评估协议以及在多样化数据集上的广泛基准测试结

0果，提供了比较和扩展的透明一致的基础。所有代码和实验工具性，包含详细的说明、可重复使用的脚本以及在标准数

5均可在/viper-purdue/opendcvcs公据集上的广泛基准测试。我们提供了详尽的性能比较，

2

:开获取，这使社区能够加速研究并促进合作。包括率失真曲线、运行时间分析和GPU内存使用情况，

v

iIndexTerms—视频压缩，开源以实现公平透明的评估。通过公开所有代码和评估工

x

r具，我们的目标是降低进入门槛并加速学习视频压缩的

a

I.介绍研究。

视频压缩是当今多媒体领域的重要基石，尤其是随与现有的开源工作相比，OpenDCVC提供了几个

着超高清（UHD）内容的普及对存储和传输系统带来了独特的优势。压缩人工智能是学习图像压缩的领先框

越来越大的压力。深度学习的必威体育精装版进展使得端到端优化架，但仅对视频提供有限支持，只涵盖SSF[7]。开放

成为可能，并能够学习复杂的数据驱动表示[1],[2],[3],DVC[8]提供了DVC[1]的PyTorch实现，并不支持

[4],[5],[6]。如DCVC这样的高级架构。类似地，PyTorch压缩专

在已知的视频压缩方法中，DeepContextualVideo注于DVC和FVC[9]。近期，开放DMC[10]集成了

Compression(DCVC)系列因其在特征域中创新使用条一组更广泛的视频压缩模型，包括DVC、SSF、DCVC