一种LZ4压缩算法的FPGA硬件加速设计方法.pdfVIP

与

信息技术信息化智能技术

一种LZ4压缩算法的FPGA硬件加速设计方法

111112

王佳伟盛庆华秦宽陈凯单铮黄小芳

摘要随着信息技术和互联网的快速发展，数据量呈现爆炸式增长，对高效无损压缩算法的需求日益迫切。为

解决传统软件压缩算法在存储系统中资源占用过多和压缩速度较慢的问题，提出了一种基于FPGA的

LZ4无损压缩算法硬件加速系统。该系统包括UART串口收发模块、LZ4无损压缩模块和XXH32校验

码生成等模块，并在XilinxAXU2CGB平台上进行了验证。实验结果表明，该系统不仅成功实现了数据

的LZ4无损压缩，还在保持与软件压缩几乎相同压缩比的前提下，大幅提升了压缩速度。

关键词LZ4；无损压缩算法；XXH32；UART；FPGA

doi：10.3969/j.issn.1672-9528.2025.02.044

0引言模块、XXH32校验字生成和串口发送等模块。LZ4无损压

缩系统的工作原理是通过串口接收到原数据文件和原数据文

随着信息技术的迅猛发展，世界进入了数据驱动的时代，

件长度，然后把数据分成两路，一路先用FIFO缓存起来以

全球数据总量快速增长已成为共识[1]，数据存储、传输和处

待所有数据缓存完成再送入LZ4压缩模块进行压缩以及编

理的需求以前所未有的速度增长。这对存储设备容量、网络

码，另一路数据来进行XXH32校验字的生成，然后生成的

带宽和数据处理能力提出了更高要求，推动了无损压缩算法

XXH32校验字送入LZ4无损压缩模块中用来编码。最后把

需求的增加[2]。无损数据压缩在保留数据信息完整性的前提

编码压缩完成的数据文件通过串口发送。

下，通过重组编码降低数据冗余，减少数据量[3]，这对于卫

LZ4无损压缩模块

星图像、医学图像[4]、大数据[5]等领域至关重要。

绝对地址生成

自从以色列研究者Ziv等人[6]提出LZ77压缩算法以来，模块字节分割模块Hash匹配模块

逐渐涌现出多种基于字典匹配的LZ压缩算法的衍生算法。

LZ4控制

字节缓冲模块编码模块

LZ系列压缩算法作为当前应用最为广泛的一种压缩算法，其状态机模块

显著的特点在于对一定长度的字符串进行标记，而不是对单