使用组件感知图分析增强多组件神经架构的剪枝策略-计算机科学-深度神经网络-模型压缩-结构化剪枝.pdf

使用组件感知图分析增强多组件神经架构的剪枝

策略

GaneshSundaramJonasUlmenDanielGörges

DepartmentofElectricalandComputerEngineering,

RPTUUniversityKaiserslautern-Landau,Germany

(e-mail:{ganesh.sundaram,jonas.ulmen,daniel.goerges}@rptu.de).

摘要深度神经网络（DNNs）表现出色，但它们的复杂性往往禁止在资源受限环境中部署。

基于参数依赖分析的全面、结构化修剪框架会根据计算性能减少模型大小。当将这些框架

应用于多组件神经架构（MCNAs）时，移除大量参数组可能会危及网络完整性。我们引入

了一种组件感知的修剪策略，扩展了依赖图以隔离各个组件和组件间的数据流。这创建了

更小、更有针对性的修剪组，从而保持功能完整。在控制任务中验证有效，我们的方法实

本现了更高的稀疏性和减少性能退化，为高效优化复杂多组件DNNs开辟了一条路径。

译

中Keywords:模型压缩，依赖图，结构化剪枝

21.介绍两个常见的剪枝库是来自PyTorch的修剪和火炬剪枝

v

6(Fangetal.,2023)。前者通过掩码权重而不减少参数数

9尽管深度学习的显著进步带来了越来越复杂且高性能量，这限制了其缩小模型大小的有效性。而火炬剪枝使

2

3的神经网络，特别是在视觉数据方面，但也出现了一个用依赖图来确定剪枝组，但它在处理MCNAs时会创建

1

4.关键冲突。正是推动这一成功的属性——大型模型尺跨越多个组件的大组，导致性能显著下降。这些限制将

0寸、苛刻的计算需求以及密集的矩阵操作——直接与消在后面的章节中进一步详细讨论。

5费电子设备和边缘设备（如微控制器）的限制相冲突，

2在本文中，我们提出了一种扩展的依赖图方法用于结构

:在资源匮乏的情况下阻碍了实际部署。

v化剪枝，该方法明确地隔离了各个组件并捕捉MCNAs

i

x鉴于这些挑战，减少模型复杂性同时保持性能是至关重中的组件间数据流。通过生成更小、更具针对性的剪枝

r

a要的。诸如修剪、量化和知识蒸馏等模型压缩技术已经组，我们的方法保持了整个网络的完整性，同时显著降

成为必不可少的手段。剪枝在实践中无疑是非常有效低了复杂性。我们在使用训练好的TD-MPC模型的控

的，并且存在合理的理论假设说明了剪枝后的网络如何制任务上验证了我们的方法，结果显示在性能下降较少

可能与完整的对应网络(FrankleandCarbin,2019)产的情况下实现了更高的稀疏度。

生相似的性能。

2.相关工作

在不同网络模块承担不同功能的架构中，例如编码器、

预测模型和控制策略，如TD-MPC(Hansenetal.,2022)简单的基于幅度的剪枝技术，移除绝对值最小的权重，

或JEPA(Assranetal.,2023;Ulmenetal.,2025)，通是最早期的技术之一。尽管其简单，这种方法展现出了

常用于剪枝的依赖图无法捕捉组件之间的复杂数据流。令人惊讶的有效性，经常与更复杂的方法匹配或超越它

与单体网络不同，这样的多组件神经架构（MCNA）需们(Guptaetal.,2024)。然而，该领域已经扩展到包括

要一个更细粒度的依赖模型来准确表示组件内的和组结构化