特定应用组件感知的深度神经网络结构剪枝通过软系数优化-计算机科学-深度神经网络-机器学习.pdfVIP

特定应用组件感知的深度神经网络结构剪枝

通过软系数优化

GaneshSundaram,JonasUlmen,AmjadHaiderandDanielGörges

Abstract—深度神经网络（DNNs）提供了显著的灵活性架构尤其具有挑战性。随着潜在空间中的压缩程度增加，

和性能优势，但它们的广泛采用常常受到高模型复杂性和计算所学表示对修剪的敏感度也随之上升，这使得在没有仔

需求的阻碍。诸如剪枝等模型压缩技术已作为解决这些挑战的细控制的情况下难以保持与任务相关的行为。

有前景的方法出现。然而，在压缩过程中确保保留特定应用的性

剪枝主要演变为两个分支：结构化剪枝和非结构化

能特征仍然是至关重要的。在结构化剪枝中，成组地移除结构上

一致的元素时，传统的权重指标经常无法保持这些关键的性能剪枝[2]。结构化剪枝通过消除整个架构组件，如滤波器、

本属性。在这项工作中，我们提出了一种增强的重要性度量框架，通道或层，为部署提供了显著的优势，从而真正减少了

译该框架不仅减少了模型大小，还明确考虑了特定应用的性能约模型大小和内存使用，并在标准硬件上无需专用加速器

束。我们采用了多种策略来确定每个组的最佳剪枝程度，确保

的情况下实现了实际性能提升。相比之下，非结构化剪

中压缩与任务性能之间的平衡。我们的方法在负责重建MNIST

枝删除单个权重，通常导致稀疏矩阵，在缺乏专门硬件

1图像的自动编码器上进行了评估。实验结果表明，所提出的方

v法有效保留了与任务相关的性能，在满足所需的应用特定标准的情况下不太适用。结构化剪枝库通常在网络中定义一

2的情况下，即使经过大量剪枝也能保持模型的可用性。组结构一致的元素，并根据重要性指标移除这些组。大

8

8I.介绍多数现有框架依赖于绝对值或欧几里得范数标准来评估

4组的重要性并剪掉那些幅度最小的。然而，这样的方法

1.近年来，更深的神经网络的部署显著提升了机器学可能会丢弃尽管其幅度很小但对保持性能至关重要的参

7习的能力，使得表示学习、泛化能力和任务性能在各种应

0数或组，特别是在特定应用或高度压缩的情况下。

5用中得到了提升。随着对更丰富和更有信息量的输入观

2察的需求增长，神经网络不仅在架构复杂性上有所增加，在这篇论文中，我们通过探索保持性能的结构化剪

:枝策略来应对这些挑战，这为剪枝过程提供了更精细的

v而且在其输入空间的维度上也有所扩大。除了传统的传

i控制。我们的重点在于维持任务相关的特性，特别是在

x感器数据外，现代系统还经常结合高维模态（如文本、图

r高度压缩的潜在空间模型中，传统的剪枝标准可能不足

a像和音频）来从环境中提取全面的信息。这一趋势加大

以满足需求。我们提出了评估组重要性和优化剪枝决策

了研究环境下开发的强大模型与实际部署中遇到的实际

的新方法，从而确保在不损害关键性能指标的情况下实

约束之间的差距，例如有限的计算资源、内存和能效[1]。