组件感知剪枝以加速潜在空间模型中的控制任务.pdfVIP

组件感知剪枝以加速潜在空间模型中的控制任务

GaneshSundaram,JonasUlmen,AmjadHaiderandDanielGörges

Abstract—资源受限的移动平台，包括移动机器人、可穿论需求之间存在根本性的脱节。压缩一个预测模型，如

戴系统和物联网设备的快速增长，增加了对能够在严格硬件限图像分类器，主要面临准确率下降的风险。相比之下，压

制下运行的计算效率高的神经网络控制器（NNCs）的需求。虽

缩控制器则会危及物理系统的稳定性和安全性，因为失

然深度神经网络（DNNs）在控制应用中表现出优越性能，但

败可能会导致灾难性的现实后果。这一高风险领域需要

其显著的计算复杂性和内存需求为其实实在在地部署到边缘设

备上带来了重大障碍。本文介绍了一种综合性的模型压缩方法一种新的压缩方法，关注的不仅仅是精度。

论，利用组件感知结构化修剪来确定每个修剪组的最佳修剪幅任何控制器的首要要求是稳定性，这通常通过严格

本度，确保了压缩与稳定性之间的平衡，适用于NNC部署。我们的数学公式来建立，例如基于Lyapunov稳定性理论的那

的方法严格评估了基于时间差的模型预测控制（TD-MPC），

些。标准剪枝技术会改变网络权重和结构，从而内在地使

译这是一种最先进的基于模型的强化学习算法，并系统地整合了

这些正式保证失效。在闭环系统中，即使是由于压缩导致

中数学稳定性保证属性，特别是李雅普诺夫准则。这项工作的关

键贡献在于提供了一个确定理论上的模型压缩极限的同时保持的小输出偏差也会随时间积累，导致系统行为出现振荡、

1

v控制器稳定性的原理框架。实验验证表明，我们的方法成功降不可预测或危险的情况。因此，为了成功地将NNCs集

4低了模型复杂性，同时保持了必要的控制性能和稳定性特征。成到系统中，任何压缩方法都必须将与控制相关的属性

4此外，我们这种方法建立了安全压缩比率的定量边界，使实践

1视为主要约束条件，而不是次要问题。

8者能够系统地确定在违反关键稳定性属性之前允许的最大模型本文提出了一种以资源为中心的剪枝框架，旨在实

0缩减量，从而促进压缩后的NNCs在资源受限环境中的自信

8.部署。现NNCs在嵌入式硬件上的安全和高效部署。在此前针

0对应用特定剪枝的工作[1]的基础上，我们将方法扩展到

5I.介绍

2包含控制理论约束。特别地，我们制定了一个新的剪枝

:神经网络与控制系统集成代表了从经典方法向全新问题，在该问题中，保持李亚普诺夫稳定性被视为主要

v

i范式转变，为复杂非线性系统提供了无与伦比的适应性约束，并且严格规定了模型大小和推理时间的目标。为

x

r和性能。了验证所提出的方法，我们在一个复杂的NNC架构上展

a

NNCs擅长从高维观测数据（如原始像素）中学习，示了其有效性，并研究了在压缩过程中使用后剪枝微调

并能有效地将这些信息压缩成强大的潜在空间表示。以恢复性能丢失的用途，进一步提高了实际系统集成的

然而，在试图将这些先进的控制器整合到实际应用可能性。

时，基本冲突便出现了。

NNCs所需的重大计算和内存资源往往与其在汽车