闭式鲁棒性边界用于神经控制器策略的二阶剪枝-计算机科学-深度神经网络-神经控制器-算法.pdfVIP

闭式鲁棒性边界用于神经控制器策略的二阶剪枝

MaksymShamrai

InstituteofMathematics

NationalAcademyofSciencesofUkraine

Kyiv,Ukraine

m.shamrai@imath.kiev.ua

Abstract

本深度神经网络策略已经解锁了四旋翼无人机的敏捷飞行、操作器的自适应抓

译取以及地面机器人的可靠导航，然而它们数以百万计的权重与嵌入式微控制

中器紧缩的记忆和实时约束相冲突。二阶修剪方法，例如最优脑损伤（OBD）

及其变体，包括最优大脑外科手术（OBS）和最近的稀疏GPT，通过利用局

1

v部Hessian矩阵在单次传递中压缩网络，实现了远高于幅度阈值裁剪的稀疏

3度。尽管这些方法在视觉和语言领域取得了成功，但此类权重移除对闭环稳

5定性、跟踪精度及安全性的后果仍然不明。

9

2我们首次提出了对非线性离散时间控制中二阶剪枝的数学上严格的鲁棒性

0.分析。该系统在连续转换映射下演化，而控制器是一个具有ReLU类型激活

7函数的-层多层感知器，这些激活函数是全局-Lipschitz。剪枝第层的权

0

5重矩阵将替换为，产生扰动参数向量和剪枝后

2的策略。

:

v对于每个输入状态，我们推导出封闭形式的不等式

i

x

r

a

其中常数依赖于仅未修剪的谱范数和偏差，并且可以从单次前向传递

中以封闭形式评估。

得出的界限规定了在实际部署之前，与规定的控制误差阈值兼容的最大可接

受修剪幅度。通过将二阶网络压缩与闭环性能保证相结合，我们的工作缩小

了现代深度学习工具与安全关键自主系统稳健性要求之间的一个重要差距。

1介绍

现代自主系统，从敏捷的四旋翼飞行器到具身的家庭机器人，越来越多地由直接将高维传感

器数据映射到控制动作的神经策略控制。丰富的函数类如多层感知器（MLP）、卷积网络或

视觉–语言–行动（VLA）模型在通过强化学习（RL）或行为克隆[12,2]训练时，能够实现

令人印象深刻的闭环性能。然而，在尺寸、重量和功率受限的硬件上部署这些策略需要激进

的模型压缩。在最实用的压缩技术中包括二次剪枝算法：最优脑损伤（OBD）[10]、最优脑

外科医生（OBS）[7]及其最近的大模型继承者稀疏GPT[5]，这些技术会移除那些