学习凸函数的梯度与单调梯度网络-计算机科学-机器学习-凸函数-神经网络-最优传输.pdfVIP

学习凸函数的梯度与单调梯度网络

ShreyasChaudhari*SrinivasaPranav*JoséM.F.Moura

ElectricalandComputerEngineering,CarnegieMellonUniversity

ABSTRACT释性和理论保证。因此，即使是在深度学习的时代，凸

优化方法仍然具有重要价值。

尽管在推导和分析信号处理问题的有效凸形式方面投

制定凸优化问题是一个活跃的研究领域，几乎渗

入了大量努力，但凸函数的梯度也有关键应用，范围

透到所有信号处理中，从通信中的源定位到图像去模

从基于梯度的优化到最优传输。最近的工作探索了用

糊[3]。然而，这是一个繁琐的过程，需要手动设计合适

本于学习凸目标函数的数据驱动方法，但很少研究它们

的凸目标函数和相关的凸约束条件。可能比目标函数

译的单调梯度的学习。在这项工作中，我们提出了C-混

本身更重要的是该函数的梯度，因为大多数凸优化问

中合高斯模型网络和M-MGN，两个直接学习凸函数梯题都是使用计算效率高的基于梯度的方法来求解的。

2度的单调动态神经网络架构。我们表明，与最先进的

v方法相比，我们的网络更易于训练，能够更准确地学凸函数的单调梯度映射在包括基于梯度的优化、广义

2线性模型、线性逆问题和最优传输等领域中也具有关

6习单调动态场，并且使用显著较少的参数。我们进一

8键应用。因此，在这项工作中，我们提出利用深度学

0步展示了它们学习最优传输映射以增强驾驶图像数据

1.的能力。习以数据驱动的方式学习凸函数的梯度。我们的方法

1是将深度学习与凸优化的优势相结合的基本步骤，并

0IndexTerms—凸函数，单调梯度，神经网络，最为数据科学和信号处理领域提供了广泛的应用。

3

2优传输贡献:我们提出两种神经网络架构来学习凸函数

:

v的梯度，即单调梯度函数[4]。据我们所知，我们是第

i

x1.介绍一个提出一种方法来直接参数化和学习凸函数的单调

r

a梯度，而无需首先学习潜在的凸函数或其Hessian矩

凸函数因其易于分析的性质、相对简单的优化过阵。与现有方法相比，我们的网络更容易训练，并且

程以及众多的应用而被研究和赞赏。在寻找信号处理可以推广到高维问题设置。在这项工作中，我们通过

问题的解决方案时，凸形式使我们能够轻松地增强目在一组标准问题和图像颜色域自适应任务上进行经验

标函数，并结合关于解决方案结构的先验领域知识。然验证，展示了我们方法的有效性。

而，对于那些缺乏或不足先验领域知识的复杂问题，依

赖于纯粹数据驱动、非凸且过度参数化的问题表述的2.相关工作

深度学习方法成为了有吸引力的选择。深度神经网络

在各种图像和语音处理任务中取得了最先进的性能