有哪些信誉好的足球投注网站- 1、本文档共5页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
Nesterov加速梯度方法的简洁Lyapunov分析??
JunLiu
DepartmentofAppliedMathematics
UniversityofWaterloo
Waterloo,OntarioN2L3G1,Canada
摘要
Nesterov加速梯度方法的收敛性分析在过去几十年中受到了广泛关注。虽然大量的研究工作探讨了其理论性质并阐明了其加速
背后的直觉，但仍然缺乏对其收敛速率的简单直接证明。我们为一般凸函数和强凸函数提供了Nesterov加速梯度方法收敛速率
本的简洁Lyapunov分析。
译
中Keywords:优化算法；Nesterov加速梯度方法；Lyapunov分析
3
v
31介绍分析。我们认为这种分析对其收敛行为提供了一个
7清晰统一的观点，更具可访问性，并有望为在更广泛
3
7机器学习在过去几十年的复兴重新激发了对具有可情况下（如证明超出二次型的随机优化中的加速[1]）
1.证明快速收敛率的一阶优化方法的兴趣[17,15,11]。分析Nesterov加速梯度方法提供见解。
2
0其中，Nesterov加速梯度法[11,12]因其在二次函数
5以外的一般凸函数上的可证加速而获得了广泛关注。Lyapunov函数（有时称为势能函数）在优化算法分析
2
:特别关注的是使用动态系统工具[16,14,5,18]和控制中的应用多年来已被多位作者广泛推广。除了上述的
v
i理论方法[9,13]来分析和设计此类算法。[18]，读者还被推荐参考[2,Section5],[6,Section4],[4,
x
rSection4]及其相关文献。我们还将读者引向耗散理
a
在Nesterov的标准教科书[12]中，通过一种称为估论，在Nesterov加速方法[7]的背景下，该理论与
计序列的技术来分析加速梯度方法的收敛性。这些Lyapunov分析密切相关。我们将通过全文添加若干
实际上是用于证明优化算法收敛率的辅助比较函数。备注以指引读者关注紧密相关的研究工作。
正如[18]所指出的，估计序列通常是归纳构造的，并
且可能难以理解和应用。这促使了在[18]中进行了
2预备知识
Lyapunov分析，旨在统一一类加速算法的分析。尽管
有这项综合工作，据作者所知，Nesterov加速梯度方
我们回顾一些无约束光滑优化的基本定义和结果，这
法原始方案的简单直接的Lyapunov分析仍然缺失。
些可以在[12,Chapter2]中找到。我们使用表示
的欧几里得范数，并用表示的
在这项工作中，我们为一般凸函数和强凸函数提供
内积。可微函数的梯度由表示。
了Nesterov加速梯度方法的简化且简洁的Lyapunov
Emailaddress:j.liu@uwaterloo.ca(JunLiu).Definition1(-smoothness)一个连续可微函数
Preprint2025年
文档评论（0）