第4章 矩阵与线性代数_第6节-矩阵求导与优化初步.pdfVIP

六、矩阵求导与优化初步

6.1标量对向量、向量对向量的求导法则学

6.1.1向量和标量函数的定义与区别数

修

6.1.2标量函数对向量的导数：梯度的定义与计算必

习

6.1.3向量函数对向量的导数：雅可⽐矩阵学

器

6.1.4标量对向量的链式法则机

-

壮

6.1.5向量对向量的链式法则（雅可⽐矩阵链式法则）

大

s

o

6.1.6总结c

6.2标量对矩阵求导的常⽤公式

6.2.1向量化视⻆与定义（vec运算）

6.2.2基本求导公式（矩阵变量）

6.2.3⼀个完整的计算案例

6.2.4常⻅矩阵函数导数总结

6.2.5应⽤场景与意义

6.3对称矩阵下的简化结果（如）

6.3.1问题形式

6.3.2求导⽬标

6.3.3推导步骤详解

6.3.4⼏何解释与意义学

6.3.5示例计算数

6.3.6总结与推⼴修

必

6.3.7应⽤场景习

学

6.4向量微积分在梯度下降中的应⽤器

机

-

6.4.1背景与⽬的壮

大

s

6.4.2为什么使⽤“梯度”？

o

c

6.4.3核⼼案例：最⼩⼆乘损失函数的梯度下降

6.4.4梯度下降迭代过程（数值案例）

6.4.5梯度下降vs⼆次型结构

6.4.6梯度的矩阵结构优势

6.4.7梯度下降的⼏何视⻆

6.4.8⼩结与连接

6.5⾃动微分与线性代数的连接点

6.5.1⾃动微分是什么？

6.5.2⾃动微分底层的数学逻辑

6.5.3连接点：矩阵微积分规则如何⽀撑autodiff？

6.5.4⾃动微分中的“反向传播”本质是链