补充材料24287.pptVIP

Plots Conjugate Gradient Steepest Descent 局部极小点的二阶必要条件 局部极小点 2) 二阶充分条件 局部极小点 3) 充要条件 必要性是显然的。 充分性： 可微凸函数： 4. 使用导数的最优化方法 在一些迭代下降算法中，得到点xk后，需要按某种规则确定一个方向dk ，再沿该方向求目标函数的极小值点，得到后继点xk+1；迭代，产生点列{xk}。 无约束问题的求解通过一系列一维有哪些信誉好的足球投注网站来实现。如何选择有哪些信誉好的足球投注网站方向是核心问题。有哪些信誉好的足球投注网站方向的不同选择，形成不同的最优化方法。 介绍在计算过程中使用目标函数导数的方法。 1) 最速下降法 无约束问题： 基本优化算法 dk - Search Direction ak - Learning Rate or 最速下降方向Steepest Direction 方向导数 负梯度方向为最速下降方向 最速下降法Steepest Descent 例解： 学习速度过大，GD算法可能不稳定 学习速度较小时，GD轨迹与轮廓线正交。 学习速度过大，GD算法可能不稳定。实验演示 稳定的学习速度（二次函数）： Stability is determined by the eigenvalues of this matrix. Eigenvalues of [I - aA]. Stability Requirement: (li - eigenvalue of A) 例解： 使用一维有哪些信誉好的足球投注网站的最速下降法 基本思想：在负梯度方向有哪些信誉好的足球投注网站最优步长。 算法步骤： 最优步长的求解 where 例解： 相邻两个有哪些信誉好的足球投注网站方向正交，GD算法存在锯齿现象。 最速下降法的收敛性 2) 牛顿法 牛顿方向 基本思想：利用目标函数f(x)在点xk处的二阶Taylor展开式去近似目标函数，用二次函数的极小点去逼近目标函数的极小点。 例解： 二次函数一步收敛 二次终止性 例解（非二次函数）： 驻点: F(x) F2(x) 牛顿法收敛快但难以预料 牛顿法如果收敛，则至少2级收敛。 如果函数f(x)不是二次函数，则无法确定是否收敛，这取决于具体的函数和初始点。 不同的初始点 f(x) f2(x) 阻尼牛顿法 基本思想：在牛顿方向有哪些信誉好的足球投注网站最优步长。 算法步骤： 3) 共轭梯度法 共轭向量 二次函数的共轭向量 A是对称正定矩阵 二次函数的共轭向量 共轭向量的性质 共轭梯度法（FR法） (For quadratic functions.) 共轭梯度法 共轭梯度法的性质 （共轭性） （正交性） （下降性） Example Example 线性代数、概率统计、最优化基础 * 模式识别补充材料 行列式与线性方程组 行列式： 解线性方程组的克莱姆法则 对于线性方程组： 如果系数行列式 D=|aii|≠0，则方程组存在唯一解 齐次线性方程组(即b=0)，有非零解的充要条件是D=|aii|=0 行列式 矩阵 Matrix: 由m×n个数aij排列成的m行n列的数表：Am×n = [aij]m×n 矩阵的运算 矩阵的乘法：C=AB noc(A) = nor(B) noc(C) = noc(B) nor(C) = nor(A) 矩阵的转置：A=(aij), A’=AT=(aji) 对称方阵：A’=A， 即 aij= aji 方阵的行列式： 如果|A|≠0，A称为非奇异阵，否则为奇异阵 |A’|= |A|， |AB|= |A||B| 逆矩阵：如果AB=BA=E, 则称A可逆，B为A的逆 方阵A可逆的充要条件： |A|≠0 矩阵 分块矩阵及其运算 分块矩阵：用横线和竖线把矩阵分成若干小块，每个小块为一个矩阵，它可以作为一个元素参加运算。 分块对角阵： |A|=|A11||A22|…|Arr| 矩阵 向量 n维向量：x=(x1,x2,…,xn)T 线性相关与线性无关： 设有n维向量组： x1, x2,…, xm，如果只有当k1= k2=…=km=0时，才能使下式成立，则称该向量组线性无关。否则为线性相关。 m个n维向量的矩阵表示：A=(a1, a2,…, am) n个n维向量：ai=(ai1,ai2,…,ain)T线性无关的充要条件是|A|≠0 向量(二) 如果向量组A = (a1, a2,…, am) = (b1, b2,…, bm)C = BC，称A可由向量组B线性表示。 向量组的秩：rank(A)=nov(A的最大线性无关组) 向量的内积: 向量的模（范数/长度）： 两点的距离： 两向量的夹角： 向量(三) 两向量正交：(x,y)=0, cos(θ)=0 若非零的n维向量x1, x2,…, xm两两正交，则称为正交向量组。正交向量组的性质： 正交向量组线性无关。 若n维向量y可由正交向量组x1, x2,…, xm线性表示，则： 线性无关向量组正交化：Gr