最优化 No 1 无约束优化的最优性条件.pdf

无约束问题 李瑞 hitlirui@ 预备知识 梯度、海森矩阵: 假定所讨论的函数是光滑的，且是连续可微的,这时f(x) 在任一点x存在一阶偏导数，或者梯度向量（gradient vector ） 2 如果f(x) 是二次连续可微的(C ) ，则存在一个二阶偏导 数或海森矩阵 （Hessian matrix ），记为 或者 G(x)，即 ■凸性 定义 是凸集(convex set)，如果对S 中任意 两 点 x , y 和(0,1) 中的任一数 α 满足 几何解释：连接集合中任两点的线段仍含在该集合中 性质 设凸集 非空， n 若 1 2 S f : S ⊆R →R ∀x ,x ∈S; λ∈(0,1) 都有 1 2 1 2 f (λx +(1−λ)x ) ≤λf (x ) +(1−λ) f (x ) 则称 f 为S上的凸函数。 性质：f (x ) 为凸函数 ⇔f (x 2 ) ≥f (x 1 ) +∇f (x 1 )(x 2 −x 1 ) ∀x 1 ,x 2 2 ⇔H ( f ) =∇ f (x ) ≥0 ∀x，即对应的Hesse 矩阵半正定 向量导数 T 定义1. 设函数f(x) = [f (x), f (x),…, f (x) ] 是n维向量 1 2 m 变量x=[x x …x ]T 的m维向量函数，那么，f(x) 对x 的 1 2 n 导数为 ⎡∂f 1 ∂f 1 ∂f 1 ⎤ ∂x ∂x ∂x ⎢ 1 2 n ⎥ df ( x ) df ( x ) ⎢∂f 2 ∂f 2 ∂f 2 ⎥ T ⎢∂x1 ∂x 2 ∂xn ⎥ dx dx ⎢ ⎥ ⎢∂f m ∂f m ∂f m ⎥ ( ∂f i (x ) )m×n ⎣∂x1 ∂x 2 ∂xn ⎦ ∂x j 类似的， ⎡∂f 1 ∂f 2 ∂f m ⎤ ∂x ∂x ∂x ⎢ 1 1 1 ⎥ df T ( x ) ⎢∂