拉格朗日乘数法与拉格朗日中值定理.docVIP

拉格朗日乘数 在HYPERLINK /wiki/数学数学HYPERLINK /wiki/最优化最优化问题中，拉格朗日乘数法 是一种寻找HYPERLINK /wiki/变量变量受一个或多个条件所限制的多元HYPERLINK /wiki/函数函数的HYPERLINK /wiki/极值极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的HYPERLINK /wiki/方程方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量HYPERLINK /wiki/未知数未知数，即拉格朗日乘数：约束方程的HYPERLINK /wiki/梯度梯度（gradient）的HYPERLINK /wiki/线性组合线性组合里每个矢量的系数。 简单举例： 最大化 f(x,y) 受限于 g(x,y)=c . 引入新变量拉格朗日乘数 ，即可求解下列拉格朗日方程 从而找到能让设出的隐函数的微分为零的未知数的值。 因为极值点的导数（导数表示变化率） 为0， 那么可以对x,y , 分别求导，求导式子结构为0。 HYPERLINK /wiki/向量矢量的形式来表达的话，我们说相切的性质在此意味着和的斜率在某点上平行。此时引入一个未知标量λ，并求解： 且λ ≠ 0. 一旦求出λ的值，将其套入下式，易求在无约束极值和极值所对应的点。 = 新方程在达到极值时与相等，因为达到极值时总等于零。 拉格朗日乘数的运用方法 如f定义为在Rn上的方程，约束为gk（x）= ck（或将约束左移得到gk(x) ? ck = 0）。定义拉格朗日Λ为 注意极值的条件和约束现在就都被记录到一个式子里了： 和 拉格朗日乘数常被用作表达最大增长值。原因是从式子： 中我们可以看出λk是当方程在被约束条件下，能够达到的最大增长率。拉格朗日乘数法在HYPERLINK /wiki/Karush-Kuhn-Tucker最優化條件Karush-Kuhn-Tucker最优化条件被推广。 例子 求此方程的最小值： 同时未知数满足 因为只有一个未知数的限制条件，我们只需要用一个乘数. 将所有方程的偏微分设为零，得到一个方程组，最大值是以下方程组的解中的一个： 求解方程组，结果如下：lambda=3^(1/2)/3, x=-6^(1/2)/3 , y=-3^(1/2)/3 求此HYPERLINK /wiki/概率分布离散分布的最大HYPERLINK /wiki/熵_(信息论)熵： 所有概率的总和是1，因此我们得到的约束是g（p）= 1即 可以使用拉格朗日乘数找到最高熵（概率的函数）。对于所有的k 从1到n，要求 由此得到 计算出这n个等式的微分，我们得到： 这说明pi都相等 (因为它们都只是λ的函数). 解出约束，得到 Pk=1/n 因此，使用均匀分布可得到最大熵的值。