矩阵向量求导法则，拉格朗日函数.pdfVIP

矩矩阵阵向向量量求求导导法法则则，，拉拉格格朗朗⽇⽇函函数数

转⾃在学习算法的过程中，常常需要⽤到向量的求导。边是向量的求导法则。

拉格朗⽇乘⼦法：应⽤在求有约束条件的函数的极值问题上。

通常我们需要求解的最优化问题有如⼏类：

(i)⽆约束优化问题，可以写为:

minf(x);

(ii)有等式约束的优化问题，可以写为:

minf(x),

s.t.h_i(x)=0;i=1,...,n

(iii)有不等式约束的优化问题，可以写为：

minf(x),

s.t.g_i(x)=0;i=1,...,n

h_j(x)=0;j=1,...,m

对于第(i)类的优化问题，常常使⽤的⽅法就是Fermat定理，即使⽤求取f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值

中验证；如果是凸函数，可以保证是最优解。

对于第(ii)类的优化问题，常常使⽤的⽅法就是拉格朗⽇乘⼦法（LagrangeMultiplier)，即把等式约束h_i(x)⽤⼀个系数与f(x)写为⼀个式⼦，

称为拉格朗⽇函数，⽽系数称为拉格朗⽇乘⼦。通过拉格朗⽇函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优

值。

对于第(iii)类的优化问题，常常使⽤的⽅法就是T条件。同样地，我们把所有的等式、不等式约束与f(x)写为⼀个式⼦，也叫拉格朗⽇函

数，系数也称拉格朗⽇乘⼦，通过⼀些条件，可以求出最优值的必要条件，这个条件称为T条件。

(a)拉格朗⽇乘⼦法（LagrangeMultiplier)

对于等式约束，我们可以通过⼀个拉格朗⽇系数a把等式约束和⽬标函数组合成为⼀个式⼦L(a,x)=f(x)+a*h(x),这⾥把a和h(x)视为向量形

式，a是横向量，h(x)为列向量，之所以这么写，完全是因为csdn很难写数学公式，只能将就了。

然后求取最优值，可以通过对L(a,x)对各个参数求导取零，联⽴等式进⾏求取，这个在⾼等数学⾥⾯有讲，但是没有讲为什么这么做就可

以，在后⾯，将简要介绍其思想。

(b)T条件

对于含有不等式约束的优化问题，如何求取最优值呢？常⽤的⽅法是T条件，同样地，把所有的不等式约束、等式约束和⽬标函数全部写

为⼀个式⼦L(a,b,x)=f(x)+a*g(x)+b*h(x)，T条件是说最优值必须满⾜以条件：

1.L(a,b,x)对x求导为零；

2.h(x)=0;

3.a*g(x)=0;

求取这三个等式之后就能得到候选最优值。其中第三个式⼦⾮常有趣，因为g(x)=0，如果要满⾜这个等式，必须a=0或者g(x)=0.这是SVM

的很多重要性质的来源，如⽀持向量的概念。