矩阵的奇异值分解.docVIP

§2 矩阵的奇异值分解 定义 设是秩为的复矩阵，的特征值为 . 则称为A的奇异值. 易见，零矩阵的奇异值都是零，矩阵的奇异值的个数等于的列数，的非零奇异值的个数等于其秩. 矩阵的奇异值具有如下性质： （1）为正规矩阵时，的奇异值是的特征值的模； （2）为半正定的Hermite矩阵时，的奇异值是的特征值； （3）若存在酉矩阵，矩阵，使，则称A和B酉等价.酉等价的矩阵A和B有相同的奇异值. 奇异值分解定理 设是秩为的复矩阵，则存在m阶酉矩阵与n阶酉矩阵，使得 . ① 其中，为矩阵的全部非零奇异值. 证明 设Hermite矩阵的n个特征值按大小排列为 . 则存在n阶酉矩阵，使得 . ② 将分块为 ， 其中，分别是的前r列与后列. 并改写②式为 . 则有 . ③ 由③的第一式可得 . 由③的第二式可得 . 令，则，即的r个列是两两正交的单位向量.记作，因此可将扩充成的标准正交基，记增添的向量为，并构造矩阵，则 是m阶酉矩阵,且有 . 于是可得 . 由①式可得 . ④ 称④式为矩阵的奇异值分解. 值得注意的是：在奇异值分解中是的特征向量，而的列向量是的特征向量，并且与的非零特征值完全相同.但矩阵的奇异值分解不惟一. 证明2 设Hermite矩阵的n个特征值按大小排列为 . 则存在n阶酉矩阵，使得 . ② 将分块为，它的n个列是对应于特征值的标准正交的特征向量. 为了得到酉矩阵U，首先考察中的向量组，由于当i不等于j时有 所以向量组是中的正交向量组. 又 ， 所以 . 令，，则得到中的标准正交向量组，把它扩充成为中的标准正交基，令 则U是m阶酉矩阵.由已知及前面的推导可得 ，；，； 从而 故有，即. 求矩阵的奇异值分解. 解 的特征值为， 对应的单位特征向量依次为. 所以 . 于是可得 ，. 计算，则的奇异值分解为 . 在A的奇异值分解中，酉矩阵V的列向量称为A的右奇异向量，V的前r列是的r个非零特征值所对应的特征向量，将他们取为矩阵V1，则.酉矩阵U的列向量被称为A的左奇异向量，将U从前r列处分块为，由分块运算，有 从而 . 因此，有下列结果 （1）的列向量组是矩阵A的零空间的一组标准正交基； （2）的列向量组是矩阵A的列空间的一组标准正交基； （1）的列向量组是矩阵A的零空间正交补的一组标准正交基； （1）的列向量组是矩阵A的列空间正交补的一组标准正交基. 在A的奇异值分解中，酉矩阵U和V不是惟一的.A的奇异值分解给出了矩阵A的许多重要信息. 更进一步，由于，，可借助于奇异值分解，将A表示为 归纳这一结果，有如下定理. 定理 设，A的非零奇异值为，是应于奇异值的左奇异向量，是应于奇异值的右奇异向量，则 . 上式给出的形式被称为矩阵A的奇异值展开式，对一个，略去A的一些小的奇异值对应的项，去矩阵为 . 则是一个秩为k的m×n矩阵是在所有秩为k的m×n矩阵m×n阶像素矩阵m×n是个数.如果利用矩阵的奇异值展开式，则只要存储A的奇异值，奇异向量的分量，总计r（m+n+1）个数.取m=n=1000，r=100作一个比较， m×n=1000000，r（m+n+1）=100（1000+1000+1）=200100. 取A的奇异值展开式，，存储量较A的元素情形减少了80%.另外，可取，用逼近A，能够达到既压缩图像的存储量，又保持图像不失真的目的. 由矩阵的奇异值分解可得 可见，是矩阵的加权和，其中权系数按递减排列 . 显然，权系数大的那些项对矩阵的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵，这一点在数字图像处理方面非常有用. 矩阵的秩k逼近定义为 秩r逼近就精确等于，而秩1逼近的误差最大. 矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如Steven J.Leon 的《线性代数》. 　　３　矩阵Ａ的奇异值分解与线性变换 设A是一个秩为r的m×n复矩阵，即，，则由可以定义线性变换 . 设矩阵A有奇异值分解，则将矩阵的列向量组取作空间的标准正交基；则将矩阵的列向量组取作空间的标准正交基，则在所取的基下，线性变换对应的变换矩阵就是. 设，在基下坐标向量为，.那么在线性变换下的像具有形式： . 其中是A的非零奇异值，所以，的像在中基下的坐标是 . 从中可以看出，当时，在取定的基下，线性变换的作用