浅谈协方差矩阵今天看论文的时候又看到了协方差矩阵这个破东西.pdf

浅谈协方差矩阵 今天看论文的时候又看到了协方差矩阵这个破东西， 以前看模式分类的时候就特困扰， 没想 到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿 ~ 本文我将用自认为循序渐进的方式谈谈协方差矩阵。 统计学的基本概念 学过概率统计的孩子都知道， 统计里最基本的概念就是样本的均值， 方差， 或者再加个标准 差。首先我们给你一个含有 n 个样本的集合 ，依次给出这些概念的 公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。 均值： 标准差： 方差： 很显然， 均值描述的是样本集合的中间点， 它告诉我们的信息是很有限的， 而标准差给我们 描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例， [0 ， 8 ，12 ， 20] 和 [8 ，9 ，11 ，12] ，两个集合的均值都是 10 ，但显然两个集合差别是很大的，计算两者 的标准差，前者是 8.3 ，后者是 1.8 ，显然后者较为集中，故其标准差小一些，标准差描述 的就是这种 “散布度 ”“散布度 ”(类似于起伏度，如评价一个学生成绩的起伏） 。之所以除以 n-1 而不是除以 n ，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计 上所谓的 无偏估计“ ”(个人臆断 : 每一个数据均需要与均值作差运算，这个均值可能等于某一 个元素的值，正好抵消掉，所以，干脆就去掉一个，以降低影响、干扰 ) 。而方差则仅仅是 标准差的平方。 为什么需要协方差？ 上面几个统计量看似已经描述的差不多了， 但我们应该注意到， 标准差和方差一般是用来描 述一维数据的， 但现实生活我们常常遇到含有多维数据的数据集， 最简单的大家上学时免不 了要统计多个学科的考试成绩。 面对这样的数据集， 我们当然可以按照每一维独立的计算其 方差， 但是通常我们还想了解更多， 比如， 一个男孩子的猥琐程度跟他受女孩子欢迎程度是 否存在一些联系啊，嘿嘿 ~ 协方差就是这样一种用来度量两个随机变量关系的统计量，我们 可以仿照方差的定义： 来度量各个维度偏离其均值的程度，标准差可以这么来定义： 协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的 (从协方差可以引出 “相关系数 ”的定义 ) ，也就是说一个人越猥琐就越受女孩子欢迎， 嘿嘿， 那必须的 ~ 结果为负 值就说明负相关的，越猥琐女孩子越讨厌，可能吗？如果为 0 ，也是就是统计上说的 相互“ 独立 ”。 从协方差的定义上我们也可以看出一些显而易见的性质，如： 协方差多了就是协方差矩阵 上一节提到的猥琐和受欢迎的问题是典型二维问题， 而协方差也只能处理二维问题， 那维数 多了自然就需要计算多个协方差，比如 n 维的数据集就需要计算 个协方差， 那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义： 这个定义还是很容易理解的， 我们可以举一个简单的三维的例子， 假设数据集有 三 个维度，则协方差矩阵为 可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。 Matlab 协方差实战 上面涉及的内容都比较容易，协方差矩阵似乎也很简单，但实战起来就很容易让人迷茫了。 必须要明确一点， 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。 这个我将结合下面的例子说明，以下的演