firsttalk.pptVIP

熵（entropy）-3 熵函数满足的条件： 连续性 等概率时的单调增函数性 可加性 ?熵函数的性质： H(p)=0; H(p)是关于p 的下凸函数，等概率时熵函数达到最大值。即：max(H(X))=log(N). 熵的单位 对数底取值为2时，熵的单位：bit 对数底取值为e时，熵的单位：nat 对数底取值为10时，熵的单位：hartly 联合熵与条件熵 随机变量（X, Y），联合概率分布p(ai,bj), ( i=1..m, b=1,..,n) 联合熵:描述二元随机变量的不确定程度 H(X, Y)= 性质：H(X, Y)= H(X)+ H(Y | X)， H(X, Y)= H(Y)+ H(X |Y)， H(Y | X) = H(Y ) ---- 条件熵一般总小于无条件熵。 H(X, Y) = H(X)+ H(Y) 当X, Y独立时，上述等号成立。 当X可以决定Y时，H(Y | X)=0 注：不等式H(Y | X) = H(Y )是在平均意义下来谈的，对X的一个具体取值如a，不成立。 相对熵 (relative entropy） 或称：相对信息（relative information）:用于衡量两个分布之间的距离（亦称Kullback-Leibler距离 ）。 随机变量X 的取值： a1, a2,…. , an ， 在假设H1, H2 下的分布分别为 P1, P2. 注：公式（1）的含义：对X的了解由分布P1（x）-- P2(x) 所获得的信息量。 P1（x）相当于先验分布, P2(x) 相当于后验分布 互信息（mutual information） 假设有两个不同变量的概率分布p(ai), p(bj)。互信息是指在获得一个变量的知识时，对另一个变量的不确定性减少的量。 也表示对X, Y之间统计依存程度的信息度量 上面的公式显示：互信息就是联合概率分布p(ai, bj)与各自概率分布乘积p(ai)*p(bj)之间的相对熵。 互信息（mutual information） 性质 I(X, Y)= H(X) - H(X | Y) I(X, Y)= H(Y) - H(Y | X) I(X, Y)= H(X) + H(Y)- H(X, Y) 0= I(X, Y) = min ( H(X) , H(Y) ) 多个变量之间可从几个角度去讨论互信息：I(X, YZ), I(X, Y | Z), I(X, Y , Z), 三个概念之间的关系 都是对随机变量不确定性的度量。 熵：一个系统无序性的度量 相对熵：两种概率分布之间差异性的度量 互信息：两个随机变量X, Y之间统计依存程度的信息度量 相对熵 ===〉互信息 ===〉熵 丰富了对随机现象的描述，其意义超过了随机变量的一般数字特征。 信息增益：进行特征（属性）的选择，判别树的构造 Thank you! * 课程大纲 距离 集合论（经典集合论、模糊集合、粗糙集） 矩阵论基础（向量空间、矩阵计算、奇异值分解） 统计方法（EM、PCA、CCA、PLS、PP、SVM） 随机过程（POISON过程、MARKOV链、BAYES网、MARKOV网） 流形 7. 向量空间模型 （广义空间模型、LSI） 8. 概率检索模型（PLSI、BAYES、MARKOV） 9. 语言模型 10 . 链接分析 11.查询扩展（反馈） 12. 降维技术（各种方法） 13. 自动分类模型（各种方法） 14. 聚类模型（各种方法） 第一讲、距离 1. 欧式（Euclidian ）距离 1.1 二维空间欧式距离 High Dimensions Intuition from two and three dimensions not valid for high dimension Volume of cube is one in all dimensions Volume of sphere goes to zero 1 Unit sphere Unit square 2 Dimensions 4 Dimensions d Dimensions 1 Almost all area of the unit cube is outside the unit sphere 1.2 欧式距离的平方 2. 明氏（Minkowski ）距离 SPSS称为BLOCK 实例计算 品 绝对值距离 品 Euclidian距离的平方 Euclidian距离 变量标准化 作用：消除量纲的影响 3. Mahalanobis 距离