机器学习相似量.pptVIP

目录 相似性度量 主要相似度度量算法 度量学习 部分算法实践 机器学习相似度概述 流形学习 当前第1页\共有36页\编于星期五\2点 相似性度量 机器学习相似度概述 当前第2页\共有36页\编于星期五\2点 相似度度量 机器学习的目的就是让机器具有类似于人类的学习、认识、理解事物的能力。计算机对大量的数据记录进行归纳和总结，发现数据中潜在的规律，给人们的生活带来便利。 对数据记录和总结中常用到聚类算法。聚类算法就是按照对象间的相似性进行分组，因此如何描述对象间相似性是聚类的重要问题。 相似度度量 机器学习相似度概述 当前第3页\共有36页\编于星期五\2点 相似度度量 刻画数据样本点之间的亲疏远近程度主要有以下两类函数： （1）相似系数函数：两个样本点愈相似，则相似系数值愈接近1；样本点愈不相似，则相似系数值愈接近0。这样就可以使用相似系数值来刻画样本点性质的相似性。 （2）距离函数：可以把每个样本点看作高维空间中的一个点，进而使用某种距离来表示样本点之间的相似性，距离较近的样本点性质较相似，距离较远的样本点则差异较大。 相似度度量 机器学习相似度概述 当前第4页\共有36页\编于星期五\2点 主要相似度算法 机器学习相似度概述 当前第5页\共有36页\编于星期五\2点 主要相似度算法 欧氏距离 标准化欧氏距离 闵可夫斯基距离 曼哈顿距离 切比雪夫距离 马氏距离 汉明距离 夹角余弦 杰卡德距离 杰卡德相似系数 主要相似度算法 机器学习相似度概述 当前第6页\共有36页\编于星期五\2点 欧式距离 欧氏距离（ Euclidean distance）也称欧几里得距离，它是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。 也可以用表示成向量运算的形式： 主要相似度算法 机器学习相似度概述 当前第7页\共有36页\编于星期五\2点 标准欧式距离 由于特征向量的各分量的量纲不一致(比如说身高和体重)，通常需要先对各分量进行标准化，使其与单位无关。假设样本集X的均值(mean)为m，标准差(standard deviation)为s，那么X的“标准化变量”表示为： （160cm，60kg） （170cm，50kg） 标准化后的值 =? ( 标准化前的值? － 分量的均值 ) /分量的标准差 主要相似度算法 机器学习相似度概述 当前第8页\共有36页\编于星期五\2点 加权欧式距离 加权欧式距离：在距离计算时，考虑各项具有不同的权重。公式如下： 主要相似度算法 机器学习相似度概述 当前第9页\共有36页\编于星期五\2点 曼哈顿距离 曼哈顿距离，也称为城市街区距离，是一种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和： X(2,4),Y(1,6) dist(X,Y)=|2-1|+|4-6|=3 主要相似度算法 机器学习相似度概述 当前第10页\共有36页\编于星期五\2点 闵可夫斯基距离 闵可夫斯基距离（闵氏距离）不是一种距离，而是一组距离的定义。闵氏距离是欧氏距离的推广，是对多个距离度量公式的概括性的表述。公式如下： 其中p是一个变参数。 当p=1时，就是曼哈顿距离；当p=2时，就是欧氏距离；当p→∞时，就是切比雪夫距离。 根据变参数的不同，闵氏距离可以表示一类的距离 主要相似度算法 机器学习相似度概述 当前第11页\共有36页\编于星期五\2点 切比雪夫距离 切比雪夫距离是由一致范数（或称为上确界范数）所衍生的度量，也是超凸度量的一种。在数学中，切比雪夫距离(L∞度量)是向量空间中的一种度量，二个点之间的距离定义是其各坐标数值差的最大值。 X(2,4),Y(1,6) dist(X,Y)=max{|2-1|,|4-6|}=2 主要相似度算法 机器学习相似度概述 当前第12页\共有36页\编于星期五\2点 马氏距离 表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧式距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的)，即独立于测量尺度。 C为X,Y的协方差矩阵，如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧式距离,如果协方差矩阵为对角阵,则其也可称为正规化的欧氏距离。 主要相似度算法 机器学习相似度概述 当前第13页\共有36页\编于星期五\2点 汉明距离 两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需