矿床统计预测2017-9-判别分析(含k-最近邻)概要.ppt

9.3 基于实例的学习方法 9 判别分析法 9.3.5 例 结果2： k=5 距离倒数平方加权 输出类标号 三角形是未知样品，不同颜色表示识别结果 9.3 基于实例的学习方法 9 判别分析法 9.3.5 例 结果3： k=5 不加权 输出连续值 将类标号1，2，3作为连续值 三角形是未知样品，它的大小表示识别结果 9.3 基于实例的学习方法 9 判别分析法 9.3.5 例 结果4： k=5 距离平方倒数加权 输出连续值，将类标号1，2，3作为连续值计算 三角形是未知样品，它的大小表示识别结果 （1）什么是判别分析？ （2）什么是费歇准则？什么是判别函数？什么是判别得分？ （3）费歇准则下的两类判别函数是如何建立的？ （4）如何对判别函数进行显著性检验？ （5）什么是k-最近邻法？什么是输出类标号和输出连续值的k-最近邻法？什么是距离加权k-最近邻法？它们的计算过程是什么？ （6）k-最近邻法与费歇准则下的两类判别有何异同？ 思考题 9.1 概述 9 判别分析法 判别分析也是一种传统的多元统计分析方法。 判别分析属于“模式识别”方法，在人工智能和机器学习领域，判别分析方法属于“监督分类”或“有导师学习”方法。判别分析的任务是在假设研究对象分类情况已知的前提下，判断未知样品属于其中哪一类。 判别分析法的一般思路是，利用已知对象（如单元）的观测数据，建立一个判别函数（也称判别模型），经检验认为模型有效后，将未知对象的数据代入该模型，算出未知对象应归属的类别。 判别分析法用于矿产预测的基本思路是，假设所有单元可分为不同的类别，如“无矿单元”、“含矿单元” ；选择一批控制单元，它们也可分为这两类；根据控制单元中的多变量数据，建立一个判别模型，然后应用该模型，判断任一未知单元属于这些类别中的哪一类。一旦识别了一个未知单元的类别，也就实现了对它是否含矿的预测。 以下主要介绍狭义的判别分析，即基于费歇（Fisher）准则的两类判别分析方法。这是一种传统的多元统计分析方法。 9.1 概述 9 判别分析法 基于费歇准则的两类判别，简称为费歇（Fisher）判别，是假设已知对象分为2类的情况下，判断任一未知对象的类别。（对象=样品） 9.2 基于费歇准则的两类判别分析 9.2.1 判别函数与费歇准则 设p维变量空间内，已知有A、B两类样品点。为分开这两个类别的样品，需要找到一个投影面R，使两点群投影到R之后达到最大程度的分离，而各群内部离散程度尽量小。R 称为判别函数，它是多个变量的线性组合。例如， x1 x2 R 假设只有两个变量（右图），R是一条直线。两点群投影到任一变量轴上不能很好地分离，但投影到R后可以最大限度地分离。 A类 B类 9 判别分析法 9.2 基于费歇准则的两类判别分析 判别函数R 的表达式可写为 其中， 是待定的各变量系数。 将任一样品的各变量数据代入判别函数R，得到的函数值称为该样品的判别得分。如何确定诸 从而得到R？ 假设R已经得到，并 令 和 分别表示A、B两类判别得分的平均值： 这里， 和 分别为A、B Eq 9-1 Eq 9-2 Eq 9-3 两类样品各变量的平均值。 9 判别分析法 投影后，两点群中心的”距离”可表示为 9.2 基于费歇准则的两类判别分析 为两类样品数; 两点群内部的离散程度可用离差平方和来表征： 、 ， 、 分别为A、B两类第i样品第 j 变量的值。 Eq 9-4 Eq 9-5 Eq 9-6 分别为两类样品中第i 个样品的判别得分。 9 判别分析法 费歇准则是使投影后的类间距离尽量大、类内离差尽量小的最优化准则，即令 9.2 基于费歇准则的两类判别分析 达到极大值，求出 从而获得判别函数。 为此需要解方程组 该方程组经求导、化简、整理后变为如下方程组： Eq 9-7 9 判别分析法 其中， 9.2 基于费歇准则的两类判别分析 Eq 9-8 Eq 9-9 Eq 9-10 Eq 9-11 9 判别分析法 两类离差平方和的和 两类离差叉积和的和 9.2 基于费歇准则的两类判别分析 9 判别分析法 令 上页的方程组可写成矩阵形式： 解方程组可求出各 从而得到判别函数 ： Eq 9-12 Eq 9-13 或 Eq 9-14 (=Eq 9-1) 9.2.2 判别函数的使用 9.2 基于费歇准则的两类判别分析 将任一样品的多变量数据代入判别函数，可求出该样品的判别得分。如果判别函数有效，两类样品的判别得分值大小将会有显著差别，一类较大，另一类较小。所以算出判别得分后就可判断一个样品属于已知分类的哪一类。但需要一个判别临界值，以便归类。判别临界值 R0为： 即判别临界值是两类样品平均判别得分按样品数加权的平均值。 Eq 9-15 9 判别分析法 判别函数是否有效，可用两种方法