fisher判别课件(必威体育精装版整理版).pptxVIP

模式识别 线性分类器 英国统计学家和遗传学家。1890年2月17日生于伦敦，1962年7月29日卒于澳大利亚阿德莱德。 1912年毕业于剑桥大学数学系，后随英国数理统计学家J.琼斯进修了一年统计力学。他担任 过中学数学教师，1918年任罗坦斯泰德农业试验站统计试验室主任。1933年，因为在生物统 计和遗传学研究方面成绩卓著而被聘为伦敦大学优生学教授。1943年任剑桥大学遗传学教授。 1957年退休。1959年去澳大利亚，在联邦科学和工业研究组织的数学统计部作研究工作。 主要贡献有： ① 用亲属间的相关说明了连续变异的性状可以用孟德尔定律来解释，从而解决了遗传学 中孟德尔学派和生物统计学派的论争。 ② 论证了方差分析的原理和方法，并应用于试验设计，阐明了最大似然性方法及随机化、 重复性和统计控制的理论，指出自由度作为检查K.皮尔逊制定的统计表格的重要性。此外， 还阐明了各种相关系数的抽样分布，进行过显著性测验研究。 ③ 他提出的一些数学原理和方法对人类遗传学、进化论和数量遗传学的基本概念以及农 业、医学方面的试验均有很大影响。例如遗传力的概念就是在他提出的可将性状分解为加性 效应、非加性(显性)效应和环境效应的理论基础上建立起来的。 ④ 主要著作有： 《根据孟德尔遗传方式的亲属间的相关》、 《研究者用的统计方法》、 《自然选择的遗传理论》、 《试验设计》、 《近交的理论》及《统计方法和科学推理》等。 他在进化遗传学上是一个极端的选择论者，认为中立性状很难存在。 他一生在统计生物学中的功绩是十分突出的。 Ronald Aylmer Fisher (1890～1962) 1. 线性判别函数 ◆ 基本概念 ◆ 几何意义 2. 广义线性判别函数 3. 设计线性分类器的主要步骤 4.Fisher 线性判别 ◆ 问题的提出 ◆ 算法的实现 Fisher 线性判别实验 上海大学 Shanghai University 主要内容 计算机工程与科学学院 ● 最一般情况下适用的“最优”分类器： 错误率最小，对分类器设计在理论 上有指导意义。 ● 需要首先得到有关样本总体分布的知识，包括各类先验概率P(w;)及类条 件概率密度P(X |w₁), 从而可以计算出样本的后验概率P(w; |X), 并以此 作为产生判别函数的必要数据，设计出相应的判别函数与决策面。 ● 获取统计分布及其参数很困难，实际问题中并不一定具备获取准确统计 分布的条件。 训练样本集 的、 策、 面、 函 函 数 佳 函 最 则 择 准 选 数 类 分 布 率 间 分 概 空 度 验 征 密 先 特 率 成 在 概 示 别 件 表 类 条 布 各 上海大学 Shanghai University 贝叶斯决策理论 计算机工程与科学学院 引言 这种方法跳过了统计分布的参数估计，没有使用统计参数作为依据，因此称为 非参数判别分类方法。而以贝叶斯决策方法为基础的方法则称为参数判别方法。 结论： n Bayes决策尽管是最优决策，但实现困难。 n 模式识别的任务是分类，可直接设计判别函数— 即分类面。 n 最简单的判别函数是线性函数，相应的分类面是超平面。这些准则的“最 优”并不一定与错误率最小相一致：次优分类器。 不需要有关的概 率密度函数的确 切的参数形式 上海大学 Shanghai University 决策规则： 判别函数 计算机工程与科学学院 引 言 近邻法 svm 改进的近邻法 线性分类器 Fisher 准则线 性分类 器 非参数判别分类方法的基本原理——有监督学习方法 非线性 分类器 的扩展 —分段 线性 特征映 射方式 实现线 性分类 石 上海大学 Shanghai University 感知准 则 函 数 线性分 类器 多层感 知器 计算机工程与科学学院 引 言 元 名 一般 w₀ 其中 w,是一个常数，称为阈值权。 相应的决策规则可表示成 ⁷x 示 w 表 x) 式 g( 形 g(x)=0 就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。 设样本d 维特征空间中描述，则两类别问题中线性判别函数的 线性判别函数的基本概念 上海大学 Shanghai University 计算机工程与科学学院 其中(x₁-x₂)也是一个向量 ① 上式表明向量w与该平面上任两点组成的向量(x₁-x₂)正交，因 此w就是该超平面的法向量。这就是向量w的几何意义。 而 g(x)也就是d维空间中任一点x到该决策面距离的代数度