第八章：分类与预测 《数据挖掘与相关知识发现》 .pptVIP

2003-11-1 高等教育出版社 贝叶斯网络的学习 依据数据是否完备及网络结构是否已知，贝叶斯网络的学习可分为4种：网络结构已知且数据完备、网络结构已知且数据不完备、网络结构未知且数据完备、网络结构未知且数据不完备。 贝叶斯网络的学习（续） 在已知网络结构，并且变量可以从训练样本中完全获得时，通过学习比较容易得到条件概率表，可以采用的方法有最大似然估计方法、贝叶斯方法等。 如果只有一部分变量值能在数据中观察到，学习贝叶斯网络就要困难得多，类似于在人工神经网络中学习隐藏单元的权值，其中输入和输出节点值由训练样本给出，但隐藏单元的值未指定。可以采用的方法有蒙特·卡洛方法、高斯近似方法、基于梯度的方法和EM算法等。 基于梯度的方法 Russell等人于1995年提出一个简单的基于梯度的方法以学习条件概率表中的项。这一基于梯度的方法有哪些信誉好的足球投注网站一个假设空间，它对应于条件概率表中所有可能的项。在梯度上升中最大化的目标函数是Ph (D)，即在给定假设h下观察到训练数据D的概率。 梯度上升规则使用相应于定义条件概率表参数lnPh(D)的梯度来使Ph (D)最大化。令wijk为在给定双亲节点Ui 取值uik时，网络变量Yi值为yij的概率，即wijk代表某个条件概率表中的一个CPT项。 基于梯度的方法（续） 给定网络结构和wijk的初值，算法步骤如下： (1) 对于每个wi jk ，lnPh (D)的梯度由下式计算的导数给出： (2) 沿梯度上升方向更新每个wi jk ： 其中，η是一小的常量，称为学习率。 基于梯度的方法（续） (3) 将权值wi jk归一化，以满足当权值wi jk更新时，其取值属于区间[0, 1]，使其成为有效的概率，并且对所有的i，k，都有Σj wi jk 等于1。 梯度方法的优点是灵活，适应性强，并可借鉴人工神经网络的学习方法。但梯度方法需要在合理的参数空间中有哪些信誉好的足球投注网站，而且存在局部极值问题。 贝叶斯网络的优势： 可以综合先验信息和后验信息； 适合处理不完整和带有噪声的数据集； 与“黑匣子”知识表示方式（如人工神经网络）相比，贝叶斯网络可以解释为因果关系，其结果易于理解，并利于进行深入研究。 第八章：分类与预测 8.1 简介 8.2 决策树 8.3 贝叶斯分类 8.4 基于遗传算法分类 8.5 分类法的评估 8.6 预测 本章小结 遗传算法的发展 最早意识到自然遗传算法可以转化为人工智能算法的是J.H.Holland教授。 1967年，Holland教授的学生J.D.Bagley在其博士论文中首次提出了“遗传算法” 一词，并发表了遗传算法应用方面的第一篇论文，从而创立了自适应遗传算法的概念。 J.D.Bagley发展了复制、交叉、变异、显性、倒位等遗传算子，在个体编码上使用了双倍体的编码方法。 1970年，Cavicchio把遗传算法应用于模式识别。 Hollstien最早把遗传算法应用于函数优化。 遗传算法的发展 70年代初，Holland教授提出了遗传算法的基本定理——模式定理，从而奠定了遗传算法的理论基础。 1975年，Holland教授出版了第一本系统论述遗传算法和人工自适应系统的专著《自然系统和人工系统的自适应性》。同年，K.A.De Jong在博士论文《遗传自适应系统的行为分析》中结合模式定理进行了大量的纯数值函数优化计算实验，建立了遗传算法的工作框架，为遗传算法及其应用打下了坚实的基础，他所得出的许多结论迄今仍具有普遍的指导意义。 遗传算法的发展 80年代，Holland教授实现了第一个基于遗传算法的机器学习系统——分类器系统（Classifier Systems，简称CS），开创了基于遗传算法的机器学习的新概念，为分类器系统构造出了一个完整的框架。 1989年，D.J.Goldberg出版了专著——《有哪些信誉好的足球投注网站、优化和机器学习中的遗传算法》。 1991年，L.Davis编辑出版了《遗传算法手册》一书，书中包括了遗传算法在科学计算、工程技术和社会经济中的大量应用样本，为推广和普及遗传算法的应用起到了重要的指导作用。 遗传算法的发展 1992年，J.R.Koza将遗传算法应用于计算机程序的优化设计及自动生成，提出了遗传规划（Genetic Programming，简称GP）的概念。 遗传算法简介 遗传算法（Genetic Algorithm，简称GA）是模拟生物进化过程的计算模型，是自然遗传学与计算机科学相互结合、相互渗透而形成的新的计算方法。 在遗传算法中染色体对应的是一系列符号序列，在标准的遗传算法（即基本遗传算法）中，通常用0，1组成的位串表示，串上各个位置对应基因座，各位置上的取值对应等位基因。遗传算法对染色体进行处理，染色体称为基因个体。一