第7章 决策树与贝叶斯网络.ppt

割方法，也就是说决策树中所有的分割都受根结点的第一次分割的影响，只要第一次分割有一点点不同，那么由此得到的整个决策树就会完全不同。那么是否在选择一个节点的分割的同时向后考虑两层甚至更多的方法，会具有更好的结果呢？目前我们知道的还不是很清楚，但至少这种方法使建立决策树的计算量成倍的增长，因此现在还没有哪个产品使用这种方法。 决策树很擅长处理非数值型数据，这与神经网络只能处理数值型数据比起来，就免去了很多数据预处理工作。甚至有些决策树算法专为处理非数值型数据而设计，因此当采用此种方法建立决策树同时又要处理数值型数据时，反而要做把数值型数据映射到非数值型数据的预处理。 在现实世界中，不精确数据广泛存在，这时学习参数的似然函数计算很复杂，精确计算几乎不可能，只能近似求出似然函数的极值，并将该点的概率分布作为估计值。主要采用的近似方法如Monte-Carlo方法、Gaussian逼近、Laplace近似、EM算法等。学习结构方法分为修复数据集的方法和近似计算的方法两类。 贝叶斯网络将有向无环图与概率理论有机结合，不但具有正式的概率理论基础，同时也具有更加直观的知识表示形式。本章首先介绍了贝叶斯网络的发展历史、贝叶斯基本方法、贝叶斯网络的构造，然后阐述了目前为止在完整数据和不完整数据情况下学习贝叶斯网络的方法问题。 5 贝叶斯网络的形成与发展 5.1 贝叶斯网络 贝叶斯网络是为了处理人工智能研究中的不确定性(uncertainty)问题而发展起来的。 贝叶斯网络是将概率统计应用于复杂领域进行不确定性推理和数据分析的工具。 用概率论处理不确定性的主要优点是保证推理结果的正确性。 贝叶斯网络的发展历史 1958年英国统计杂志 Biometrika 重新全文刊登了贝叶斯的论文。 20 世纪 50 年代，以罗宾斯(Robbins H.)为代表，提出了经验贝叶斯方法和经典方法相结合，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的一个方向。 随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。贝叶斯理论的内涵也比以前有了很大的变化。20 世纪 80 年代贝叶斯网络用于专家系统的知识表示，90 年代进一步研究可学习的贝叶斯网络，用于数据挖掘和机器学习。近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推断、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究贝叶斯理论的组织和学术刊物ISBA。 几个重要原理 链规则(chain rule) 贝叶斯定理(Bayes’ theorem) 利用变量间条件独立性 6 贝叶斯网络构造 6.1贝叶斯网络的几个主要问题 贝叶斯网络概率推理(Probabilistic Inference) 结构学习 (structure learning) 参数学习 (Parameter learning) ? 隐变量及隐结构学习 (Hidden variables and hidden structure learning) 一个简单贝叶斯网络例子 一个简单贝叶斯网络例子 计算过程： P(y1)=P(y1|x1)P(x1)+P(y1|x2)P(x2)=0.9*0.4+0.8*0.6=0.84 P(z1)=P(z1|y1)P(y1)+P(z1|y2)P(y2)=0.7*0.84+0.4*0.16=0.652 P(w1)=P(w1|z1)P(z1)+P(w1|z2)P(z2)=0.5*0.652+0.6*0.348=0.5348 P(w1|y1)=P(w1|z1)P(z1|y1)+P(w1|z2)P(z2|y1) =0.5*0.7+0.6*0.3=0.53 P(w1|y2)=P(w1|z1)P(z1|y2)+P(w1|z2)P(z2|y2) =0.5*0.4+0.6*0.6=0.56 P(w1|x1)=P(w1|y1)P(y1|x1)+P(w1|y2)P(y2|x1) =0.53*0.9+0.56*0.1=0.533 该计算利用向上概率传播及贝叶斯定理。 为什么要用贝叶斯网络进行概率推理？ 理论上，进行概率推理所需要的只是一个联合概率分布。但是联合概率分布的复杂度相对于变量个数成指数增长，所以当变量众多时不可行。 贝叶斯网络的提出就是要解决这个问题。它把复杂的联合概率分布分解成一系列相对简单的模块，从而大大降低知识获取和概率推理的复杂度，使得可以把概率论应用于大型问题。 统计学、系统工程、信息论以及模式识别等学科中贝叶斯网络特里的多元概率模型：朴素贝叶斯模型，隐类模型，混合模型，隐马尔科夫模型，卡尔曼滤波器等。 动态贝叶斯网络主要用于对