第04讲-智能决策理论与方法.pptVIP

决策理论与方法(4) ——智能决策理论与方法(2) 合肥工业大学管理学院 * 智能决策理论与方法 1、智能决策理论的形成背景 2、知识发现 3、机器学习 4、不确定性理论 机器学习 机器学习是从模拟人类的学习行为出发，研究客观世界和获取各种知识与技能的一些基本方法（如归纳、泛化、特化、类比等），并借助于计算机科学与技术原理建立各种学习模型，从根本上提高计算机智能和学习能力。研究内容是根据生理学、认知科学对人类学习机理的了解，建立人类学习的计算模型或认知模型；发展各种学习理论和学习方法，研究通用的学习算法并进行理论上的分析；建立面向任务且具有特定应用的学习系统。 机器学习—归纳学习：泛化 归纳学习是指从给定的关于某个概念的一系列已知的正例和反例中归纳出一个通用的概念描述。 泛化(Generalization)是用来扩展一假设的语义信息，使其能够包含更多的正例。泛化所得到的结论并不总是正确的。 常用泛化方法： 将常量转为变量规则：对于概念F(v)，如果v的某些取值a,b,…使F(v)成立，则这些概念可被泛化为：对于v的所有值，F(v)均成立： 机器学习—归纳学习：泛化 消除条件规则：一个合取条件可看作是对满足此概念的可能实例集的一个约束。消除一个条件，则该概念被泛化。 添加选项：通过添加更多条件，使得有更多的实例满足概念而使该概念泛化。该规则特别有用的方式是通过扩展某个特定概念的取值范围而增加选项。 将合取转为析取规则 机器学习—归纳学习：泛化 爬升概念树规则：通过爬升概念树，低层概念被较高层概念替代。设A表示信息系统中的某个属性如Animal，a,b,…分别为对象u,v,…在属性A上的取值，若s是概念树上a,b,…的父结点，则基于概念树爬升的泛化规则表示为： Nick等人给出了一种面向属性的归纳算法。 过度泛化问题 当某个属性被爬升至过高的概念层会导致冲突的产生，这种现象称为过度泛化。克服过度泛化必须有相应的终止泛化算法的策略。 机器学习—归纳学习：泛化 机器学习—归纳学习：决策树 决策树学习是以实例为基础的归纳学习算法。所谓决策树是一个类似流程图的树结构，其中树的内结点对应属性或属性集，每个分枝表示检验结果(属性值)，树枝上的叶结点代表所关心的因变量的取值(类标签)，最顶端的结点称为根结点。 决策树学习采用自顶向下的递归方式，在决策树的内部结点进行属性值比较并根据不同的属性值判断从该结点向下的分支，在叶结点得到结论。从根结点到每个叶结点都有唯一的一条路径，这条路径就是一条决策“规则”。 当经过一批训练实例集的训练产生一颗决策树，那么该决策树就可以根据属性的取值对一个未知实例集进行分类。所有的决策树都有一等价的ANN表示；也可用SVM实现相同的功能。 机器学习—归纳学习：决策树 机器学习—归纳学习：决策树 概念学习系统CLS(Hunt)：从一颗空的决策树出发，添加新的判定结点来改善原来的决策树，直到该决策树能够正确地将训练实例分类为止。 产生根节点T，T包含所有的训练样本； 如果T中的所有样本都是正例，则产生一个标有“1”的节点作为T的子节点，并结束； 如果T中的所有样本都是反例，则产生一个标有“-1”的节点作为T的子节点，并结束； 选择一个属性A(如何选?)，根据该属性的不同取值v1,v2,…,vn将T中的训练集划分为n个子集，并根据这n个子集建立T的n个子节点T1,T2,…,Tn，并分别以A=vi作为从T到Ti的分支符号； 以每个子节点Ti为根建立新的子树。 机器学习—归纳学习：决策树 机器学习—归纳学习：决策树 ID3算法(Quinlan)：ID3算法对CLS做了两方面的改进：(1)增加窗口技术；(2)以信息熵的下降速度(信息增益)作为测试属性选择标准。 窗口技术：对于训练集很大的情形可选择其某个子集(称为窗口)构造一棵决策树，如果该决策树对训练集中的其它样本的判决效果很差，则扩大窗口，选择不能被正确判别的样本加入到窗口中，再建立一个新的决策树，重复这个过程得到最终的决策树，显然不同的初始窗口会产生不同的决策树。 机器学习—归纳学习：决策树 信息增益 ：设决策树根结点的样本数据为X={x1,x2,…,xn}，称X的两个训练子集PX(对应类标签为1)和NX (对应类标签为-1)为正例集和反例集，并记正例集和反例集的样本数分别为P和N，则样本空间的信息熵为 假设以随机变量A作为决策树根的测试属性，A具有k个不同的离散值v1,v2,…,vk，它将X划分为k个子集，且假设第j个子集中包含Pj个正例，Nj个反例，则第j个子集的信息熵为I(Pj,Nj)。 机器学习—归纳学习：决策树 以A为测试属性的期望信息熵为 以A为根节点的信息增益是： Gain(A)=I(P,N)-E