大数据分析及应用实践教学课件.ppt

5.4.1 决策树 决策树起源于概念学习系统CLS (Concept Learning System)。决策树方法就是利用信息论的原理建立决策树。该类方法的实用效果好,影响较大。决策树可高度自动化地建立起易于为用户所理解的模型,而且,系统具有较好地处理缺省数据及带有噪声数据等能力。 1、决策树表示法 决策树是一树状结构,它从根节点开始,对数据样本(由实例集组成,实例有若干属性)进行测试,根据不同的结果将数据样本划分成不同的数据样本子集,每个数据样本子集构成一子节点。生成的决策树每个叶节点对应一个分类。构造决策树的目的是找出属性和类别间的关系,用它来预测将来未知类别的记录的类别。这种具有预测功能的系统叫决策树分类器。 2、决策树构造思想 构造一个决策树分类器通常分为两步：树的生成和剪枝。决策树的生成是一个从上至下，“分而治之”(Divide-And-Conquer)的过程，是一个递归的过程。设数据样本集为S，算法框架如下： (1)如果数据样本集S中所有样本都属于同一类或者满足其它终止准则，则S不再划分，形成叶节点。 (2)否则，根据某种策略选择一个属性，按照属性的各个取值，对S进行划分，得到n个子样本集，记为 。再对每个 迭代执行步骤1经过n次递归，最后生成决策树。从根到叶结点的一条路径就对应着一条规则，整棵决策树就对应着一组析取表达式规则。树构成步骤中，主要就是找出节点的属性和如何对属性值进行划分。 3、决策树方法特点 决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。 5.4.2 遗传算法 遗传算法是由美国Michigan大学的Holland教授于1969年提出,后经DeJong、Goldberg等人归纳总结所形成的一类模拟进化算法。它来源于达尔文的进化论、魏茨曼的物种选择学说和孟德尔的群体遗传学说。它适合于无表达或有表达的任何类函数，具有可实现的并行计算行为；它能解决任何种类实际问题，具有广泛的应用价值。 1、遗传算法特点 (1)遗传算法从问题解的中集开始嫂索，而不是从单个解开始。 (2)遗传算法求解时使用特定问题的信息极少，容易形成通用算法程序。 (3)遗传算法有极强的容错能力 (4)遗传算法中的选择、交叉和变异都是这说明遗传算法是采用随机方法进行最优解有哪些信誉好的足球投注网站，选择体现了向最优解迫近，交叉体现了最优解的产生，变异体现了全局最优解的覆盖。 (5)遗传算法具有隐含的并行性。 2、遗传算法流程 （1）选择一个初始的人口 （2）确定每个个体的适应度 （3）执行选择 （4）重复 （5）执行交叉 （6）执行突变 （7）确定每个个体的适应度 （8）执行选择 直到停止准则应用 遗传算法处理流程 3、遗传算法优缺点 遗传是一种基于生物自然选择与遗传机理的随机有哪些信誉好的足球投注网站算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其他模型结合等性质使得它在数据挖掘中被加以应用。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。如利用遗传算法优化神经网络结构，在不增加错误率的前提下，删除多余的连接和隐层单元；用遗传算法和BP算法结合训练神经网络，然后从网络提取规则等。但遗传算法的算法比较复杂，收敛于局部极小的较早收敛问题尚未解决。 5.4.3 神经网络 神经网络是以重复学习的方法，将一串例子交与学习，使其归纳出足以区分的样式。如果面对新的例证，神经网络即可根据其过去学习的成果归纳后，推导出新的结果，这属于机器学习的一种。数据挖掘的相关问题也可采类神经学习的方式，其学习效果十分正确并可做预测功能。 1、神经网路概述 在许多数据挖掘和决策支持应用中，由于有公认的轨迹记录，人工神经网络已经成为一种普遍采用的方法。神经网络是一种可以容易的应用于预测、分类和聚类的强有力工具。最有力的神经网络是生物所具有的神经网络，与此相对应的是，计算机通常善于反复的执行明确的指令。通过在计算机上模拟人脑的神经联系，桥接计算机与人脑的隔阂，是人工神经网络的关键。神经网络从数据中概括和学习的能力，是模仿我们从经验中学习的能力，这种能力对数据挖掘是有用的。 2、神经网络方法的特点 神经网络具有良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性，非常适合解决数据挖掘的问题，用于分类、预测和模式识别的前馈式神经网络模型；以Hopfield的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以Art模型、Koholon模型为代表的，用于聚类的自组织映射方法。 神经网络的缺点是“黑箱性