第8章 数据挖掘概述及统计分析技术.ppt

第8章 数据挖掘概述与统计分析技术 目 录  8.1 数据挖掘技术概述 8.2 传统的统计分析类数据挖掘技术 8.3 统计分析类工具 8.4 统计分析类工具的应用 8.5 统计分析类工具应用的问题 8.6 数据挖掘在生物医药领域中的应用 练习 8.1 数据挖掘技术概述 数据挖掘技术产生的原因 数据的大量积累 多方面的知识需求 市场竞争的需要 相关技术的发展 数据库，统计学，机器学习，等等 数据挖掘的含义 从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程 数据挖掘的含义 从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程 数据挖掘的含义 从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程 数据挖掘技术的一个国际标准： CRISP-DM （）（Cross Industry Standard Process for Data Mining） CRISP-DM报告给出下列步骤： 1、Business Understanding 2、Data Understanding 3、Data Preparation 4、Modeling 5、Evaluation 6、Deployment 这是KDD开发的准则 数据挖掘的常用技术 数据库技术 海量数据的预处理、集成、存储、索引、查询及优化 统计学方法 1、相关分析 2、回归分析（多元回归、自回归等） 3、关联规则 4、贝叶斯分析（贝叶斯分类/网络） 5、判别分析（贝叶斯判别、费歇尔判别、非参数判别等） 6、序列分析（含时间序列分析） 7、统计学习理论、支持向量机(解决小样本) 机器学习技术 1、归纳学习 2、神经网络： 3、遗传算法； 4、基于示例的学习（推理） 5、分类/聚类 数据挖掘的常用技术 数学（含离散数学）方法 1、粗糙集（Rough Sets） 2、概念格（Concept Lattice) 3、模糊逻辑方法 网络技术 1、有哪些信誉好的足球投注网站引擎 2、文本（信息）检索 可视化技术 数据挖掘取得成功的条件 （1）挖掘目标/问题的明确（挖什么？） （2）一定数量和质量的数据（富矿源） （3）领域专家的配合(启发性知识，结果评价) （4）合适的方法和算法（用什么来挖？） 数据挖掘的成功不取决于采用的技术本 身，而取决于选择的问题和数据质量。 数据挖掘目前状况 总体状况 方向已初步形成 技术渐趋成熟 应用有相当多成功案例 市场正在趋热 国内现状 人们已逐步认识到数据挖掘的作用和重要性 研究工作已有相当基础，并有一些初步应用 有些单位在积极筹划 有些人仍对数据挖掘存有疑问 8.2 传统的统计