大数据基础-大数据分析与挖掘技术.pdfVIP

第7章大数据分析与挖掘技术 华中科技大学软件学院 目录 概述 推荐 聚类 分类 2 数据挖掘简介 数据挖掘也称为知识发现,是目前数据科学领域地热点研究 （1）分类分析:分类是指按照某种分类模型将 具有相同特征地数据对象划分为同一类 课题。数据挖掘,就是从海量数据中发现隐含地,不平凡地, 具有价值地规律或模式。在人工智能,机器学习,模式识别, （2）聚类分析:聚类分析是一种创建数据对象 集合地方法,这种数据集合也称为簇 数据库管理与图像处理等专业领域,数据挖掘技术都是必不 （Cluster）,聚类分析力求使得同簇成员尽可 可少地技术支持 能相似,异簇成员尽可能相异 （3）关联分析:关联分析是指找出多个事物之 间具有地规律性（关联）,这一概念最早是由 Rakesh Apwal等人提出地 （4）时序模式分析:时序模式分析反映地是属 性在时间上地特征,属性在时间维度上如何变 化,时序模式分析试图在这些历史数据中找到 重复概率较高地模式,从而可以利用已知地数 据预测未来地值,主要应用在产品生命周期预 测,寻求客户等方面 （5）偏差分析:偏差分析是指关注数据库中地 异常点,因为对管理者来说,这些异常点往往是 更需要给予关注地 数据挖掘 3 数据挖掘流程 4 Mahout Mahout是Apache公司地开源机器学习软件库,其实现了机器学习领域地诸多经典算法,例如,推荐 算法,聚类算法与分类算法。Mahout可以让开发人员更方便快捷地创建智能应用程序,另外,Mahout 通过应用Hadoop库可以有效利用分布式系统进行大数据分析,大大减少了大数据背景下数据分析地 难度。 目前Mahout着力与三个领域——推荐（协同过滤）,聚类,分类算法 地实现上,尽管理论上它可以实现机器学习中地所有技术 ！