大数据挖掘背景及工具.pdfVIP

1 Part 1大数据挖掘及其背景 应用于大数据处理 • 杨文川 2 1) 大数据挖掘 2) 数据模型的发现 3) 大数据挖掘知识点 4) Mahout及其应用 量化一切、利用所有的数据 大数据挖掘的基础 在数字化时代，获取数据正变得比以往 任何时候都简单而不受限制 文字、方位、社交关系等都变成了数据 大数据挖掘 发现数据间的隐含信息 大数据挖掘的核心动力来源于人类了 解和分析世界的渴望。 之前信息技术变革的重点在T （技术）上，而不 是在I （信息）上。 现代信息系统让大数据成为了可能， 人们更多的关注信息I本身。 传统的数据挖掘 • 数据挖掘(Data Mining) ，又称知识发现 (KDD) – 是一个从大量数据中提取、挖掘出未知的、有 价值的模式或规律等知识的复杂过程。 • 数据挖掘是一类深层次的数据分析方法。 – 数据挖掘可以描述为：按既定决策目标，对大 量的数据进行探索和分析，揭示隐藏的、未知 的或验证已知的规律性，并进一步将其模型化 的先进有效的方法。 数据、信息与知识 收集 分析 再 客观世界 信息 分 知识 数据 析 指导 经典挖掘模型CRISP-DM 商业理解 数据理解 结果部署 数据准备 数据 建立模型 模型评估 数据挖掘三阶段 数据准备 数据挖掘 结果评价 结果表达和解释 数据挖掘 数据转换 知识 预处理 数据选择 模式 数据集成 预处理后转换数据 目标数据 数据 数据 数据源 常用的数据挖掘方法 关联规则 聚类分析 分类技术 时序模式 偏差检测 预测估计 ……. 传统的数据挖掘软件 • 专用挖掘工具、通用挖掘工具 – QUEST – MineSet – DBMiner