大数据导论 教案全套 第1--7章 大数据概述---数据处理与分析.docx

教案内容 第1章大数据概述 1 . 1 数 据 1. 1. 1数据的概念 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、 状态以及相互关系等进行记载的物理符号或这些物理符号的组合，是可识别的、 抽象的符号。 数据和信息是两个不同的概念，信息是较为宏观的概念，它由数据的有序 排列组合而成，传达给读者某个概念方法等，而数据则是构成信息的基本单位， 离散的数据没有任何实用价值。 数据也被称为“未来的石油”。 1. 1.2数据类型 文本、图片、音频、视频 1. 1.3数据组织形式 计算机系统中的数据组织形式主要有两种，即文件和数据库。 (1)文件：计算机系统中的很多数据都是以文件形式存在的，比如一个WORD 文件、 一个文本文件、 一个网页文件、 一个图片文件等等 (2)数据库：计算机系统中另一种非常重要的数据组织形式就是数据库， 今天，数据库已经成为计算机软件开发的基础和核心。 1. 1.4数据的使用 第一步数据清洗，第二步数据管理，第三步数据分析 数据使用的实例：数据仓库 数据仓库监视、运行和维护工具 数据挖掘 数据挖掘 前端应用 元数据 数据挖掘系统报表 数据挖掘系统 报表 抽取、转换、 服务分析工具加载(ETL 服务 分析工具 OLTP系统 查询工具 文档其中应用 文档 O O L A P 服 务 器 分析和挖掘引攀 数据源应 数据源 应 用 1.1.5数据的价值性 在过去， 一旦数据的基本用途实现了，往往就会被删除， 一方面是由于过 去的存储技术落后，人们需要删除旧数据来存储新数据，另一方面则是人们没 有认识到数据的潜在价值。 数据的价值不会因为不断被使用而削减，反而会因为不断重组而产生更大 的 价 值 。 各类收集来的数据都应当被尽可能长时间地保存下来，同时也应当在一定 条件下与全社会分享，并产生价值。 1.1.6数据爆炸 人类进入信息社会以后，数据以自然方式增长，其产生不以人的意志为转 移 。 从1986年开始到2010年的20年时间里，全球数据的数量增长了100倍，今后 的数据量增长速度将更快，我们正生活在一个“数据爆炸”的时代。 1.2大数据时代 1.2.1第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大 变 革 表1-1三次信息化浪潮 信息化 浪潮 发生 时间 标志 解决 问题 代表企业 第一次 浪潮 1980年 前后 个人计算机 信息 处理 Intel、AMD、IBM、 苹果、微软、联想、 戴尔、惠普等 第二次 浪潮 1995年 前后 互联网 信息 传输 雅虎、谷歌、阿里巴 巴、百度、腾讯等 第三次 浪潮 2010年 前后 物联网、云计 算和大数据 信息 爆炸 将涌现出一批新的市 场标杆企业 1.2.2信息科技为大数据时代提供技术支撑 1.存储设备容量不断增加 2.CPU处理能力大幅提升 在信息化基础设施方面，据工业和信息化部官网消息，截至2019年12月底， 我国互联网宽带接入端口数量达9.16亿个，其中，光纤接入端口占互联网接入 端口的比重达91.3%;光缆线路总长度已达4750万公里，相当于在京沪高铁线上 往返1.8万余次。同时，近五年来固定宽带和移动宽带资费平均下降90%,速率 提升6倍。目前，我国已基本实现“城市光纤到楼入户，农村宽带进乡入村”。 据中国信息通信研究院(简称中国信通院)数据，截至2020年2月底，全国 建设开通5G基站达16.4万个，5G网络建设基础不断夯实。2020年中国将建设60 万～80万个5G基站。 3.网络带宽不断增加 1.2.3数据产生方式的变革促成大数据时代的来临 1.3 运营式系统阶段 用户原创内容阶段 感知式系统阶段 · 数据爆发产生于Web 2.0时代，而 · 数据爆发产生于 Web 2.0时代，而 Web 2.0的最重要 标志就是用户原创 内容 · 智能手机等移动设 · 数据库的出现使得 数据管理的复杂度 大大降低，数据往 往伴随着一定的运 营活动而产生并记 · 人类社会数据量第 三次大的飞跃最终 导致了大数据的产 生 录在数据库中，数 据的产生方式是被 据的产生方式是被 动的 · 数据产生方式是主 动的 大数据的发展历程 阶段 时间 内容 第 芽 一阶段：萌 期 上世纪90 年代至本 世纪初 随着数据挖掘理论和数据库技术的逐步成 熟， 一批商业智能工具和知识管理技术开始 被应用，如数据仓库、专家系统、知识管理 系统等 。 第 熟 二阶段：成 期 本世纪前 十年 Web2.0应用迅猛发展，非结构化数据大量产 生，传统处理方法难以应对，带动了大数据 技术的快速突破，大数据解决方案