第1章 大数据概论教学课件.pptVIP

空白演示 在此输入您的封面副标题 第1章 大数据概论 大数据应用基础 第1章 大数据概论 01 了解 掌握 IDC和EMC联合发布的“2020年的数字宇宙”报告预测到2020年，全球数字宇宙将会膨胀到40ZB，均摊每个人身上是5200GB以上。 这是一个什么概念？ 1ZB=1024EB 1EB=1024PB 1PB=1024TB 1TB=1024GB IT产业的发展简史 IT产业的几个发展阶段如下： 1、硬件时代（1980年代） 代表公司：IBM，HP，Apple,联想，东芝，索尼； 代表产品：服务器，台式电脑，笔记本电脑 2、软件时代（1990年代） 代表公司：微软，Oracle，Adobe，用友； 代表产品：Windows，Oracle，Office，财务软件 3、互联网时代（2000年代） 代表公司：yahoo! 亚马逊，google，facebook,twitter,新浪，阿里，腾讯，百度；代表产品：三大门户网站，百度有哪些信誉好的足球投注网站，QQ，人人网，淘宝，天猫，京东， 4、移动互联时代（2010年代） 代表公司：腾讯，字节跳动，美图科技； 代表产品：微信，今日头条，口袋购物，嘀嘀打车，美图秀秀，墨迹天气，高德地图 5、物联网时代（现在） 物联网时代，智能硬件（智能手环，google眼镜等）只是物联网的一部分，电视，冰箱，洗衣机，汽车，实时路况，空的车位都能连上网，可以实时查看，远程控制，互联联将真正实现连接人与信息，连接人与人（社交），连接人与商品（电商），连接人与服务（O2O），连接物与物（物联网），互联网将连接一切！ 信息管理系统 企业内部使用的信息系统，包括办公自动化系统、业务管理系统等。主要通过用户输入和系统二次加工的方式产生数据，多数为结构化数据，通常存储在数据库中。 网络信息系统 物联网系统 科学实验系统 基于网络运行的信息系统即网络信息系统是大数据产生的重要方式，如电子商务系统、社交网络、社会媒体、有哪些信誉好的足球投注网站引擎等都是常见的网络信息系统。多为半结构化或非结构化的数据。 物联网是在互联网基础上的延伸和扩展的网络，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，而其具体实现是通过传感技术获取外界的物理、化学、生物等数据信息。 主要用于科学技术研究，可以由真实的实验产生数据，也可以通过模拟方式获取仿真数据。 数据格 式特性 A B C 结构化信息 半结构化信息 非结构化信息   传 统 数 据 大 数 据 数据产生方式 被动采集数据 主动生成数据 数据采集密度 采样密度较低，采样数据有限 利用大数据平台，可对需要分析事件的数据进行密度采样，精确获取事件全局数据 数据源 数据源获取较为孤立，不同数据之间添加的数据整合难度较大 利用大数据技术，通过分布式技术、分布式文件系统、分布式数据库等技术对多个数据源获取的数据进行整合处理 数据处理方式 大多采用离线处理方式，对生成的数据集中分析处理，不对实时产生的数据进行分析 较大的数据源、响应时间要求低的应用可以采取批处理方式集中计算；响应时间要求高的实时数据处理采用流处理的方式进行实时计算，并通过对历史数据的分析进行预测分析   传 统 数 据 大 数 据 数据存储方式 数据集成化 数据碎片化 数据计算方式 逻辑技术 分布式和云计算 数据可视化 发现数据中蕴含的规律特征 看到数据及其结构关系 在教育领域 1、传统数据诠释宏观、整体的教育状况，用于影响教育政策决策；　 2、传统数据挖掘方式，采集方法，内容分类，采信标准等都已存在既有规则，方法论完整；　　 3、传统数据来源于阶段性的，针对性的评估，其采样过程可能有系统误差； 4、传统数据分析所需要的人才、专业技能以及设施设备都较为普通，易获得。 1、大数据可以分析微观、个体的学生与课堂状况，用于调整教育行为与实现个性化教育。　　 2、大数据挖掘为新鲜事物，还没有形成清晰的方法、路径、以及评判标准。　　 3、大数据来源于过程性的，即时性的行为与现象记录，第三方、技术型的观察采样的方式误差较小。　　 4、大数据挖掘需要的人才，专业技能以及设施设备要求较高，并且从业者需要有创新意识与挖掘数据的灵感而不是按部就班者，这样的人才十分稀缺。 Volume 数据量大 Variety 多样性 Value 数据价值密度低 Velocity 速度快，时效高 On-Line 数据是在线的 大数据让人们脱离了对算法和模型的依赖，数据本身即可帮助人们贴近事情的真相。 大数据弱化了因果关系。大数据分析可以挖掘出不同要素之间的相关关系。人们不需要知道这些要素为什么相关就可以利用其结果，在信息复杂错综的现代社会，这样的应用将大大提高效率。 与之前的数据库相关技术相比，大