《计算机基础》课件-第六章 数据处理与数据库.pptxVIP

大学计算机基础第一章 基于计算机的问题求解 （2学时）第二章 计算机信息数字化基础 （3学时）第三章 计算机的工作原理与硬件体系结构（3）第四章 计算机软件平台（3学时）第五章 计算机网络平台（3学时）第六章 数据处理与数据库（3学时）第七章 关于计算（1学时）第八章 算法与程序设计（2学时）第九章 实用软件 （自学）第十章 计算机科学前沿技术（自学）第六章 数据处理与数据库本章要点：大数据是如何产生的？大数据处理有什么重要价值？多媒体数据是如何压缩的？各种数据模型有什么特点？如何进行数据库设计？如何用SQL操作数据库？数据仓库与数据库有什么区别？第6章 数据处理与数据库6.1 数据与数据处理6.2 多媒体数据处理6.3 数据库技术基础6.4 结构化查询语言简介6.5 数据仓库与数据挖掘6.6 万维网数据库技术第六章 数据处理与数据库问题导入:大数据到底有多大？截止2012年，人类拥有的信息总量约为2.8ZB（1ZB=270个字节）2013年中国产生的数据总量超过0.8ZB，相当于8亿TB（1TB=240个字节），2倍于2012年，相当于2009年全球的数据总量而据Cisco预测，2010至2015年，全球移动数据流量将激增26倍，达到6.3EB/月（1EB=260个字节）“Nature”、“Science”等顶级学术刊物对Big Data的关注 6.1 数据与数据处理6.1.1 数据的分类结构化数据：即行数据,一般是指存储在数据库里,可以用二维表结构来逻辑表达实现的数据。如：所有关系数据库中的数据均为结构化数据。非结构化数据：不便于用数据库二维逻辑表来表现的。如：各种格式的办公文档、文本、图片、各类图像和音频/视频信息等。而所谓半结构化数据，用来统称介于完全结构化数据和完全无结构的数据之间的数据。如：HTML文档就属于半结构化数据，它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。 6.1 数据与数据处理6.1.2 大数据处理“大数据”带来的“冲击”图6-2 2008-2013年全球产生的数据总量图6-3一分钟产生的数据量 6.1 数据与数据处理大数据的特点 6.1 数据与数据处理大数据的价值对大数据价值挖掘利用的研究趋势分布，如下图所示。John Snow,1854 6.1 数据与数据处理6.1.3 数据中心数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备（如：通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。 ——维基百科 6.1 数据与数据处理数据中心的“能量”北京市交通运行监测调度中心，每日新增30GB国家气象信息中心，每日新增数百TB百度数据中心，每日新增10TB，处理100PB智能电网数据中心，如：国网信通在北京五个小区， 353个采集点，采集1.2万个参数，包括频率、电压、电流等， 15分钟采集一次，一天就能产生34GB。 6.1 数据与数据处理6.1.4 数据空间数据空间（Data Space）数据空间就是一个实体所拥有的所有数据的集合。一般所说的数据空间实际上是指主体数据空间。数据空间也是一种不同于传统数据管理的新的数据管理理念，是一种面向主体的数据管理技术。 6.1 数据与数据处理数据空间特点数据空间是一种面向主体的数据组织形式，可包含与某个组织或个体相关的一切信息，使数据处理独立于数据的存在形式、存储格式、存储地点。数据空间中的所有数据对于主体来说都是可以控制的，如右图所示。数据空间的特点是淡化形式，凸现数据，支持多种不同的数据源，独立于数据源，强调数据的可关联性和可演化性。 6.1 数据与数据处理作为一种新型数据管理技术，面临着诸多挑战:完备的数学模型是数据管理技术的基础数据空间的个性化和多样性问题数据空间需要什么样的管理系统，是像传统的关系数据库那样以集中的、庞大的系统软件形式呈现出来,还是以服务的方式分布在不同的机构和位置，这就涉及数据空间系统架构其它问题：数据清洗和数据质量问题、数据空间不确定性问题第6章 数据处理与数据库6.1 数据与数据处理6.2 多媒体数据处理6.3 数据库技术基础6.4 结构化查询语言简介6.5 数据仓库与数据挖掘6.6 万维网数据库技术 6.2 多媒体数据处理6.2.1 图形与图像信息处理位图和矢量图位图，是由数字阵列信息组成，阵列中的各个数字来描述构成图像的各个点（称为像素）的强度与颜色信息。矢量图，一般是指用计算机绘制的画面，是一组描述点、线、面等图形的大小、形状及位置、维数的指令集合。又称为图形或向量图。 6.2 多媒体数据处理6.2.1 图形与图像信息处理位图图像最简单的情况下，像素点包含的颜色只有黑色和白色两种，直观上，我们可以用“0”来表示黑色