计算思维导论5.pptVIP

* 大学计算机-计算思维导论 南京理工大学计算机学院 冯 元 第五章 数据抽象、设计与挖掘 内容提要： 数据与大数据 数据管理与数据库 数据分析 5.1 数据与大数据 现代社会数据的重要性 用数据说话、用数据决策、用数据创新已形成社会的一种常态和共识，数据已被视为知识的来源、被认为是一种财富。 数据之所以成为重要的生产要素，是因为它可以精确地描述事实，以量化的方式反应逻辑和理性。 决策将日益基于数据和分析做出，而非经验和直觉。 5.1 数据与大数据 大数据 由于网络的出现，人类社会产生的数据量激增。 2008年全球产生的数据量为0.49ZB(250MB) 2009年的数据量为0.8ZB 2010年增长为1.2ZB 2011年的数量更是高达1.82ZB 2012年为止，人类所有印刷材料的数据量是200PB 预计到2020年，全世界的数据规模将达今天的44倍。 5.1 数据与大数据 大数据的价值发现 《大数据时代》一书的作者前瞻性地指出：大数据开启了一次重大的转型，大数据时代最大的转变就是“放弃对因果关系的追求，取而代之关注相关关系”。 即只要知道“是什么”，而不需要知道“为什么”。颠覆了千百年来人类的思维习惯。 例子：机票价格预测工具Farecast 5.1 数据与大数据 大数据的价值发现 Farecast: 飞机票价格预测 购票时机与机票价格的关系? 怎样预测机票价格? 只求关系，不求因果 不要相信经验，一切以数据说话 5.1 数据与大数据 数据管理与数据分析 数据被视为知识的来源，被认为是一种财富，数据收集、数据管理、数据分析的能力已被视为核心竞争力。 数据聚集的核心手段是数据管理和数据库，数据分析与利用的核心手段是数据仓库和数据挖掘。 5.2 数据管理与数据库 1、数据库及数据库管理 数据库(DataBase)：以“表” 形式组织起来的相互有关联关系的数据的集合。 数据库管理系统(DBMS)：用来管理数据库的软件。 数据表的定义：用户可以自己定义数据表格式(DDL) 数据表的操纵：插入、删除、更新，查询与计算(DML) 数据库控制：数据安全性和正确性控制(DCL) 数据库存储、备份、恢复、并发控制及性能监视与分析。 5.2 数据管理与数据库 谁能访问数据 更新数据有什么要求 …… 用户 DBMS 检查用户合法性 检查数据合法性 按用户要求的操 作执行并返回结果 ②用户通过DML操纵数据进出库 ①用户通过DDL定义数据表的格式 ③用户通过DCL定义数据安全性 (依据用户表达的各种“需求”，对数据 库进行操作、管理和控制) 5.2 数据管理与数据库 2、数据库的基本结构形式--- 数据表 数据表的构成：数据表是由简单的行列关系约束的一种二维表格结构。 列：也称为“字段”，或“属性”。 表的每一列都包含同一类型的信息。 列由列名和列值构成，或属性名和属性值。 表中列次序不重要，或是无序的。 5.2 数据管理与数据库 数据表的构成要素及概念示意图 学 号 姓 名 专 业 选修课程 任课教师 9003105 9003212 9003223 9003214 … 张 鹏 吴俊武 廖 凯 李 娜 … 计算机应用 计算机软件 计算机软件 计算机软件 … 计算机系统结构 数据结构 程序设计语言 形式语言 … 唐 飞 王小栋 陆 非 蒋 涛 … 学生选课登记表 表/关系：由关系模式和元组构成 表名：学生选课登记表 关系模式：由表名和属性名构成 如学生选课登记表(学号、姓名、专业…) 列/字段/属性：列名，有若干值或称数据 如列名为“专业”，数据：计算机应用… 值域：列数据的取值范围 如10个汉字以内的文字串 行/元组/记录：由相互关联的数据构成。 5.2 数据管理与数据库 行：也称为“元组”，或“记录”。 表的每一行由若干字段值组成，描述一个对象的信息。 表中行次序不重要，一般可以互换。 一张表中一般不能出现完全相同的两行。 5.2 数据管理与数据库 表：也称为“关系”。 由表名、列名及若干行数据组成。 表中的一行反映的是某个对象的相关数据。 表中的一列反映的是所有对象的某种性质或属性数据。 在数据库领域，这种简单结构的二维表被称为“关系”，以表这种形式反映数据组织结构的模型被称为“关系模型”。 5.2 数据管理与数据库 关系模式：表的结构称为关系模式，由表名、列名构成。定义“关系”指定义关系的模式，“操纵”关系指操纵的关系的值即表中数据。 码(键)：在表中各种属性中有一个属性或属性组很重要，就是“码”(Key)，也称为键或关键字。 它或它们的值能唯一地将该表中的每一行区分开。 若一个关系中有若干个码，可选择其中的一个作为“主码”，也称“主键”。 5.2 数据管理与数据库 数据库：表用于描述客观世界中的