数据管理的基本思维.PDFVIP

数据管理的基本思维 /~rxli/ Ruixuan Li School of Computer Science and Technology Huazhong University of Science and Technology Nov. 25, 2014 数据为什么要管理 —数据自有黄金屋 1 (1)信息社会的工作方式? 信息社会：业务工作+ 计算机支持 • 网络/Internet • 数据库 传统社会：业务工作 Everything Over DB (2)数据为什么要管理? 数据与数据库 数据 形成 “库”，实现 “积累” 应用 “库”, 实现积累的效益 “库”的管理与控制 纸面数据vs. 电子数据 单一数据文件vs. 数据库 数据产生的分散化vs. 数据应用的共享化 小规模数据vs. 大规模数据 2 (3)各种资源聚集成“库”? 各种“资源”库 图像数据库、音乐数据库与多媒体数据库 工程数据库 地理信息数据库 车辆数据库 文献数据库 产品数据库 Web数据库。又称为Internet数据库 机床数据库 数据仓库 信用数据库 烟酒数据库 …… (4)数据自有黄金屋? 大数据价值发现 2008年全球产生的数据量为0.49ZB(250MB) 2009年的数据量为0.8ZB 2010年增长为1.2ZB 2011年的数量更是高达1.82ZB 2012年为止，人类所有印刷材料的数据量是200PB 预计到2020年，全世界数据规模将达今天的44倍。 Farecast: 飞机票价格预测 购票时机与机票价格的关系? 怎样预测机票价格? 只求关系，不求因果 不要相信经验，一切以数据说话 3 (4)数据自有黄金屋? 大数据价值发现 华尔街金融家利用电脑程序分析全球3.4亿微博账户的留言， 根据民众情绪抛售股票： 银行根据求职网站的岗位数量，推断就业率； 投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹； 美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对 总统竞选人的喜好，基于数据对竞选议题的把握，成功赢得总 统大选。 中国网民发动的 “人肉有哪些信誉好的足球投注网站”，已成功地使若干“表哥”“表 叔”“房叔”“房妹”等腐败官员落入法网。 …… (5)数据库的社会影响 “正”因素 数据挖掘不求因果但求关联 大数据环境 “不可能”事情成为 “可能” “负”因素 隐私泄露 欺诈