《数据仓库与数据挖掘》课件_第8章：大数据.pptVIP

大数据相关技术大数据与传统数据库的不同从数据库(database，DB)到大数据(bigdata，BD)“池塘捕鱼”VS“大海捕鱼”“鱼”是待处理的数据数据规模小（以MB为处理单位）大（以GB、TB、PB为处理单位）数据类型单一（结构化为主）繁多（结构化、半结构化、非结构化）模式和数据的关系先有模式后有数据(先有池塘后有鱼)先有数据后有模式模式随数据增多不断演变处理对象数据（池塘中的鱼）(“鱼”，通过某些“鱼”判断其他种类的“鱼”是否存在)处理工具OnesizefitsallNosizefitsall大数据分析包括：大数据技术的应用天文学生物医学电子政务气候学企业管理教育学金融学市场营销公共服务商业智能传媒业生活娱乐天文学生物医学电子政务气候学企业管理教育学金融学市场营销公共服务商业智能传媒业生活娱乐总统选举总统选举情报学情报学图书馆学图书馆学政治领域奥巴马的数据团队对数以千万计的选民邮件进行了大数据挖掘，精确预测出了更可能拥护奥巴马的选民类型，并进行了有针对性的宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。大数据帮助奥巴马成功实现连任奥巴马的例子告诉我们，只要数据量够大，够及时，挖掘够深刻，我们完全可以洞悉每个选民的投票几率。迅速普及的互联网与移动互联网，悄然为记录人的行为数据提供了最为便利、持久的载体。最重要的是，在这些强大的数据收集终端面前，人们没有掩饰的意图，从而创造着过去无法收集与分析的海量数据，这让所有社会科学领域能够从宏观群体走向微观个体，让跟踪每一个人的数据成为了可能，从而让研究人性成为了可能。政治领域*目前，我国有60多个城市，将构建“智慧城市”的目标列入“十二五规划”中。智慧城市即利用大数据的整合和分析来治理社会。2013年两会期间，有代表提议将发展大数据上升为国家战略。大数据背景下，我国电子政务创新模式的转变：关注焦点——从信息向数据转变1增值基础——从公开向发布、开放转变2行为方式——从独立向协同转变3政治领域*数据是生成信息和知识的原生素材如将我国城镇居民医疗数据与保险数据对比分析可以优化保险企业报销比例，发现虚假报销行为；与制药厂数据比对分析可以调节药品的生产量与销售渠道。但医疗政策信息并不能发挥这样的作用。数据是舆情监督的有利依据2008年，政府公布4万亿元的经济刺激计划，但社会对资金的具体去向及其准确数额却无从得知；汶川地震灾后重建近2亿资金的用途也因没有准确的数据公开而被暗箱操作，违规使用……当今电子政务中，信息公开实质是性质性信息的公开，而数据才是舆情监督的真正证据。关注焦点——从信息向数据转变政治领域*从信息向数据的转变是政府从后台走向阳光的转变。政治领域*增值基础——从公开向发布、开放转变大数据时代，数据增值的关键在于数据的整合与分析，整合的前提就是数据的开放。数据公开是意识上的、被动的；数据发布是行动上的、主动的。数据公开、发布是一条一条的；数据开放是一片一片的。政府态度从被动转为主动；数据从点对点转为面对面。政治领域*行为方式——从独立向协同转变如济南电子政务数据交换平台实现了工商、国税、质检、公安、社保等20多个部门涉税数据的共享，国税局与地税局通过数据比对，发现了25000条数据差异，落实纳税企业5000多户，补缴税款2700多万元。内部协同：各地区政府、各层级政府和各部门之间外部协同：政府与社会之间自上而下、自下而上的互动政治领域*金融领域华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。*金融领域大数据协助金融企业精准营销招商银行通过数据分析识别出招行信用卡高价值客户经常出现在星巴克、DQ、麦当劳等场所后，通过“多倍积分累计”“积分店面兑换”等活动吸引优质客户；通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点；通过对客户交易记录进行分析，有效识别出潜在的小微企业客户，并利用远程银行