大数据思维 - 培训学院.pptVIP

案例：推荐 当你浏览网页的时候，系统会给你推荐 2.2 “关联”思维 强调数据之间的关联也很有用，而不去追求数据之间的因果关系。 因果关系是最深刻的一类联系，但是我们很多时候并不能获得。 计算机应用的发展 科学计算 企业计算 个人计算 计算的精度 计算的速度 硬件技术 系统性能 正确性 关系理论 事务理论 信息关联 信息质量 互联网 有哪些信誉好的足球投注网站引擎 1950 1980 2000 案例：监测 今年7月，华东师范大学一名女生收到来自学校勤助中心的短信：“同学你好，发现你上个月餐饮消费较少，不知是否有经济困难？如有困难，可电话、短信或邮件我。” 案例：预测 根据有哪些信誉好的足球投注网站关键字预测失业率 失业率预测演示模型 2.3 “平等”思维 去中心化 去垄断化 长尾效应 BAT 大数据 企业 大数据 应用 百度 网页数据 有哪些信誉好的足球投注网站数据 公众行为 阿里 电商数据 信用计算 腾讯 社交数据 关系营销 政府治理 业务层次： 管理层次： 决策层次： 例：网格化管理 对社区进行网格化划分 通过视频监控、传感器，以及配置网格管理员，收集信息。 将信息上传到一个统一的平台上进行分享和管理 大数据治理（Governing） 数据质量 数据隐私 数据安全 数据标准 数据溯源 1.2 决策思维:让数据说话 决策模式： 直觉驱动的决策 拍脑袋的决策，有随意性 逻辑驱动的决策 基于逻辑分析的推理 经验驱动的决策 用数据说话、用数据来 管理、用数据来决策、用数据来创新 如何看待大数据？ 概率论和统计学将经验变成了“科学” 数据分布（均匀分布，正态分布，高斯分布，泊松分布，。。。） 数据抽样 假设检验 大数定理 大数定理 在随机事件的大量重复出现中，往往呈现几乎必然的规律。 在独立同分布的假设下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种必然。 例子：抛硬币试验，硬币落下后哪面朝上是偶然的，但是当抛硬币的次数足够多之后就会发现，硬币朝上的次数约占总次数的二分之一。 统计机器学习 训练 测试 预测 模型 线性回归 大数定理的假设 这个定理有前提 独立同分布 试验的次数非常大 在很多情况下，这些假设不一定能满足 问题空间的参数太大，训练数据对问题空间的覆盖度不大 试验条件在变化，不能满足独立同分布 “经验”思维 崇尚“经验主义”、让数据本身说话 要全部数据，不要抽样！ 模型不再那么重要，让数据说话 “All models are wrong, but some are useful.” --- 统计学家George Box “All models are wrong, and increasingly you can succeed without them.” --- Peter Norvig 案例：语言翻译 通过有哪些信誉好的足球投注网站去找到相同或者相似的句子，直接返回结果 百度：如果你不离开我，我们会死在一起 四级：你如果不离开我，我就和你同归于尽。 六级：你若不离不弃，我必生死相依。 If you do not leave me, we will die together. 有哪些信誉好的足球投注网站 引擎 案例：IBM沃森问答系统 北京时间2011年2月17日，电脑沃森狂胜人类 三个比赛日的总成绩，沃森获得77147美元，肯·詹宁斯排名第二获得24000美元，而布拉德·拉特只获得了21600美元 。 1.3 整合思维:跨界的创新 数据孤岛的形成 技术的原因 历史的原因 认识的原因 打破数据孤岛，是开展大数据应用的前提 信息化3.0 信息化1.0 信息化2.0 V1.0-V2.0-V3.0 目标 技术 典型应用 特点 机器代替人工 集中数据库 OA,MIS系统 基于数据库的信息系统 部门级应用，信息孤岛 政府部门整体业务过程一体化 分布式数据库 国家“金字”工程 纵向整合,数据大集中 对大数据进行整合分析，创造价值 云计算 大数据系统 舆情分析，打击犯罪 信息开放、融合；大数据 信息化3.0 云计算解决了计算资源的共享问题 大数据技术试图解决数据的利用问题 大数据是由于不同来源的数据汇集而带来的“跨界”型创新应用。 案例：淘宝微贷 淘宝：电子商务平台 淘宝网（taobao）：C2C业务， 天猫（原名淘宝商城）：平台型B2C电子商务服务商 淘网（etao）：一站式购物有哪些信誉好的足球投注网站引擎 开展微贷业务 尽管不能经营储蓄业务，但是支付宝平台有上千亿的存量 基于交易记录，可以进行自动化诚信评价 违约率仅有百分之零点几 跨界应用比比皆是 2014年7月22号，上海。阿里巴巴宣布，和中行、招行、建行等7家银行深度合作，为中小企业提供基于网商信用的无抵押贷款，最高授信额度1000万元。 阿里将平台拥有的数万家企业交易数据开放给银行，降低银行贷款风控成本的同时，亦为苦于无法自证信用的中小企业，提