数据分析与可视化实践 大数据思维与技术 教学PPT课件.pptxVIP

第1章 数据思维 学习目标1.理解数据、信息、知识、智慧之间的区别及联系2.了解数据思维的本质3.了解大数据思维的本质4.了解大数据技术? 1．2 大数据思维与技术 1．2．1 认识大数据数据量增加数据结构日趋复杂数据来源不断丰富，形成了多源异构的数据形态,其中非结构化数据包括全文文本、图像、声音、影视、超媒体等信息所占比例逐年增大。大数据是指无法在一定时间内用常规软件工具对其内容进行提取、管理和加工处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。TBPBEBZB 1．2．1 认识大数据2．大数据的特点体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效 1．2．1 认识大数据3．大数据时代的商业变革 商业模式是指一个完整的产品、服务和信息流体系，包括每一个参与者和其在其中起到的作用，以及每一个参与者的潜在利益和相应的收益来源和方式。 传统的商业智能已经应用了数据仓库、线上分析处理、数据挖掘和数据展现技术，对企业自身的数据进行存储、清理、索引和分析，并能够提供包括客户价值评价、客户满意度评价、服务质量评价、营销效果评价、市场需求评估等各种基于简单统计和关联挖掘的报表以实现商业价值。 1．2．1 认识大数据3．大数据时代的商业变革数据仓库线上分析处理数据挖掘数据展现技术企业自身的数据存储清理索引分析客户价值评价客户满意度评价服务质量评价营销效果评价市场需求评估基于简单统计和关联挖掘的报表传统的商业智能 1．2．1 认识大数据3．大数据时代的商业变革大数据的商业智能应用体系 1．2．1 认识大数据大数据的三个时代大数据1.0时代追求从数据到分析，从分析到更多更好的数据，再到更深入分析这样的正向循环。大数据2.0时代强调的是数据的外部性。它是指企业用自身业务产生的数据，这些数据不只是对企业内部有价值，还可以去解决主营业务以外的其他问题，获得重大的价值；或者引入非企业自身业务的外部数据，来解决企业自己遇到的问题。大数据3.0时代将带领人们进入真正的大数据时代。个人、团队和企业可以通过数据API接口或付费使用数据产品，数据中心、运营商，大家共同分享数据产品的利益。 1．2．1 认识大数据4．大数据时代的科学变革大数据的价值网页数据检索世界上必威体育精装版最全的信息方位数据借助GPS快速到达目的地生物特征数据进行身份识别认证情绪数据根据快乐与否判断股市的涨跌 1．2．1 认识大数据4．大数据时代的科学变革大数据带来了很多新的重要的科学问题，如预测任务、描述任务，其中最重要的是预测。预测问题主要可以分为两类，一是趋势预测，二是缺失信息预测。趋势预测是指通过事物的一些基本属性信息和早期的态势分析，预测事物发展的潜在趋势和最终影响力假设观察到的信息只是全部真实信息的一部分，缺失信息预测就是探讨如何利用当前信息去预测未观察到的信息数据科学是利用计算机的运算能力对数据进行处理，从数据中提取信息，进而形成“知识”数据科学 1．2．1 认识大数据5．大数据的战略地位大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机作为动力机的第一次工业革命和以电力的广泛应用为主要标志的第二次工业革命相媲美。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力；对数据的拥有、占有、运用和控制将成为综合国力的重要组成部分，大数据领域的竞争，事关国家、企业的安全和未来，将成为国家间和企业间新的争夺焦点。大数据的作用 1．2．1 认识大数据5．大数据的战略地位大数据的国家战略2012年3月29日，美国政府宣布“大数据研究和发展计划”2012年5月，我国召开第一个以大数据为主题的重大科学工作会议。2012年12月13日，“中关村大数据日”活动会2013年3月5日～7日，举办主题为“大数据技术与应用中的挑战性科学问题”的论坛2013年5月16日，国家发改委高技术服务业研发与产业化专项“基础研究大数据服务平台应用示范”项目启动2013 年是大数据应用之年2014年3月，大数据首次写入中国中央政府工作报告2015年10月，党的十八届五中全会正式提出“实施国家大数据战略，推进数据资源开放共享”2018年5月，中国国际大数据产业博览会 1．2．2 大数据思维的