第一章 大数据技术及实训学习概述-1.1 大数据技术概述.pptx

第一章

大数据技术及实训学习概述

大数据技术概述大数据平台架构大数据开发案例实训学习介绍

1.1大数据技术概述

大数据概念21世纪以来，随着计算机技术，尤其是互联网和移动技术的发展，人们能够获取的数据规模呈爆炸性增长，“大数据”概念应运而生。麦肯锡全球研究院/维基百科定义：大数据(bigdata)，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。《大数据时代》：大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。Gartner机构：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据研究的先河之作《大数据时代》作者维克托·迈尔-舍恩伯格及肯尼斯·库克耶书中讲述了大数据时代的思维变革、商业变革和管理变革

大数据的”4V”特征大数据概念的理解认识大数据，可以从“资源、技术、应用”三个层次来理解：大数据资源：是具有体量大、结构多样、时效强、价值密度低等特征的数据大数据技术：需采用新型计算架构和智能算法等新技术大数据应用：以数据驱动决策、发现新的知识，基于数据、在线闭环的业务流程优化大数据：是新资源、新技术和新应用的综合体大数据新资源新应用新技术

大数据技术发展历史

“大数据”成为国家发展战略2015年大数据政策、文件陆续出台。2016年2017年中央政治局就实施国家大数据战略进行第二次集体学习。地方政府陆续成立大数据局，着手体制机制建设。2018年2019年大数据融入到人工智能、数字经济、数字治理、个人信息保护等相关政策体系中。数据成为继土地、劳动力、资本、技术之后第五种市场化配置的关键生产要素。2020年2021年“十四五”大数据产业发展规划发布，释放数据要素价值和保障数据安全是产业的发展重点。中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见（数据二十条）数据作为新型生产要素,对土地、劳动力、资本、技术等生产要素具有放大、叠加、倍增作用,正在推动生产方式、生活方式和治理方式深刻变革。2022年中共中央国务院印发《数字中国建设整体布局规划》以“整体”思维，破解“跨”的问题，实现“通”的目标。2023年大数据完成顶层设计，上升为国家战略。

大数据技术推动数字经济发展数字经济是以数据资源为关键生产要素，以现代信息网络为重要载体，以信息通信技术的有效使用作为效率提升和经济结构优化的重要推动力的一系列经济活动。——《数字经济及其核心产业统计分类》

大数据技术支撑数字中国建设数字中国建设取得显著成效数字经济：规模达50.2万亿元RMB，占GDP比重41.5%数据资源：存储规模达724.5EB，占全球数据市场43%安全保障:数据安全、个保法、数据出境安全等发布实施促进全社会数据资源自由有序流通是有效释放数字中国创新活力的核心路径建立数据来源可确认、使用范围可界定、流通过程可追溯、安全风险可防范的数据可信流通体系数据可信流通需要可信数据服务全过程支撑，使数据可信、安全、透明、可计量地参与社会化大生产

大数据技术发展走向：数据要素X要素：生产要素指进行社会生产经营活动时所需要的各种社会资源通俗说法：创造商品或服务所需的投入?充分发挥我国海量数据规模和丰富应用场景优势，激活数据要素潜能，做强做优做大数字经济，增强经济发展新动能，构筑国家竞争新优势——《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》土地劳动力资本技术数据(首次提出)

国家大数据局与“数据要素X”三年行动计划42023年3月10日党的二十届二中全会《党和国家机构改革方案》，提出组建国家数据局。2023年12月31日，国家数据局等17部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，计划2024--2026年发挥数据要素的放大、叠加、倍增作用，构建以数据为关键要素的数字经济，是推动高质量发展的必然要求。为深入贯彻党的二十大和中央经济工作会议精神，落实《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》，充分发挥数据要素乘数效应，赋能经济社会发展，特制订本行动计划。一、激活数据要素潜能实施“数据要素x”行动，就是要发挥我国超大规模市场、海量数据资源、丰富应用场景等多重优势，推动数据要素与劳动力、资本等要素协同，以数据流引领技术流、资金流、人才流、物资流，突破传统资源要素约束，提高全要素生产率；促进数据多场景应用、多主体复用，培育基于数据要素的新产品和新服务，实现知识扩散、价值倍增，开辟经济增长新空间；加快多元数据融合，以数据规模扩张和数据类型丰富，促进生产工具创新升级，催生新产业、新模式，培育经济发展新动能。