（浙教版2019）信息技术必修一4.2 大数据处理 课件.pptx

浙教版（2019)必修1数据与计算4.2大数据处理

学习目标1.了解大数据处理的基本思想与架构（学科核心素养：信息意识）2.能够编程处理数据，进行文本数据处理（学科核心素养：信息意识、计算思维）3.能够根据实际问题，选择恰当的方式把数据可视化，提升利用数字化工具解决实际问题的能力，进而提升信息技术学科素养。（学科核心素养：信息意识、数字化学习与创新）

新课导入观看图片：生活中常见的大数据

新课导入观看图片：生活中常见的大数据

新课导入观看图片：生活中常见的大数据

新课导入观看图片：生活中常见的大数据

新课导入同学们，这些都是大数据在生活中的应用，前面咱们也学习了如何处理表格数据。大数据具有数据量大、数据来源与类型多样、处理速度快等特点，简单的表格处理软件已经无法满足大数据的处理需求，同时，大数据技术、理论和处理方法也在不断发展，为大数据的处理提供了越来越有力的支持。

任务探究任务一：大数据处理的基本思想与架构1.了解大数据处理的基本思想与架构小组为单位，结合课本及网络资源总结归纳大数据处理的基本思想与框架，并填写下表，班级分享。大数据处理的基本思想与架构

任务探究大数据处理的基本思想与架构处理大数据时，一般采用分治思想。分治，字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多个相同或相似的子问题，找到求这几个子问题的解法后，再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决，可以再把它们分成几个更小的子问题，以此类推，直至可以直接求出解为止。在数据量较小的情况下，程序的处理速度是非常快的。如果数据量、单词词汇量非常大（数十亿），那么运行这个程序、处理数据的速度将变得非常慢。随着计算机数量的增加，发生机器故障、网络故障的风险不断增加。这就需要一台或多台计算机负责管理，并运行专门的软件检测计算过程中的故障，在检测到故障时能重新安排计算任务。这种“分治”的思想就是处理大数据的基本思路。

任务探究任务一：大数据处理的基本思想与架构2.了解分布式计算与并行处理分布式计算（DistributedComputing）是把一个需要非常巨大的计算能力才能解决的问题分成许多小部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。例如，利用分布在世界各地成千上万台闲置计算机的计算能力，分析来自外太空的电信号，探索可能存在的外星智慧生命。并行处理（ParallelProcessing）是计算机系统中能同时执行两个或更多处理的一种计算方法。并行处理的主要目的是节省大型和复杂问题的处理时间。

任务探究任务一：大数据处理的基本思想与架构3.了解常见大数据处理类型目前，大数据处理按照类型可划分为对静态数据的批处理、对流数据的实时计算和对图结构数据的图计算。

任务探究任务二：了解批处理计算1.了解批处理计算工具，并填写下表。批处理工具HadoopSpark

任务探究任务二：了解批处理计算1.了解批处理计算工具，并填写下表。批处理工具HadoopSparkHadoop是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算。借助Hadoop，程序员可以在不了解分布式底层细节的情况下，轻松编写分布式并行程序，将其在计算机集群上运行，完成海量数据的存储与分析。Spark是一种与Hadoop相似的、应用较广的开源分布式计算架构。Spark启用了内存存储中间结果，运行速度比Hadoop快很多。

任务探究任务二：了解批处理计算2.了解Hadoop的发展史及组成HadoopHadoop的发展史Hadoop的发展史：Hadoop诞生于2002年的ApacheNutch项目。2006年，Hadoop从Nutch中独立出来成为顶级项目。2008年，Hadoop成为Apache顶级项目，被广泛应用于大数据处理领域。随后，其不断发展完善，功能日益强大。众多企业开始采用Hadoop处理海量数据，如日志分析、数据仓库等。如今，Hadoop生态系统不断丰富，包括Hive、HBase等组件，为大数据存储、计算和分析提供了强大的解决方案，在全球范围内持续发挥着重要作用。

任务探究任务二：了解批处理计算2.了解Hadoop的发展史及组成

任务探究任务二：了解批处理计算3.自主阅读课本124-126页内容，了解分布式数据库HBase、分布式并行计算模型MapReduce、分布式文件系统HDFS等。分布式文件系统HDFSHBase是一个高可靠、高性能、可伸缩、分布式的列式数据库，是谷歌BigTable数据库的开源实现。与传统关系型数据库采用基于行的存储形式、用于管理表格类的结构化数据不同，