傅一航老师：Hadoop大数据解决方案开发技术培训报告.docxVIP

Hadoop大数据解决方案开发技术培训【课程目标】Hadoop作为开源的云计算平台，为大数据处理提供了一整套解决方案，应用非常广泛。Hadoop作为一个平台框架，包括了如何存储海量数据，如何处理海量数据，以及相应的数据库、数据仓库、数据流处理、数据分析和挖掘算法库，等等。本课程主要介绍Hadoop的思想、原理，以及重要技术等相关知识。通过本课程的学习，达到如下目的：全面了解大数据处理技术的相关知识。学习Hadoop的核心技术以及应用。深入掌握Hadoop的相关工具在大数据中的使用。掌握Hadoop的常用模块的工作原理及开发应用技术。掌握传统数据中心向大数据中心转换的关键技术。掌握海量数据处理的性能优化及维护技巧。【授课讲师】傅一航傅一航，男，计算机软件与理论硕士研究生。在华为工作十年，数篇国家专利。并曾在英国、日本等国做项目，对欧洲、日本的电信市场有比较深的了解。傅老师近十年以来一直从事通信行业的研究与分析，熟悉大数据系统部署与应用、SP增值行业应用、终端应用与服务、4G无线解决方案。对通信行业的市场态势、客户行为、服务效果以及运营分析等方面有深入的接触和研究，特别是针对大数据、4G及LTE标准发展，无线网络演进，网络融合，市场发展及业务应用分析，在业务应用领域投入了更多的精力，积累了相当的知识和见解。近几年专注于Hadoop大数据解决方案架构分析与部署，以及将大数据的数据分析、数据建模、数据挖掘应用于行业及商业领域，解决行业实际的问题。将大数据应用于运营决策，帮助企业提升运营决策能力；应用于市场营销，通过大数据营销，解决营销中的用户群细分，产品定位，精准营销，精准促销等实际问题，提升营销效果，节省营销费用，以及市场预测、用户行为预测等。2009与英国电信BT、荷兰Zesko运营商交流，探讨3G业务的开展与市场分析，2010年与菲律宾、印尼电信运营商会议，探讨3G业务应用发展状况分析，2012年与日本软银SBM，实施4G网络解决方案及4G业务应用分析；2013年与中国移动提供网络融合、网络互操作、VoLTE等MBB解决方案。获得国家专利：1.CN1925642:对集群用户进行处理的方法和集群用户处理系统2.CN101114999A:数据发送控制方法及数据传输设备3.CN101119183A:重传控制方法及传输设备4.CN101483847A:实现策略控制的方法、装置及系统5.CN101605359B:一种切换过程中转发数据的方法、无线实体和基站 【授课时间】2~5天时间（全部模块讲完需要5天时间，可以根据时间需求拆分内容模块）。【授课对象】网络部、大数据系统开发部、大数据中心、网络运维部等相关技术人员。【授课方式】原理精讲+案例演练+开发实践+系统优化【课程大纲】第一部分：Hadoop的基本框架大数据时代面临的问题当前解决大数据的技术方案Hadoop架构和云计算Hadoop简史及安装部署Hadoop设计理念和生态系统第二部分：HDFS分布式文件系统：海量数据存储的摇篮HDFS的设计目标HDFS的基本架构NameNode名称节点SecondaryNameNode第二名称节点DataNode数据节点HDFS的存储模型数据块存储元数据存储（空间镜像与编辑日志）多副本存储多副本放置策略多数据节点管理机制与交互过程文件系统操作与管理读文件过程写文件过程（数据流管道）数据完整性机制数据校验和数据完整性扫描线程元数据备份与合并数据可靠性设计安全模式（数据块与节点映射关系管理）心跳检测机制（节点失效管理）租约机制（多线程并发控制）其它HDFS的安全机制负载均衡文件压缩操作接口与编程接口HDFS ShellHDFS CommandsWebHDFS REST APIHDFS Java API演练：HDFS文件操作命令演练：HDFS编程示例第三部分：MapReduce分布式计算系统：海量数据处理的利器MapReduce的三层设计理念分布治之的设计思想（Map与Reduce）数据处理引擎（编程模型）运行时环境（任务调度与执行）MapReduce的基本架构JobTracker作业跟踪器TaskTracker任务跟踪器MapReduce与HDFS的部署关系MapReduce编程模型概述编程接口介绍Hadoop工作流实现原理MapReduce作业调度机制MapReduce作业生命周期作业调度策略静态资源管理方案数据并行处理机制（五步骤）Input阶段实现Map阶段实现Shuffle阶段实现Reduce阶段实现Output阶段MapReduce容错机制任务失败与重新尝试节点失效与重调度单点故障MapReduce性能优化优化方向与思路磁盘IO性能优化分片优化线程数量优化内存优化压缩优化MapReduce操作接口Job ShellWeb UI案例演练：MapRe