Hadoop部署配置指南.pptxVIP

知识点HADOOP简述

3Hadoop部署1引例2简述HADOOP简述

EBay的第一个大型Hadoop集群是500个节点组成的Athena，集群只用了不到三个月就建成了，然后开始高速处理预测模型、解决实时问题，后来随着业务的需求，集群也在不断扩容。EBay的Hadoop集群，既用于日常生产作业，又用于一次性作业。使用Hadoop的公平调度器（FairScheduler）来管理资源分配、为各小组定义作业池、赋予权重、限制每个用户和小组的并行作业，并且设定抢占超时和延迟调度。EBay早在2007年左右，就开始尝试基于Hadoop的大数据平台搭建了。引例

Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统.引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。Hadoop简述

作用领域大数据存储分布式存储日志处理：擅长日志分析ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库机器学习:比如ApacheMahout项目有哪些信誉好的足球投注网站引擎:Hadoop+lucene实现数据挖掘：目前比较流行的广告推荐，个性化广告推荐Hadoop简述

Hadoop的每个配置文件也需要我们手工配置，这种方式安装的优势比较灵活，集群服务器也不需要连外网，但这种方式对开发人员的要求比较高Hadoop部署

修改sudoers创建Hadoop用户Hadoop部署1）useraddhadoop设密码passwdhadoop命令usermod-ghadoophadoop2）vi/root/sudo添加一行hadoopALL=(ALL)NOPASSWD:ALL编辑/etc/sudoers文件#也就是输入命令:vi/etc/sudoers#进入编辑模式，找到这一行：rootALL=(ALL)ALL#在它的下面添加:hadoopALL=(ALL)NOPASSWD:ALL#这里的hadoop是你的用户名，然后保存退出。撤销文件的写权限#也就是输入命令:chmodu-w/etc/sudoers

Hadoop部署设置环境变量编辑/etc/profile文件vim/etc/profile输入以下配置环境变量exportJAVA_HOME=/home/hadoop/software/jdk1.8.0_121exportSPARK_HOME=/home/hadoop/software/spark21exportSCALA_HOME=/home/hadoop/software/scala-2.11.8exportSQOOP_HOME=/home/hadoop/software/sqoopexportHADOOP_HOME=/home/hadoop/software/hadoop2exportPATH=$PATH:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbinexportHADOOP_MAPARED_HOME=${HADOOP_HOME}exportHADOOP_COMMON_HOME=${HADOOP_HOME}exportHADOOP_HDFS_HOME=${HADOOP_HOME}exportYARN_HOME=${HADOOP_HOME}exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoopexportHIVE_HOME=/home/hadoop/software/hadoop2/hiveexportPATH=$JAVA_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportPATHUSERLOGNAMEMAILHOSTNAMEHISTSIZEHISTCONTROLexportFLUME_HOME=/home/hadoop/software/flume…保存后环境变量还没有生效，执行以下命令才会生效。source/etc/profile#然后修改下Hadoop的安装目录为Hado