生产环境的hadoop集群安装.pptx

生产环境的Hadoop集群安装;Enterprise Redhat Linux Oracle JRE 1.6以上 保持所有节点操作系统和软件版本一致 Hadoop 1.x 稳定版本;网络规划;动态添加/删除节点 平衡hdfs节点数据 单独运行namenode和jobtracker 使用JMX对Hadoop进行监控;Hadoop 版本介绍;Hadoop升级和优化;总共有接近200个配置项 mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml project-dist/hadoop-hdfs/hdfs-default.xml project- mon/core-default.xml;dfs.name.dirdfs.data.dirdfs.tmp.dirdfs.replicationdfs.block.sizefs.trash.interval ;默认值：2 说明：控制每个TaskTracker同时运行的Map或Reduce任务数 建议值：CPU核数/2;默认值：10 说明：namenode,datanode和jobtracker用于处理内部RPC的线程数 建议值：对于节点比较多的集群，使用更多的线程;默认值：-Xmx200m 说明：jvm启动的子进程使用的启动参数 建议值：-Xmx1024m -XX:+UseConcMarkSweepGC;默认值：0.05 说明：默认是在5%的map任务完成后，就开始调度reduce进程启动 建议值：0.5;默认值：40 说明：用于map任务的输出 建议值：对于大集群，使用更多的线程;默认值： 100 说明：排序内存使用限制 建议值：200，建议使用更大的内存;默认值：10 说明：排序文件的时候一次同时最多可并流的个数 建议值：100;默认值：false 说明：map输出是否进行压缩，如果压缩就会多耗cpu，但是减少传输时间，如果不压缩，就需要较多的传输带宽 建议值：true;默认值：0.66 说明： reduce归并接收map的输出数据可占用的内存配置百分比;默认值： 0.25 说明：一个单一的shuffle的最大内存使用限制。;单个进程打开的最大文件数 /etc/sysctl.conf fs.epoll.max_user_instances = 2048 /etc/security/limits.conf * soft nofile 2048