hadoop配置注意事项以及常见错误处理办法V1.1.pptVIP

HADOOP配置注意事项以及常见错误处理方法 无线网优数据组 目录 一、安装操作系统以及注意事项 二、hadoop安装的注意事项 三、hadoop参数的配置 四、TDMRO以及LTEMRO采集配置 五、常见错误以及处理办法 安装操作系统以及注意事项 安装介质，必须采用centos6.3或者是centos6.4。其他的版本不行，fedora，ubuntu，RHEL，各种BSD，suse等版本不行。 硬盘分区。按照如下的分区： /boot分区 1G 其余磁盘空间做逻辑卷组（VG）（如果该机器有多个硬盘，把多个硬盘都加入到VG中） / 分区 50G /var 分区 （主节点100G，辅节点30G） swap 分区 30G /home 分区 将系统剩余分区挂载到该目录下。 安装软件选择 安装模式选择Desktop，存储库选择现在自定义。 在自定义库中选择数据库，将MYSQL和postgreSQL的服务端和客户端全部安装。 选择开发，将开发选项中所有的东西全部安装。 选择服务器，将FTP服务器安装。 安装操作系统以及注意事项 安装操作系统以及注意事项 创建用户 用户boco,路径/home/boco 密码集群内保持密码一致。 关闭SELINUX vi /etc/selinux/config 将SELINUX改为disabled 配置主机名 vi /etc/sysconfig/network 建议将集群内主机名修改为cloud0~254 请不要将主节点主机名设置为bogon，会导致安装报错。主要是采用vmvare虚机的时候，会自己设置。 配置字符集 vi /etc/sysconfig/i18n 修改LANG=en_US.UTF-8避免出现各种乱码 同时禁止修改boco用户的字符集，禁止LANG=C,zh_CN.GBK等。 关闭防火墙等操作 chkconfig iptables off;禁止防火墙开机启动 chkconfig --level 345 vsftpd on ;开机启动ftp服务。 配置子节点互通。 vi /etc/hosts 将所有的集群的地址写入到该文件中 安装操作系统以及注意事项 配置sudo功能 vi /etc/sudoers 加入如下的内容：boco ALL=(ALL) NOPASSWD: ALL 配置ssh免key 不仅仅要配置boco帐号，还要配置root帐号。 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa(只需要执行一次) ssh-copy-id (拷贝到集群的每个辅节点) 配置时钟同步 如果网络内有NTP，则将集群内所有节点与NTP同步。 ntpdate?3（网络内NTP SERVER的地址） 如果无NTP，则需要安装PDSH。 pdsh -w ssh:172.16.140.[3,4,5,6,7,8,9] date -s 07:00:00 将时钟同步的命令配置到crontab中。 安装操作系统以及注意事项 配置ulimit。 vi /etc/security/limits.conf mapred - nofile 32768 mapred soft nproc 65535 mapred hard nproc 65535 boco - nofile 32768 boco soft nproc 65535 boco hard nproc 65535 hdfs - nofile 32768 hdfs soft nproc 65535 注意：原安装文档此处存在一处笔误，应该在soft nproc中间存在一处空格。 配置完毕这些之后，重启集群内的每一台机器，让参数生效。 hadoop安装的注意事项 配置集群中每台机器的repo参数 删除集群中每一台机器上原有的repo文件，rm -rf /etc/yum.repos.d/* 然后修改cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件，将文件中的地址换成主节点的地址。 将cloudera-chd4.repo、cloudera-impala.repo和 cloudera-manager.repo文件上传到集群中每一台机器的/etc/yum.repos.d/目录下。 在主节点上安装软件 createrepo-0.9.8-5.el6.noarch.rpm deltarpm-3.5-0.5it.el6.x86_64.rpm ftp-0.17-51.1.el6.x86_64.rpm python-deltarpm-3.5-0.5it.el6.x86_64.rpm vsftpd-2.2.2-11.el6.x86_6