Hadoop运维经验分享.pptVIP

Hadoop运维经验分享 赵云炯 @ebay 2012华东运维技术大会 2008年加入阿里巴巴 云梯管理员 2011年加入SDO 负责搭建并维护hadoop集群 2012年加入ebay 自我介绍 2012华东运维技术大会 hadoop集群搭建 监控 集群性能调优 Hadoop如何被搞垮的 概要 2012华东运维技术大会 Master memory 磁盘 sas + raid10 active-backup bonding IP alias Hadoop集群搭建 2012华东运维技术大会 Editlog 本地一份，NFS一份 NameQuota SpaceQuota 权限控制 /tmp Trash Rack awareness Namenode 2012华东运维技术大会 控制内存 mapred.jobtracker.maxtasks.per.job erval pleteuserjobs.maximum mapreduce.job.counters.limit JobTracker 2012华东运维技术大会 内存不能少于Namenode 控制做checkpoint的次数及时间 fs.checkpoint.period fs.checkpoint.size SecondaryNamenode 2012华东运维技术大会 Disk 2T * 12 ext4 noatime 定期更换坏磁盘，一次一台 网络 如果条件允许，做汇聚绑定（mode 4 bonding) 内存 24G slave 2012华东运维技术大会 内存： map + reduce + tasktracker + datanode 网络 磁盘 注意wio 确定map reduce数 2012华东运维技术大会 End to end 检测hdfs是否可用，是否能跑map/reduce 10分钟一次 fsck GC Full GC 监控 2012华东运维技术大会 Tasktracker Datanode数量 异常作业监控 大作业 读写数据特别多 运行时间特别长 监控 2012华东运维技术大会 GC策略 Editlog 锁 调度 性能调优 2012华东运维技术大会 推荐使用CMS 停顿时间短 /technetwork/java/javase/gc-tuning-6-140523.html#cms 指定heap内存的初始值和最大值相等 -Xms -Xmx GC策略 2012华东运维技术大会 2012华东运维技术大会 所有更改FSNamesystem的RPC Call都需要等待Editlog sync到磁盘才能返回 Editlog 2012华东运维技术大会 减少持有锁的时间 减少锁频率 blockReport 减少锁粒度 使用读写锁 锁 2012华东运维技术大会 调度效率 运行效率 Map locality 小作业 重要的作业 调度 2012华东运维技术大会 创建大堆小文件 创建大堆文件名非常长的文件 DDOS Hadoop killer 2012华东运维技术大会 大量的job tasks 使用大量的counter 往标准输出和标准错误输出大量的信息 Hadoop killer 2012华东运维技术大会 Hadoop bug Linux内核bug JVM bug 交换机故障 爬虫通过job tracker web端抓取job history文件 Session 30分钟过期，导致内存暴涨，频繁full gc bugs 2012华东运维技术大会