企业级大数据分析平台实践案例必威体育精装版课件.pptVIP

（续） # # 配 置 Sink a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.useLocalTimeStamp = true a1.sinks.k1.hdfs.path = hdfs://master1/user/hdfs/flume/collector1 ＃ a1.sinks.k1.hdfs.path = /user/hdfs/flume/collector1 a1.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H a1.sinks.k1.hdfs.fileSuffix = .log a1.sinks.k1.hdfs.minBlockReplicas = 1 a1.sinks.k1.hdfs.fileType = DataStream a1.sinks.k1.hdfs.writeFormat = T ext a1.sinks.k1.hdfs.rollInterval = 86400 a1.sinks.k1.hdfs.rollSize = 1000000 a1.sinks.k1.hdfs.rollCount = 10000 a1.sinks.k1.hdfs.idleTimeout = 0 （续） # # 配 置 Channel a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # # 将三者连接 a1.sources.r1.channel = c1 a1.sinks.k1.channel = c1 分布式 WEB 日志分析案例 准备实验环境 ? 挂载光盘，并且安装 nginx 服务 # mount /dev/sr0 /mnt/cdrom # yum install nginx ? 准备 web 服务器日志，开启 nginx 服务器 # systemctl start nginx ? 开启服务后可以通过查看 /var/log/flume/flume.log 来看到运行 日志。 准备实验环境 ? 创建日志导入 hdfs 的目录 # su - hdfs $ hadoop fs -mkdir /user/hdfs/flume/collector1 $ hadoop fs -chmod -R 777 /user/hdfs/flume Nginx Web 界面 在地址栏输入开了 nginx 服务的机器 IP 即可。 启动代理 ? 启动代理 a1 # flume-ng agent --conf /etc/flume/conf/ \ --conf-file /etc/flume/conf/flume.conf \ --name a1 ? 启动之后打开 Web 端 http://192.168.X.X 或者执行 # wget http://192.168.X.X 都可访问 nginx 页面。 此时本地的 nginx 日志即可传输到 hdfs 当中。 运行结果 程序运行结果，日志在 hdfs 上的存储结果 配置 mapred-site.xml Name mapreduce.map.java.opts mapreduce.map.memory.mb mapreduce.reduce.java.opts mapreduce.reduce.memory.mb Value 作用 -Xmx1024M 运行 Map 任务的 JVM 参数 31 Container 这个进程的最大可用 内存大小 -Xmx1024M 运行 Reduce 任务的 JVM 参数 63 Container 这个进程的最大可用 内存大小 注：以上设置内存值情况为 MR 任务因内存问题卡死即可据此设置，值不唯一 配置 yarn 的 linux 本地目录 # touch /etc/hadoop/conf/yarn-env.sh # mkdir -p /hadoop/yarn/local # chown yarn:yarn -R /hadoop/yarn/local 启动服务 ? 在 master2 上开启 resourcemanage