flume+mongodb流式日志采集技术文档.pdfVIP

流式日志采集技术文档 背景：由于工作需要，需要搭建一套流式日志采集系统，解决公司目前众多跨项目、 跨部门、跨地域日志的问题，每天产生的日志通过 flume 从源头自动采集并过滤持久 化到 mongodb 中。 前言：由于本人以前从未接触过 Liunx ，更别说flume 和 mongodb ，加上网上这方 面的资料页不是很全，故在这次搭建完成后，进行此次文档的整理 技术：flume+mongodb。 Flume 介绍：首先flume 是一个分布式、可以大量收集日志信息，并且通过管道 运输到指定位置。Flume 可以从控制台、日志文件、指定 IP 的端口实时监听数据。拿 到这些数据后通过过滤器或者追加信息的过滤器将数据传入管道，最后由 mongodb 来 接收 ，当然接收端可以是HDFS ，hbase 等等. 结构如下图，更能直观的看出来 每个 flume 都是用一个一个 agent(代理)的配置去执行，从指定的source 获取数据， 然后进入指定的管道，再到 sink 接收端。单个可以这样理解, Flume 中把采集到的数据 叫event 流式的集群的概念如下图 配置不同的 agent ，让很多的flume agent 形成一个集群，收集到各式各样的数据，进 入持久化数据库。 Mongodb 介绍 Moggo DB 是目前 IT 行业内比较流行的一种 Nosql 数据库，也就是所说的非关系型数 据库，在 mongoDB 中存的每一个数据其实都是 Document 对象，而在 mongodb 中做 增删改查不需要 sql 语句，提供了方法来执行，比如 db.test.save(“test”,”test”),db.test.find(); 等等 重点来了如何搭建流式 flume+mongodb 日志采集系统 Flume 安装及搭建 （1 ）flume 运行的前提是要有java 运行环境,jdk 下载并安装，配置好环境变量后，运 行java,javac,java –version 命令有提示，则表示安装成功（注 ：虚拟机小红帽系统默 认有 JDK 环境，必须卸载默认 JDK 后，安装自己的即可 ，被这个默认 JDK 整了我半天 才找到是它的问题，切记 ） （2 ）安装 flume 第一步 ：先去官网下载 flume-ng 必威体育精装版版本（flume 1.0 之前的版本都叫 flume – og,之后的版本都要 flume-ng ），下面是传送门 /dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz。 第二步 ：flume 往 mongodb 集成还需要 mongodb java driver jar 包的支持，下 载地址为 /content/repositories/releases/org/mongodb/mongo-java- driver/2.13.0/mongo-java-driver-2.13.0.jar。 第三步 ：需要李龙大神写的管道传输解析的代码 flume-ng-mongodb-sink ，下面 是源码下载的地址 /leonlee/flume-ng-mongodb-sink 特别注意 ：flume-ng-mongoob-sink 需要自己编译打包，可以通过 eclipse 打包，也可以通 过 maven 打包(cd 到 pom.xml 所在位置，然后输出命令 mvn clean package ，当然这点是 需要你有 maven 的环境的)。 第四步 ：将 mongo-java-driver 和 flume-ng-mongodb-sink 两个jar 包放到 flume/lib 目录下。好了目前安装完成 （3 ）配置flume 第一步 ：让flume 能找到java 环境，在flume/conf 下的fime-env.sh 文件中更改 JAVA_HOME 的配置如图 第二步 ：在flume/bin 下创建一个 logconf.conf 文件（如 touch /usr/flume/bin/logconf.conf ） 然后编辑如下图信息. 其中数据源的类型有很多种，具体如下 Source 类型 说明 Avro Source 支持Avro 协议（实际上是 Avro RPC ），内置支