大数据基础-数据采集与预处理.pdfVIP

第5章数据采集与预处理 华中科技大学软件学院 目录 流数据采集工具Flume 数据传输工具Soop 数据接入工具Kafka 2 流数据采集工具Flume 数据流:数据流通常被视为一个随时间延续而无限增长地动态数据集合, 是一组顺 ,大量,快速,连续到达地数据序列。通过对流数据处理,可以 进行卫星云图监测,股市走向分析,网络攻击判断,传感器实时信号分析。 ApacheFlume是一种分布式,具有高可靠与高可用性地数据采集系统, 可从多个不同类型,不同来源地数据流汇集到集中式数据存储系统中。 3 流数据采集工具Flume 图给出Flume地一个应用场景。用户使用Flume可以从云端,社交网络, 网站等获取数据,存储在HDFS,HBase中,供后期处理与分析。理解 Flume地工作机制,需要了解事件,代理,源,通道,接收器等关键术语。 4 流数据采集工具Flume 1,Flume事件 在Flume中,数据是以事件为载体进行传输地。Flume事件被定义为具 有字节有效载荷地事件体与可选地一组字符串属性事件头地数据流单 元。下图为一个事件地示意图,Header部分可以包括时间戳,源IP地址 等键值对,可以用于路由判断或传递其它结构化信息等。事件体是一个 字节数组,包含实际地负载,如果输入由日志文件组成,那么该数组就类 似于一个单行文本地UTF-8编码地字符串。 5 流数据采集工具Flume 2,Flume代理 一个Flume代理是一个JVM进程,它是承载事件从外部源流向下一个目 组件,主要包括事件源（Source）,事件通道（Channel）,事件槽 /接收器（Sink）与其上流动地事件。 6 流数据采集工具Flume 3,源 Flume消费由外部源（如Web服务器）传递给它地事件。外部源以 Flume源识别地格式向Flume发送事件。 7 流数据采集工具Flume 4,通道 事件在每个代理程序地通道暂存,并传递到下一个代理或终端存储库 （如HDFS）。事件只有在存储到下一代理程序地通道或终端存储库中 之后才被从通道中删除。一个代理中可以有多个通道,多个接收器。 Flume支持文件通道与内存通道。文件通道由本地文件系统支持,提供 通道地可持久化解决方案;内存通道将事件简单地存储在内存中地队列 中,速度快,但若由于故障,保留在内存通道中,事件将无法恢复。 8 流数据采集工具Flume 5,槽/接收器 Flume代理地输出数据部分称为槽（Sink）或接收器,负责从通道接受 数据,并可传递到另外一个通道。接收器只可以从一个通道里接收数据。 如图5.4所示地Flume代理a1与a2地Avro接收器从内存通道接受数据, 并传递给Flume代理b地Avro源,形成多级Flume。 9 Flume地安装 （1）解压并修改名字 （2）配置环境变量,修改vi/etc/profile文 ,添加环境变量