日志分析系统与推荐平台.pdf

日志分析系统与推荐平台 讲师：董西成 小象科技 让你的数据产生价值 主要内容 1. 日志分析系统 2. 分布式推荐平台 小象科技 让你的数据产生价值 主要内容 1. 日志分析系统 2. 分布式推荐平台 小象科技 让你的数据产生价值 日志数据特点  数据源多样化  流式数据  高并发  数据量大  近实时分析与离线处理 小象科技 让你的数据产生价值 日志系统基本要求  支持多种数据源  保证数据不丢失（少量丢失）  数据集中存储  近实时分析和离线分析 小象科技 让你的数据产生价值 互联网日志系统基本架构 小象科技 让你的数据产生价值 日志收集系统scribe 小象科技 让你的数据产生价值 日志收集系统kafka 小象科技 让你的数据产生价值 日志收集系统Flume 小象科技 让你的数据产生价值 日志收集系统总结  Agent 封装数据源，将数据源中的数据发送给collector，应该支持多种数据源， 自定义数据源等  Collector 接收多个agent的数据，并进行汇总后导入后端的store中  Store 中央存储系统，应该具有可扩展性和可靠性，应该支持当前非常流行 的HDFS 小象科技 让你的数据产生价值 日志收集系统对比 scribe Kafka Flume 公司 facebook LinkedIn Cloudera 开源时间 2008年10月 2010年12月 2009年7月 实现语言 C/C++ SCALA JAVA 框架 push/push push/pull push/push 容错性 collector和store之间有 Agent可用通过collector Agent和collector ， 容错机制，而agent和 自动识别机制获取可用 collector和store之间均 collector之间的容错需 collector 。store 自己保 有容错机制，且提供了 用户自己实现 存已经获取数据的偏移 三种级别的可靠性保证。 量，一旦collector出现 故障，可根据偏移量继 续获取数据。 负载均衡 无 使用zookeeper 使用zookeeper 可扩展性 好 好 好 agent Thrift client ，需自己实 用户需根据Kafka提供 提供了各种非