基于ELK的Packetbeat和watcher数据监控V1.0答案.ppt

基于Packetbeat创建TCP等协议可视化图表 Packetbeat安装好后界面展示的是基于HTTP的应用层数据分析展示，在discover页面，可以看到Packetbeat提供的解析字段： transport和type可以获取到udp、tcp、icmp、dns协议数据，因此在创建绘图时可根据这两个字段帅选出并展示基础协议。具体方法可查看kibana章节 基于Packetbeat创建TCP等协议可视化图表 小结：由于目前Packetbeat中可添加的字段有限，绘制可视化图标展示也较粗糙，没有延迟、重传、地图、链接分析等相关统计 提 纲 ELK基础知识 Packetbeat知识介绍 Watcher知识介绍 业内大数据分析系统调研 Watcher介绍 Watcher是Elasticsearch的一个插件，提供警报和通知，并可定义基于数据的变化简单地定义一个条件，触发指定条件后Watcher会执行相关的警报和通知。 ? 几大功能特点： 1.根据ES数据的变化自动触发通知 如异常登录失败、应用程序响应时间高于平均值，或者发生意外错误时发送通知。 ?2.主动监控Elasticsearch集群 对接Watcher与Marvel服务。可以监控集群状态，如节点加入或离开集群，查询高峰，内存使用率太高时候可以发送通知。 ?3.自定义通知 可以轻松设置电子邮件通知，也可以既集成到第三方的监控服务，如通过Watcher发送警报给Nagios，PagerDuty等 ?4.分析历史记录 可以在Kibana服务中查询Watcher的历史触发记录,支持嵌套或者多级的通知 ?5.高可用支持 Watcher作为ElasticSearch集群的一部分运行，能够很好的应对部分硬件和网络故障。 Watcher案例介绍 ???配置流程： ?? 1.设置定时器和输入源(错误数据的查询条件) ?? 2.设置触发条件（是否查询到了错误数据） ?? 3.设置触发动作(发现错误后执行Action) 监控错误数据案例，每10秒有哪些信誉好的足球投注网站一次数据，发现错误后，记录一条错误记录。 ? Watcher案例介绍 监控ElasticSearch集群状态：每10秒检测一次集群状态，如果集群状态错误，则发送邮件给运维 Watcher在kibana上的监控 当一个Watcher被触发后，watch_record文件被创建且添加到watcher历史索引中，名称形式为watch_history-YYYY.MM.dd，可以像其他Elasticsearch索引一样，有哪些信誉好的足球投注网站watcher历史，在Kibana中监控和可视化watch的执行情况。 在Kibana中配置监控watches： Watcher在kibana上的监控 通过kibana监控Watcher的历史数据 提 纲 ELK基础知识 Packetbeat知识介绍 Watcher知识介绍 业内大数据分析系统调研 业内大数据分析系统调研 开源数据分析系统 （Moloch、haka、bro、beats） 云利来iMAP Riverbed SteelCentral AppResponse BigSwitch自带分析系统 协议 IP、HTTP、DNS、IP Address、Hostname、SSH、IRC、SSL/TLS、DHCP、ICMP、MySQL、PostgreSQL、Redis、Thrift-RPC、MongoDB、Memcache TCP、UDP、HTTP、DNS IP、HTTP、TCP、UDP、DHCP、ICMP等 DHCP、DNS、ICMP 字段解析 byte、byte_in、byte_out、client_ip、client_port、client_proc、connection_id、source.ip，dest.ip，dest.ipv6，direction，type（thrift、http、mysql、pgsql、mongodb、redis、dns、flow），transport，responsetime，port，source.port，dest.port，ip，，dns.response_code，dns.id，icmp_id，method，status，_bytes_total bit、in_bit、out_bit、retransmit、server_latency、client_latency、protocol、protocol_dport、byte、packet、sip、dip、p_oo_oder、out_packet、in_packet、syn_receive、province、city、dport、t_gt400、t_flow、status、domain、url、t_fail、retname、address、