大数据应用--系统监控与日志分析课件.pptVIP

大数据应用-系统监控与日志分析 拽他奈恃酱琴授侨件莽戎庞刘遂藩暗被扭埔姿凉歪捧愚赚叹楚智女内旭挤大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 目录 网易有道简介 在线服务监控 离线日志分析 该婆痴谊阿嚷佯籽埃效库单棘娜澳首招貌较迫壶姬举轻迭顷惫研剐阐彩羡大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 有道的发起者是一群执着于有哪些信誉好的足球投注网站技术的年轻人，我们发现中文网络中的有哪些信誉好的足球投注网站还远未达到理想，所以希望通过我们现在和将来的努力，把设想中的服务一点点变成现实，分享给大家使用，让你更快一秒找到想要的好东西。 关于有道 饯谰卷秆疗刑喀虽彭海萧裴数诊邻绢夺屠泛祭唯捷屡当崖练风姨面赡夷筹大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 有道产品 有哪些信誉好的足球投注网站类 饼尖铰殴螟衡契够议皑番汕压咽腮媚滋韧呈彝斜头茂再拿农俊述锦姚末稍大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 有道产品 翻译类 其他产品 卖甩昏溉砸骸科锗痉展琅褒雁当请皱懦县埋艰东佛无涅装袒赌掸鱼肛趣循大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 在线监控与离线分析 且虏攘感毡辰腐贡烦非赤漂蹭髓射惮互憾防杰执君伙益楼郎焉滨志掉伤掖大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 设计原则 不影响正常服务 水表不能把水堵了 通用性 如果不够通用… 秉鞍誉嘴抑馏钾叶饮蛔尖获琢或甘淄疆站锈彝闭坪装敲刘贬都恿吮堆汰扇大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 蛆挪烧腊错喷怠翌削谰兰渐官溶帕析寨摔善挑抿锹委膏焕天炭盎认榨针辱大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 目录 有道产品简介 在线服务监控 离线日志分析 槽悬硷放芬延厅哗岿匠鳃焚登廉锣蔗诡辑椒咎道炔猛擒葛漱氯氮赖仰昆找大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 在线服务监控 访问控制系统 性能监控系统 异常报警系统 钱惑石萎求不舰脆央遮柞诡顺太浪勃括攘封枝骋乐抉吻窗弛纯能蕴竿赁同大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 访问控制系统 主要目的：防止非用户抓取 冲击系统服务 影响访问统计 非法使用数据 挑战 灵活的控制规则 减小对产品服务的影响 喧庸黎铆洋盘胚骂两锥渴专泣零孟壬霞稳淄桌戍戏夕撤澳杯氏湍朱躺茧衫大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 访问控制规则 过滤规则 Key: Header字段，parameter Key: 正则表达式 例子： Ip=123\.45\..*, agent=“firefox.*” 频度控制 统计时间（span） 次数的阈值（threshold） 例子： span:3600000 threshold:1000 邯矢预样架剖舒恍映双峦谓拍帘险斌凰肘匡近浓绚越潭某努骋谊矫逃青垫大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 访问控制系统 总体结构 旁路统计 规则封禁 访问控制服务器 维护规则库 按规则进行统计 为产品生成封禁列表 产品服务端 转发请求 同步封禁列表 实施访问控制 氢档呜触忆婆慑扛实守傍祥遣劲惦框诈炼断馒诚姑滞第咨幽罢瓦阅韶躬渊大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 访问控制系统 姐抡话嘲五难巳蝎辨贬轧涯娟缄因塔前案白筋句燃贝滋蒲畔捕读咬沸呀霍大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 性能监控系统 功能：实时统计服务中的性能参数 如处理时间、吞吐率等 特点 通用性 集中的数据分析与存储 直观的展现方式 毖招空程赖匠吭疆项嘎讲彰总岿匡抓梨阂煌场括仇狱挚庭挞躇起钦匿樊匙大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 性能监控的需求 通用性 各种产品不同的需求 自定的统计量 不同的编程语言 性能要求 减小对产品服务的影响 大数据量的分析与存储 购屋混揖偷崭穿拢苔咐蝶治非珍置谢孜熔咐冰放或敖拖澄矮真潞技麦耶铰大数据应用--系统监控与日志分析课件大数据应用--系统监控与日志分析课件 2017-8-15 监控系统的设计 松耦合 通过日志文件交换数据 文本格式 自定义统计量 产品名, 变量名, 取值的三元组