SGMSplunk非结构化数据管理-常熟农商银行.DOC

项目背景 从2015年起，我行核心账务系统、柜面系统、网银系统、人行二代支付系统、银联系统及本、异地同城支付系统等系统上部署了应用监控系统。实现了从面向业务和交易的角度，对业务系统的实时监控。一旦业务系统发生异常，可以提前预警，为运维人员争取更多的故障处理时间和故障解决依据，构建了端到端、全路径的应用性能监控平台，实现了应用梳理、实时监控、智能告警、交易统计、追踪查询等功能。考虑到应用监控项目涉及内部各个业务系统，去年进行了项目一期的实施，今年进行二期项目的梳理和实施。 目标及范围 项目目标 应用系统监控分析与实施项目的具体目标如下： 建立应用整体监控策略体系： 确定应用整体监控策略：根据我行以往应用监控、定位及处置经验，结合实施商项目经验，确定我行应用整体监控策略，应包括：应用监控范围、应用监控内容、应用监控工具原则、应用系统监控开发技术规范等关键要素【考虑按照：渠道、中转、核心、外联等类型分别制定监控策略】； 制定应用监控技术规范：为实现对于关键应用系统的各项关键监控指标（如：交易状态等）的采集，针对新开发系统、已有系统，以及不同开发平台（如：C环境、JAVA环境等）制定相应的应用监控开发技术规范【如：交易链的跟踪要求】； 完善非功能需求监控部分：结合应用整体监控实施策略，完善我行应用系统开发非功能性需求的监控部分，以便相关管理要求及技术规范的落实； 实现应用整体生产环境监控： 应用整体生产环境梳理与分析：针对我行关键应用系统，全面梳理并分析整体生产环境所涉及的各技术层面、相关层面等内容，明确关键系统所需监控的层次与维度； 应用整体环境监控指标确定：根据已梳理的应用整体生产监控环境，确定各层面、各维度的监控指标，并给出采集方法、判别方法、处置建议等关键信息； 应用整体环境监控技术实现：根据应用整体监控环境及相关监控指标，通过相关的监控工具及技术手段加以实现，其中应包括：指标采集、数据处理、数据展现、数据分析等关键功能； 实现应用关联关系实时监控： 应用组件构成关系监控：梳理构成应用的各类技术组件的构成关系，并通过技术手段实现实时运行监控。【组件关系】 根据应用管理团队梳理的应用之间服务关联关系（会话层关系)，并结合自动扫描手段，实现应用系统之间服务关联关系的实时监控与报警。【会话关系】 应用交易关联关系监控：根据应用管理团队梳理的应用系统之间交易关联关系，并结合技术手段，实现交易关联关系的自动采集与监控【实现业务链的整体监控与跟踪】 实现应用故障定位及详细分析： 应用故障的监控与定位：基于应用整体监控实现及关联关系监控手段，实现应用故障的发现与定位能力，并能够根据报警情况，动态调整监控策略； 应用故障信息实时采集：在应用系统发生故障的情况下，能够根据已有策略，执行相应操作，实时采集故障现场数据，以便深入分析； 应用故障成因详细分析：根据应用故障实时采集数据，能够通过工具的辅助分析，结合技术人员具体经验，给出应用故障成因及改进建议； 项目范围 项目涉及的范围 本次项目涉及的范围为常熟农商银行关键应用系统，监控点位扩充至20个，二期项目包括手机银行、电子渠道、统一P、ESB等重要系统，约5个监控点需要二次开发。常熟农商银行有权按照实施过程中的实际情况，灵活分配监控点的使用。 监控实施的范围 本次应用系统监控分析与实施项目，将从实施的技术层面，划分为如下几个主要的实施范围： 应用整体环境动态监控实施范围：针对我行关键应用系统，实现应用整体环境的监控梳理与实现工作【重点为应用组件层关系】； 应用服务层关系动态监控实施范围：重点实施重要应用系统的服务层关系梳理与动态监控工作【服务层/会话层关系监控】； 应用交易层关系动态监控实施范围：核心应用系统的重点交易状态及关系的动态监控； 技术指标 序号 指标项 指标要求 1 基本要求 *nix操作系统。 系统采用B/S架构，无须安装客户端程序。 系统支持中文界面，并提供中文手册。 2 数据采集 系统用旁路方式获取网络数据包，不向网络中发送任何数据包，不占用被监控系统主机资源，不对业务应用产生任何影响。 系统提供数据包捕获分析功能。 支持收集流量管理平台保存的网络数据包文件，支持cap、pcap格式。 提供数据归档管理功能，可设置数据过期时间。数据存储时间可由用户自行选择无限制。 支持数据源自检，能够检测数据包在捕获环节是否存在捕获时丢包，并进行统计。 3 部署方式 支持分布部署、统一监控部署方式。 支持双中心、多中心部署模式。 支持负载分担部署模式，可以跨多个服务器对于所收集数据进行分布式统计、关联和集中呈现。 系统支持多种TCP连接模式的应用交易解码分析，包括常规TCP连接、TCP长连接、异步双工模式的TCP长连接。 4 服务路径自动发现 根据业务应用的网络流量数据，自动生成IP连