基于唯一ID的自动运维监控体系研究与实现.docxVIP

基于唯一ID的自动运维监控体系研究与实现 　　摘要：金融行业为适应互联网业务的挑战需要建设自动化运维系统，在传统软件上支持自动化运维系统需要构建以唯一ID为基础的日志和流水体系，进行数据信息的汇聚、关联才能支持大数据平台智能分析、自动应急处理。　　关键词：ID；双态IT；自动运维　　中图分类号：TP391 文献标识码：A 文章编号：1007--0056-02　　1 双态系统模型　　随着互联网创新企业给传统金融业的带来的压力，传统金融IT迫切需要改进IT整体治理体系。为帮助企业应对“互联网+”转型中遇到的挑战，联想等十二家企业提出“双态IT”方法论，使企业梳理实现“互联网+”转型。“双态IT”聚焦于企业业务的稳、敏分析，帮助企业IT 部门采用传统的集中式和新兴的互联网分布式等信息技术架构，构建一套稳态、敏态和谐共存的新型IT 架构。稳态IT的特征是业务按照传统方式经营，战略目标明确，业务流程相对成熟；敏态IT业务则采用“互联网+”思维模式，业务模式本身处在不断探索、优化、总结的过程，需要通过不断试错来逐步完善。　　对于布局在电子商务、金融支付类的传统企业最为迫切的解决快速和高质量的交付问题、自动运维、自动监控等问题。这些企业IT治理向敏态转型，学习敏态的开发、测试和运维一体化涉及组织架构调整难度较大，而对现有系统优化改造，优化自动运维、自动监控流程更易实现。　　2 稳态系统运维问题　　金融行业传统业务为稳态业务模型，传统IT为IOE架构，每个业务系统为单体应用，内部调用流程固定，系统建设是逐步搭积木，未规划内部数据交互格式。按照业务发展的顺序形成了由核心账户向外围渠道、外围增值业务扩展的层次架构。　　传统企业IT运行中心在运维监控主要面临以下问题。　　一是信息孤岛问题。不能综合使用日志和报错信息。运行人员以数据库交易记录为主要依据，未自动关联业务系统内部各模块记录的大量日志和报错信息。不能关设备信息。系统管理员只分析CPU、IO、内存、磁盘空间的静态数据；数据库只分析自身资源使用情况，没有与应用日志和错误信息关联。使用系统监控信息、应用日志、数据库记录的运维经验无法与其他运行人员共享。　　二是问题分析定位慢。运维以人工判断分析为主，自动化程度低。由于信息孤岛，出现问题后错误信息会大量产生，很难判断出根源是应用、网络、系统。运行人员分析的日志、程序报错信息、交易流水等没有自动关联，运行人员从数据库中查询符合条件的流水集合，确定其中一条记录，选择业务主键，打开日志文件，根据业务主键有哪些信誉好的足球投注网站主机日志中关联记录，根据经验分析日志，给出问题描述。　　三是应急响应慢。故障处理、资源扩展人工操作。应急处理时人工根据各类信息判断问题原因，根据应急处理预案进行排查处理，恢复业务，处理时间较长。系统资源只能采用硬件冗余，按照最大峰值购买和配置资源，平时浪费资源，一旦交易出现爆发增长无法应对。　　解决传统系统的运维关键在于把各类信息有效汇聚关联。以信息流为切入点，对于每一个内外部交易请求生成日志ID键，该日志ID键没有业务属性、仅用于标识该请求，并贯穿于整个交易处理环节。在应用数据库中定义业务ID键，业务ID键与日志ID键关联。以这两类ID为基础构建大数据分析平台，使数据聚合、关联，建模自动化分析，形成自动执行指令；同时在IT基础架构支持软件定义资源，配合指令执行应急策略。　　3 敏态系统运维　　新型互联网企业自动化运维有以下特点。一是用户或业务变化率大，交易量大、瞬间产生巨大流量，要实时分析海量日志、报警信息、交易流。二是系统架构微服务化、服务调用动态化，运维系统智能化发现问题、自动化处理问题、自动隔离问题模块。三是软件定义运维成为发展趋势、运维软件平台PAAS化。　　 消除信息孤岛　　规范日志格式，使用统一的日志方法类库；在数据输入和输出的关键点埋点，即规范数据采集位置和深度；部署统一的日志收集服务。建立端到端全栈监控体系，从用户端的各类客户端进行采样、到应用服务器信息聚集、再到基础架构监控数据。　　 大数据数据分析　　使用大数据技术进行数据采集、格式化、集中存储。使用分析引擎、关键字解析处理数据，基于经验沉淀建立分析模型，进行自学习、预测风险、异常预警，从而实现运维分析的实时化、自动化、智能化。　　 构建快速自动处理机制　　以自动化配置的IT基础架构为基础，敏态管理采用微服务架构、云平台、容器技术。主机集群化、虚拟化，摒弃小型机，以低成本的PC分布式集群为基础支持动态扩展。大量使用云平台、容器DOCKER技术，以便于服务动态扩展。以软件定义服务、软件定义资源为管理手段提升运维响应速度。阿里云平台、AWS等开放云平台都提供的接口调用，可以实现分钟级别的虚拟机申请， 而DOCKER则能够作为秒级的申请和部署。