工业大数据解决方案.PDF

工业大数据解决方案 智能运维：故障分析与预测 北京至信普林科技有限公司 2017 年05 月 目录 一、 背景 1 二、 建设目标 1 1． 整合目标 1 2 ． 建模目标 1 3 ． 优化目标 1 三、 智能运维应用2 1． 资源容量预测模块 2 2 ． 故障预测模块 2 3 ． 故障定位模块 3 四、 技术方案3 1． 总体架构 3 2． 技术线路 4 （1）建模过程 4 （2）预测阶段 6 五、 关键技术6 六、 创新点7 一、背景 随着信息技术产业的不断发展与推广，软硬件设备的运维需求呈 现高速增长态势。仅从传统运维经验出发，靠机械式堆积人力的方式 已无法适应新形势下多样化、复杂化、高速化的运维需求。对于条块 关系复杂的政府单位或分支机构众多的大型企业而言，将大数据技术 运用于运维领域成为确保工作顺利开展、提升用户满意度的必要前提。 二、目标 1． 整合目标 对数据中心的运维监控数据进行清洗、挖掘和特征提取，并对数 据进行归档与整理。 2． 建模目标 以数据中心软硬件配置、性能监控数据为基础，结合日志易数据、 APM 数据以及其他相关数据，构建故障预测、故障快速定位和资源容 量预测模型。 3． 优化目标 对所建立的模型进行监控，分析模型的表现和效果，并记录相关 结果数据，对模型进行优化迭代。 1 三、智能运维应用 1． 资源容量预测模块 资源使用预测模块主要是预测在未来一段时间内，系统的各种软 硬件资源的使用占有情况。在现有的性能监控数据中，可以根据不同 的监控指标得到不同的资源在过去一段时间内的使用情况，例如网卡 使用率、集群CPU 使用率、磁盘的使用率等。研究过程中，技术人员 提取出将要预测的资源类别使用率相关数据，选择一个时间节点作为 分割点建立训练数据集与测试数据集。通过提取的特征维度，利用各 种机器学习算法，建立资源使用率预测模型，并选择表现最好的预测 模型投入实际生产使用。将预测的结果作为资源分配的依据，使得现 有资源得到更合理的分配和使用，并对不能满足生产需要的资源给予 合理的补充参考依据。 2． 故障预测模块 故障预测模块利用系统历史报警和故障记录数据，作为定义结果 变量的数据依据。采用系统性能检测数据、日志记录、APM 数据等多 维度数据，建立机器学习预测模型，分析各种数据维度与机器发生故 障的相关性关系，利用交叉验证等模型优化技术，准确率、召回率、 AUC 值等评价指标，得到效果最优模型。模型将输出集群中机器在未 来一段时间内故障的概率值，并根据设定概率的阈值对机器进行有效 预警。 2