一种基于深度学习的异常日志检测方法.pdfVIP

一种基于深度学习的异常日志检测方法

李进峰，索强，任舟

（上海望繁信科技有限公司，上海201210）

摘要：系统日志用于记录信息系统的运行状况，可为检测系统异常提供数据支撑。目前常见的日志

异常检测研究通过建立模型，将历史日志视作自然语言进行处理，通过学习其正常模式，将异常视为

对正常模式的偏离。然而，现有方法只关注序列和量化信息，而忽略了其他因素，导致异常检测效果

不佳。提出一种基于注意力机制的双向长短期记忆网络（Bi-LSTM）模型来实现对日志异常的自动检

测，为证明模型的效果，在公共生产日志数据集上与常用的方法进行了对比。实验结果表明，提出的

方法在异常检测中的各项效果指标均优于比较的方法。

关键词：异常检测；深度学习；人工智能；长短期记忆网络

1概述3实现方法

系统日志记录了系统运行时的半结构化文本信息，为了在进一步提升异常日志检出率的同时，保证异

旨在识别进程故障时的系统异常。通常，工程师们可通常日志识别的准确性，研究提出了一种基于自注意力机

过手动输入关键词或正则表达式匹配来识别异常，但这制的Bi-LSTM模型自动检测日志异常方法，其框架如

种方法受限于特定领域的知识和工程师的经验。随着系图1所示。该方法由3部分组成，分别是（1）日志解

统规模的扩大，手动方法的效率和准确性降低。因此，析。将原始日志序列解析成日志模板，以便在各种不同

近年来，研究者们开发了多种自动化系统异常检测参数的情况下提取相同的信息。（2）特征提取。日志模

技术。板被提取为特征向量，包括序列特征、量化特征和语义

2相关研究特征。（3）异常检测。在训练阶段，使用基于注意力机

当前，主流的自动日志异常检测技术主要分为基于制的Bi-LSTM模型从系统正常运行的日志数据中学习正

机器学习的方法和基于深度学习的方法两类。基于机器常模式。在检测阶段，找出偏离正常模式的日志模板，

学习的日志异常检测方法通过分析系统正常运行期间的并将其标记为异常。

日志数据来提取关键特征，并通过比较这些特征或应用

特征提取

[1]方法

无监督聚类来识别异常。例如，Fu等提出了Invariant

mining（IM）方法，该方法挖掘那些能够被大多数向量序列

特征

满足的小Invariant，如果一个向量不能满足这些Invari⁃原始日志日志带注意力的标记

日志提取模板Bi-LSTM异常

ant，则它将被判定为异常。然而，这类方法主要集中量化异常检测日志

特征

于频率特征，对于多样化的日志模式识别能力有限，此

语义

外，当日志数据特征的准确性和质量不足时，这些方法特征

的日志异常检出率会大幅下降。