基于改进Apriori算法的审计日志关联规则挖掘.docVIP

基于改进Apriori算法的审计日志关联规则挖掘 　　摘要：针对安全审计系统中存在的智能程度低、日志信息没有充分利用的问题，提出一个基于关联规则挖掘的安全审计系统。该系统充分利用已有审计日志，结合数据挖掘技术，建立用户及系统的行为模式数据库，做到及时发现异常情况，提高了计算机的安全性。在传统Apriori算法的基础上提出一种改进的EApriori算法，该算法可以缩小待扫描事务集合的范围，降低算法的时间复杂度，提高运行效率。实验结果表明基于关联规则挖掘的审计系统对攻击类型的识别能力提升在10%以上，改进的EApriori算法相比经典Apriori算法和FPGROWTH算法在性能上得到了提高，特别是在大型稀疏数据集中最高达到51%。 　　关键词： 　　安全审计系统；审计日志；数据挖掘；关联规则挖掘；Apriori算法 　　中图分类号： TP391.4 文献标志码：A 　　0引言 　　随着计算机技术的快速发展，网络传播带来开放性，计算机操作系统也面临着越来越多的安全威胁。计算机系统、网络系统甚至整个信息技术基础设施的安全性，成为一个亟待解决的问题。除却防火墙隔离、入侵检测，安全领域的另一个重要的技术研究方向就是安全审计[1]。伴随着一系列新的攻击的产生，对于审计技术的要求随之提高。目前，安全审计的主要工作是在事前记录、事后追踪，记录用户的操作行为作为证据[2]，这对于获悉用户行为、检测安全隐患、进行事后追查和分析都具有十分重要的意义。安全审计员为系统管理员提供及时的警告信息，实现对系统事件的追踪、审查、统计和报告[3]。 　　审计系统对用户及操作系统的行为判断都是基于采集到的用户相关操作以及系统各关键路径上的状态，最终生成审计日志。虽然审计系统不断地进行记录，拥有丰富的数据信息，但是对这些数据的利用却仍然非常有限，这事实上是一种资源的浪费。本文提出通过建立独立于用户平台的用户审计模块，使用改进的Apriori算法，缩短运行时间，提高算法效率，提取出可靠性强的关联规则，挖掘审计日志中蕴藏的状态信息，建立行为规则库并及时更新，提升用户平台识别攻击的能力，为审计系统追溯攻击者提供证据，进一步提高操作系统的安全性。 　　1关联规则挖掘 　　1.1数据挖掘 　　数据挖掘作为一种从大量初级数据中发现潜在规则和有价值知识信息的技术，是数据库知识发现（Knowledge Discovery in Database， KDD）中的一个步骤[4]，也是基于多个领域的理论和技术方法，例如人工智能、机器学习、并行计算、数学分析等。在当今信息爆炸的时代环境下，数据量呈指数增长，数据挖掘技术变得越来越流行，就是为了从大量的数据源中获取有用的信息。过去的十年间，很多挖掘方法都被提出并得到应用，关联规则挖掘得益于它的广泛适用性而备受关注。在安全操作系统中同样存在许多没有充分利用的知识数据，本文结合安全操作系统的审计日志，利用数据挖掘的方法获取用户和系统的行为模式[5]。 　　1.2关联规则 　　关联规则最早由Agrawal等[6-7]提出，是一个用来从原数据中发现令人感兴趣的规则的方法，是近年来数据挖掘的研究方向之一。经典的Apriori算法用于关联规则挖掘，但由于该算法在产生关联规则时需要首先生成大量的规则集，效率不高，在2000年由Han等[8]提出了基于FPTREE生成频繁项目集的FPGROWTH算法，只需要扫描两次原始数据库，提高了频繁项目集的挖掘效率。把原始数据库映射成内存中的一棵FPTREE，采用共享前缀对原数据库进行极大的压缩，使得较小的数据库可以在内存中完成挖掘。类似的算法也有提出，比如COFITREE[9]，但是这些算法都需要驻留在内存中，所以会受到系统内存不足的限制。 　　关联规则可以在评价重要关联时提供有意义的信息，比如：从心肌梗塞的病例登记中找出血液和疾病史之间的关系[10]，Khalili等[11]利用Apriori算法建立利用临界状态测定工业入侵的系统检测方法，在不访问数据库的情况下推理产生所有关联规则[12]，在保护各自隐私的情况下进行分布式数据库的数据挖掘[13]，Rozenberg等[14]研究了垂直分区分布式数据库的关联规则挖掘，Ding等[15]提出一种基于目标关联挖掘的恶意软件快速检测算法。 　　2基于日志挖掘的审计系统 　　当前的审计系统存在信息记录过于简单、机械，对日志信息利用率低，系统智能程度低，警告功能缺失等问题[16]，因此需要结合其他技术，如人工智能、数据挖掘等，为安全审计提供更多解决方法，理想的审计系统基于这样一个理论基础，任何一种偏离预期的系统状态和违反规定的操作行为都应该被记录下来，并在事后及时发现危险进行弥补。然而，这是建立在对历史攻击方法和系统漏洞知识积累的基础上的