基于混沌的异常数据的动态识别和挖掘.pdfVIP

—ISSN10—00-0054清华大学学报(自然科学版)2005年第45卷第S1期 6／39 CNii一2223／NJ Univ(SciTech)，2005，V01．45，No．S1 1753—1756 Tsinghua 基于混沌的异常数据的动态识别与挖掘 王建州1， 马志新2， 李 廉2 (1．兰州大学数学与统计学院，兰州730000；2．兰州大学信息科学与工程学院，兰州730000) 摘要：异常数据的识别与挖掘是非常重要的数据分析之 E3]中提出。文E4]提出了一个发现驱动的方法，在大 一，在传统的数据分析中往往将异常数据的影响最小化或剔 规模的多维数据中采用OLAP数据立方体来确定 除它们，这可能导致重要的隐藏信息的丢失。该文提出了一 异常情况。文E53提出了Web日志文件的异常数据 种时间序列中异常数据检测与挖掘的新方法，首先计算出时 的挖掘方法，并考察了比较受欢迎的网站或域名被 间序列相邻两个点之间的斜率，再与混沌预测斜率相比较以 点击次数是否出现异常。但是在传统的异常数据检 检测出数据的偏差点集，其次对偏差点集进行动态方差检测 验中，许多统计量及数学模型均会遭到屏蔽效应[6] 以确定其异常数据集。该算法较好地解决了异常数据分析中 及异常数据识别不能具体量化的缺陷。按文[7]的观 的“屏蔽效应”及异常数据识别不能具体量化的缺陷。 点，在异常数据检验中衡量一个统计量及数学模型 关键词：异常数据；数据挖掘；混沌系统；屏蔽效应 好坏的一个重要标志就是看它是否能免遭屏蔽效 393 中图分类号：TP 文献标识码：A 应。鉴于上述异常数据挖掘方法的局限性，本文提出 文章编号：1000—0054(2005)$1—1753—04 了一种新的基于混沌系统的动态方差检测的异常数 据挖掘方法，它较好地解决了上述两个缺陷。 1异常数据的定义及挖掘 异常点就是经常存在一些数据对象，它们不符 合数据的一般模型。这样的数据对象被称为异常点 (outlier)，它们与数据的其他部份不同或不一致。 异常点可能是由度量或执行错误所导致的。另外，异 常点也可能是固有数据的变异结果[8]。 异常数据的挖掘可以描述如下[9]：给定一个咒 个数据点或对象的集合，及预期的异常点的数目矗， 发现与剩余的数据相比是显著相异的、异常的或不 一致的头k个对象。异常点挖掘问题可以被看作两 个子问题，即在给定的数据集合中定义什么样的数 据可以被认为是不一致的；找到一个有效的方法