异常检测在数据预处理中的应用研究.pdfVIP

工程技术 武汉船舶职业技术学院学报 　2006 年第 6 期 异常检测在数据预处理中的应用研究 张海春 (扬州大学机械工程学院 ,江苏扬州 　225009) 摘 　要 　现实应用中经常需要对过程数据采用支持向量机等技术进行分类预测 ,在分类预测模型的构建过程中 ,数据的 有效性是一个很重要的方面 。本文针对 目前数据清理的方法 ,提出了一种结构化的方法 ,应用到过程数据处理领域 ,并 给出了这种方法应用前后支持向量分类器的预测性能的定量比较 。 关键词 　异常检测 ;数据预处理 ;数据清理 ;支持向量机 中图分类号 　F22 　　文献标志码 　A 　文章编号 　167 1 - 8100 (2006) 06 - 0032 - 03 　　随着工业信息化的日益普及 ,工业生产过程 中产生了越来越多的数据 ,利用这些数据来构建 1 　数据处理过程 模型寻找隐含规律也越来越具有现实意义 。而收 1 . 1 　数据预处理 集的数据中经常有一些数据 由于种种原因不正 确 ,这些成为异常值或者野值 ,这必然会影响构建 数据预处理是数据挖掘中的一个重要过程 , 模型的准确性 。 由于收集的数据因种种原因 ,数据不完整 ,有噪声 支持向量机是现今流行的一种分类器或者回 或者不一致 ,对这种“脏”数据的处理 ,将对后续的 归分析的工具 ,其采用最大间隔的思想进行两类 数据挖掘过程产生很大的影响 ,俗称“垃圾进 ,垃 数据的分类 ,并且采用该技巧可以非常方便地将 圾出”,也会产生不好的挖掘效果 。所以需要对数 原始空间中非线性可分的问题转化为经过一个映 据进行清理 ,通过填写空缺值 ,平滑噪声数据 ,识 射后的特征空间中可能的线性可分问题 ,实现了 别删除孤立点 ,并解决不一致来清理数据 。对清 训练误差和推广性能的平衡 ,所以支持向量机是 理后的“干净数据”进行处理 ,将会提高数据挖掘 的效果和性能 。 一种非常有效的分类技术 。工业问题中也需要对 通常的数据清理主要包括格式标准化 、异常 数据进行分类 ,支持向量分类器就成为一种比较 数据清除、错误纠正以及重复数据的清除等几个 好的选择 。 在采用支持向量分类器进行数据预测的过程 方面 ,本文侧重对异常数据清除和纠正 ,发现数据 中的野值点 ,采用数据均值替代或者忽略两种方 中 ,数据的有效性必须得到保证 ,而原始数据的收 法进行处理 。 集和工业过程紧密联系 ,难以修正 ,所以采用异常 检测的思想对数据进行清理是一种很好的方法 。 1 . 2 　异常检测 异常检测就是从数据中抽取出其中一些和大量数 异常检测的方法主要有两个方面 ,一方面采 据相似程度不高的数据 , 即野值点 。现在存在各 用统计方法 ,另一方面采用人工神经网络的方法 。 种异常检测的方法 ,例如单类支持向量机 ,支持向 基于统计方法的异常检测对数据进行统计建模 , 量数据描述 ,主成分分析等等 , 由于不存在一种适 常用的统计模型中的参数主要有事件发生的数量 合各种数据的通用异常检测的方法 ,所以本文选 和间隔时间 ,资源的消耗情况等 。如果某个观测 取其中一种异常检测的方法进行数据清理的实