时间序列的异常点诊断方法.docVIP

时间序列的异常点诊断方法* 中山大学公共卫生学院医学统计与流行病学系( 510080) 刘明华 张晋昕△ 引起，是自然发生的，反映了数据的分布特征，如气候 变化、基因突变等。( 3) 数据测量收集误差引起，主要 是由于人为差错、测量仪器故障。由于这类异常点不 提供有价值的信息，发现之后可以进行删除，以免影响 参数估计等以后的工作效果。按照异常的表现形式不 同，线性时间和空间上时间序列的异常主要可以分为 点异常( outlier) 和模式异常( outlier pattern) 两种，它们 都是用于发现一条时间序列上的异常情况的。事实 上，点异常也可以视作长度为 1 的模式异常。 时间序列中异常点有很多类型，按照其产生的影 响一般可分为 4 类〔5〕，分别是加性异常点( AO: addi- tional outlier) 、革新异常点( IO: innovative outlier) 、水 时间序列是指按照时间先后顺序排列的各个观测 记录的有序集合，广泛存在于商业、经济、工程、社会科 学和医学等领域。随着时间的推移，时间序列通常包 含大量的信息，是建模和预测的主要依据。对时间序 列进行分析，可以揭示事物运动、变化和发展的内在规 律，对于人们正确认识事物并据此做出科学决策具有 重要的现实意义。但在分析时间序列时，经常会发现 一些特殊的数据或者数据段，它们的波动与数据集中 其他数据的波动有着显著的不同，这种极少出现的数 据点或者数据段就称为异常点。Box 等( 1994) 〔1〕指出 异常点对时间序列的模型识别、参数估计、诊断检验乃 至预测都有重要的影响。自 1972 年 A． J-Fox 在时间 序列中首次定义异常点以来，国内外已有大量相关的 研究文献〔2 － 7〕。若序列中含有异常点，就会使传统的 建模、估计及检验方法陷入困境，从而给不出准确的预 测和控制。因此，近年来关于时间序列中的异常点诊 断问题受到统计学界的重视。 在时间序列中，数据每一时期都受到多种因素的 共同作用。通常产生异常点的原因主要包括: ( 1 ) 数 据受到新机制的作用，如欺诈、入侵、疾病的爆发、不寻 常的实验结果等。这些异常点出现是因为有新事物出 现或者新情况发生，比如经济领域时间序列研究中，某 种经济政策的出台; 地质模型中某种可能含有矿藏的 地层的发现; 由于罢工、广告促销、突发性政治或经济 重大事件、物理系统的突变等，这些因素会造成不同于 寻常模式的观测结果。这类异常点通常蕴涵着具体的 意义，也往往是研究者感兴趣的，异常点诊断旨在识别 出这些现象背后的本质起因。( 2 ) 数据变化固有规律 平漂 移 ( LS: level shift ) 和 暂 时 变 化 ( TC: temporary change) 。加性异常点通常指一种孤立的异常点，并不 波及到后继的观测值。革新异常点通常涉及到时间序 列内在的相关结构，故它们往往是成片出现，即出现一 个 IO，由于相关性使得它的后继点也表现出一定的异 常。水平漂移的异常点是加性异常点的一种特例，这 种异常点变化要持久。暂时变化的异常点为加性异常 点与水平漂移异常点的推广，其影响是指数衰减，这种 影响在以后会逐渐消失〔2〕。这四种类型的异常点是 我们常见的异常点，此外还有其他类型的异常点，但一 般都 是这四种异常点的组 合，例 如 VC ( variance change) 和 RO ( reallocation outlier) 。从上我们可以看 到，在性质上 TC，LS 是 AO 和 IO 的特例，前两者兼有 后两者的性质。一般认为时间序列中最基本的异常点 是 AO 和 IO 这两类异常点( 图 1) 〔8〕。 图 1 时间序列异常点表现形式 * 基金项目: 2009 年国家自然科学基金资助( : 时间序列的模式是指时间序列的某种变化特征， 它可以是时间序列离散化后的符号，也可以是时间序 列的傅里叶变换系数等。通过提取时间序列的模式， 将时间序列变换到模式空间，就得到了时间序列的模 式表示。时间序列的模式表示方法有很多，主要有频 域表示、奇异值表示、符号化表示、分段线性表示等几 种〔9〕。模式异常是指在一条时间序列上与其他模式 之间具有显著差异的模式。时间序列的异常模式主要 有以下三种表现形式〔10〕: 模式高度异常、模式长度异 常以及模式均值和标准差异常( 图 2) 。 图 2 时间序列异常模式的三种表现形式 目前用于诊断时间序列异常的常用方法有: 1． 基于假设检验的诊断方法 假设检验是最早用 来发现异常样本的基于统计学原理的方法〔11〕，它基于 对小概率事件的判别来实现对数据样本异常性的鉴 别，主要缺陷是事先要假定数据集符合特定的分布模 型。Abraham