监测数据的预处理.docxVIP

监测数据的预处理 1 监测数据的传统预处理方法 桥梁健康监测与安全评估系统是建立在大量的实时监测数据的基础上,对其进行处理分析,最后通过有效的理论方法对结构进行评估预测的完整体系。然而采集实测数据过程中难免会出现异常的粗大误差数据或因为外界因素的干扰产生噪声数据等,如果这些数据统统进入健康监测数据库中,首先对桥梁性能的评价毫无意义,其次还会降低数据库运行效率,运用软件处理海量数据的优越性难以体现,因此在分析数据之前,需要对所有的实测数据进行预处理。 1.1 粗大误差数据的预处理 ①拉依达准则 拉依达准则即我们通常说的3σ准则,指的是在任意有限多次测量列中,测量值的算术偏差介于[-3σ,3σ]之间的概率为,即的概率为1-0.9973=0.27%1%,可认为是不可能发生事件,则有理由将它视为粗大误差,并将其对应的测量值从测量列中剔除,对于一个测量列中,可能不止一个粗大误差,所以每剔除一个之后,要再求剔除之后新数列的均方差σ,再判断其值是否满足拉依达法则,若不满足则应该将该测量值剔除,如此反复计算直到剔除完全部粗大误差。 首先，视为监测数据数列，其中共n个数值（n10）。 数据偏差特征描述为： （1） 由上式可知,包括n个数值的监测数据数列可以得到n-2个d。 根据统计学公式可求得平均值、均方差σ： （2） （3） 计算每个观测值偏差的绝对值与均方差的比值: （4） 判别当qi3时,则将对应的xi视为粗大误差舍弃后,再对剩下的n-1个样本反复作以上计算,再次进行检验。 此方法无需查表,使用简单,适用于监测数据较多或要求对精确度不高时,当数据量小于10时,该准则无效。 ②格拉布斯准则 Grubbs准则是指残余误差绝对值大于Grubbs判别系数λ则被认为是粗差而舍弃。首先,为监测数据数列,其中共n个数值,根据概率论相关知识可知,当测量次数较多时认为,可用贝塞尔公式计算标准偏差的估计值： （5） 若满足下列判别式则应当剔除对应的xi:  （6） 其中Grubbs判别系数λ可根据显著度α和观测次数n查表3.1得到。 国际上常推荐使用此方法进行的数据预处理,但当试验次数有限时,在计算标准偏差时用n-1代替n会得到偏小的结果,这样在计算样本偏差时常出现问题。电子科技大学朱宏等人提出采用中位数代替平均值,从而得到更为稳定的处理方法。 ③狄克逊准则 Dixon准则是一种用极差比双侧检验来判别粗大误差的方法。首先将某一独立参数重复测量结果按照大小排序得到:,针对不用测量次数n和不同的怀疑值,使用不同的统计量D与对应的Dixon系数f来判别是否为粗大误差。假设显著性水平α=5%作为判断是否有异常值的水平,若存在异常值则剔除;若不存在则假设显著性水平α=1%为剔除水平,判断该异常值是否应当被剔除,当判断为异常值但又打不到剔除水平时,应以剔除和不提出的两种统计结果相比较,选择更为接近实际的情况。判别方法如下: 当怀疑最大值为粗大误差时，满足下式则剔除： （7） 当怀疑最小值为粗大误差时，满足下式则剔除： （8） 其中α为显著水平,n为观测次数，D1,D2,f(α,n)的计算公式和取值见表3.2:  国际上也常推荐使用此方法进行的数据预处理,当数据值中只存在一个异常值时效果较好,能够给出较为准确的结果,但当出现多个异常值且出现在同侧时检验效果不好,当异常值较接近时效果更差,易受屏蔽。 ④数据跳跃法 当采用拉依达法则进行剔除监测数据中的粗大误差数据时,过程总是比较繁琐,因为该方法每进行一次运算只能剔除一个粗差,当数据量庞大粗差较多时必然需要很长的时间,效率太低,并且当多个粗差之间互差不满足一定条件时该方法还无法实现。而数据跳跃法则克服了拉依达法的缺陷,扩展了适用范围,提高了数据处理效率,东北大学毛亚纯教授在《剔除变形监测粗差数据的新方法——数据跳跃法》一文中对该方法进行了详细论证。 采用改良后的数据跳跃法将监测值由小到大排列,则含有粗大误差的监测值一定分布在两侧,粗差存在的位置出现跳跃现象,在跳跃点处将数据分为两段,第一次将首个跳跃点及其平缓的监测值组成一组数列,利用拉依达法判断跳跃点是否为含有粗差的监测值,如果它不是,可将跳跃点后的第一个监测值和之前的监测值组成一组数列,并利用拉依达法判断该跳跃点是否为含有粗差的监测值,如果不是,同样方法继续进行下一步判断直至这一侧拥有最大残差的监测值,则这一侧的其他各观测值均为含有粗差的观测值,都应被剔除。利用数据跳跃法进行粗差剔除,它克服了拉依达法则的部分局限性,同时可以将含有多