油气化探数据处理.ppt

油气化探的数据处理 化探数据的概率分布特征 实际工作中常见的数据分布特征： 近似正态分布：代表两种以上的地质母体的混合特征。 伽玛分布或卡方分布：由高异常值造成的密度函数拖尾现象。 常见的化探数据分布特征 背景值和异常下限值的统计原理 当化探数据来源于同一母体（地质背景）时，其数据总体服从正态分布。数据的平均值为区域背景值，均值加上N倍（1.5-2.5）均方差代表异常下限值。 背景值和异常下限值的统计方法 迭代法 稳健估计法 趋势面分析 经典迭代法 一个饲养场引进一只刚出生的新品种兔子，这种兔子从出生的下一个月开始，每月新生一只兔子，新生的兔子也如此繁殖。如果所有的兔子都不死去，问到第 12 个月时，该饲养场共有兔子多少只？ u n ＝ u n － 1 × 2 (n ≥ 2) 迭代法求背景值和异常下限值 ① 计算原始数据的均值（X1）和标准偏差（Sd1）； ②按X1+nSd1条件剔除一部分极高值得到新数据集，再计算新数据集的均值（X2）和标准偏差（Sd2）； ③重复步骤②，直至无特高数据点，此时得到的数据集的均值（X）和标准偏差（Sd）来计算样品的背景值和异常下限值：均值X为背景值；X+nSd为异常下限值。 稳健估计法 稳健统计是处理实际数据与假设的总体分布有一定偏离的一种统计方法。常规的统计方法通常建立在假定数据服从某一分布的基础上，但实际数据一般都含有0. 5 %～10 %甚至更高的偏离假定分布的离群值。 稳健统计主要通过稳健估计和稳健处理两种途径实现。 稳健估计假设数据服从高斯分布，不对数据结构做过多分析，而直接得出模型结果。 统计方法的比较 常规统计法计算出均值和异常下限值略高于迭代法和稳健估计法； 当样品原始数据服从正态分布时，各方法分析结果相近。 数据处理和统计 ①背景值和异常下限值的确定； ②离群数据处理； ③指标的优选和综合（降维）； ④异常图件的绘制； 离群数据处理 原则：特低值可以直接舍弃，特高值处理以服从正态分布或近正态分布的数据母体为依据。 方法：①修改数据，适应方法 正态分布检验、迭代删除 ②修改方法，适应数据 稳健统计 指标的优选和综合 聚类分析 因子分析 非线性映射法 相关分析法 回归分析法 判别分析法 聚类分析 样品或指标之间存在程度不同的相似性（以样品间距离衡量）。根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）又聚合为另一类，直到把所有的样品（或指标）聚合完毕，这就是分类的基本思想。 在聚类分析中，通常我们将根据分类对象的不同分为Q型聚类分析（样品）和R型聚类分析（指标）两大类。 k-均值聚类（确定分类数） 选择聚类种子（任意点）； 根据其他各点和种子间的距离分类； 用类中心（均质）作为新种子，重新分类； k-均值聚类只能做Q型聚类，如要做R型聚类，需要把数据阵进行转置。 分层聚类（不确定分类数） 将每个点都看作一类； 将最近2点合并为一类，剩余最近2点继续合并； 每次合并类数减少一个，直至最终所有数据合并为一个大类 因子分析 在面对大量关系复杂的数据资料时，我们如何确定需要分析的变量及其得到的信息是更加精确的。 各单个变量之间的相关性会导致分析的难度增加；变量的独立分析又将导致分析结果的孤立性； 减少分析变量数可能会导致重要信息的丢失； 利用变量之间的相关性对多维数据进行降维，提取有代表性的综合指标---因子分析 因子分析 因子分析就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子（之所以称其为因子，是因为它是不可观测的，即不是具体的变量） 因子分析 注意事项： 因子分析过程是先确定因子及个数； 原始变量的选择； 降维的效果和原始变量的独立性直接相关； 因子分析 因子分析在化探中的作用 探讨样品的系统分类和成因分类（Q型分析）； 压缩指标，选择最优化探指标组合（R型分析）； 通过对应因子分析阐明变量的成因关系和样品的种属关系； 在对参数进行降维处理时，选取最优指标组合； 相关分析 相关分析的目的是为了揭示变量之间相互关系的紧密程度，主要是通过相关系数的计算和检验来确定 常见的相关关系图 相关系数的计算与检验 相关系数的计算 ① 定义: 和 为两变量的平均值。 相关系数的计算与检验 相关系数的检验 相关系数是根据要素之间的样本值计算出来，它随着样本数的多少或取样方式的不同而不同，因此它只是要