教学课件 地址数据处理 地质数据的采集与预处理.pptVIP

地质数据处理基础之二 统计数据的采集与预处理 第二章 统计数据的采集与预处理 1、数据的计量尺度 2、地质数据获取 3、取样 4、数据的预处理 1 数据的计量尺度 四种计量尺度 数据的计量尺度 定类尺度 定序尺度 定距尺度 定比尺度 定类尺度(概念要点) 计量层次最低 对事物进行平行的分类 各类别可以指定数字代码表示 使用时必须符合类别穷尽和互斥的要求 数据表现为“类别” 具有=或?的数学特性 定序尺度(概念要点) 对事物分类的同时给出各类别的顺序 比定类尺度精确 未测量出类别之间的准确差值 数据表现为“类别”，但有序 具有或的数学特性 定距尺度(概念要点) 1. 对事物的准确测度 2. 比定序尺度精确 3. 数据表现为“数值” 4. 没有绝对零点 5. 具有 + 或 - 的数学特性 定比尺度 1. 对事物的准确测度 2. 与定距尺度处于同一层次 3. 数据表现为“数值” 4. 有绝对零点 5. 具有 ? 或 ? 的数学特性 四种计量尺度的比较 四种计量尺度的比较 定类尺度 定序尺度 定距尺度 定比尺度 分类（＝，≠ ） 排序（ ， ) 间距（ + ，- ） 比值（ × ，÷） √ √ √ √ √ √ √ √ √ √ 计量尺度 数学特性 “√”表示该尺度所具有的特性 数据的排序 按一定顺序将数据排列，以发现一些明显的特征或趋势，找到解决问题的线索 排序有助于对数据检查纠错，以及为重新归类或分组等提供依据 在某些场合，排序本身就是分析的目的之一 排序可借助于计算机完成 数据的排序 定类数据的排序 字母型数据，排序有升序降序之分，但习惯上用升序 汉字型数据，可按汉字的首位拼音字母排列，也可按笔画排序，其中也有笔画多少的升序降序之分 定序、定距和定比数据的排序 递增排序：设一组数据为X1，X2，…，XN，递增排序后可表示为：X(1)X(2)…X(N) 递减排序可表示为：X(1)X(2)…X(N) 数据类型与统计方法 数据类型与统计方法 定类数据 定序数据 品质数据 数量数据 定距数据 定比数据 参数方法 非参数方法 变量及其类型 变 量 定序变量 离散变量 连续变量 定类变量 数字变量 统计指标及其类型 时期指标 时点指标 统计指标 相对指标 总量指标 平均指标 比例 比率 2 地质数据获取 地质数据获取的不确定性、多解性 地质数据获取的多源性、艰难性 地质数据获取的代表性、零散性 数据的质量要求 1. 精度：最低的抽样误差或随机误差； 2. 准确性：最小的非抽样误差或偏差； 3. 关联性：符合数据间的内在关联性，同时满足用户决策、管理和研究的需要； 4. 及时性：在最短的时间里取得并公布数据； 5. 一致性：数据属性的可比性； 6. 最低成本：以最经济的方式取得数据。 原始数据的检查 逻辑检查 从定性角度，审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象； 主要用于对定类数据和定序数据的审核； 计算检查 检查调查表中的各项数据在计算结果和计算方法上有无错误； 主要用于对定距和定比数据的审核； 第二手数据数据的检查 1.适用性审核 弄清楚数据的来源、数据的口径以及有关的背景材料； 确定数据是否符合自己分析研究的需要； 2.时效性审核 适用于有时效性的样品分析数据，如水样品； 应尽可能使用可靠的数据； 3.确认是否必要做进一步的加工整理； 数据的筛选 对审核过程中发现的错误应尽可能予以纠正 当发现数据中的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，需要对数据进行筛选 数据筛选的内容包括： 将某些不符合要求的数据或有明显错误的数据予以剔除 将符合某种特定条件的数据筛选出来，而不符合特定条件的数据予以剔出 2 数据的采集 以某化探数据的采集为例，步骤： 采样设计(按国家、行业规范); 采样(保证质和量、记录规范、必要的备注)； 加工(防止污染和编号错乱)； 送样化验分析(根据研究目的和研究对象的内在关联性来确定分析项目、选择分析方法、仪器类型)。 遥感数据是常用的地质数据之一，订购数据要选择航天器的类型、波段的特点，产品的级别等等。 3 取样 取样的定义：通过抽取总体中的部分单元，观测或收集这些单元的特征和信息，用来对总体进行推断的一种手段。 样本的定义：从总体中按照一定的规则抽取的一部分个体为总体的样本，是取样时所采集的那部分单元所组成的集合。 取样的原则：客观性、机会均等 各种不同的取样方式 实习一 取样 通过实习训练，掌握采用Excel软件从总体数据集中获取代表性样本的基本方法，通过对样本的研究，能对总体做出定性推断。 * *