海洋大数据质量抽样检验方案中残差优化选择算法研究.ppt

* 将三种不同的百分比抽样方案的skyline集合归并后的skyline初始集合: 不同百分比抽样方案的skyline集合归并过滤后的点集S4 3.实验分析-实验一：南通海域救助设施分布数据 * 归并后的最优skyline集合S4’ 参照表可知，最优的抽样检验方案为： 不同百分比的最优抽样方案的skyline集合 3.实验分析-实验一：南通海域救助设施分布数据 实验结果： * 养殖区分布图 养殖区分布属性信息 3.实验分析-实验二：南通海域养殖区分布数据 * 属性信息共有数据1857条记录—较大批量数据—接收数c取样本量的1%，2%，3%，4%，5%，6%，7% 3.实验分析-实验二：南通海域养殖区分布数据 * 3.实验分析-实验二：南通海域养殖区分布数据 * 最优的抽样检验方案为： 归并后的最优skyline集合 较大批量的养殖区数据中最优的残差集合为： 实验结果： 不同百分比的最优抽样方案的skyline集合 3.实验分析-实验二：南通海域养殖区分布数据 * 4.创新点 采用超几何分布原理，引入AQL和LQL，建立残差公式，得到残差集合。 提出了分层排序选择算法，对残差进行优化选择，推导出最优的抽样方案。 下一步的研究目标：样本点的选址工作 创 新 点 将抽样的理论用于海洋数据的质量控制。 * 5.研究成果 学术论文 发明专利 * 5.研究成果 参与的科研项目 谢 谢！ * 我的汇报将从以下几方面展开：我们先来看一下立题依据 * 随着海洋信息化技术的发展，海洋数据的获取手段变得多种多样，海洋数据可以看作大数据的一个典范。但是，对于这些大量的海洋数据的质量控制还研究较少，因此，海洋数据质量控制问题成为制约海洋信息化发展的主要因素之一。 本文的目地就是将抽样的方法应用于海洋数据的调研或质量检验。本文的创新点是建立适用于海洋数据的抽样方案，提出最优抽样方案的选择算法，并以某海域数据为例，对算法进行实证分析。 ? * 本文的研究内容为： 总结归纳了海洋数据的特点； 分析了目前已有抽样方案的不足之处； 建立了适用于海洋数据的抽样检验方案； 并推导了最优海洋数据抽样检验方案的选择算法。 * 首先，我们来看一下海洋数据的特点，主要包括：空间相关性；海量性；多源异构性；多维多类性和动态性。 * 目前，常用的抽样检验方案包括这几种抽样方案。 全检验虽然检验精度很高，但是检验费用也相对较高。 国标2828是基于传统工业产品的抽样检验而建立起来的，它对于待检验批量的变化反应不太灵敏 百分比抽样检验对于如何确定抽样百分比具有较大的争议。 * 本文建立的海洋数据抽样检验方案所遵循的原则是：从海洋数据批量中抽取尽量少的样本量尽可能准确的判定整批海洋数据的质量情况 这里的三元组S表示的就是海洋数据抽样检验模型， （包括N，n，c三个参数， 其中N:表示海洋数据的批量，n:表示从批量中抽取的样本量， 接收数c：表示样本中允许出现的不合格海洋数据的最大限定值 样本中发现的不合格海洋数据用d表示 海洋数据抽样方案的流程为：从批量为N的海洋数据批量中取出n个样本，对样本进行逐一检验， 且提前规定一个接收数c，样本n中发现的不合格的海洋数据为d，分两种情况讨论： 当d小于等于c时，则该批海洋数据为合格，接收该批数据； 否则，判定为不合格，拒收该批数据。） * 文中建立了不同类的百分比抽样检验方案，从样本量的角度出发，抽样百分比g分别取批量的10%，20%和30%，根据c的取值确定海洋数据抽样检验方案 这里分别列举了批量大小为1000和3000时，根据不同的抽样百分比g和接收数c的值分别确定的三组百分比抽样检验方案。 对于较小批量的数据1000，c从0开始取值，直至不合理的情况为止， 此处的不合理情况是指当c为某一较大的数值时，接收质量限的接收概率却达到100%，显然是不合理的。 例如，这里当批量为1000时，抽样百分比取10%，c取8时，此时接收质量限的接收概率达到了100%，此种情况是不合理的，所以对于10%抽样，c的取值范围是0，1，至8。 对于较大批量的数据3000，c从1%开始取值，直至不合理的情况为止。 * 对于较大批量的数据3000，c从1%开始取值，直至不合理的情况为止。 * 对于一系列的百分比抽样检验方案，我们利用超几何分布数学模型,引入接收质量限AQL和极限质量限LQL的值，计算得出接收概率的值，并通过本文建立的残差公式，计算残差值，形成残差集合，利用本文提出的分层排序选择算法，对残差进行优化选择，得到最佳的残差值，并由此推导出最优的抽样检验方案 * 这是海洋数据抽样检验方案的数学模型---超几何分布模型，利用引入接收质量限AQL和极限质量限LQL的不合格品率的值，带入公式，分