海洋大数据质量抽样检验方案中残差优化选择算法研究

海洋大数据质量抽样检验方案中残差优化选择算法研究2013年5月28日2立题依据1研究内容2实验分析3主要内容创新点4研究成果51.立题依据海洋大数据质量保证海洋信息化质量控制获取手段多样化海洋大数据确定抽样方案最优方案选择实证分析42.研究内容归纳了海洋数据的特点分析了现有抽样方案的不足确定了海洋数据抽样方案推导了最优化抽样方案的选择算法52.研究内容-归纳了海洋数据的特点

3、多源性

2、海量性

4、异构性

5、多维性1、空间相关性

6、多类性

海洋数据特点

7、动态性62.研究内容-分析了现有抽样方案的不足常用抽样检验方案全面检验

精度高，但费用高GB/T2828传统工业产品百分比检验

确定抽样百分比72.研究内容-确定了海洋数据抽样方案海洋数据抽样检验方案的流程图N:批量，n:样本量，c:接收数d:样本中的不合格海洋数据海洋数据抽样检验方案原则：抽取尽量少的样本量尽可能准确地判定整批表示：82.研究内容-确定了海洋数据抽样方案g分别取10%，20%，30%，c根据批量大小而定较小的批量：c=0,1,2,…,i（i为不合理情况的临界值）海洋数据百分比抽样方案

抽样百分比：g=10%g=20%g=30%S(1000,100,0)S(1000,200,0)S(1000,300,0)S(1000,100,1)S(1000,200,1)S(1000,300,1)S(1000,100,2)S(1000,200,2)S(1000,300,2)………………S(1000,100,8)S(1000,200,12)S(1000,300,14)92.研究内容-确定了海洋数据抽样方案g分别取10%，20%，30%，c根据批量大小而定较大的批量：c=1%,2%,3%,…,j%（j为不合理情况的临界值）海洋数据百分比抽样方案

抽样百分比：g=10%g=20%g=30%S(3000,300,3)S(3000,600,6)S(3000,900,9)S(3000,300,6)S(3000,600,12)S(3000,900,18)S(3000,300,9)S(3000,600,18)S(3000,900,27)………………102.研究内容-推导了优化抽样方案的选择算法百分比抽样检验方案超几何分布模型海洋数据批量接收概率残差集合抽样检验AQLLQL残差公式残差优化选择分层排序选择算法最佳残差最优抽样方案推导技术路线11超几何分布模型N:批量n:样本量c:接收数K(P)：接收概率值P:批不合格品率D:批量中的不合格海洋数据

d:样本中的不合格海洋数据AQL:(0.02,0.95),LQL:

(0.1,0.1)2.研究内容-推导了优化抽样方案的选择算法AQL和LQL12AQL残差:LQL残差:由于，所以Ea越小越好，Eb越大越好

双目标决策问题

建立残差集合：残差：是指实际接收概率与理想接收概率之间的差，记作：E。2.研究内容-推导了优化抽样方案的选择算法13实验环境：MATLAB输入：原始的残差集合输出：残差的skyline集合步骤:（1）分层（10%，20%，30%）

2.研究内容-推导了优化抽样方案的选择算法分层排序选择算法14（2）正负号判定过滤（图a）（3）排序过滤（图b）图a图b2.研究内容-推导了优化抽样方案的选择算法15（4）对每层残差进行skyline查询（5）归并三层的skyline集合（6）计算归并后的最佳残差（7）推导出最优的抽样方案2.研究内容-推导了优化抽样方案的选择算法参照表a可知，最优的抽样检验方案为：图c图d表a16（1）不同百分比分层：减少抽样费用。（2）正负判定：将不合理的点提前去除，减少冗余数据。（3）排序过滤：提前排除非skyline集合中的点，提高空间利用率。（4）归并：减少了比较次数，提高查询效率。2.研究内容-推导了优化抽样方案的选择算法算法优点173.实验分析-实验一：南通海域救助设施分布数据救助设施分布图救助设施分布属性信息18属性信息共有数据1000条记录—>较小批量数据—>接收数c从0开始取值3.实验分析-实验一：南通海域救助设施分布数据1910%抽样方案接收概率值和残差---分层3.实验分析-实验一：南通海域救助设施分布数据初始残差集合:2010%抽样经过符号判断过滤后的点集S110%抽样方案的skyline点集S1’3.实验分析-实验一：南通海域救助设施分布数据2120%抽样方案接收概率值和残差3.实验分析-实验一：南通海域救助设施分布数据2220%抽样排序过滤后的点集S220%抽样方案的skyline点集S2’3.实验分析-实验一：南通海域救助设施分布数据2330%抽样方案的skyline点集S3’3.实验分析-实验一：南通海域救助设施分布数据24将三种不同的百分比抽样方案的skyline集合归并后的skyline初始集合:不同百分比抽样方案的skyline集合归并过滤后的点集S43.实验分析-实验一：南通海域救助设施分布数据25归并后的最优skyline集合S4’参照表可知，最优的抽样检验方案为：不同百分比的最优抽样方案的skyline集合3.实验分析-实验一：南通海域救助设施分布数据实验结果：26养殖区分布图养殖区分布属性信息3.实验分析-实验二：南通海域养殖区分布数据27属性信息共有数据1857条记录—>较大批量数据—>接收数c取样本量的1%，2%，3%，4%，5%，6%，7%3.实验分析-实验二：南通海域养殖区分布数据283.实验分析-实验二：南通海域养殖区分布数据29最优的抽样检验方案为：归并后的最优skyline集合较大批量的养殖区数据中最优的残差集合为：实验结果：不同百分比的最优抽样方案的skyline集合3.实验分析-实验二：南通海域养殖区分布数据304.创新点采