遥感产品算法测评-第2部分-指标体系与指标测算方法 征求意见稿

1遥感产品算法测评第2部分：指标体系与指标测算方法本文件规定了遥感产品算法测评的指标体系和指标的测本文件适用于遥感产品算法的测评，包括但不限于几何产品、辐射基础产品、土地覆盖/土地利用GB/T3358.1-2009统计学词汇及符号第1部分：一般统计术语与用于概GB/T3358.2-2009统计学词汇及符号第2部分：GB/T32453-2015卫星对地观测数据产品GB/T36296-2018遥感产品真遥感产品remotesensingpr遥感产品算法algorithmofremotesensingprod面向遥感产品生产的，将原始遥感数据或遥感共性产品转化为其它遥感产品的算算法精度algorithmaccur2算法适用性algorithmapplicab算法效率algorithmeffici算法鲁棒性algorithmrobustne算法在不同运行环境和输入条件下保持生产精度和效率稳根据遥感产品的属性，对数值型产品算法的精度指标采用算法的几何精度和数值精度两项二级指标，对类别型产品算法的精度指标采用类别精度一项二表4.1算法测评指标体系对于类别型产品，算法输出结果与真实类别的算法在不同地表类型下生产出满足要求的遥感产算法在不同地形特征下生产出满足要求的遥感产算法在不同时间范围内生产出满足要求的遥感产3）；算法基于包含一定错误的输入数据仍可生产出满足要求的遥感算法生产单位数据量的遥感产品所用的运算时间与输入数据量6.1）6.2的规定，以及对数值类产品或反演结果验证精度指标，数值类产品的常用精度评价指标包括平值类产品与精度指标的对应关系见附录A.1。可根据当前最优的遥感产品的数值精度测算结果，设定满b）几何精度测算见附录A.2。可根据当前最优的遥感产品的几何精度测算结果，设定满足数值型遥感产品生产的几何精error）等，类别型产品与精度指标的对应关系见附录A.3。可根据当前最优的遥感产品的类别精度测算4令算法基于代表某一种地表类型的标准输入数据进行产品生产，以输出的产品满足遥感产品精度令算法基于代表某一种地形特征的标准输入数据进行产品生产，以输出的产品满足遥感产品精度令算法基于代表某一空间尺度下的标准输入数据进行产品生产，以输出的产品满足遥感产品精度令算法基于代表某一时间尺度的标准输入数据进行产品生产，以输出的产品满令算法基于某一类型遥感数据的标准输入数据进行产品生产，以输出的产品满针对特定数据源开发的产品算法，数据源类型适以算法输入的辅助数据及先验知识信息的种类和必要性表征算法的辅助数据依赖性，方法见附录b）空间效率测算算法执行时启动系统监控，运行结束后统计算法生产单位数据量的遥感产品法适用的输入数据噪声量级表征算法的容错性，方法见附录A.15量的、满足遥感产品精度要求的产品所用时间的差异表征算法的效率稳定性，方法见附录A.13。6A.1数值精度测评公式：b）平均绝对误差meanabsoluteerror误差绝对值的平均MAe：REi=REi=d)平均相对误差meanrelat相对误差的平均值MRe：∑1REi∑1REiMRene）平均绝对相对误差meanabsoluterelativ相对误差绝对值的平均MARe：MARe=∑1|REi|f）均方根误差rootmeansquare误差平方和的均值的平方根RMse:RMse=∑1ei2g）相关系数correlationcoeff两个随机变量之间相互依赖性的度量，等于两个变量间的协方差除以各自方差之积的平方根r(x1,x2)：1,21(x1,i−)2∑1(x2,i−)21,21(x1,i−)2∑1(x2,i−)2A.2几何精度测评公式：7σ=∑=1(Zk−zk)2b）高程平均误差公式为：M=∑1(∆xi2+∆yi2)A.3类别精度测评公式：分类精度评价的一种标准形式，是一个用于表示像元分类结果为某一类别与其真实类别的统计比12…i…k1n11n21…ni1…nk12n12n22…ni2…nk2……jn1jn2j…nij…nkjP+j……kn1kn2k…nik…nkk……P的样本数目，Pi+为分类结果为第i类的样本数，P+j为实际类别为第j类的样本数。b）总体分类精度（overallaccuracy，OA）pe=∑1niic）Kappa系数（KappacoefKℎat=8测定分类结果为第j类，而真实类别为其它类的概率，第j类的误检率用CEj表示，公式如下：pj+−njjpj+Ac=1ai（15）…a1a2a3aiaNNai={At=1ai（16）…a1a2a3a4aiaNNai={Ascale=1ai9其中，Ascale为算法的空间尺度适用性值，值越大表明算法空间尺度适用性越强。N为测评的空间尺度级别数，ai表示算法对第i级空间尺度的适用性判断，如下表所示：度a1a2a3a4a5a6a7a8Nai={Atemporal=1ai（18）季月旬a1a2a3a4a5a6a7a8a9a10a11a1222:00~a13a14a15a16a17a18a19a20a21a22a23Nai={A.8数据源类型适用性测算公式：Adata=1ai（19）a1a2a3a4a5a6a7a8a9Nai={算法适用当前数据源类型Aauxiliary=1ai.ci其中，AauxiliaTY为算法的辅助数据依赖性值，值越大表明算法对辅助数据依赖度越高。N为测评的…a1a2…ai…ci…ai+1ai+2…aNci+1ci+2…cNai={Etime=EstoTage=Coutputa1·CRAM+a2·CDiska2分别表示内存和磁盘资源的成本权重，可用单位容量的A.12容错性测算方法及公式以添加不同方差等级的正态分布噪声的标准输入数据作为输入，以输出的产品满足遥感产品精度入均值为0，标准差为mi∆的标准正态分布的随机噪声ε(0,(mi∆)2)，得到的输入标准数据为X′=X+ε(0,mi2∆2)，其中，mi的理论取值范围可以为[0,+∞)。AeTToT=max{ai∗mi}1234im1∆m2∆m3∆m4∆…mi∆…mN∆ mi值2−32−21…2i−4…24 a1a2a3a4…ai…aNNai={A.13效率稳定性测算方法及公式：ai=(ci+1−ci)/(mi+1−mi输入数据量mim1m2m3m4…mi…mN所需时间tit1t2t3t4…ti…tNci