遥感产品算法测评-第2部分-指标体系与指标测算方法 编制说明

T/CARSAXXXXX—202X

《遥感产品算法测评第2部分：指标

体系与指标测算方法》规范（征求意见

稿）

编制说明

一、工作简况

(一)任务来源

2022年11月中国遥感应用协会批准了《遥感产品算法测评第1部分：测评方法与流

程导则》团体标准制定项目，批准文件编号为：中遥感发（2022）45号。正式委托中国

科学院空天信息创新研究院牵头完成本规范的制定任务。该标准由中国遥感应用协会

标准化分会归口。

(二)起草单位及主要起草人

本标准起草单位：中国科学院空天信息创新研究院、中国科学院地理科学与资源研

究所、北京大学、北京师范大学、兰州大学、西南大学。本标准的主要起草人：陈曦、

闻建光、唐勇、游冬琴、吴小丹、肖青、柳钦火、宫宝昌、李丽、欧阳晓莹、刘强、马

明国、肖志强、范闻捷、吴骅、刘照言。

本标准主要起草人的主要贡献如下表：

序号姓名单位主要贡献

1陈曦中国科学院空天信负责标准制定工作的组织、协调，相

息创新研究院关资料的查阅、收集；标准文本及编

制说明的起草、撰写；组织召开研讨

会，通过电子邮件、电话等方式，征

集、整理和归纳相关的意见和建议，

并进行修改。

2闻建光中国科学院空天信参与标准制定工作的组织、协调；参

息创新研究院与标准文本及编制说明的起草、撰

1

T/CARSAXXXXX—202X

写；通过电子邮件、电话等方式征集

专家意见；根据意见进行修改。

3唐勇中国科学院空天信相关资料的查阅、收集；参与标准文

息创新研究院本起草、撰写。

4游冬琴中国科学院空天信相关资料的查阅、收集；参与标准文

息创新研究院本起草、撰写。

5吴小丹兰州大学标准文本修改。

6肖青中国科学院空天信标准文本修改。

息创新研究院

7柳钦火中国科学院空天信标准文本修改。

息创新研究院

8宫宝昌中国科学院空天信标准文本修改。

息创新研究院

9李丽中国科学院空天信标准文本修改。

息创新研究院

10欧阳晓莹中国科学院空天信标准文本修改。

息创新研究院

11刘强北京师范大学参与标准文本及编制说明的起草、

撰写，根据意见和建议进行修改。

12马明国西南大学标准文本修改。

13肖志强北京师范大学标准文本修改。

14范闻捷北京大学标准文本修改。

15吴骅中国科学院地理科标准文本修改。

学与资源研究所

16刘照言中国科学院空天信标准文本修改，组织召开研讨会；通

息创新研究院过电子邮件、传真、电话等方式，征

集、整理和归纳相关的意见和建议

以及行业内征求意见和标准送审；

标准文本修改。

2

T/CARSAXXXXX—202X

(三)主要工作过程

起草阶段：

1.2021年1月，《遥感产品算法测评》标准规范编制项目启动，成立编制小组，明确相

关研究内容范围、关键节点、时间计划及任务分工。

2.2021年2月-5月，文献调研与资料收集，重点关注全球业务化运行的遥感产品算法

测评方案与报告，整理总结遥感产品算法测评分析文档及文献，拆分解析难点问题，形

成基础内容框架，拟重点解决的科学问题与标准化关键技术为遥感产品算法测评方法

流程、指标体系和算法接口。

3.2021年6月-7月，编写规范初稿。征求相关专家意见和建议，研究确定标准涵盖范

围，明确了遥感产品算法测评相关的主要方法、流程、常用测评指标、可用测评指标、

算法测评流程接口等，进一步梳理了标准范围、相关术语、定义和约束。撰写了《遥感

产品算法测评第2部分：指标体系与指标测算方法》标准规范初稿。

4.2021年8月-10月，征求相关专家对规范初稿的意见和建议。评审收到来自中国遥感

应用协会标准化分会、中国科学院空天信息创新研究院、中国科学院地理科学与资源研

究所、中国林业科学研究院、中国科学院寒区旱区环境与工程研究所、北京大学、北京

师范大学、兰州大学、西南大学等单位多位专家评审意见，完成初稿修改(见附件1团

体标准立项主审专家意见汇总处理表1-3)。

5.2021年11月-2021年12月，针对不同遥感产品算法，依据可验证的数据源特点和验

证方法，规范算法测评流程和评价指标，为产品的精度评估和算法效率评价提供统一标

准。经过编制小组多次讨论修改，送交中国遥感应用协会标准化分会对《遥感产品算法

测评》专家意见修改稿进行初审。

6.2021年11月17日，召开遥感共性产品算法测评系列团体标准第二次专家咨询会，

收到中国遥感应用协会标准化分会、中国科学院空天信息创新研究院、中国科学院地理

科学与资源研究所、中国林业科学研究院、北京大学、北京师范大学专家评审意见，针

对意见进行修改(见附件1团体标准立项主审专家意见汇总处理表4-6)。

7.2022年1月，参加标准规范研讨和培训会，根据专家培训内容，对草案中范围、术

语、引用等部分进行修订；根据清晰可执行的原则对规范草案进一步梳理，形成修改稿

送交中国遥感应用协会标准化分会，并提交《中国遥感应用协会团体标准制修订立项申

请书》。

3

T/CARSAXXXXX—202X

8.2022年2月-8月，根据中国遥感应用协会标准化分会评审意见修改《遥感产品算法

测评第2部分：指标体系与指标测算方法》标准。来自中国遥感应用协会标准化分会、

中国科学院空天信息创新研究院、中国科学院地理科学与资源研究所、中国科学院寒区

旱区环境与工程研究所、中国林业科学研究院、水利部信息中心、北京大学、北京师范

大学、兰州大学、西南大学、北京市气象局等10位相关领域专家对本标准提出修改意

见。其中，《遥感产品算法测评第2部分：指标体系与指标测算方法》收到7条意见，

采纳7条(见附件1团体标准立项主审专家意见汇总处理表7-13)。修改后送交中国遥

感应用协会标准化分会进行审核。

9.2022年9月1日，举行遥感产品算法测评团体标准立项评审会，《遥感产品算法测

评》标准规范编制小组汇报了标准规范的来源与依据、编制过程和主要内容，经过充分

讨论，明确遥感产品算法测评与遥感产品真实性检验导则、遥感产品真实性检验通用方

法与各标准的相关关系，规范标准规范编写过程中的注意事项，标准规范通过初评。

10.2022年9月，收到中国遥感应用协会标准化分会书面评审意见，针对意见进行修改

(见附件1团体标准立项主审专家意见汇总处理表12-13)。

11.2022年11月30日，中国遥感应用协会发布《关于<遥感产品算法测评第1部分测

评方法与流程导则>等17项团体标准的立项公告》，批准正式立项。

12.2023年2月向中国遥感应用协会标准化分会提交最新版本的征求意见稿、修改的意

见汇总处理表和编制说明。

二、标准编制修订原则

本标准的编制以遥感产品算法测评的科学实践为目标，以规范性和可操作性为第

一宗旨：通过确立对生产遥感产品的算法进行测评的一般原则、基本流程，规定了针对

不同遥感产品算法进行测评的通用性指标。

本标准的编制原则遵循“定义清晰、流程标准、要求明确、操作简便”的原则。通过

对现有不同遥感产品算法精度、效率、适用性和鲁棒性的测评流程和方法的调研归纳，

从中凝练遥感产品算法测评指标体系的概念和问题，并流程标准化和规范化遥感产品

算法测评工作，明确各步骤的指标和操作规程，从而确保遥感产品算法测评工作的一致

性，使用户在应用遥感产品算法生产所需的数据产品前可以准确地了解算法的各项性

能信息。

4

T/CARSAXXXXX—202X

三、主要技术内容及依据

主要技术内容：

对遥感产品算法测评进行标准化，需要在规定测评方法与流程的基础上构建测评

体系与指标测算方法。通过构建严谨全面的评价体系和指标，使遥感产品测评人员在各

种遥感产品算法测评时有据可依，从而提高测评的质量和效率，促进遥感产品算法发

展，更好地服务遥感产品生产。本标准规定了遥感产品算法测评的指标体系和指标的测

算方法，编制过程中参考了遥感产品精度检验和算法评估的部分最新研究成果。

本文件规定了遥感产品算法的通用指标体系和指标的测算方法，适用于遥感产品

算法的测评，包括但不限于几何产品、辐射基础产品、土地覆盖/土地利用产品、能量

平衡参量产品、植被参量产品、水分参量产品等产品生产算法的测评。

遥感产品算法测评应基于一系列相互独立的测评指标，从算法精度、算法适用性、

算法效率、算法鲁棒性四个方面对算法性能进行综合评价，上述四个方面构成的算法测

评指标体系的一级指标，一级指标又进一步划分为可定量测算的二级指标。以下规定了

遥感产品算法测评一级、二级指标构成的指标体系。

遥感产品算法测评的指标应是按照遥感产品算法测评流程可测算、可量化的指标，

各指标应有明确的测算方法。以下规定了遥感产品算法精度、算法适用性、算法效率、

算法鲁棒性四个一级指标所包含的各项二级指标测算方法。

建立的算法测评指标体系及含义如表1，“生产出满足要求的遥感产品”是指在有限

的时间和计算资源条件下，算法输出的产品精度不低于该遥感产品的达标要求。

表1算法测评指标体系

一级指标二级指标说明

对于数值型产品，基于标准输入数据，算法输出结果与相对真值

数值精度

之间的接近程度；

算法精度对于数值型产品，标准输入数据中的同名点在算法输出结果中的

几何精度

相应位置与真实位置之间的几何偏差；

类别精度对于类别型产品，算法输出结果与真实类别的偏差；

地表类型适用性算法在不同地表类型下生产出满足要求的遥感产品的能力；

地形特征适用性算法在不同地形特征下生产出满足要求的遥感产品的能力；

空间尺度适用性算法在不同空间分辨率下生产出满足要求的遥感产品的能力；

算法时间尺度适用性算法在不同时间范围内生产出满足要求的遥感产品的能力；

适用性算法基于对地观测数据产品大类、中类数据（按GB/T32453-2015

数据源类型适用性《卫星对地观测数据产品分类分级规则》的规定）生产出满足要

求的遥感产品的能力；

辅助数据依赖性算法对辅助数据或先验知识输入的依赖程度；

5

T/CARSAXXXXX—202X

运算时间效率算法生产单位数据量的遥感产品所用的运算时间；

算法效率算法生产单位数据量的遥感产品所占用的存储空间资源（内存、

运算空间效率

硬盘空间）；

算法基于包含一定错误的输入数据仍可生产出满足要求的遥感产

算法容错性

算法品的能力；

鲁棒性算法生产单位数据量的遥感产品所用的运算时间与输入数据量大

效率稳定性

小之间的相关性。

（一）算法精度指标

根据遥感产品的属性，对数值型产品算法的精度指标采用算法的几何精度和数值

精度两项二级指标，对类别型产品算法的精度指标采用类别精度一项二级指标。

（1）数值精度测算

按《陆地定量遥感产品真实性检验通用方法》（GB/T39468-20204.3）的规定，对

算法输出的遥感产品和相应的参考数据进行空间抽样，对抽样数据按《遥感产品真实性

检验导则》（GB/T36296-20186.1）6.2的规定，以及对数值类产品或反演结果验证精度

指标，数值类产品的常用精度评价指标包括平均误差、平均绝对误差、相对误差、平均

相对误差、平均绝对相对误差、均方根误差和相关系数等。数值类产品与精度指标的对

应关系如下。

a）平均误差meanerror

误差的平均值푀푒：

1

푀=∑푛푒（1）

푒푛푖=1푖

其中，n为样本量；푒푖为误差值。

b）平均绝对误差meanabsoluteerror

误差绝对值的平均푀퐴푒：

1

푀퐴=∑푛|푒|（2）

푒푛푖=1푖

c）相对误差relativeerror

误差与相对真值或参考对象值（X'）之比的百分数RE：

푒

푅퐸=푖×100%（3）

푖푋′

d)平均相对误差meanrelativeerror

相对误差的平均值푀푅푒：

6

T/CARSAXXXXX—202X

1

푀푅=∑푛푅퐸（4）

푒푛푖=1푖

e）平均绝对相对误差meanabsoluterelativeerror

相对误差绝对值的平均푀퐴푅푒：

1

푀퐴푅=∑푛|푅퐸|（5）

푒푛푖=1푖

f）均方根误差rootmeansquareerror

误差平方和的均值的平方根푅푀푆푒:

1

푅푀푆=√∑푛푒2（6）

푒푛푖=1푖

g）相关系数correlationcoefficient

两个随机变量之间相互依赖性的度量，等于两个变量间的协方差除以各自方差

之积的平方根r(푥1,푥2)：

푛

∑푖=1(푥1,푖−푥̅̅1̅)(푥2,푖−푥̅̅2̅)

r(푥1,푥2)=

푛2푛2

√∑푖=1(푥1,푖−푥̅̅1̅)∑푖=1(푥2,푖−푥̅̅2̅)

（7）

其中，푥1,푖为变量푥1第i次算法输出结果,푥2,푖为变量푥2第i次真实测量结果，푥̅为变量

的算术平均值。

（2）几何精度测算

需测算几何精度的遥感产品主要包括DEM/DSM和DOM。按《陆地定量遥感产品真

实性检验通用方法》（GB/T39468-20204.3）的规定，对算法输出的遥感产品和相应的

参考对象数据中的同名点进行空间抽样，对抽样同名点数据常用的几何精度测评指标

有高程中误差（DEM/DSM）、高程平均误差和平面位置中误差（DOM），另外还有无效

值检查、剖面分析法等方法。几何类产品与精度指标的对应关系如下。

a）高程中误差公式为：

1

휎=√∑푛(푍−푧)2（8）

푛푘=1푘푘

其中푍푘为检验点高程，푧푘为DEM/DSM产品同名点高程，푛为同名点数量。

b）高程平均误差公式为：

1

퐵=∑푛(퐻−ℎ)（9）

푑푛푖=1푖푖

7

T/CARSAXXXXX—202X

其中퐻푖为检验点高程，ℎ푖为DEM产品中同名点高程，n为同名点数量。

c）平面位置中误差公式为：

1

푀=√∑푛(∆푥2+∆푦2)（10）

푛−1푖=1푖푖

其中∆푥푖，∆푦푖分别为同名点在平面上x，y方向的误差，n为同名点数量。

（3）类别精度测算

类别型遥感产品主要包括遥感分类产品（土地覆盖、土地利用）和遥感识别产品

（云掩膜、积雪覆盖、冰川覆盖、水体面积）。该类产品精度的检验主要有定性评价和

定量指标评价两种方式。定性评价，即目视对比原始影像与提取出的类别信息来进行精

度评估。定量评价，即采用一些定量指标组合来对提取出来的类别信息进行精度评估。

按《遥感产品真实性检验导则》（GB/T36296-20186.1）的规定，类别型产品精度评价

的定量指标主要有误差矩阵（errormatrix）、总体分类精度（overallaccuracy，OA）、Kappa

系数（Kappacoefficient）、漏检率（漏分误差，omissionerror）、误检率（错分误差，

commissionerror）等，类别型产品与精度指标的对应关系如下。

a）误差矩阵（errormatrix）

分类精度评价的一种标准形式，是一个用于表示像元分类结果为某一类别与其真

实类别的统计比较矩阵，如下表所示：

表2误差矩阵表

实测数据分类结果类别

实测总和

类别12…i…k

1푛11푛21…푛푖1…푛푘1푃+1

2푛12푛22…푛푖2…푛푘2푃+2

……

j푛1푗푛2푗…푛푖푗…푛푘푗푃+푗

……

k푛1푘푛2푘…푛푖푘…푛푘푘푃+푘

分类总和푃1+푃2+…푃푖+…푃푘+푃

k代表类别的数量，푃为样本总数，푛푖푗表示分类结果为第i类而实际类别（参考类别）为第j类

的样本数目，푃푖+为分类结果为第i类的样本数，푃+푗为实际类别为第j类的样本数。

b）总体分类精度（overallaccuracy，OA）

表示对每一个随机样本，所分类的结果与真实类别相一致的概率，公式如下：

8

T/CARSAXXXXX—202X

1

푝=∑푘푛（11）

푒푃푖=1푖푖

c）Kappa系数（Kappacoefficient）

测定两结果之间的吻合度与精度的指标，符号为퐾ℎ푎푡，公式如下：

푘푘

푃∑푖=1푛푖푖−∑푖=1(푃푖+푃+푖)

퐾ℎ푎푡=2푘（12）

푃−∑푖=1(푃푖+푃+푖)

d）漏检率（漏分误差，omissionerror）

测定真实类别为i而分为其它类别的概率，第i类的漏检率用OE푖表示，公式如下：

푃+푖−푛푖푖

OE푖=（13）

푃+푖

e）误检率（错分误差，commissionerror）

测定分类结果为第j类，而真实类别为其它类的概率，第j类的误检率用CE푗表示，公

式如下：

푃푗+−푛푗푗

CE푗=（14）

푃푗+

（二）算法适用性指标

包括算法的地表类型适用性、地形特征适用性、空间尺度适用性、时间尺度适用性、

数据源类型适用性、以及辅助数据依赖性等六项二级指标，综合构成算法适用性指标体

系。

（1）地表类型适用性测算

令算法基于代表某一种地表类型的标准输入数据进行产品生产，以输出的产品满

足遥感产品精度要求，作为算法适用于当前地表类型的判断标准。对标准输入数据所包

含的多种地表类型数据进行测评，可根据算法适用的地表类型数量表征算法的地表类

型适用性。地表类型适用性测算公式如下：

1

A=∑푁푎（15）

푐푁푖=1푖

其中，A푐为算法的地表类型适用性值，值越大表明算法地表类型适用性越强。푁为

测评的地表类型总数，地表类型划分标准按《地图学术语》（GB/T16820-2009）的规

定，푎푖表示算法对第i种地表类型的适用性判断，如下表所示：

9

T/CARSAXXXXX—202X

地表类型林地草地水体…山地合计

适用性푎1푎2푎3푎푖푎푁푁

푎푖的取值方法如下：

1算法适用当前地表类型

푎푖={

0算法不适用当前地表类型

算法适用是指在给定的测评条件下，算法可在规定时间内生产出满足要求的遥感

产品；反之，算法不适用是指在给定的测评条件下，算法无法在规定时间内生产出满足

要求的遥感产品。满足要求的遥感产品是指参照不同遥感产品确定的精度标准，达到该

精度标准即为满足要求。

（2）地形特征适用性测算

令算法基于代表某一种地形特征的标准输入数据进行产品生产，以输出的产品满

足遥感产品精度要求，作为算法适用于当前地形特征的判断标准。对标准输入数据所包

含的多种地形特征数据进行测评，可根据算法适用的地形特征数量表征算法的地形特

征适用性。地形特征适用性测算公式如下：

1

A=∑푁푎（16）

푡푁푖=1푖

其中，A푡为算法的地形特征适用性值，值越大表明算法地形特征适用性越强。푁为

测评的地形特征总类别数，地形特征划分标准按《地图学术语》（GB/T16820-2009）

的规定，푎푖表示算法对第i种地形特征的适用性判断，如下表所示：

地形特征

平原丘陵山地盆地…高原合计

类型

适用性푎1푎2푎3푎4푎푖푎푁푁

푎푖的取值方法如下：

1算法适用当前地形特征

푎푖={

0算法不适用当前地形特征

（3）空间尺度适用性测算

令算法基于代表某一空间尺度下的标准输入数据进行产品生产，以输出的产品满

足遥感产品精度要求，作为算法适用于当前空间尺度的判断标准。对标准输入数据所包

含的多种空间尺度数据进行测评，可根据算法适用的空间尺度量级表征算法的空间尺

度适用性。空间尺度适用性测算公式如下：

10

T/CARSAXXXXX—202X

1

A=∑푁푎（17）

푠푐푎푙푒푁푖=1푖

其中，A푠푐푎푙푒为算法的空间尺度适用性值，值越大表明算法空间尺度适用性越强。

푁为测评的空间尺度级别数，푎푖表示算法对第i级空间尺度的适用性判断，如下表所示：

空间尺度>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合计

适用性푎1푎2푎3푎4푎5푎6푎7푎8푁

푎푖的取值方法如下：

1算法适用当前空间尺度

푎푖={

0算法不适用当前空间尺度

（4）时间尺度适用性测算

令算法基于代表某一时间尺度的标准输入数据进行产品生产，以输出的产品满足

遥感产品精度要求，作为算法适用于当前时间尺度的判断标准。对标准输入数据所包含

的多种时间尺度数据（不同时间分辨率、不同年份、季节或月份）进行测评，可根据算

法适用的时间尺度量级表征算法的时间尺度适用性。时间尺度适用性测算公式如下：

1

A=∑푁푎（18）

푡푒푚푝표푟푎푙푁푖=1푖

其中，A푡푒푚푝표푟푎푙为算法的时间尺度适用性值，值越大表明算法时间尺度适用性越强。

푁为测评的时间尺度标准数，푎푖表示算法对第i级时间尺度的适用性判断，如下表所示：

空间

10年1年季月16天旬7~8天3天1天1小时30分钟1分钟

尺度

适用性푎1푎2푎3푎4푎5푎6푎7푎8푎9푎10푎11푎12

22:00~

空间6:00~14:00~

上半年下半年春季夏季秋季冬季次日白天夜晚合计

尺度14:0022:00

6：00

适用性푎13푎14푎15푎16푎17푎18푎19푎20푎21푎22푎23푁

푎푖的取值方法如下：

1算法适用当前时间尺度

푎푖={

0算法不适用当前时间尺度

（5）数据源类型适用性测算

11

T/CARSAXXXXX—202X

令算法基于某一类型遥感数据的标准输入数据进行产品生产，以输出的产品满足

遥感产品精度要求，作为表明算法适用于当前类型遥感数据源的判断标准。对标准输入

数据所包含的多种类型的遥感数据源（不同卫星、不同传感器、不同数据属性，按《卫

星对地观测数据产品分类分级规则》（GB/T32453-2015）的规定进行测评，可根据算法

适用的数据源种类表征算法的数据源类型适用性，针对特定数据源开发的产品算法，数

据源类型适用性可根据算法说明直接确定。数据源类型适用性测算公式如下：

1

A=∑푁푎（19）

푑푎푡푎푁푖=1푖

其中，A푑푎푡푎为算法的数据源类型适用性值，值越大表明算法数据源类型适用性越

强。푁为测评的数据源类型总数，푎푖表示算法对第i类数据源的适用性判断，如下表所

示：

大类光学数据产品微波数据产品其他

合计

中类全色多光谱高光谱紫外热红外激光雷达主动微波被动微波其他

适用性푎1푎2푎3푎4푎5푎6푎7푎8푎9푁

푎푖的取值方法如下：

1算法适用当前数据源类型

푎푖={

0算法不适用当前数据源类型

（6）辅助数据依赖性测算

以算法输入的辅助数据及先验知识信息的种类和必要性表征算法的辅助数据依赖

性，方法见附录A.9。针对必须依赖某类辅助数据的产品算法，辅助数据依赖性可根据

算法说明直接确定。辅助数据依赖性测算公式如下：

1

A=∑푁푎.푐（20）

푎푢푥푖푙푖푎푟푦2푁푖=1푖푖

其中，A푎푢푥푖푙푖푎푟푦为算法的辅助数据依赖性值，值越大表明算法对辅助数据依赖度越

高。푁为测评的辅助数据和先验知识信息类型总数，푎푖表示算法对第i类辅助数据或先

验信息的必要性判断，푐푖表示相应数据或信息的权重，如下表所示：

辅助数据辅助数据1辅助数据2…辅助数据i

必要性指标푎1푎2…푎푖

权重푐1푐2…푐푖

先验信息先验信息i+1先验信息i+2…先验信息N

必要性指标푎푖+1푎푖+2…푎푁

权重푐푖+1푐푖+2…푐푁

푎푖的取值方法如下：

12

T/CARSAXXXXX—202X

2算法必要辅助数据或先验信息

푎푖={

1算法次要辅助数据或先验信息

푐푖可根据经验确定，也可用第i类辅助数据或先验信息的获取成本或数据量（单位：

kb）作为权重。

（三）算法效率指标

包括算法的运算时间效率和运算空间效率两项二级指标，综合构成算法效率指标

体系。可根据当前最优的遥感产品的数值精度测算结果，设定满足数值型遥感产品生产

的数值精度要求。可根据当前最优的遥感产品的几何精度测算结果，设定满足数值型遥

感产品生产的几何精度要求。可根据当前最优的遥感产品的类别精度测算结果，设定满

足类别型遥感产品生产的类别精度要求。

（1）时间效率测算

算法执行时启动系统计时，运行结束后统计算法生产单位数据量的遥感产品所用

的运算时间。时间效率测算公式如下：

퐶

퐸=표푢푡푝푢푡（21）

푡푖푚푒푇

其中，퐸푡푖푚푒为算法的时间效率值，值越大表明算法的时间效率越高。퐶표푢푡푝푢푡为输

出产品的总数据量，푇为从算法运行到输出产品所需总时间。

（2）空间效率测算

算法执行时启动系统监控，运行结束后统计算法生产单位数据量的遥感产品过程

中所占用的最大存储空间资源（内存、硬盘空间）。空间效率测算公式如下：

퐶표푢푡푝푢푡

퐸푠푡표푟푎푔푒=（22）

푎1·퐶푅퐴푀+푎2·퐶퐷푖푠푘

其中，퐸푠푡표푟푎푔푒为算法的空间效率值，值越大表明算法的空间效率越高。퐶표푢푡푝푢푡为

输出产品的总数据量，퐶푅퐴푀和퐶퐷푖푠푘分别表示算法得到输出产品的过程中所占用的最大

内存资源和磁盘存储资源，푎1、푎2分别表示内存和磁盘资源的成本权重，可用单位容量

的硬件成本作为权重。

13

T/CARSAXXXXX—202X

（四）算法鲁棒性指标

包括算法的容错性、效率稳定性两项二级指标，综合构成算法鲁棒性指标体系。

（1）容错性测算

以包含一定量噪声的标准输入数据作为算法输入，以输出的产品满足遥感产品精

度要求，作为算法对当前输入数据噪声具有容错性的判断标准。对添加不同量级噪声的

标准输入数据进行测评，可根据算法适用的输入数据噪声量级表征算法的容错性。

以添加不同方差等级的正态分布噪声的标准输入数据作为输入，以输出的产品满

足遥感产品精度要求，作为算法对当前输入数据噪声具有容错性的判断标准。以算法满

足上述标准所能容纳的最大噪声等级表征算法的容错性。

假定算法的标准输入数据为푋，令휇，δ分别表示푋的均值和标准差，加入符合标准

正态分布的随机噪声ε(0,∆2)，即随机噪声ε的均值为0，标准差为∆，得到的输入标准数

′2

据为푋=푋+ε(0,∆)；同理，加入均值为0，标准差为푚푖∆的标准正态分布的随机噪声

2′22

ε(0,(푚푖∆))，得到的输入标准数据为푋=푋+ε(0,푚푖∆)，其中，푚푖的理论取值范围

可以为[0,+∞)。容错性测算公式如下：

A푒푟푟표푟=max{푎푖∗푚푖}（23）

其中，A푒푟푟표푟为算法的容错性指标值，值越大表明算法容错性越强。max{}为最大

值运算符,푚푖表示算法的噪声系数，푎푖表示算法的容错性判断指标。令푁为测试的噪声

水平，例如，取푁=8时，如下表所示：

噪声水平1234i푁=8合计

噪声标准差푚1∆푚2∆푚3∆푚4∆…푚푖∆…푚푁∆—

−ퟑ−ퟐ풊−ퟒퟒ

풎풊值ퟐퟐ1/21…ퟐ…ퟐ—

容错性푎1푎2푎3푎4…푎푖…푎푁푁

푎푖的取值方法如下：

1算法适用当前噪声水平

푎푖={

0算法不适用当前噪声水平

（2）效率稳定性测算

在给定的运算环境下，每次以不同数据量的标准输入数据作为算法输入，可根据每

14

T/CARSAXXXXX—202X

次输出单位数据量的、满足遥感产品精度要求的产品所用时间的差异表征算法的效率

稳定性。效率稳定性测算方法及公式如下：

在相同的运算环境下，以数据量为푚푖的标准输入数据作为输入，统计使用算法生

产出满足要求的遥感产品所需的时间푡푖，则单位数据量的处理时间为푐푖=푡푖/푚푖。以不

同数据量（依次增加）的标准输入数据푚1，푚2，…，푚푁作为输入，分别统计单位数据

量的处理时间푐1，푐2，…，푐푁；

然后，依次计算每增加单位数据量，单位数据量的处理时间变化量푎푖，公式如下：

푎푖=(푐푖+1−푐푖)/(푚푖+1−푚푖)（24）

计算过程如下表所示：

输入数据量푚푖푚1푚2푚3푚4…푚푖…푚푁

所需时间푡푖푡1푡2푡3푡4…푡푖…푡푁

푐푖=푡푖/푚푖푐1푐2푐3푐4…푐푖…푐푁

处理速率变化量푎푖푎1푎2푎3푎4…푎푖…—

最后，用푎푖的均值表征算法的效率稳定性，测算公式如下：

1

A=∑푁−1푎（25）

푒푓푓푖푐푖푒푛푐푦푁−1푖=1푖

其中，푁为测评的标准输入数据的数据量级总数。若A푒푓푓푖푐푖푒푛푐푦<0，则表明随着输

入数据量增加，算法对单位数据量的处理效率提高；若A푒푓푓푖푐푖푒푛푐푦=0，则表明算法对

单位数据量的处理效率不变，即数据处理所需时间与数据量成正比关系；若

A푒푓푓푖푐푖푒푛푐푦>0，则表明随着输入数据量增加，算法对单位数据量的处理效率降低。

主要依据：

通过文献调研和已有的研究成果，对指标体系中的各级指标进行了初步的挑选与

搭建，力求各级指标能全面准确地描述算法性能。通过大量的文献阅读、对比、总结，

初步选择算法精度、算法适用性、算法效率等4项一级指标和13项二级评价指标。

对于一级指标的选择，算法精度是评价一种遥感产品算法时最重要、直观的评价指

标，通过定量计算各种精度指标来评价某种算法的精度。算法适用性表征算法在不同时

空环境下是否满足适用条件，评价某种算法的适用范围。算法效率和算法鲁棒性主要针

对算法在遥感产品生产过程中的表现，算法效率评判某种算法是否可以高效地产出遥

感产品，算法鲁棒性体现的则是算法在面对异常情况的时候稳定运行的能力，这两项指

标在算法从理论模型转化为应用产品的过程中都是必须考虑的因素。选择这4项一级

15

T/CARSAXXXXX—202X

指标，可以从理论研究、产品生产两个方面对算法进行较为全面的评价。

对于二级指标的选择，目前常见的遥感产品包括几何产品、遥感定量产品和遥感分

类产品，其精度评价方式各异，因此算法精度的二级指标需要分别对这三类产品常见的

精度指标进行选择；算法适用性的二级指标则包括地表类型、地形和空间尺度；算法效

率的二级指标既要考虑算法在生产一定量产品时所需时间多少及占用运行空间的大小，

也要考虑到该算法在生产过程中是否需要额外的辅助数据；算法鲁棒性需要评价算法

在出现故障、长时间运行、使用不同数据源等异常状况时的表现，同时对于算法输出的

结果，也要检验其时空间信息是否完整。

对39类遥感产品算法进行了细致的调研，对其使用的精度指标进行统计和总结，

按照产品类别归纳，根据不同遥感产品的性质、需求和检验方式，可以将遥感产品分为

数值类产品、几何类产品和类别类产品三大类，分别对三类产品的精度指标进行总结如

图2所示。

16

T/CARSAXXXXX—202X

产品类别与级别序号共性产品精度指标

1DOM平面位置中误差、平均偏差

几何产品

2DSM/DEM高程中误差

3地表反射率平均误差Me、均方根误差RMSE和相关系数r

4归一化离水辐射率均方根误差RMSE

5雷达后向散射系数平均误差Me、均方根误差RMSE和相关系数r

6地表发射率均方根误差RMSE和平均绝对误差MAE

辐射基础产品

像元精度Pa和总体分类精度Pt组合、正确率、错误率、误检率和

7云掩膜

漏检率组合

8气溶胶光学厚度绝对误差Bias、均方根误差RMSE和相关系数r

9大气水汽含量均方根误差RMSE和相关系数r

10土地覆盖总体精度OA、制图精度PA、用户精度UA和Kappa系数

土地覆盖/土地利用产品

11土地利用总体精度OA、制图精度PA、用户精度UA和Kappa系数

12地表反照率平均误差Me、均方根误差RMSE和相关系数r

13地表温度均方根误差RMSE、相关系数r、绝对误差Bias和标准差STD

14海表温度均方根误差RMSE、相关系数r、绝对误差Bias和标准差STD

15土壤热通量均方根误差RMSE、相关系数r和平均绝对误差MAE

能量平衡参量产品

16光合有效辐射均方根误差RMSE、相关系数r和平均偏差ME

17下行短波辐射均方根误差RMSE、相关系数r和平均偏差ME

18下行长波辐射绝对误差Bias、均方根误差RMSE和相关系数r

19地表净辐射均方根误差RMSE、相关系数r、绝对误差Bias和标准差STD

20植被指数平均误差Me、均方根误差RMSE和相关系数r

21叶面积指数绝对误差Bias、均方根误差RMSE和相关系数r

22植被覆盖度均方根误差RMSE和相关系数r

23光合有效辐射吸收比例均方根误差RMSE和相关系数r

24植被净初级生产力均方根误差RMSE和相关系数r

植被参量产品

25植被物候均方根误差RMSE、相关系数r、相对误差RE和平均绝对误差MAE

26植被叶绿素含量均方根误差RMSE和相关系数r

27叶绿素荧光均方根误差RMSE和相关系数r

28森林地上生物量均方根误差RMSE和相关系数r

29森林树高均方根误差RMSE、相关系数r和标准差SD

30土壤水分均方根误差RMSE、相关系数r和平均绝对误差MAE

31蒸散发相关系数r和平均绝对误差MAE

32干旱指数相关系数r

33水体面积总体分类精度OA、Kappa系数、错分误差、漏分误差和噪声统计

34冰川覆盖误差指标IU和IO、总体精度指标Qc和Qa

水分参量产品

35积雪覆盖误差指标IU和IO、总体精度指标Qc和Qa

36雪被指数相关系数r和平均绝对误差MAE

37水体悬浮物浓度均方根误差RMSE、相关系数r和相对误差RE