遥感反演及遥感数据产品的生产过程课件

遥感反演及遥感数据产品的生产过程1.遥感反演概述2.遥感数据产品生产的流程2.1遥感产品生产线结构2.2遥感数据的预处理2.3遥感反演2.4遥感产品的完善和发布3.例子：GLASS叶面积指数产品生产线3.1数据源3.2预处理3.3反演算法3.4质量控制和质量标志1遥感反演及遥感数据产品的生产过程1.遥感反演概述1遥感反演及遥感数据产品的生产过程这节课授课目标：了解“蛋糕是怎么做的”，吃蛋糕才不会噎着目前的遥感数据产品多数还不完善，解决使用中遇到的问题还需要专业知识了解遥感数据处理的原理理解遥感数据产品还存在问题的原因2遥感数据源遥感参数产品生产在不同领域中的应用遥感反演及遥感数据产品的生产过程这节课授课目标：2遥感数据源1.遥感反演概述31.1什么是遥感反演物理参数遥感信号正演反演1.遥感反演概述31.1什么是遥感反演物理参数遥感信号正1.遥感反演概述41.2遥感反演问题的本质和科学问题遥感的本质是反演，而从反演的数学来源讲，反演研究所针对的首先是数学模型。……，首先要解决的问题是对地表遥感像元信息的地学描述。但陆地遥感反演的根本问题在于定量遥感往往需要用少量观测数据估计非常复杂的地表系统的当前状态，本质上是一个病态反演问题。解决病态反演问题的办法，一是扩充信息源，比如综合使用多源遥感数据或地面观测资料，引入先验知识；二是控制信息分配，让有限的观测信息尽量分配到目标参数，抑制反演过程中的误差传播。1.遥感反演概述41.2遥感反演问题的本质和科学问题1.遥感反演概述51.3常见的几种遥感反演方法经验回归例如逐步多元回归、神经元公式推导及线性反演简化、线性化；例如大气校正公式、分裂窗迭代优化Newton迭代、遗传算法查找表多数情况下只是作为一种简化工具1.遥感反演概述51.3常见的几种遥感反演方法1.遥感反演概述61.4遥感反演的注意事项信息量问题数据信息＋已知参数＋先验约束模型的可反演性合适的参数化方法反演算法的稳定程度对噪声的抵抗能力反演算法中使用约束条件正则化方法、贝叶斯反演、物理边界优化反演算法以提高计算效率优化代价函数、选择合适的迭代算法、建立查找表1.遥感反演概述61.4遥感反演的注意事项1.5MODIS数据参数反演系统气溶胶产品 经验公式、查找表大气水汽含量 经验公式、查找表大气校正 公式推导BRDF及反照率产品

公式推导（线性方程求解）地表温度

公式推导、迭代优化叶面积指数

经验回归、公式＋查找表1.遥感反演概述1.5MODIS数据参数反演系统气溶胶产品 经验公式、查气溶胶产品 查找表选择暗目标：2100纳米反射率和440纳米反射率之间有经验关系，假设２１００纳米处无大气影响，可得440纳米处的地表反射率。建立440纳米处地表反射率、气溶胶类型、气溶胶光学厚度、太阳角度、观测角度等自变量与TOA反射率的查找表。根据各种已知条件（即上面用下划线表示的量）就可从查找表中得到气溶胶光学厚度。1.遥感反演概述气溶胶产品 查找表1.遥感反演概述大气水汽含量 经验公式、查找表先在地表反射率为常数或呈线性变化的假设下求取某波段的大气透过率然后通过使用该波段透过率与水汽含量的查找表求取水汽含量1.遥感反演概述大气水汽含量 经验公式、查找表1.遥感反演概述大气校正 公式推导大气辐射传输方程简化为如下公式就可直接求出逆向公式1.遥感反演概述大气校正 公式推导1.遥感反演概述BRDF及反照率产品

线性方程求解线性核驱动模型因为非线性因素都体现到核函数中，而核函数是估定的、不包含位置参数的函数，因此反演该模型就可以用最小二乘法解线性方程实现。获得核驱动模型参数后，相应波段的半球反照率可由核驱动模型积分得出。总的反照率则是各波段反照率的加权和。1.遥感反演概述BRDF及反照率产品1.遥感反演概述地表温度

公式推导（分裂窗）

假设：

a)地表比辐射率已知；b)大气窗口的水汽吸收系数可以看作常数；c)大气温度与下垫面温度相差不大，黑体辐射公式可以采用线形近似。公式推导（略）最终公式系数获取方法（拟合MODTRAN模拟的数据）1.遥感反演概述地表温度 公式推导（分裂窗） 1.遥感反演概地表温度 迭代优化（ZWan-1997）MODIS７个波段昼夜两次观测，大气地表参数同时反演未知数：７个通道的发射率、昼夜两个地表温度、昼夜两套大气等效辐射温度和水汽含量迭代算法：Quasi-Newton法、最小二乘拟合法优化：对大气辐射传输过程建立查找表、用一个经验回归公式获取解的初始值大量的误差分析和验证工作1.遥感反演概述地表温度 迭代优化（ZWan-1997）1.遥感叶面积指数 经验回归 获取与卫星图像同步的地面测量叶面积指数从卫星图像计算植被指数建立测量点上NDVI或SAVI与叶面积指数的经验关系将此经验关系应用到整个图像1.遥感反演概述叶面积指数 经验回归 1.遥感反演概述叶面积指数与fPar

公式＋查找表（RMyneni-2002）辐射传输方程，包含很多参数将辐射传输方程的求解过程分解，分解后的每一模块只包含少量参数对每个模块建立查找表将观测的多波段（或多角度）数据与查找表对照，就得到叶面积指数与fPar1.遥感反演概述叶面积指数与fPar

1.遥感反演概述第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述2.遥感数据产品生产的流程2.1遥感产品生产线结构2.2遥感数据的预处理2.3遥感反演2.4遥感产品的完善和发布3.例子：GLASS叶面积指数产品生产线3.1数据源3.2预处理3.3反演算法3.4质量控制和质量标志16第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述12.遥感数据产品生产的流程17遥感数据产品生产在遥感信息流中的位置遥感数据产品生产2.遥感数据产品生产的流程17遥感数据产品生产在遥感信息流2.遥感数据产品生产的流程182.1遥感产品生产线结构预处理辐射定标几何校正大气校正参数反演模型多源数据引入反演算法后处理质量控制产品完善格式规范发布遥感数据源参数产品的应用2.遥感数据产品生产的流程182.1遥感产品生产线结构预2.遥感数据产品生产的流程192.2遥感数据预处理辐射畸变校正辐射定标几何校正（包括空间尺度转换）大气校正（包括云检测）2.遥感数据产品生产的流程192.2遥感数据预处理辐射畸2.遥感数据产品生产的流程202.2遥感数据预处理广义的辐射畸变包括：传感器缺陷、地形和光照条件的变化、大气的吸收和散射这里讨论的是狭义的辐射畸变，即传感器自身特点引起的图像缺陷因为传感器辐射畸变是与观测目标无关的伪信号，所以必须进行校正为什么要进行辐射畸变校正2.遥感数据产品生产的流程202.2遥感数据预处理为什么2.遥感数据产品生产的流程212.2遥感数据预处理坏像元探测器损坏或者数据传输过程中

丢失点缺失、行缺失或者列缺失探测器之间的差异面阵探测器，线阵探测器低信噪比波段和红外探测器容易

受到探测器差异的影响光学系统透过率的非均匀透镜系统都会有靠近光轴部分透过率高于远离光轴透过率的现象传感器辐射畸变类型机载WiDAS传感器近红外图像辐射畸变校正前后2.遥感数据产品生产的流程212.2遥感数据预处理传感器2.遥感数据产品生产的流程222.2遥感数据预处理辐射定标的目的：把遥感原始数据的DN值与遥感传感器接收到的辐射能量联系起来遥感数据辐射定标的注意事项同一传感器的不同个体之间定标系数会有差异传感器定标系数会随时间漂移复杂的辐射定标方法，如热红外定标需要逐扫描线对比黑体观测给出动态的定标系数遥感数据的辐射定标2.遥感数据产品生产的流程222.2遥感数据预处理遥感数2.遥感数据产品生产的流程232.2遥感数据预处理几何校正的目的：把遥感图像的图像坐标与真实目标的地理坐标联系起来遥感几何校正的注意事项几何校正具有误差，特别是对于批量生产的产品，目前自动校正的几何误差可能有数百米到数公里校正后数据的投影有很多种，并且有很多参数，投影转化的不准确也造成人为的几何误差几何校正中的升降尺度变换（即重采样）会带来误差地形造成几何校正的困难遥感数据的几何校正2.遥感数据产品生产的流程232.2遥感数据预处理遥感数2.遥感数据产品生产的流程242.2遥感数据预处理根据成像模型和卫星轨道参数自动推算人工选择控制点校正自动匹配选择控制点校正校正方式多项式校正、样条校正、三角网格校正正射校正几何校正的常用方法2.遥感数据产品生产的流程242.2遥感数据预处理几何校2.遥感数据产品生产的流程252.2遥感数据预处理大气校正的目的：消除大气辐射的影响，恢复大气下界的地面反射率或者地面辐射亮度大气影响的表现方式大气吸收，大气层辐射，相邻像元的影响大气校正的难度——大气参数的获取遥感反演气溶胶参数（暗目标方法）遥感反演大气温湿度廓线（红外高光谱）遥感数据的大气校正2.遥感数据产品生产的流程252.2遥感数据预处理遥感数2.遥感数据产品生产的流程262.2遥感数据预处理正确的云、雪检测对于遥感产品生产的重要性：多数遥感产品云、雪检测

效果不理想薄云、高云阈值的确定亚像元的云分布云与雪的光谱特征的相似与差异遥感数据的云、雪检测2.遥感数据产品生产的流程262.2遥感数据预处理遥感数2.遥感数据产品生产的流程272.2遥感数据预处理思考：遥感数据预处理中的哪些误差

会传递到最终的数据产品？传感器的缺陷，不准确的定标，不准确的几何位置，重采样误差，大气校正误差，薄云等2.遥感数据产品生产的流程272.2遥感数据预处理思考：2.遥感数据产品生产的流程282.3遥感反演遥感反演的三要素模型信息源反演算法2.遥感数据产品生产的流程282.3遥感反演遥感反演的三2.遥感数据产品生产的流程292.3遥感反演物理模型经验模型（统计模型）半经验模型（物理模型简化）计算机仿真模型遥感模型2.遥感数据产品生产的流程292.3遥感反演遥感模型2.遥感数据产品生产的流程302.3遥感反演辐射传输（RT）模型广泛用于大气、地表、叶片几何光学（GO）模型景合成的思想，即像元光谱是组分光谱的面积比例加权平均GO-RT混合模型遥感物理模型2.遥感数据产品生产的流程302.3遥感反演遥感物理模型2.遥感数据产品生产的流程312.3遥感反演优点原理比较清晰，可以分析原理改进模型不足非线性，计算量大，不容易反演模型依赖于对目标的一些假设，不满足假设的目标不适用即使最严格物理模型，仍然是对复杂自然现象的近似，因此仍然有误差遥感物理模型的优点与局限2.遥感数据产品生产的流程312.3遥感反演遥感物理模型2.遥感数据产品生产的流程322.3遥感反演线性回归模型多项式回归模型指数函数模型多变量回归模型优点：一般比较简单，计算量小，易反演局限：受限于提取模型用的训练数据，如果时间、地点、目标改变了，模型就不再适用遥感经验模型（统计模型）经验模型的优点与局限2.遥感数据产品生产的流程322.3遥感反演遥感经验模型2.遥感数据产品生产的流程332.3遥感反演非线性模型线性化，非敏感参数用常数值代替优点：既简单又有一定物理意义局限：作为物理模型的简化，也有一定适用范围蒙特卡洛仿真真实景观+三维辐射传输优点：逼真

局限：计算量非常大半经验模型（物理模型简化）计算机仿真模型2.遥感数据产品生产的流程332.3遥感反演半经验模型（2.遥感数据产品生产的流程342.3遥感反演第三公设:Verstraete等(1996)提出的反演10个公设的第3条“定量遥感反演的必要条件是独立观测的个数大于未知数的个数”遥感反演信息量缺乏问题的解决方法引入多源数据使用先验知识遥感反演的信息源2.遥感数据产品生产的流程342.3遥感反演遥感反演的信2.遥感数据产品生产的流程352.3遥感反演多种遥感数据的联合反演相似特征的多个传感器数量联合，时间空间分辨率显著不同的数据互补，光学和微波遥感数据协同地面观测数据支持遥感反演地面观测可以提供一些模型需要而又难以从遥感数据反演的参数，如气温地面观测点较多的条件下（比如用无线传感器网络获取很多数据），可用地面观测值订正遥感反演结果统计知识（先验知识）支持遥感反演通过地面观测或者较高质量的遥感产品获得统计知识增加信息源的方式2.遥感数据产品生产的流程352.3遥感反演增加信息源的2.遥感数据产品生产的流程362.3遥感反演多源数据联合反演，是增加了信息，还是增加了误差?误差源的复杂化，误差传播过程的复杂化原理上说，增加数据源应该有利于参数反演，但是前提条件是使用了正确的反演方法。多源遥感反演的误差2.遥感数据产品生产的流程362.3遥感反演多源遥感反演2.遥感数据产品生产的流程372.3遥感反演常见的遥感反演算法推导反演模型的解析表达式（速度最快）线性最小二乘法（线性问题）人工神经网络（能处理非线性问题，但是效果不稳定）查找表（未知参数不能太多）迭代优化（较慢，容易陷入局部极值）遗传算法（更慢）反演算法不能用于业务化生产2.遥感数据产品生产的流程372.3遥感反演反演算法不能2.遥感数据产品生产的流程382.3遥感反演什么叫反演算法的不稳定？出现没有物理意义的反演结果，如极高或极低的地表温度反演结果对数据噪声敏感，稍微改变数据中的噪声，反演结果就会偏离很远反演结果对初值或其他反演控制参数敏感反演不稳定的原因信息量缺乏、模型参数自相关、不恰当的反演算法反演不稳定的对策用先验知识做约束条件、精心选择反演算法和反演策略反演算法的不稳定性及对策2.遥感数据产品生产的流程382.3遥感反演反演算法的不2.遥感数据产品生产的流程392.3遥感反演思考：遥感反演过程中哪些因素会影响数据产品的质量？有什么注意事项？模型有误差，但更重要的是不要选错误的模型；各种数据源都有误差，要尽量选择包含丰富信息而又噪声小的数据，但更重要的是设计反演算法一定要注意控制误差的传播反演算法会不稳定，一个好的反演算法要尽量减少不稳定，另一方面，用户不要简单认为反演结果都是好结果2.遥感数据产品生产的流程392.3遥感反演思考：遥感反2.遥感数据产品生产的流程402.4遥感产品的后处理因为遥感产品中存在误差以及诸多其他问题。为什么要强调遥感产品的后处理？质量控制产品完善格式规范产品发布完备的说明文档及元数据2.遥感数据产品生产的流程402.4遥感产品的后处理为什2.遥感数据产品生产的流程412.4遥感产品的后处理质量标志现在比较通用的做法是给出逐像元的质量标志位质量分级现在使用这种方式比较少，但总的说仍然是质量好的数据才能提供给用户人工抽查需要投入大量具有专业知识的人员精度验证自我验证、第三方验证遥感产品的质量控制措施2.遥感数据产品生产的流程412.4遥感产品的后处理遥感2.遥感数据产品生产的流程42典型的质量标志位说明

BitsarelistedfromtheMSB(bit31)totheLSB(bit0):

BitDescription

14-17band4dataqualityfourbitrange;

SAMEASABOVE

10-13band3dataqualityfourbitrange;

SAMEASABOVE

6-9band2dataqualityfourbitrange;

SAMEASABOVE

2-5band1dataqualityfourbitrange;

SAMEASABOVE

0-1MODLANDQAbits;

correctedproductproducedat

00--idealqualityallbands

01--lessthanidealqualitysomeorallbands

correctedproductnotproduceddueto

10--cloudeffectsallbands

11--otherreasonssomeorallbandsmaybefillvalue

[Notethatavalueof(11)overridesavalueof(01)].MYD09A1数据产品(7个波段的地表反射率)质量标志位的定义2.遥感数据产品生产的流程42典型的质量标志位说明 Bit2.遥感数据产品生产的流程432.4遥感产品的后处理不同时间、空间分辨率的产品的生成根据一定合成策略，生成升尺度（低分辨率）的遥感产品通过合成，也可以一定程度减少缺失数据多种产品的融合把不同数据源的产品进行融合，可进一步提高精度和减少缺失缺失填补根据先验知识填补缺省值根据参数分布的自相关性进行时空滤波填补人工编辑例如分类后处理，通过聚类、剔除等操作去除小的碎屑多边形遥感产品的完善2.遥感数据产品生产的流程432.4遥感产品的后处理遥感2.遥感数据产品生产的流程442.4遥感产品的后处理文件名规范一般反映数据源、获取时间、地理位置、参数类型等数据文件格式最常见的是GeoTiff和HDF格式压缩包很多产品压缩存储以节省占用空间和网络传输时间遥感产品的格式规范2.遥感数据产品生产的流程442.4遥感产品的后处理遥感2.遥感数据产品生产的流程452.4遥感产品的后处理算法手册详细介绍数据源特性，反演算法原理以及预期的精度用户手册介绍数据文件的格式和质量标志等信息产权及引用信息数据的使用者对于数据提供者应该给予的支持产品元数据每一个数据产品文件还会有一个描述文件，记录很多相关信息，称为元数据完备的说明文档和元数据2.遥感数据产品生产的流程452.4遥感产品的后处理完备2.遥感数据产品生产的流程462.4遥感产品的后处理产品介绍网站产品下载网站其他产品提供方式产品宣传册宣传推广产品发布2.遥感数据产品生产的流程462.4遥感产品的后处理产品第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述2.遥感数据产品生产的流程2.1遥感产品生产线结构2.2遥感数据的预处理2.3遥感反演2.4遥感产品的完善和发布3.例子：GLASS叶面积指数产品生产线3.1数据源3.2预处理3.3反演算法3.4质量控制和质量标志47第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述4MODISLAI(Collection4)overBondvillein2001MODISLAIovertheCounamiSite(Broadleafforest)3.例子：GLASS叶面积指数产品生产线背景：现有LAI指数全球产品的不足MODISLAI(Collection4)over3.例子：GLASS叶面积指数产品生产线493.1数据源主要输入数据MODIS地表反射率产品（2000年后）AVHRR地表反射率产品（2000年前）训练数据NASA发布的MODIS叶面积指数（LAI）产品欧洲CYCLOPES项目发布的叶面积指数（LAI）产品地面站点观测3.例子：GLASS叶面积指数产品生产线493.1数据源3.例子：GLASS叶面积指数产品生产线503.2预处理MODIS地表反射率的预处理辐射定标几何校正云检测大气校正时间序列平滑直接使用了NASA发布的MOD09A1产品（已经过预处理）GLASS系统中的预处理3.例子：GLASS叶面积指数产品生产线503.2预处理3.例子：GLASS叶面积指数产品生产线513.2预处理为什么要时间序列平滑？去除残余的云干扰，填补缺失数据3.例子：GLASS叶面积指数产品生产线513.2预处理3.例子：GLASS叶面积指数产品生产线523.3反演算法GeneralRegressionNeuralNetworksAGRNNwithamulti-input–multi-outputarchitecture3.例子：GLASS叶面积指数产品生产线523.3反演算3.例子：GLASS叶面积指数产品生产线533.3反演算法采用GRNN人工神经网络（计算效率高）输入1年的反射率时间序列，输入1年的LAI时间序列（多对多的映射关系，输出的LAI时间序列是平滑的）训练数据采用全球不同类别的若干站点的反射率和LAI时间序列（训练数据的代表性和精度决定产品精度）反演算法特点3.例子：GLASS叶面积指数产品生产线533.3反演算3.例子：GLASS叶面积指数产品生产线54叶面积指数（LAI）反演算法流程图预处理预处理算法算法3.例子：GLASS叶面积指数产品生产线54叶面积指数（L3.例子：GLASS叶面积指数产品生产线553.3反演算法GLASS产品生产线硬件设计根据863项目总体建设原则，已经建成了具有“先进性、可靠性、可维护性、开放性和安全性”等特点的全球陆表特征参量生产系统。3.例子：GLASS叶面积指数产品生产线553.3反演算3.例子：GLASS叶面积指数产品生产线563.3反演算法GLASS产品生产线硬件实物高性能计算中心硬件设备概要序号名称数量设备主要参数1存储1套InfiniBand网络存储，一级SAS存储200TB,二级SATA存储500TB,三级SATA存储500TB；高性能读写HCA卡的I/O双向传输速率80Gb/s；IOPS高于65万。2计算节点1套144个双CPU4核刀片服务器，集成千兆/万兆以太网交换机，集成Infiniband交换机。3.例子：GLASS叶面积指数产品生产线563.3反演算3.例子：GLASS叶面积指数产品生产线573.3反演算法GLASS产品生产管理系统软件设计方案

生产管理系统是采用Linux计算机集群构建的生产环境，在多个计算节点上完成生产部署，作业分发，生产状态采集。它的构架采用三层结构设计，由外层（用户交互界面层）、核心层（业务逻辑层）以及内层（应用数据访问层）构成。3.例子：GLASS叶面积指数产品生产线573.3反演算3.例子：GLASS叶面积指数产品生产线583.3反演算法GLASS产品生产管理系统软件设计方案模块单元任务单管理模块计算任务监控与管理模块计算资源监控模块消息传递模块任务调度模块预处理模块ALBEDO反照率产品算法模块EMIS发射率产品算法模块RAD辐射产品算法模块LAI叶面积指数产品算法模块监控日志模块XML生产模块3.例子：GLASS叶面积指数产品生产线583.3反演算3.例子：GLASS叶面积指数产品生产线593.3反演算法GLASS数据产品生产流程3.例子：GLASS叶面积指数产品生产线593.3反演算3.例子：GLASS叶面积指数产品生产线603.4质量控制和质量标志GLASS三级产品HDF文件命名、格式组织及元数据(XML)设计规范GLASS01NYY.VXX.AYYYYDDD.HRRVPP.YYYYDDD.hdfGLASS：产品前缀01：LAI产品N：产品空间分辨率YY：产品生产所用算法或所用数据的标识符01-使用MODISTerra数据,8天，SIN投影；02-使用MODISAqua数据,8天，SIN投影；03-使用AVHRR数据，正弦投影；04-使用AVHRR数据，SIN投影VXX：产品版本号，自V01起算AYYYYDDD：生产产品所用数据的获取时间YYYY-年份DDD-儒略日HRRVPP：产品景号信息(即产品所在的SIN投影格网的行列号)HRR-行号VPP-列号YYYYDD：产品生产的时间YYYY-年份DDD-儒略日GLASS01A01.V01.A2003033.h01v07.2011148.hdf3.例子：GLASS叶面积指数产品生产线603.4质量控3.例子：GLASS叶面积指数产品生产线613.4质量控制和质量标志3.例子：GLASS叶面积指数产品生产线613.4质量控3.例子：GLASS叶面积指数产品生产线623.4质量控制和质量标志3.例子：GLASS叶面积指数产品生产线623.4质量控3.例子：GLASS叶面积指数产品生产线633.4质量控制和质量标志叶面积指数产品质量标志位3.例子：GLASS叶面积指数产品生产线633.4质量控处理结果时间分辨率：8天空间分辨率：1～5km时间跨度：1981-2010GLASSLAI产品处理结果时间分辨率：8天GLASSLAI产品GLASSLAI产品GLASSLAI产品3.例子：GLASS叶面积指数产品生产线663.4质量控制和质量标志人工抽查的质量检查方法3.例子：GLASS叶面积指数产品生产线663.4质量控3.例子：GLASS叶面积指数产品生产线673.4质量控制和质量标志人工抽查的质量检查方法典型区域选择：

北美洲森林、格陵兰岛冰雪覆盖区、沙哈拉大沙漠，中纬度农地覆盖区和热带雨林区等抽取数据数量

原则上抽取陆地范围不小于全球陆地面积的20%。选择典型季节

每个tile每个季度选2天，不同tile选择不同的时间段。MOD09A1抽查的34个tile如下:3.例子：GLASS叶面积指数产品生产线673.4质量控原始数据、预处理数据、产品对比LAI预处理数据原始数据检查结论：所检查出的空间不连续几乎都是v02区域，这里的空间不连续本质上也是反射率QC值，有雪覆盖与无雪覆盖的交错。另外，此区域靠近极地，目前的数据质量认为可以接受。原始数据、预处理数据、产品对比LAI预处理数据原始数据3.例子：GLASS叶面积指数产品生产线693.4质量控制和质量标志人工抽查的质量检查方法LAI第一次、第二次检测统计表判读年份判读数据量错误类型错误数据量所占百分比2001

数据缺失2722.05%288*46=13248条带tile*day空间不连续2002

数据缺失880.66%288*46=13248条带tile*day空间不连续2003

数据缺失800.60%288*46=13248条带tile*day空间不连续2004

数据缺失410.31%288*46=13248条带tile*day空间不连续2005

数据缺失800.60%288*46=13248条带tile*day空间不连续2006

数据缺失990.75%288*46=13248条带tile*day空间不连续2007

数据缺失1321.00%288*46=13248条带tile*day空间不连续2008

数据缺失450.34%288*46=13248条带tile*day空间不连续2009

数据缺失1050.79%288*46=13248条带tile*day空间不连续2010

数据缺失2902.19%288*46=13248条带tile*day空间不连续LAI第三次检测统计表判读年份判读数据量发现错误类型总错误数量所占百分比2000336（景）数据缺失9127.08%条带空间不连续2001247数据缺失197.69%条带空间不连续2002179数据缺失3117.32%条带空间不连续2003238数据缺失104.20%条带空间不连续200474数据缺失45.41%条带空间不连续2005127数据缺失3829.92%条带空间不连续2006170数据缺失21.18%条带空间不连续2007232数据缺失83.45%条带空间不连续2008214数据缺失10.47%条带空间不连续2009209数据缺失00.00%条带空间不连续2010694数据缺失34048.99%条带空间不连续3.例子：GLASS叶面积指数产品生产线693.4质量控3.例子：GLASS叶面积指数产品生产线703.4质量控制和质量标志GLASS产品数据分发网站的设计3.例子：GLASS叶面积指数产品生产线703.4质量控71本节课通过介绍遥感产品生产的流程，目的是让大家明白遥感产品生产过程中有很多不完善之处或误差来源，因此在使用遥感数据产品时需要谨慎对待，遇到问题需要从产品生产过程中去分析原因。本节总结71本节总结遥感反演及遥感数据产品的生产过程1.遥感反演概述2.遥感数据产品生产的流程2.1遥感产品生产线结构2.2遥感数据的预处理2.3遥感反演2.4遥感产品的完善和发布3.例子：GLASS叶面积指数产品生产线3.1数据源3.2预处理3.3反演算法3.4质量控制和质量标志72遥感反演及遥感数据产品的生产过程1.遥感反演概述1遥感反演及遥感数据产品的生产过程这节课授课目标：了解“蛋糕是怎么做的”，吃蛋糕才不会噎着目前的遥感数据产品多数还不完善，解决使用中遇到的问题还需要专业知识了解遥感数据处理的原理理解遥感数据产品还存在问题的原因73遥感数据源遥感参数产品生产在不同领域中的应用遥感反演及遥感数据产品的生产过程这节课授课目标：2遥感数据源1.遥感反演概述741.1什么是遥感反演物理参数遥感信号正演反演1.遥感反演概述31.1什么是遥感反演物理参数遥感信号正1.遥感反演概述751.2遥感反演问题的本质和科学问题遥感的本质是反演，而从反演的数学来源讲，反演研究所针对的首先是数学模型。……，首先要解决的问题是对地表遥感像元信息的地学描述。但陆地遥感反演的根本问题在于定量遥感往往需要用少量观测数据估计非常复杂的地表系统的当前状态，本质上是一个病态反演问题。解决病态反演问题的办法，一是扩充信息源，比如综合使用多源遥感数据或地面观测资料，引入先验知识；二是控制信息分配，让有限的观测信息尽量分配到目标参数，抑制反演过程中的误差传播。1.遥感反演概述41.2遥感反演问题的本质和科学问题1.遥感反演概述761.3常见的几种遥感反演方法经验回归例如逐步多元回归、神经元公式推导及线性反演简化、线性化；例如大气校正公式、分裂窗迭代优化Newton迭代、遗传算法查找表多数情况下只是作为一种简化工具1.遥感反演概述51.3常见的几种遥感反演方法1.遥感反演概述771.4遥感反演的注意事项信息量问题数据信息＋已知参数＋先验约束模型的可反演性合适的参数化方法反演算法的稳定程度对噪声的抵抗能力反演算法中使用约束条件正则化方法、贝叶斯反演、物理边界优化反演算法以提高计算效率优化代价函数、选择合适的迭代算法、建立查找表1.遥感反演概述61.4遥感反演的注意事项1.5MODIS数据参数反演系统气溶胶产品 经验公式、查找表大气水汽含量 经验公式、查找表大气校正 公式推导BRDF及反照率产品

公式推导（线性方程求解）地表温度

公式推导、迭代优化叶面积指数

经验回归、公式＋查找表1.遥感反演概述1.5MODIS数据参数反演系统气溶胶产品 经验公式、查气溶胶产品 查找表选择暗目标：2100纳米反射率和440纳米反射率之间有经验关系，假设２１００纳米处无大气影响，可得440纳米处的地表反射率。建立440纳米处地表反射率、气溶胶类型、气溶胶光学厚度、太阳角度、观测角度等自变量与TOA反射率的查找表。根据各种已知条件（即上面用下划线表示的量）就可从查找表中得到气溶胶光学厚度。1.遥感反演概述气溶胶产品 查找表1.遥感反演概述大气水汽含量 经验公式、查找表先在地表反射率为常数或呈线性变化的假设下求取某波段的大气透过率然后通过使用该波段透过率与水汽含量的查找表求取水汽含量1.遥感反演概述大气水汽含量 经验公式、查找表1.遥感反演概述大气校正 公式推导大气辐射传输方程简化为如下公式就可直接求出逆向公式1.遥感反演概述大气校正 公式推导1.遥感反演概述BRDF及反照率产品

线性方程求解线性核驱动模型因为非线性因素都体现到核函数中，而核函数是估定的、不包含位置参数的函数，因此反演该模型就可以用最小二乘法解线性方程实现。获得核驱动模型参数后，相应波段的半球反照率可由核驱动模型积分得出。总的反照率则是各波段反照率的加权和。1.遥感反演概述BRDF及反照率产品1.遥感反演概述地表温度

公式推导（分裂窗）

假设：

a)地表比辐射率已知；b)大气窗口的水汽吸收系数可以看作常数；c)大气温度与下垫面温度相差不大，黑体辐射公式可以采用线形近似。公式推导（略）最终公式系数获取方法（拟合MODTRAN模拟的数据）1.遥感反演概述地表温度 公式推导（分裂窗） 1.遥感反演概地表温度 迭代优化（ZWan-1997）MODIS７个波段昼夜两次观测，大气地表参数同时反演未知数：７个通道的发射率、昼夜两个地表温度、昼夜两套大气等效辐射温度和水汽含量迭代算法：Quasi-Newton法、最小二乘拟合法优化：对大气辐射传输过程建立查找表、用一个经验回归公式获取解的初始值大量的误差分析和验证工作1.遥感反演概述地表温度 迭代优化（ZWan-1997）1.遥感叶面积指数 经验回归 获取与卫星图像同步的地面测量叶面积指数从卫星图像计算植被指数建立测量点上NDVI或SAVI与叶面积指数的经验关系将此经验关系应用到整个图像1.遥感反演概述叶面积指数 经验回归 1.遥感反演概述叶面积指数与fPar

公式＋查找表（RMyneni-2002）辐射传输方程，包含很多参数将辐射传输方程的求解过程分解，分解后的每一模块只包含少量参数对每个模块建立查找表将观测的多波段（或多角度）数据与查找表对照，就得到叶面积指数与fPar1.遥感反演概述叶面积指数与fPar

1.遥感反演概述第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述2.遥感数据产品生产的流程2.1遥感产品生产线结构2.2遥感数据的预处理2.3遥感反演2.4遥感产品的完善和发布3.例子：GLASS叶面积指数产品生产线3.1数据源3.2预处理3.3反演算法3.4质量控制和质量标志87第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述12.遥感数据产品生产的流程88遥感数据产品生产在遥感信息流中的位置遥感数据产品生产2.遥感数据产品生产的流程17遥感数据产品生产在遥感信息流2.遥感数据产品生产的流程892.1遥感产品生产线结构预处理辐射定标几何校正大气校正参数反演模型多源数据引入反演算法后处理质量控制产品完善格式规范发布遥感数据源参数产品的应用2.遥感数据产品生产的流程182.1遥感产品生产线结构预2.遥感数据产品生产的流程902.2遥感数据预处理辐射畸变校正辐射定标几何校正（包括空间尺度转换）大气校正（包括云检测）2.遥感数据产品生产的流程192.2遥感数据预处理辐射畸2.遥感数据产品生产的流程912.2遥感数据预处理广义的辐射畸变包括：传感器缺陷、地形和光照条件的变化、大气的吸收和散射这里讨论的是狭义的辐射畸变，即传感器自身特点引起的图像缺陷因为传感器辐射畸变是与观测目标无关的伪信号，所以必须进行校正为什么要进行辐射畸变校正2.遥感数据产品生产的流程202.2遥感数据预处理为什么2.遥感数据产品生产的流程922.2遥感数据预处理坏像元探测器损坏或者数据传输过程中

丢失点缺失、行缺失或者列缺失探测器之间的差异面阵探测器，线阵探测器低信噪比波段和红外探测器容易

受到探测器差异的影响光学系统透过率的非均匀透镜系统都会有靠近光轴部分透过率高于远离光轴透过率的现象传感器辐射畸变类型机载WiDAS传感器近红外图像辐射畸变校正前后2.遥感数据产品生产的流程212.2遥感数据预处理传感器2.遥感数据产品生产的流程932.2遥感数据预处理辐射定标的目的：把遥感原始数据的DN值与遥感传感器接收到的辐射能量联系起来遥感数据辐射定标的注意事项同一传感器的不同个体之间定标系数会有差异传感器定标系数会随时间漂移复杂的辐射定标方法，如热红外定标需要逐扫描线对比黑体观测给出动态的定标系数遥感数据的辐射定标2.遥感数据产品生产的流程222.2遥感数据预处理遥感数2.遥感数据产品生产的流程942.2遥感数据预处理几何校正的目的：把遥感图像的图像坐标与真实目标的地理坐标联系起来遥感几何校正的注意事项几何校正具有误差，特别是对于批量生产的产品，目前自动校正的几何误差可能有数百米到数公里校正后数据的投影有很多种，并且有很多参数，投影转化的不准确也造成人为的几何误差几何校正中的升降尺度变换（即重采样）会带来误差地形造成几何校正的困难遥感数据的几何校正2.遥感数据产品生产的流程232.2遥感数据预处理遥感数2.遥感数据产品生产的流程952.2遥感数据预处理根据成像模型和卫星轨道参数自动推算人工选择控制点校正自动匹配选择控制点校正校正方式多项式校正、样条校正、三角网格校正正射校正几何校正的常用方法2.遥感数据产品生产的流程242.2遥感数据预处理几何校2.遥感数据产品生产的流程962.2遥感数据预处理大气校正的目的：消除大气辐射的影响，恢复大气下界的地面反射率或者地面辐射亮度大气影响的表现方式大气吸收，大气层辐射，相邻像元的影响大气校正的难度——大气参数的获取遥感反演气溶胶参数（暗目标方法）遥感反演大气温湿度廓线（红外高光谱）遥感数据的大气校正2.遥感数据产品生产的流程252.2遥感数据预处理遥感数2.遥感数据产品生产的流程972.2遥感数据预处理正确的云、雪检测对于遥感产品生产的重要性：多数遥感产品云、雪检测

效果不理想薄云、高云阈值的确定亚像元的云分布云与雪的光谱特征的相似与差异遥感数据的云、雪检测2.遥感数据产品生产的流程262.2遥感数据预处理遥感数2.遥感数据产品生产的流程982.2遥感数据预处理思考：遥感数据预处理中的哪些误差

会传递到最终的数据产品？传感器的缺陷，不准确的定标，不准确的几何位置，重采样误差，大气校正误差，薄云等2.遥感数据产品生产的流程272.2遥感数据预处理思考：2.遥感数据产品生产的流程992.3遥感反演遥感反演的三要素模型信息源反演算法2.遥感数据产品生产的流程282.3遥感反演遥感反演的三2.遥感数据产品生产的流程1002.3遥感反演物理模型经验模型（统计模型）半经验模型（物理模型简化）计算机仿真模型遥感模型2.遥感数据产品生产的流程292.3遥感反演遥感模型2.遥感数据产品生产的流程1012.3遥感反演辐射传输（RT）模型广泛用于大气、地表、叶片几何光学（GO）模型景合成的思想，即像元光谱是组分光谱的面积比例加权平均GO-RT混合模型遥感物理模型2.遥感数据产品生产的流程302.3遥感反演遥感物理模型2.遥感数据产品生产的流程1022.3遥感反演优点原理比较清晰，可以分析原理改进模型不足非线性，计算量大，不容易反演模型依赖于对目标的一些假设，不满足假设的目标不适用即使最严格物理模型，仍然是对复杂自然现象的近似，因此仍然有误差遥感物理模型的优点与局限2.遥感数据产品生产的流程312.3遥感反演遥感物理模型2.遥感数据产品生产的流程1032.3遥感反演线性回归模型多项式回归模型指数函数模型多变量回归模型优点：一般比较简单，计算量小，易反演局限：受限于提取模型用的训练数据，如果时间、地点、目标改变了，模型就不再适用遥感经验模型（统计模型）经验模型的优点与局限2.遥感数据产品生产的流程322.3遥感反演遥感经验模型2.遥感数据产品生产的流程1042.3遥感反演非线性模型线性化，非敏感参数用常数值代替优点：既简单又有一定物理意义局限：作为物理模型的简化，也有一定适用范围蒙特卡洛仿真真实景观+三维辐射传输优点：逼真

局限：计算量非常大半经验模型（物理模型简化）计算机仿真模型2.遥感数据产品生产的流程332.3遥感反演半经验模型（2.遥感数据产品生产的流程1052.3遥感反演第三公设:Verstraete等(1996)提出的反演10个公设的第3条“定量遥感反演的必要条件是独立观测的个数大于未知数的个数”遥感反演信息量缺乏问题的解决方法引入多源数据使用先验知识遥感反演的信息源2.遥感数据产品生产的流程342.3遥感反演遥感反演的信2.遥感数据产品生产的流程1062.3遥感反演多种遥感数据的联合反演相似特征的多个传感器数量联合，时间空间分辨率显著不同的数据互补，光学和微波遥感数据协同地面观测数据支持遥感反演地面观测可以提供一些模型需要而又难以从遥感数据反演的参数，如气温地面观测点较多的条件下（比如用无线传感器网络获取很多数据），可用地面观测值订正遥感反演结果统计知识（先验知识）支持遥感反演通过地面观测或者较高质量的遥感产品获得统计知识增加信息源的方式2.遥感数据产品生产的流程352.3遥感反演增加信息源的2.遥感数据产品生产的流程1072.3遥感反演多源数据联合反演，是增加了信息，还是增加了误差?误差源的复杂化，误差传播过程的复杂化原理上说，增加数据源应该有利于参数反演，但是前提条件是使用了正确的反演方法。多源遥感反演的误差2.遥感数据产品生产的流程362.3遥感反演多源遥感反演2.遥感数据产品生产的流程1082.3遥感反演常见的遥感反演算法推导反演模型的解析表达式（速度最快）线性最小二乘法（线性问题）人工神经网络（能处理非线性问题，但是效果不稳定）查找表（未知参数不能太多）迭代优化（较慢，容易陷入局部极值）遗传算法（更慢）反演算法不能用于业务化生产2.遥感数据产品生产的流程372.3遥感反演反演算法不能2.遥感数据产品生产的流程1092.3遥感反演什么叫反演算法的不稳定？出现没有物理意义的反演结果，如极高或极低的地表温度反演结果对数据噪声敏感，稍微改变数据中的噪声，反演结果就会偏离很远反演结果对初值或其他反演控制参数敏感反演不稳定的原因信息量缺乏、模型参数自相关、不恰当的反演算法反演不稳定的对策用先验知识做约束条件、精心选择反演算法和反演策略反演算法的不稳定性及对策2.遥感数据产品生产的流程382.3遥感反演反演算法的不2.遥感数据产品生产的流程1102.3遥感反演思考：遥感反演过程中哪些因素会影响数据产品的质量？有什么注意事项？模型有误差，但更重要的是不要选错误的模型；各种数据源都有误差，要尽量选择包含丰富信息而又噪声小的数据，但更重要的是设计反演算法一定要注意控制误差的传播反演算法会不稳定，一个好的反演算法要尽量减少不稳定，另一方面，用户不要简单认为反演结果都是好结果2.遥感数据产品生产的流程392.3遥感反演思考：遥感反2.遥感数据产品生产的流程1112.4遥感产品的后处理因为遥感产品中存在误差以及诸多其他问题。为什么要强调遥感产品的后处理？质量控制产品完善格式规范产品发布完备的说明文档及元数据2.遥感数据产品生产的流程402.4遥感产品的后处理为什2.遥感数据产品生产的流程1122.4遥感产品的后处理质量标志现在比较通用的做法是给出逐像元的质量标志位质量分级现在使用这种方式比较少，但总的说仍然是质量好的数据才能提供给用户人工抽查需要投入大量具有专业知识的人员精度验证自我验证、第三方验证遥感产品的质量控制措施2.遥感数据产品生产的流程412.4遥感产品的后处理遥感2.遥感数据产品生产的流程113典型的质量标志位说明

BitsarelistedfromtheMSB(bit31)totheLSB(bit0):

BitDescription

14-17band4dataqualityfourbitrange;

SAMEASABOVE

10-13band3dataqualityfourbitrange;

SAMEASABOVE

6-9band2dataqualityfourbitrange;

SAMEASABOVE

2-5band1dataqualityfourbitrange;

SAMEASABOVE

0-1MODLANDQAbits;

correctedproductproducedat

00--idealqualityallbands

01--lessthanidealqualitysomeorallbands

correctedproductnotproduceddueto

10--cloudeffectsallbands

11--otherreasonssomeorallbandsmaybefillvalue

[Notethatavalueof(11)overridesavalueof(01)].MYD09A1数据产品(7个波段的地表反射率)质量标志位的定义2.遥感数据产品生产的流程42典型的质量标志位说明 Bit2.遥感数据产品生产的流程1142.4遥感产品的后处理不同时间、空间分辨率的产品的生成根据一定合成策略，生成升尺度（低分辨率）的遥感产品通过合成，也可以一定程度减少缺失数据多种产品的融合把不同数据源的产品进行融合，可进一步提高精度和减少缺失缺失填补根据先验知识填补缺省值根据参数分布的自相关性进行时空滤波填补人工编辑例如分类后处理，通过聚类、剔除等操作去除小的碎屑多边形遥感产品的完善2.遥感数据产品生产的流程432.4遥感产品的后处理遥感2.遥感数据产品生产的流程1152.4遥感产品的后处理文件名规范一般反映数据源、获取时间、地理位置、参数类型等数据文件格式最常见的是GeoTiff和HDF格式压缩包很多产品压缩存储以节省占用空间和网络传输时间遥感产品的格式规范2.遥感数据产品生产的流程442.4遥感产品的后处理遥感2.遥感数据产品生产的流程1162.4遥感产品的后处理算法手册详细介绍数据源特性，反演算法原理以及预期的精度用户手册介绍数据文件的格式和质量标志等信息产权及引用信息数据的使用者对于数据提供者应该给予的支持产品元数据每一个数据产品文件还会有一个描述文件，记录很多相关信息，称为元数据完备的说明文档和元数据2.遥感数据产品生产的流程452.4遥感产品的后处理完备2.遥感数据产品生产的流程1172.4遥感产品的后处理产品介绍网站产品下载网站其他产品提供方式产品宣传册宣传推广产品发布2.遥感数据产品生产的流程462.4遥感产品的后处理产品第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述2.遥感数据产品生产的流程2.1遥感产品生产线结构2.2遥感数据的预处理2.3遥感反演2.4遥感产品的完善和发布3.例子：GLASS叶面积指数产品生产线3.1数据源3.2预处理3.3反演算法3.4质量控制和质量标志118第三讲：遥感反演及遥感数据产品的生产过程1.遥感反演概述4MODISLAI(Collection4)overBondvillein2001MODISLAIovertheCounamiSite(Broadleafforest)3.例子：GLASS叶面积指数产品生产线背景：现有LAI指数全球产品的不足MODISLAI(Collection4)over3.例子：GLASS叶面积指数产品生产线1203.1数据源主要输入数据MODIS地表反射率产品（2000年后）AVHRR地表反射率产品（2000年前）训练数据NASA发布的MODIS叶面积指数（LAI）产品欧洲CYCLOPES项目发布的叶面积指数（LAI）产品地面站点观测3.例子：GLASS叶面积指数产品生产线493.1数据源3.例子：GLASS叶面积指数产品生产线1213.2预处理MODIS地表反射率的预处理辐射定标几何校正云检测大气校正时间序列平滑直接使用了NASA发布的MOD09A1产品（已经过预处理）GLASS系统中的预处理3.例子：GLASS叶面积指数产品生产线503.2预处理3.例子：GLASS叶面积指数产品生产线1223.2预处理为什么要时间序列平滑？去除残余的云干扰，填补缺失数据3.例子：GLASS叶面积指数产品生产线513.2预处理3.例子：GLASS叶面积指数产品生产线1233.3反演算法GeneralRegressionNeuralNetworksAGRNNwithamulti-input–multi-outputarchitecture3.例子：GLASS叶面积指数产品生产线523.3反演算3.例子：GLASS叶面积指数产品生产线1243.3反演算法采用GRNN人工神经网络（计算效率高）输入1年的反射率时间序列，输入1年的LAI时间序列（多对多的映射关系，输出的LAI时间序列是平滑的）训练数据采用全球不同类别的若干站点的反射率和LAI时间序列（训练数据的代表性和精度决定产品精度）反演算法特点3.例子：GLASS叶面积指数产品生产线533.3反演算3.例子：GLASS叶面积指数产品生产线125叶面积指数（LAI）反演算法流程图预处理预处理算法算法3.例子：GLASS叶面积指数产品生产线54叶面积指数（L3.例子：GLASS叶面积指数产品生产线1263.3反演算法GLASS产品生产线硬件设计根据863项目总体建设原则，已经建成了具有“先进性、可靠性、可维护性、开放性和安全性”等特点的全球陆表特征参量生产系统。3.例子：GLASS叶面积指数产品生产线553.3反演算3.例子：GLASS叶面积指数产品生产线1273.3反演算法GLASS产品生产线硬件实物高性能计算中心硬件设备概要序号名称数量设备主要参数1存储1套InfiniBand网络存储，一级SAS存储200TB,二级SATA存储500TB,三级SATA存储500TB；高性能读写HCA卡的I/O双向传输速率80Gb/s；IOPS高于65万。2计算节点1套144个双CPU4核刀片服务器，集成千兆/万兆以太网交换机，集成Infiniband交换机。3.例子：GLASS叶面积指数产品生产线563.3反演算3.例子：GLASS叶面积指数产品生产线1283.3反演算法GLASS产品生产管理系统软件设计方案

生产管理系统是采用Linux计算机集群构建的生产环境，在多个计算节点上完成生产部署，作业分发，生产状态采集。它的构架采用三层结构设计，由外层（用户交互界面层）、核心层（业务逻辑层）以及内层（应用数据访问层）构成。3.例子：GLASS叶面积指数产品生产线573.3反演算3.例子：GLASS叶面积指数产品生产线1293.3反演算法GLASS产品生产管理系统软件设计方案模块单元任务单管理模块计算任务监控与管理模块计算资源监控模块消息传递模块任务调度模块预处理模块ALBEDO反照率产品算法模块EMIS发射率产品算法模块RAD辐射产品算法模块LAI叶面积指数产品算法模块监控日志模块XML生产模块3.例子：GLASS叶面积指数产品生产线583.3反演算3.例子：GLASS叶面积指数产品生产线1303.3反演算法GLASS数据产品生产流程3.例子：GLASS