质量控制简介及视程障碍综合判别简介

1、地面集成观测业务软件（地面集成观测业务软件（ISOS）台站级质量控制介绍台站级质量控制介绍2013年11月 地面集成观测业务软件（地面集成观测业务软件（ISOSISOS）简介）简介二二. . 质量控制对象质量控制对象2三三. . 质量控制输出代码质量控制输出代码四四. . 质量控制流程质量控制流程一、地面集成观测业务软件（一、地面集成观测业务软件（ISOSISOS）简介）简介 ISOS是根据中国气象局自动化观测系统发展需求，是根据中国气象局自动化观测系统发展需求，立足于立足于自动化观测和自动化业务流程自动化观测和自动化业务流程，开发能对多种地面观测设备，开发能对多种地面观测设备进行统一管理且进

2、行统一管理且灵活配置灵活配置的的综合集成业务软件综合集成业务软件. 以充分发挥自动化观测设备效能，节约台站人力资源，加强以充分发挥自动化观测设备效能，节约台站人力资源，加强基层台站气象服务保障能力，提升自动探测网的建设效益，基层台站气象服务保障能力，提升自动探测网的建设效益，为防灾减灾和国民经济发展提供基础信息支撑。为防灾减灾和国民经济发展提供基础信息支撑。 主要功能主要功能包括：参数设置、数据采集、人工观测、数据显示包括：参数设置、数据采集、人工观测、数据显示、数据处理、数据处理、质量控制质量控制、数据存储、编制业务报表、数据审、数据存储、编制业务报表、数据审核、数据流传输、报文传输、工作管

3、理、任务调度。核、数据流传输、报文传输、工作管理、任务调度。地面观测业务软件设计思路地面观测业务软件设计思路按照如下目标，地面综合观测业务软件系统的总体设计主要突出以下几点： 未来现代气象业务对观测系统的需求：资料的准确性、传输的及时性、产品的综合性 充分发挥自动观测和现代网络技术的特点：高时效的观测资料、快速的宽带网络高时效的观测资料、快速的宽带网络 考虑基层台站观测人员职责的转变：设备保障、质量控制、资料分析地面综合观测业务软件系统的总体设计地面综合观测业务软件系统的总体设计ISOS-SSISOS-SS特点特点 动态扩展性能强动态扩展性能强：通过动态的配置管理，可对各种：通过动态的配置管理

4、，可对各种新观测设备新观测设备进行灵活扩充和配置管理进行灵活扩充和配置管理； 采用模块化的数据质量管理方式，采用模块化的数据质量管理方式，可扩充数据质量控制规则，并实现了可扩充数据质量控制规则，并实现了对多种观测资料的综合校验对多种观测资料的综合校验； 自动控制功能强自动控制功能强：可实现对观测设备的：可实现对观测设备的不同层次和级别的监控不同层次和级别的监控报警报警；不仅能上传输观测数据，还可上传设备的；不仅能上传输观测数据，还可上传设备的状态数据状态数据，为设，为设备的运行监控提供了基础；备的运行监控提供了基础； 功能、性能强功能、性能强：采用灵活配置的方式，可支持串口、网络等：采用灵活配

5、置的方式，可支持串口、网络等多多种联接方式种联接方式；可靠性、稳定性高；可靠性、稳定性高； 自动站、云、能、天等设备通过串口服务器的方式集成，首次构建中自动站、云、能、天等设备通过串口服务器的方式集成，首次构建中国地面综合气象观测系统（国地面综合气象观测系统（ISOSISOS），实现），实现采集、传输、处理的全自动一体化采集、传输、处理的全自动一体化。自动化观测(硬件)观测资料自动化处理与传输(软件) 地面综合自动化观测试点地面综合自动化观测试点ISOS-SSISOS-SS台站软件组成图（台站软件组成图（SMO+MOISMO+MOI）uISOS-SS系统主要由SMO和MOI两部分构成，其中SM

6、O负责自动观测，MOI完成业务处理u 通过FTP的方式上传长Z文件与现有业务接轨，通过数据流的方式与ISOS-PS系统进行交互台站软件台站软件ISOS-SSISOS-SS总体功能图总体功能图简介：uISOS-SS系统主要由SMO和MOI两部分构成，其中SMO负责自动观测，MOI完成业务处理u 通过FTP的方式上传长Z文件与现有业务接轨，通过数据流的方式与ISOS-PS系统进行交互SMO功能结构台站软件之台站软件之MOIMOI主要功能介绍主要功能介绍MOI主要功能包括：u观测与编报模块u数据维护模块u报表制作模块u参数设置模块u质量控制模块u设备维护模块质量控制发展情况介绍质量控制发展情况介绍

7、数值预报技术的发展以及全球气候与大气环境的深入研究，对气象观测资料的质量要求越来越高。针对不同的气象资料，国内由此而研制了许多质量控制(QC)系统。随着地面观测自动化技术的发展，西方发达国家纷纷研制了地面自动观测资料质量控制系统。北欧5国(丹麦、芬兰、冰岛、挪威、瑞典)对自动站资料控制流程分4级：台站级资料质量控制、入库前实时资料质量控制、入库后非实时资料质量控制以及人工质量控制。美国由1100多个观测站组成的地面自动观测系统，在业务运行中，通过对资料进行台站级、州级、国家级三级质量控制，及时发现并反馈观测资料的质量问题，保证资料的准确性。现状介绍现状介绍 截至2005年底，我国气象部门约有6

8、00多个国家级地面站、1200多个地面一般站已使用自动气象站进行地面气象观测。观测系统的变化使得观测仪器、观测方法、观测资料的密度及信息量、数据文件格式等均发生了巨大改变。随着中国气象台站地面自动气象观测系统的逐步布设，地面自动站观测资料质量控制系统的研制已成为业务急需。2004年，由国家气象信息中心牵头，联合安徽省气象局、湖北省气象局开始研制由气象台站，到省级、国家级资料部门的地面自动站观测资料三级质量控制业务系统(以下简称“三级质量控制系统”)，制定各级数据质量控制方案，开发相应的业务适用软件。目前，该系统的研制工作已完成。各级质量控制系统融合了自动控制技术和交互式应用技术，提高了自动进程

9、能力，允许在必要时对特殊资料进行详细的人工分析判断与修正。现有的三级质量控制体系介绍现有的三级质量控制体系介绍 三级质量控制系统业务流程的建立以现行业务观测体制中常规资料的采集传输流程为依据，包括台站级QC、省级QC和国家级QC。台站级QC是指台站在实时资料采集、质量控制的基础上，对本站形成的A、J、R月数据文件及年报文件Y文件，利用台站级质量控制软件进行质量检查和预审，认为合格后上报到省级资料处理部门；省级QC是指在每月规定时间内收集本省范围内由台站上传的上述数据文件，利用省级质量控制软件对其进行质量检查和人机交互审核，同时向台站反馈审核信息，经复查合格后，按要求上报至国家气象信息中心；国家

10、级Qc是指在每月规定时段内收集各省上传来的数据文件，利用国家级质量控制软件对其进行滚动格式检查和质量检查，利用人机交互界面进行数据检查处理，同时向各省反馈最终质量控制信息，确认合格后，归档存储到国家气象信息中心气象资料室。ISOS-SSISOS-SS质量控制介绍质量控制介绍 在地面观测业务集成平台软件中，质量控制子系统主要功能是根据业务配置和质量控制规则，进行实时数据的质量控制，对于明显错误数据进行处理，并输出相同格式的质控数据和质量控制信息。其中质量控制算法、参数、规则等都可以由业务人员进行动态编辑和修订。多要素的质量控制综合判别算法建设内容为建立一套遵循大气状态的基本规律、能多方面检查各要

11、素之间的相互关系，严谨且合理的质量控制算法。在现有可行的、较为成熟的质量控制基本流程的基础上，加入自动化云、天观测与常规要素的多要素综合判别，对现有的、基于半人工半自动化观测的质量控制算法进行修改和补充。 质量控制在软件系统中负责监控数据质量，在数据出现问题时，及时提醒工作人员。质量控制对象质量控制对象4级数据：第第1 1级级：设备端输出的采集数据，即分钟数据和小时数据；第第2 2级级：经过台站级质量控制的数据，即上传数据，长Z文件或数据包）；第第3 3级级：省级质量控制后的数据（即打包上传数据，数据文件或数据包）；第第4 4级级：国家级质量控制的数据。质量控制对象质量控制对象4 4级数据：级

12、数据：第第1 1级：级：设备端输出设备端输出的的采集数据采集数据，即，即分分钟数据和小时数据钟数据和小时数据；第第2 2级级：经过台站级质量控制的数据经过台站级质量控制的数据，即上传数据，长即上传数据，长Z Z文件或数据包）；文件或数据包）；第第3 3级级：省级质量控制后的数据（即打省级质量控制后的数据（即打包上传数据，数据文件或数据包）包上传数据，数据文件或数据包）；第第4 4级级：国家级质量控制的数据。国家级质量控制的数据。高效、简单易行质量控制代码质量控制代码代码值代码值含义含义0数据正确，未作过修改数据正确，未作过修改1数据可疑，未作过修改数据可疑，未作过修改2数据错误，未作过修改数据

13、错误，未作过修改3数据缺测，未作过修改数据缺测，未作过修改4数据有订正值数据有订正值5原数据可疑，对数据进行过修改原数据可疑，对数据进行过修改6原数据错误，对数据进行过修改原数据错误，对数据进行过修改8 原数据缺测，对数据进行过修改原数据缺测，对数据进行过修改9未作数据质量控制未作数据质量控制 采用采用当前业务当前业务使用的质量控制编码使用的质量控制编码 质量控制结果输出代码采用我国2010年1月颁布的气象行业标准地面气象观测资料质量控制规定的质量控制码。质量控制流程质量控制流程1. 格式检查 检查结果：正确、错误 依据：数据格式要求2. 设备状态检查 检查结果：错误数据缺测处理，其余不变 依

14、据：设备状态检查输出结果3. 数据质控码检查 检查结果：错误数据缺测处理，其余不变 依据：文件中数据质控码结果质量控制流程质量控制流程4. 气候学界限值检查：检查结果：正确、错误依据：CIMO、行标、设备量程5. 气候极值检查：检查结果：正确、可疑依据：台站气候统计值要素要素指标范围指标范围气温气温-80 60-80 60本站气压本站气压500 1100500 1100海平面气压海平面气压870 1100870 11001 1相对湿度相对湿度0 1000 1002分钟平均、分钟平均、10分钟平均、分钟平均、最大瞬时风的风向最大瞬时风的风向0 3600 3602分钟平均、分钟平均、10分钟平均风

15、分钟平均风速速0 750 75瞬时风速瞬时风速0 1500 1501 1分钟降水量分钟降水量0 400 40露点温度露点温度-80 35-80 35地表温度地表温度-80 80-80 80土壤温度土壤温度-50 50-50 50草面温度草面温度-80 60-80 601 1太阳辐射太阳辐射0 16000 1600云高云高15 1500015 150002 2能见度能见度10 5000010 500002 2质量控制流程质量控制流程6. 时间一致性检查： 最大变率检查结果：正确、可疑、错误依据：CIMO、设备特点 最小变率检查结果：正确、可疑依据：CIMO要素名要素名最大变率检查范围最大变率检查

16、范围可疑可疑错误错误气压气压0.5 hPa0.5 hPa2hPa2hPa温度温度3 3 露点温度露点温度2 2或或324 4相对湿度相对湿度10 %10 %15%15%2 2分钟平均风速分钟平均风速10 m/s10 m/s20m/s20m/s地面温度地面温度10105cm5cm地温地温0.50.51 110cm10cm地温地温0.50.51 115cm15cm地温地温0.50.531 1320cm20cm地温地温0.50.51 140cm40cm地温地温0.50.531 1350cm50cm地温地温0.5100cm100cm地温地温0.28080、160、3

17、20cm地温地温0.23太阳辐射太阳辐射800Wm800Wm-2-21000 Wm1000 Wm-2-2十分钟能见度十分钟能见度30km3km3km4 430km30km能见度能见度50km5km5km4 4质量控制流程质量控制流程6. 时间一致性检查： 最大变率检查结果：正确、可疑、错误依据：CIMO、设备特点 最小变率检查结果：正确、可疑依据：CIMO要素名要素名最小变率检查范围最小变率检查范围气压气压0.1hPa0.1hPa温度温度0.10.1露点温度露点温度0.10.1相对湿度相对湿度1%1%（相对湿度（相对湿度95%）风速风速0.5m/s0.5m/s风向风向101

18、0（10分钟平均风速大于分钟平均风速大于0.1m/s）地面温度地面温度0.10.1（除雪融状况）（除雪融状况）5cm5cm地温地温土壤温度可能会很稳定，没土壤温度可能会很稳定，没有最小变率要求有最小变率要求10cm10cm地温地温15cm15cm地温地温20cm20cm地温地温50cm50cm地温地温100cm100cm地温地温7. 内部一致性检查： 同类要素检查结果：正确、可疑依据：逻辑关系 不同类要素检查结果：正确、可疑依据：CIMO特点：1. 复杂、地域性强 2. 不断完善质量控制流程质量控制流程质量控制流程质量控制流程要素算法气温气温气温气温 最高气温最高气温气温气温 最低气温最低气温

19、本站气压本站气压气压气压 最高气压最高气压 气温气温 最低气温最低气温相对湿度相对湿度相对湿度相对湿度 最小相对湿度最小相对湿度风速风速十分钟风速十分钟风速 最大风速最大风速两分钟风速两分钟风速 极大风速极大风速极大风速极大风速 最大风速最大风速地表温度地表温度地表温度地表温度 最高地表温度最高地表温度地表温度地表温度 最低地表温度最低地表温度草面温度草面温度草面温度草面温度 最高草面温度最高草面温度草面温度草面温度 最低草面温度最低草面温度降水降水小时降水小时降水 = 分钟降水之和分钟降水之和同类要素质量控制流程质量控制流程(a) 风向和风速风向和风速在下列情况下，风质控为错误：十分钟内风向

20、没有任何变化，而 风速 0；十分钟内风向在变化，而 风速 = 0；瞬时风速 风速；(b) 气温和露点温度气温和露点温度在下列情况下，温度质控为错误：露点温度 气温；气温 - 露点温度 5，且视程障碍来自雾。不同类要素质量控制流程质量控制流程(c) 气温和现在天气气温和现在天气在下列情况下，要素质控均为可疑： 气温 5，而降水类型来自雪；气温 0（或大于雨量计的最小分辨率）；(e) 云信息和日照持续时间云信息和日照持续时间在下列情况下，云和日照持续时间质控为可疑：总云量 100%，而日照持续时间 0；ISOS-SSISOS-SS质控模块介绍质控模块介绍ISOS-SSISOS-SS质控模块介绍质控

21、模块介绍ISOSISOS质控错误码格式定义质控错误码格式定义位数位数含义含义1表示小时或分钟文件（5为分钟6为小时）2表示哪一步质控检查未通过（1-8）3相应要素编号（分钟数据文件要素编号对应表5中要素序号；小时数据文件要素编号对应表6中要素序号。）456设备端指控码71-3 步未通过 每次加184-6步未通过 每次加191表示第1步未通过101表示第2步未通过111表示第3步未通过121表示第4步未通过131表示第5步未通过141表示第6步未通过15预留16预留17预留18预留ISOS-SSISOS-SS质控模块介绍质控模块介绍地面集成观测业务软件（地面集成观测业务软件（ISOS）视）视程障

22、碍综合判别算法程障碍综合判别算法2013年11月主要内容主要内容一、一、算法执行依据二、二、特征和区别三、三、自动化判别算法天气现象自动化观测介绍需通过项目支持开展多传感器集成观测技术研究一、判别算法执行依据类别类别地面气象观测规范地面气象观测规范中中的定义的定义雾大量微小水滴浮游空中，常呈乳白色，使水平能见度小于1.0km轻雾微小水滴或已湿的吸湿性质粒所构成的灰白色的稀薄雾幕，使水平能见度大于等于1.0km小于10.0km霾大量极细微的干尘粒等均匀地浮游在空中，使水平能见度小于10.0km的空气普遍混浊现象沙尘暴由于强风将地面大量尘沙吹起，使空气相当混浊，水平能见度小于1.0km。（出现沙尘

23、暴一般风力大于四级（约10m/s）扬沙由于风大将地面尘沙吹起，使空气相当混浊，水平能见度大于等于1.0km小于10.0km浮尘尘土、细沙均匀地浮游在空中，使水平能见度小于10.0km。浮尘多为远处尘沙经上层气流传播而来，或为沙尘暴、扬沙出现后尚未下沉的细粒浮游空中而成。主要内容主要内容一、一、算法执行依据二、二、特征和区别三、三、自动化判别算法历史数据分析视程障碍现象2分钟平均风速（m/s）相对湿度（%）平均值标准差平均值标准差浮尘3.21.73211扬沙7.92.724.610沙尘暴17.66.810.53.8二、二、6 6种视程障碍现象的特征和区别种视程障碍现象的特征和区别现象名称能见度（

24、km）相对湿度风速大致出现时间雾V1.0接近100%小锋面过境前后轻雾1.0V10.0较潮湿（80%95%）、稳定小早晚较多霾V10.0较干燥（小于80%）、气团稳定小任何扬沙1.0V10.0 风较大冷空气过境或雷暴、飑线影响时，北方春季易出现沙尘暴V1.0 风较大浮尘V10.0 无风或风较小冷空气过境前后主要内容主要内容一、一、算法执行依据二、二、特征和区别三、三、自动化判别算法试点站-判别条件现象名称现象名称判别条件判别条件能见度（km）相对湿度（%）风速（m/s）24小时变温（）雾雾V1.0U80W10.0 轻雾轻雾1.0V10.0U80W10.0 霾霾V10.0U80W10.0 扬沙扬

25、沙1.0V10.0 沙尘暴沙尘暴V10.0 浮尘浮尘V10.0U80W10.0T5（1）、视程障碍识别算法总流程u 提取自动能见度数据、自提取自动能见度数据、自动站数据及上次天气现象动站数据及上次天气现象判别数据。判别数据。u 判断是否有降水现象，判断是否有降水现象，u 若有则返回；若有则返回；u 若没有降水现象，考虑上若没有降水现象，考虑上次是否有视程障碍现象，次是否有视程障碍现象，u 若没有视程障碍现象，按若没有视程障碍现象，按初次判别方法；初次判别方法；u 若有，按二次判别方法。若有，按二次判别方法。（2）、初次判别算法二次判别流程二次判别流程二次判别流程二次判别算法数据评估视程障碍类天

26、气现象评估 总体上雾识别的准确率较高。 人工观测能见度数据与能见度仪数据偏差造成统计的视程障碍现象的准确率较低。建议观测时人工参考自动建议观测时人工参考自动能见度数值能见度数值。视程障碍类天气现象评估视程障碍类天气现象评估评估期间，各站均观测到轻雾和无现象，安徽、北京、湖北、江苏、重庆观测到雾现象，除安徽外各站均观测到霾现象，仅北京出现浮尘，扬沙、沙尘暴未出现。现象集中发生在相对湿度大于等于80%风速小于10m/s时或相对湿度小于80%风速小于10m/s情况下，总体上误判率高于漏判率。二次判别算法数据评估现象安徽北京广东浙江湖北江苏上海重庆平均值雾9250-9082-7578霾-0100940

27、86408958轻雾3843851006055644561扬沙-浮尘-50-沙尘暴-1.准确率准确率视程障碍现象准确率（%）1、准确率评估2.误判率误判率现象湿度风速安徽广东浙江江苏上海重庆雾相对湿度80%风速10m/s0-0-0风速10m/s8-0-25相对湿度80%风速10m/s0-0-0风速10m/s0-18-0霾相对湿度80%风速10m/s-00000风速10m/s-06055相对湿度80%风速10m/s-00000风速10m/s-0014553轻雾相对湿度80%风速10m/s000000风速10m/s471201867相对湿度80%风速10m/s000000风速10m/s134026047扬沙相对湿度80%风速10m/s-风速10m/s-相对湿度80%风速10m/s-风速10m/s-浮尘相对湿度80%风速10