（通信与信息系统专业论文）基于元数据的气象科学数据共享系统的设计与实现.pdf

摘要 摘要 气象科学数据在科技创新和公众生活中发挥着不可替代的作用，但使用效率 低下、数据管理滞后使气象科学数据的科学价值远未充分发挥。因此，建立气象 科学数据共享系统，充分利用现代信息技术实现数据的共享，对加快我国气象科 技发展具有重要意义。 本文从气象科学数据共享的现状与存在的问题出发，结合气象科学数据共享 的需求分析，依托青海省气象局的信息共享项目，提出了一个可行的基于元数据 的气象科学数据共享系统的设计和实现方法。 本文系统分析了气象科学数据共享的相关理论问题，从气象科学数据的概念、 性质、特点和分类入手，分别阐述了数据集和元数据的概念、特点和分类；引出 了元数据的描述机制x m l 技术，分析了数据共享技术，说明了元数据是解决气象 科学数据共享的关键技术手段。在对元数据基本概念理解的基础上，研究了气象 科学数据核心元数据的扩展机制，并给出了扩展的基本方法；对目前存在的几种 元数据存储方式进行分析比较，结合气象科学数据特点，提出了文件系统与关系 数据库相结合的存储策略，设计实现了元数据库和共享数据库。最后设计开发了 的气象科学数据共享系统，实现了以元数据库为框架的数据共享管理和查询平台， 开发了基于w e b 的共享服务平台。系统具有可扩展性和可配置性的特点，为实现 气象领域科学数据的有效共享奠定了基础。 关键词：气象科学数据，元数据，数据集，数据库，数据共享 a b s t r a c t a b s t r a c t m e t e o r o l o g i c a ls c i e n t i f i cd a t ag i v e saf u l lp l a yt ot h es c i e n c ea n dt e c h n o l o g y i n n o v a t i o na n dp u b l i cl i f e ，b u tt h el o w e ru s ee f f i c i e n c ya n dl a g m a n a g e m e n th a v el e d r e s t r a i n tt h es c i e n t i f i cv a l u e t h e r e f o r e ，i ti si m p o r t a n tt oe s t a b l i s ht h es y s t e mo f m e t e o r o l o g i c a ls c i e n t i f i cd a t as h a r i n ga n dm a k ef u l lu s eo ft h ea p p l i c a t i o no fm o d e mi t f o re x p e d i t i n gt h ed e v e l o p m e n to fm e t e o r o l o g i c a ls c i e n c ea n dt e c h n o l o g y t h i sp a p e rs t a r tw i t ht h ep r e s e n ts i t u a t i o na n dp r o b l e m so fm e t e o r o l o g i c a l s c i e n t i f i cd a t a s h a r i n g t h e n t h ea r t i c l ed e s c r i b e sh o wt o d e s i g na n dd e v e l o p m e t e o r o l o g i c a ls c i e n t i f i cd a t as h a r i n gs y s t e mb a s e do nm e t a d a t ab yc o m b i n i n gw i t ht h e d e m a n da n a l y s i so fd a t as h a r i n ga n di n f o r m a t i o ns h a r i n gp r o j e c to fq i n g h a ip r o v i n c i a l m e t e o r o l o g i c a lb u r e a u t h et h e o r e t i c a li s s u e sr e l a t e dt om e t e o r o l o g i c a ls c i e n t i f i cd a t as h a r i n ga r e s y s t e m i c a l l ya n a l y z e d ，i n c l u d i n gt h ec o n c e p t ，c h a r a c t e r i s t i c a n dc l a s s i f i c a t i o no f m e t e o r o l o g i c a ls c i e n t i f i cd a t a t h ep a p e ri n t r o d u c e st h eb a s i ct h e o r yo fm e t a d a t a ，a n d a n a l y z e st h ec o n c e p t s ，c h a r a c t e r i s t i e s ，c l a s s i f i c a t i o no fd a t a s e t sa n dm e t a d a t a ，a n dl e a d s t ox m l t e c h n o l o g yo fd i s p l a yo fa m e t a d a t ad e s c r i p t i o n t e c h n o l o g yo fd a t as h a r i n gi s a n a l y z e d i tn o t e st h ea p p l i c a t i o no fm e t a d a t a s o l v em e t e o r o l o g i c a ls c i e n t i f i cd a t a s h a r i n go f k e yt e c h n o l o g y o nt h eb a s i so f t h eb a s i cc o n c e p t so f m e t a d a t a ，c o r em e t a d a t a e x t e n s i o nm e c h a n i s mo fm e t e o r o l o g i c a ls c i e n t i f i cd a t ai ss t u d i e da n db a s i cp r i n c i p l eo f t h em e t a d a t ae x t e n s i o ni sd i s c u s s e d s e v e r a lm e t a d a t as t o r a g em o d e sa tp r e s e n ta r e a n a l y s i s e d w i t l lm e t e o r o l o g i c a lm e t a d a t as t a t u s ，t h es t o r a g es t r a t e g yo fc o m b i n a t i o no f f i l es y s t e ma n dr e l a t i o n a ld a t a b a s ea r ep r o p o s e d ，t h e nm e t a d a t aa n ds h a r i n gd a t a b a s ea r e d e s i g n e d f i n a l l y ，m e t e o r o l o g i c a l s c i e n t i f i cd a t a s h a r i n gs y s t e m i s d e s i g n e da n d d e v e l o p e d t h ep l a ni m p l e m e n t st h em a n a g i n ga n ds e a r c h i n gf u n c t i o n so fd a t a s h a r i n g p l a t f o r mb a s e do nm e t a d a t ad a t a b a s e ，d e s i g n sad a t as h a r i n gs e r v i c ep l a t f o r mo n w e b t h ee x t e n s i b l ea n d c o n f i g u r a b l es y s t e m e s t a b l i s h e das o l i db a s ef o r t h e m e t e o r o l o g i c a ls c i e n t i f i cd a t as h a r i n ge f f i c i e n t l y k e y w o r d s ：m e t e o r o l o g i c a ls c i e n t i f i cd a t a ，m e t a d a t a ，d a t a s e t ，d a t a b a s e ，d a t as h a r i n g i i 图目录 图目录 图2 1 不同数据源之间的数据交换1 4 图2 2x m l 文档的多种显示15 图2 3x m l 文档的处理流程15 图3 1 元数据层次结构l8 图3 2 气象元数据内容2 0 图3 3 气象元数据标准扩展流程图2 3 图3 4 将树形结构存放到关系表中2 5 图3 5 数据库设计步骤2 7 图3 - 6 数据流图2 7 图3 7 气象元数据库局部e - r 模型图( 部分) 2 9 图3 - 8 气象元数据库全局e - r 模型图3 0 图3 - 9 共享数据库结构图3 3 图3 1o 数据处理流程图3 3 图4 1 系统体系架构3 6 图4 2 系统功能框架3 7 图4 3 系统物理结构示意图3 9 图4 - 4 气象元数据管理体系模型4 4 图4 5 用户管理流程4 5 图4 - 6 元数据管理的典型流程图4 6 图4 7 系统功能图4 7 图4 8 数据库连接池配置示例图4 9 图4 - 9 元数据检索结构图4 9 图4 1 0z 3 9 5 0 协议客户端- n 务器端结构5 0 图4 1lz 3 9 5 0 协议过程5l 图4 1 2 通过w e b 执行z 3 9 5 0 数据检索5 2 图4 1 3 元数据检索框图。5 3 图4 1 4 测试系统组成5 4 v 1 图目录 图4 1 5 用户管理功能5 5 图4 1 6 元数据管理界面5 5 图4 1 7 关系类型数据集检索5 6 图4 1 8 查询实体数据表5 6 图4 1 9 显示元数据内容5 7 图4 2 0 文件类型数据集检索5 7 v i i 表目录 表目录 表3 1 气象数据集核心元数据1 9 表3 2 数据分类及级别定义表3 1 表3 3 结构化数据种类信息表3l 表3 4 非结构化数据种类信息表3 1 表3 5 二级元数据表3 2 表4 1m v c 模式的实现4 3 表4 2 元数据浏览测试5 8 表4 3 数据查询测试5 8 表4 4 数据检索测试5 8 表4 5 数据下载测试5 8 表4 6 功能测试5 9 表4 7 可靠性测试5 9 表4 8 响应时间测试5 9 a p i a s p c g i c o m d b m s d d l d m l d o m d t d f t p g i s h t m l h t t p i e i i s m v c o d b c s g m l s o l u r l w 3 c w d c w m 0 x m l 缩略词 缩略词 a p p lic a tio np r o g r a m m in gi n t e r f a c e ，应用程序接口 a c t i v es e r v ep a g e s ，动态服务网页 c o m m o ng a t e w a yi n t e r f a c e ，通用网关接口 c o m m o no b j e c tm o d e l ，公共对象模型 d a t a b a s em a n a g e m e n ts y s t e m ，数据库管理系统 d a t ad e f i n i t i o nl a n g u a g e ，数据定义语言 d a t am a n i p u l a r i o nl a n g u a g e ，数据操纵语言 d o c u m e n to b j e c tm o d e l ，文档对象模型 d o c u m e n tt y p ed e f i n i t i o n ，文档类型定义 f il et r a n s f o r m a ti o np r o t o c o l ，文件传输协议 g e o g r a p h yi n f o r m a t i o ns y s t e m ，地理信息系统 h y p e r t e x tm a r k u pl a n g u a g e ，超文本标记语言 h y p e r t e x tt r a n s m is s i o np r o t o c o l ，超文本传输协议 i n t e r n e te x p l o r e r ，网络浏览器 i n t e r n e ti n f o r m a t i o ns e r v e r ，因特网信息服务器 m o d e l v i e w c o n t r o l l e r ，模式一视图控制器 o p e nd a t a b a s ec o n n e c t i v it y ，开放数据库连接 s t a n d a r dg e n e r a liz e dm a r k u pl a n g u a g e ，标准通用标记语言 s t r u c t u r e dq u e r yl a n g u a g e ，结构化查询语言 u n i f o r mr e s o u r c el o c a t o r ，统一资源定位器 w o r l dw i d ew e bc o n s o r t i u m ，万维网协会 w o r l dd a t ac e n t e r ，世界数据中心 w o r l dm e t e o r e l o g i c a lo r g a n i z a t i o n ，世界气象组织 e x t e n s i b l em a r k u pl a n g u a g e ，可扩展标记语言 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 日期：矽护8 年5 月衫日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 椭彳 导师签名： 日期：砌彦年f 月形日 第一章引言 1 1研究背景 第一章引言 随着科学技术的迅猛发展和信息化的推进，科学数据的管理和共享逐步为人 们所共识。气象数据资源作为地球系统科学数据重要组成部分，是国家重要的基 础性、公益性信息资源。气象科学数据包括描述大气物理、化学和生态特征的各 种要素变化以及与大气系统相关的其他圈层的诸要素状态。气象科学数据除具有 基础数据通常的基础性、公益性、累积性等特点外，还具有全球性、完备性和实 时性等鲜明的特性。正因如此，气象科学数据在科技创新、宏观决策、经济建设、 国防安全和公众生活中发挥着不可替代的作用。 长期以来，由于部门分割、行业独立，彼此间没有形成数据共享的必要机制， 同时以往的数据工作重心和投入多集中在数据的存储、加工和部门内使用等方面， 缺乏对数据共享工作的支持和关注，形成了各行业、各部门各自建立和使用自己 的数据资源，彼此间缺乏数据资源的交流和共享使用，以至于科学研究和业务发 展所需的基础数据难于获取，阻碍了气象业务发展和科技创新的进程。 近年来，气象科学数据共享的社会呼声不断高涨，国家也以立法的形式明确 了气象科学数据的共享主体和共享办法。国家科技部科技启动了基础工作专项资 金项目“气象科学数据共享试点”，气象信息共享平台也作为气象事业发展的“四 大战略平台 之一【l l ，是气象信息整合、规范管理和高效利用的核心业务系统，为 气象业务、科研发展以及相关的科学研究提供统一的气象数据资源共享和服务平 台。 1 1 1 研究项目来源 本研究依托“气象科学数据共享中心一一青海气象数据资源建设与共享服务 和“西北区域干旱监测预警评估业务系统 项目，这些科研任务的实施，为本论 文从研究目标的确立、研究内容的选定以及取得有价值的研究结果都提供了有力 的支持。本论文是这二个项目的一部分，着重研究元数据技术在共享系统中的应 用。 电子科技大学硕士学位论文 1 1 2 研究现状 随着信息技术的不断发展和社会对于信息共享需求的日益迫切，采用现代数 据库技术和网络技术管理海量信息资源，并面向各阶层用户提供信息获取服务的 信息管理系统得到了快速发展。由于科学数据的共享研究是与信息资源管理领域 的研究紧密相关的，因此在数据信息组织、加工、管理和数据服务等方面进行了 大量的相关研究。国际科学联合会的两大科学数据组织世界数据中心( w d c ) 和国际科学技术数据委员会( c o d a t a ) ，利用互联网初步构建了全球尺度的科技 数据交换体系，全球资源信息数据库、国际灾害信息资源网络等一批全球性共享 工程初步形成。美国从1 9 9 0 年开始建设分布式、高效使用的数据中心群，对公益 性科学数据实行“完全与开放 共享政策管理，开展了数据分布、管理与保护的 研究，探讨数据的永久归档保存、数据分发和数据产品的开发。世界气象组织 ( w m o ) 在1 9 8 0 年联合各成员国建立了世界天气监测网，实时交换全球气象资 料和分析预报产品，并推出了全球气候数据计划，1 9 9 4 年将共享范围扩展到科技 教育界，进一步规范了气象资料国际交换准则，在2 0 0 3 年提出了构建新一代信息 系统( w i s ) 2 1 ，该系统主要以元数据技术来整合各类气象信息，构建一个分层次 的世界范围的气象信息共享系统，以支持从世界天气计划( w w w ) 到w m o 各个 项目和计划对气象信息的快速获取与便捷应用。美国国家大气与海洋局( n o a a ) 也于2 0 0 0 年开始建设国家虚拟数据中心( n n d c ) ，采用分布式数据库技术，以统 一的界面和订单为用户提供气候、海洋、地球物理信息资源的共享服务【j j 。 我国政府正在大力推动信息化进程。近2 0 年来，我国先后建设了5 0 0 0 - - - 6 0 0 0 个规模不等、质量各异、应用程度迥异的科学数据库，覆盖了科学技术的各个领 域。但科学数据资源管理滞后，共享问题仍十分突出。1 9 9 5 年原国家科委相继建 立了虚拟的国家科技图书文献中心和中国可持续发展网络信息系统等。科技部在 国家科技基础工作专项计划中陆续支持了一批急需的科技基础数据库建设，其中 在电子政务领域重点构建采用数据目录交换技术的跨部门、跨领域的信息交换与 共享平 4 1 ，在科研领域，科技部正在大力推进国家科学数据共享工程，中国科学 院的科学数据库系统也在管理分散异构数据方面取得了一些研究成果。我国气象 部门在2 0 世纪8 0 年代初开始应用计算机来存储和处理各类气象数据，气象数据 管理系统从单机文件系统、局域网络数据库系统逐步发展到了大规模分布式数据 库系统阶段；中国气象局在科技部的支持下，于2 0 0 1 年启动了气象数据共享试点， 开展气象数据共享服务。有关气象科学数据共享的研究还处于起步阶段。 2 第一章引言 1 1 3 存在的主要问题 早在2 0 世纪7 0 年代后期，气象部门就将地面常规气候资料进行了信息化处 理，以磁带、磁盘等载体进行存储。随着技术的进步和事业的发展，气象数据的 种类和数量急剧增加，气象部门也逐步建立了各种类型的数据存储和管理系统。 根据实际业务应用需要，分别建立了历史资料数据库、实时资料数据库、农业气 象数据库、决策服务资料库、气象灾情数据库和预报产品数据库等。覆盖全国的 卫星通信、地面公共通信相结合的气象信息网络系统，保证资料的实时收集和交 换，为气象科学数据追加和更新提供通畅的信道。但数据库应用软件是基于c s 结构开发的专用数据库软件，使用上具有很大的局限性，不便于在网络中进行资 源的广泛交流和共享。而且这些数据存储与管理系统大多自成体系，采用多种手 段和方法实现，不能满足日益增长的实际业务和科研的应用需求。其问题主要表 现在以下几个方面： ( 1 ) 数据分散。不同学科、不同研究领域和研究方向建设各自的数据资源， 通过数字化加工整理，建设了一批专业性强的数据库，方便了部门或行业的局部 使用。但数据资源分布在部门、单位或个人手中，不能充分共享，存在重复建设 现象。 ( 2 ) 面向应用。各部门拥有的数据基本上是由自行收集、整理、加工、开发 而成，采用每一个特定的应用建立一套数据存储与管理系统的方法构建，即数据 面向应用，使得这些系统的规模小，内容不全面。 ( 3 ) 标准不统一。目前气象科学数据资源管理的集中程度较低，基本处于各 自为政的状态。并且已建成的系统独立存在自成体系，数据描述和数据的语义不 尽统一，缺乏元数据标准；同一数据存在于不同的系统中，更新困难具有潜在的 数据不一致性。 ( 4 ) 共享服务水平低。共享程度较低，数据壁垒现象严重。不能方便地获得 气象科学数据资料共享服务，在共享服务方式和能力上还无法满足气象科技发展 的需求，具体来说，气象科学数据产品的加工和生产能力低、权威的综合数据产 品匾乏以及数据管理、应用服务系统和分布式数据库网上管理与分发技术尚不成 熟。 1 1 4 共享需求分析 气象科学数据共享必须以需求为前提。气象科学数据的服务领域非常广泛， 3 - 电子科技大学硕士学位论文 从气象预报预测业务到气象科研，从国家宏观决策到社会公众的日常生活，从国 民经济建设到国家安全，几乎涵盖了社会各领域和各阶层。 ( 1 ) 科学研究对气象科学数据的需求 气象科学数据是支撑地球科学等相关学科的科学研究和创新的基础性信息资 源，广泛应用于地学、农学、资源环境等多领域的科学研究中。科学研究对气象 科学数据的需求具有几个特点：序列完整、质量可靠，相关信息表述清晰；种类 繁多，跨领域、跨区域；面向主题，综合集成；获取方式要多种多样，数据表现 要形式各异。 ( 2 ) 社会公众对气象科学数据的需求 气象公众服务所需的资料属于公开发布、全社会共享的原始数据和产品数据， 公众希望提供尽可能多的可视化程度高的气象基本观测数据和基本统计数据。社 会公众对气象科学数据的需求特点是能够快速方便地获得对生产生活具有参考 价值的信息；一般数据量不大，随机性很强，多用户并发访问的几率大；需要针 对影响公众生活热点问题的相关气象科学数据的综合信息。 ( 3 ) 国家宏观决策对气象科学数据的需求 气象科学数据为国家宏观决策提供更科学、更专业的依据，从而促进国民经 济的增长和社会的进步，形成科学数据互动的良性循环机制。气象科学数据是气 象部门决策服务的基础资料，形成最终的服务产品，需要经过一系列加工分析和 集成。决策数据要求综合性，即对某一段时期的观测报告、卫星或雷达等遥感探 测图像、统计分析资料、g i s 地理信息等，通过系统集成而形成的综合产品。 基于以上可以得出，气象科学数据共享需求的对灵活的数据资源交换、个性 化的资源组织提出了要求。需要根据目前现状和需求系统设计可行的气象科学数 据共享系统。 ( 1 ) 将分散的数字、文本和图形图像原始资料和数据数字化整理、汇总、整 合，适时、有选择地输出给相应的部门和用户。 ( 2 ) 提供合适的共享平台，充分利用现有的各种数据应用系统，通过整合分 散异构的应用系统，集成多源数据，提升数据的共享使用水平。 1 2论文研究目标与内容 以满足气象科学数据共享需求为目的，通过对气象科学数据的分析，采用元 数据技术对数据进行管理、发现和交换，使用n e t 技术以满足对跨平台的异构 4 第一章引言 数据的获取，实现气象科学数据的有效共享。 对结构化和非结构化的数据进行描述的元数据用x m l 来表示，利用元数据的 通用特性和x m l 的动态描述特性，将二者有机结合，从而扩大数据共享的范围和 领域。根据元数据标准，研究核心元数据的扩展机制。设计并实现与元数据标准 相对应的元数据库，组织数据资源建立共享数据库，实现对气象科学数据的有效 管理。 共享系统是表示层、业务逻辑层和数据层三层综合系统，以数据层为基础， 以业务逻辑层为接口，通过表示层向服务对象提供便捷的数据查询、检索和下载 服务。提供分布式的信息查询，利用n e t 技术，采用m v c 模式的灵活设计和 w e b 技术，满足不同客户端的应用需求。 为满足不同类型用户对数据使用的需求，开发基于互联网的可视化的数据共 享平台，提供实用、友好的用户服务界面。 1 3论文结构 论文结构安排如下： 第一章介绍本论文的研究背景和研究内容。 第二章分别介绍了气象科学数据的概念、分类及特征以及数据集的概念和分 类，引出了元数据的概念，介绍了元数据语言规范x m l 技术，分析了实现数据共 享的技术。 第三章研究了气象科学数据核心元数据的扩展机制，并给出了扩展的基本方 法，提出了气象元数据的存储模型，设计实现了元数据库。 第四章设计和实现气象数据共享系统，并进行了测试。 第五章为全文总结。 5 - 电子科技大学硕士学位论文 第二章关键技术和理论基础 2 1气象科学数据概述 数据是人们为了认识和改造世界，而用于记录世界的一种符号。它借助于“数 字”或其它符号去构画和记录现实世界客体的本质、特征以及运动规律，是可以 鉴别的一种符号。所谓科学数据，一般指各类科技活动产生的原始性、基础性数 据及按照不同需求加工后的数据集和相关信息，它既包括各部门大规模观测、探 测、调查和试验工作所获得的长期积累和整编的海量科学数据，也包括广大科技 工作者长年累月的研究工作所产生的大量科学数据【5 】。科学数据资源是指科技活动 或通过其它方式所获取到的反映客观世界的本质、特征、变化规律等的原始基本 数据，以及根据不同科技活动需要，进行系统加工整理的各类数据集【6 】。气象科学 数据共享首先需要解决的问题是数据资源的组织。 2 1 1气象科学数据的概念 气象科学数据是指使用各种观( 探、遥) 测手段直接获取的大气状态和现象 及其变化过程的记录，以及由这些记录加工所获得的各种统计值，由各种常规和 非常规观探测获取的大气及其相关圈层的物理和化学状态记录、经处理加工形成 的数据产品和描述气象科学数据相关属性的元数据信息组成。在大气学科领域， 与气象科学数据相似的概念尚有气象信息、气象记录档案，气候资料等，气象信 息是气象科学数据和其分析加工产品( 如各种天气、气候分析、预报产品，气象 服务产品等) 的总称【7 l 气象科学数据是气象信息的重要组成部分；通常认为气象 科学数据内涵包括了气象资料和气候资料的内容。因此在本文中气象科学数据也 可以用气象信息或气象资料概念来表述。 2 1 2 气象科学数据的分类体系 气象科学数据的种类繁杂，特点各异，对其进行科学合理的分类是进行数据 共享的基础。我国的气象科学数据分类基本上参照w m o 推荐的分类方法，但考 虑到数据的学科领域、观测类型、加工状况和数据表示特征等数据自然属性和数 据的保密性、共享性、商业性等社会属性，在实际工作中进行了适当扩充。下面 6 第二章关键技术和理论基础 就本文所涉及的分类作简要分析。 2 1 2 1 依据获取时间分类 按数据产生的时间，可将气象资料分为： ( 1 ) 实时资料：自然现象即时观测记录，当时的数据，一般不超过三天。实 时资料加工要求迅速、及时，主要通过计算机程序控制，把从资料传输系统接收 的资料进行识别、分类、质量检查和编集，再按需要送往各个终端或天气预报用 的计算机系统，供实时使用，同时将资料记入磁带等存储载体，供非实时加工使 用。 ( 2 ) 历史资料：已经归档保存的数据。这些数据往往保持原始状态，因而可 以加工得更加完善，对模拟式资料，需经过数值化并记录到计算机载体上。历史 资料先进行严格的质量自动控制，获得规格和质量标准统一的数据集，然后根据 需要进行不同的加工。 2 1 2 2依据内容属性分类 依据气象资料的内容属性，结合考虑来源属性，将气象资料分为以下1 5 个大 类( 资料种类增加后，可扩充) 1 8 】： ( 1 ) 高空资料：通过气球、无线电探空和测风、飞机、火箭等探测手段获得 的近地面层以上各高度的大气风向、风速、温度、湿度、气压等资料。 ( 2 ) 地面资料：在地面观测平台上，用仪器及目测获得的各种气象要素资料。 ( 3 ) 辐射资料：通过地面、高空、气象卫星观探测获得的太阳辐射、地表辐 射、云辐射、大气辐射、行星辐射及其辐射收支、辐射平衡资料。 ( 4 ) 海洋气象资料：在海岸、船舶、浮标、灯塔等观测平台或通过气象卫星 观探测获得的海洋面各种气象要素和海水温度、海气温差、海浪、涌浪、潮流、 洋流、风暴潮等资料。 ( 5 ) 农业气象资料：农业气象观测形成的有关作物气象、畜牧气象、土壤水 分、物侯、农田小气候等资料。 ( 6 ) 冰雪圈资料：有关冰川和大陆冰层的大小、边界、海拨高度、移动，海 冰边界、海冰覆盖、厚度、溶解与漂浮，雪被覆盖和含水量等资料。 ( 7 ) 大气化学与大气物理资料：有关大气本底、大气成分、大气微量气体、 气溶胶、大气放射性物质、降水化学( 酸雨) 等大气化学资料和大气声、光、电 现象，云雾降水物理，大气边界层、对流层及平流层以上高层大气物理资料。 7 电子科技大学硕士学位论文 ( 8 ) 水文气象资料：有关河流、湖泊、水库的水位、泾流、水量、水温、蒸 发、降水、洪涝及地面、地下水位、水温、水物理化学性质等资料。 ( 9 ) 日地物理资料：与气象有关的太阳活动( 太阳黑子、光斑、射电等) 及 地球活动( 地磁、地壳、火山等) 以及地形、地势、地质等资料。 ( 1 0 ) 分析资料：根据天气学、气候学和动力气象学原理，对各种气象观探 测资料进行分析、计算形成的有关天气系统分布状况、空间结构、大气物理量和 天气、气候演变过程的各种数据或图表资料。 ( 1 1 ) 气象灾害资料：有关气象原因直接或间接引起的各种灾害及其影响的 资料，包括干旱、暴雨、洪涝、雪灾、雹灾、风暴、冻害、低温冷害、雾害、沙 尘暴等。寒潮与台风资料也归此类。 ( 1 2 ) 历史及替代资料：有关历史气候的文献记载或从生物学、地质学和地 理物理学的现象( 如树木年轮、湖泊变迁、海洋湖泊的沉积物、土壤断层、花粉 记录、动植物物候等) 或考古发掘物等推导、分析形成的代理气候资料。 ( 1 3 ) 土壤与植被资料：地球表面及不同深度的土壤类型、结构、温湿度， 地表植被类型、覆盖及其变化情况的资料。 ( 1 4 ) 雷达资料：通过气象雷达探测获得的有关降水、暴雨、台风、冰雹和 龙卷风等强对流天气的时空分布、铅直结构资料。 ( 1 5 ) 卫星资料：通过气象卫星探测获得的各种观测资料及其产品资料。 2 1 2 3共享数据的类型 上述分类体系由气象科学数据属性出发。本文对气象部门的主要业务数据进 行调查分析后，根据当前要共享数据自身的特征将数据分为结构化数据和非结构 化数据： ( 1 ) 结构化数据：通常以关系数据库管理的数据为典型代表，结构化数据有 统一的数据格式、数据特征、结构稳定，易于存储和查找。具有明确的物理意义、 常以单个数据应用，以数据表格形式存放的资料。主要包括高空资料、地面资料、 部份辐射资料、气象灾害资料等。 ( 2 ) 非结构化数据：非结构化数据无法用数字或者统一的结构表示，数据本 身难以描述，也可能没有规律，或者结构不规则，变化快，无法用数据库来存放， 是以文件形式存放。主要包括分析资料、卫星资料、雷达资料和所有图形图像资 料以及结构化资料的文件形式等。 8 第二章关键技术和理论基础 2 1 3 气象科学数据的特点 气象资料是典型的具有时间和空间属性的地球科学数据。气象科学数据除具 有基础数据通常的基础性、公益性、累积性等特点外，数据的以下特性是相对重 要的，也是气象科学数据共享时必需考虑的因素。 ( 1 ) 全球性：大气无国界，大气科学与业务发展也均需要全球性的气象科学 数据支撑，因此，目前我国气象部门收集和保存了大量的全球范围气象科学数据， 从其他国家观测台站的定时观测数据，到全球气象卫星的探测数据和各种反演产 品。 ( 2 ) 完备性：气象科学数据种类很多，要素的完备性较强，地球科学及其相 关领域研究的许多重要因子，在气象科学数据集合中均能找到。并且对使用者来 说，为解决某一实际问题，需查看不同集合层面的数据，气象科学数据的完备性 就可以减少数据冗余，避免交叉领域的数据重复。 ( 3 ) 实时性：气象科学数据的实时性非常强，气象探测系统可以细致到每分 钟甚至每秒种都会产生新的数据，并且大部分新采集的数据均可以通过地面与卫 星通信相结合的网络系统实时汇集到国家级中心或省级中心。 ( 4 ) 海量性：气象科学数据量巨大、浩瀚，仅省级气象部门每天接收和收集 到数据量就超过4 g b ，雷达资料的年增量在1 0 0 g b 。 ( 5 ) 分布式：数据的存放位置己经由原来的统一的集中式存放管理、局域网 内共享发展到分布式存放、广域共享。数据的共享范围可以是几个地区，几个城 市甚至是多个国家之间。 ( 6 ) 异构性：由于存储数据的载体不同，加上数据本身的多样性，数据可能 被存放于o r a c l e 数据库中，也可能存放于s y b a s e 数据库中，有些数据甚至无法 存放数据库中，以独立的文件形式存在。由于不同数据库访问的机制和驱动不同， 加上各种类型的独立文件，使得对数据的存储和访问成为一种异构的交互模式。 要实现对如此复杂气象科学数据的共享，最重要的关键技术就是元数据技术， 这种技术是通过元数据对数据进行管理，而不考虑各种数据的具体格式和特性【9 】。 2 2数据集 把需要共享的数据资源的最小粒度定义为数据集( d a t a s e t ) ，即可以标识的数 据集合。数据集是一个相对抽象的概念。它与具体的数据库概念不同，只要满足 可以描述、具有一定意义的数据集合就是数据集。用于数据共享的数据集是数据 9 电子科技大学硕士学位论文 共享的基本内容和最小粒度【1 0 1 。 分析大量的现有气象数据，主要区别其数据结构、数据管理系统和数据描述 对象的差异性，本文所涉及的数据集可以归纳为关系数据类型和文件数据类型二 种基本的数据集类型。 ( 1 ) 关系类型数据集：关系类型数据集就是传统意义上的关系数据库，它是 由若干二维表组成的数据体。每一个二维表的字段( 亦即表头) 是相对固定的， 也就是说，在建立数据表时是能够使用数据库结构描述语言( d d l ) 进行数据表 结构的定义。对于关系类型数据集所具有的固定关系，便可利用数据库操纵语言 ( d m l ) 对数据表中的数据实施各种操作，这种操作可以定位到数据表中的任意 行和列，即数据表的记录和字段。因此，在进行数据管理的过程中，对于关系类 型数据集应该尽量的建立关系数据库管理系统，也可以视为一个整体纳入元数据 管理系统中。 ( 2 ) 文件类型数据集：文件类型数据集是以一个数据文件为数据集的基本单 元，在数据库管理系统中以此基本单元对数据进行存储、描述、添加、删除、显 示、交换等操作。数据文件本身可以是无结构的，其内容也可以不具有任何相似 性。 由于数据集是共享服务研究的最小粒度。数据的交流与共享活动是不会进入 数据集的内部对各个数据集不同的数据内容、数据格式、存储方式以及数据量等 属性信息等进行获取和处理的。这就需要一种对数据集的整体进行统一、规范描 述的信息来提供给共享服务系统。共享服务系统只要获取到这个整体性的描述信 息就可以实现检索与数据发现等共享服务操作了。这个对数据集的整体进行描述 的信息就是元数据。 2 3元数据技术 随着气象现代化建设不断推进，气象数据种类不断增加，新的数据格式不断 涌现，数据量在以几何级数增长，并且存储方式各不相同。然而目前与此并存的 另一现象是，科研人员在实际的研究工作中往往感觉到所需数据的匮乏。很多时 候，这种匮乏并不是因为所需的数据不存在，而在于这些数据难以发现、难以获 取和缺乏可用性。在造成上述不协调现象的诸多因素中，元数据的缺乏和不规范 是发现、管理和共享气象科学数据的主要原因之一。 1 0 第二章关键技术和理论基础 2 3 1元数据的定义 元数据( m e t a d a t a ) 被概括地定义为“关于数据的数据”，即关于数据的内容、 质量、状况和其他特性的信息。在许多领域有其具体的定义和应用： 在数据仓库领域中，元数据被定义为描述数据及环境的数据。在软件制造领 域，元数据被定义为在程序中不是被加工的对象，而是通过其值的改变来改变程 序的行为的数据。在图书馆与信息界，元数据被定义为提供关于信息资源或数据 的一种结构化的数据，是对信息资源的结构化的描述。属于地球科学数据的气象 领域，元数据被定义为关于数据的数据，即数据的标识、覆盖范围、质量、空间 和时间模式、空间参照系和分发等信息。 将元数据定义为关于数据的数据，目标是数据共享；元数据描述的最基本对 象是“数据集 ，可以扩展为数据集系列和数据集内的要素和属性；元数据的使用 密切结合计算机网络，在因特网上为用户提供查询和检索元数据及相关数据库的 工具：元数据为分布的、由多种数字化资源有机构成的信息体系( 如地理信息系 统) 提供整合的工具与纽带，因此元数据是数据集成的核心技术，也是系统集成 的有利工具。 适当的元数据能帮助数据生产者以及数据生产者以外的用户更快地发现所需 要的数据，更好地了解其内容和限制，评估其对于应用需求的适用性，并恰当地 获取和使用它们。同时，由于数据生产者和用户都需要处理越来越多的数据，元 数据能为他们提供关于这些数据的关键知识，帮助其有效地保存、管理和维护这 些数据，提高效率，且使数据生产单位能够不受人员变动的影响，防止数据资产 的流失。 另外，在气象科学数据中，很多数据特别是观测数据的产生具有不可重复性， 这些数据尤其需要长期保存。为保证数据不被误用和在将来可用，必须完整地说 明数据产生的方法和条件。元数据允许数据生产者对这些信息进行完全的记录， 以便这些数据不因时间的流逝而丧失可用性。 2 3 2 元数据的分类 进行元数据分类研究的目的是进一步认识元数据的内涵，不同的分类原则会 形成不同的分类体系，根据元数据描述对象差异，元数据可划分为3 种类型： ( 1 ) 数据库级元数据：指对气象资料数据库的描述信息，包括数据库名称、 数据库类型编号、数据库内容描述、数据库访问方法、数据库更新日期、数据库 电子科技大学硕士学位论文 元数据存放物理地址、数据源描述等。 ( 2 ) 数据集级元数据：是描述整个数据集的元数据