空间科学主题数据库及应用环境 建设方案

空间科学主题数据库及应用环境 建设方案 面向VO的空间科学数据网格架构研究傅衍杰佟继周邹自明傅衍杰佟继周邹自明中国重庆xx年11月汇报提纲一一空间科学数据应用环境发展背景空间科学数据应用环境发展背景二二面向面向VOVO的空间科学数据网格架构研究的空间科学数据网格架构研究三三空间科学数据网格的未来发展方向空间科学数据网格的未来发展方向1.1.空间科学应用研究发展的新思路空间科学应用研究发展的新思路空间科学应用研究通过天基和地基方式获取探测数据-对海量探测数据进行分析计算-挖掘空间物理规律-空间物理实现验证2.2.空间科学数据应用环境的发展历程空间科学数据应用环境的发展历程3.3.国外空间科学数据应用环境发展现状国外空间科学数据应用环境发展现状?先行者NASA在“与日共存计划”（LWS）首先提出“一体化的日地空间数据应用环境（HPDE）”，即日地空间虚拟观测台（Sun-Earth ConnectionsVxOs）概念，VxO分别是虚拟太阳观测台（VSO）虚拟空间物理观测台（VSPO）虚拟太阳物理观测台（VHO）虚拟宇宙线观测站（ViCRO）虚拟宇宙线观测站（ViCRO）虚拟磁层观测台（VMO）虚拟电离层、热层、中间层观测台（VITMO）虚拟辐射带观测台（ViRBO）虚拟高能粒子观测台（VEPO）?日地空间虚拟观测台（VxOs）主要功能描述VxO拥有的数据集和资源；为用户提供发掘数据集方法；提供获取数据或资源的途径；为用户提供工具以帮助他们应用数据。 4.国内空间科学数据应用环境的发展现状?“十五”科学数据库项目空间环境专业数据库?“十一五”信息化专项空间科学主题数据库建设项目，空间科学主题数据库由中科院空设项目间科学题数据库间中心承担建设，中科院国家天文台、地球与地质物理所、中国科技大学共同参加建设。 ?“十一五”空间科学数据网格建设项目中科院国际日地空间物理界的目标The HeliophysicsGreat Observatory二.空间科学数据网格架构研究空间科学数据网格架构研究1.空间科学数据网格的核心问题2.空间科学的公共数据模型3.空间科学数据网格的设计原则4.空间科学数据网格的概念框架5.空间科学数据网格的核心服务2.1空间科学数据网格的核心问题?空间科学数据网格是一个基于当前应用环境建设的中间件，是以空间科学应用研究新模式提出的需求为驱动力的，是空间科学数据应用环境发展的结果。 空间科学数据网格的关键问题间科学数据格的关键问题数据资源的互操作问题分布式数据资源的快速融合、共享和访问数据资源的全局发现数据资源在分布式环境下的收割与同步问题数据资源的无缝链接问题数据资源与学科应用的集成问题数据网格的透明性问题数据资源的安全访问基于观测平台片面的目录树基于学科片面的目录树基于分类片面的专业库用于加速检索的核心属性索引库针对观测平台做索引针对观测区域做索引针对物理要素做索引空间事件关联的逻辑库CME事件重要磁暴2.2空间科学的公共数据模型物理数据文件实体（文件）标准描述属性（NASA的PDS标准和SPASE标准）核心描述属性基于其他片面的目录树质子事件针对飞行器做索引公共数据模型?专业数据库采用学科社区公认的描述属性（如观测目标、观测平台等）的属性值，所遴选的数据构建的数据集合。 专业数据库一般是学科数据的经典分类。 公共数据模型是描述和组织空间科学数据资源（数据档案）的基本方法。 公共数据模型阐述科学数据档案的数据元素组成，专业数据库和逻辑数据库构成方法。 ?逻辑数据库面向典型应用需求和学科研究人员关注热点，采用同类核心描述属性（如关联事件、特定区域）属性值或属性值组合遴选的数据构成的数据集合。 逻辑数据库可自由构建和动态生成。 ?数据元素由数据文件实体和描述属性构成。 ?描述属性由标准描述属性和核心描述属性构成。 描述属性的值是元数据。 ?标准描述属性基于学科数据标准构建；日地空间物理，遵循空间物理档案搜索和抽取（SPASE）联盟标准；行星科学，遵循行星数据系统（PDS）数据标准?核心描述属性面向数据网格应用集成的需要来定义的，于、但并不局限于标准描述属性。 核心描述属性?平台类型?天基卫星型号:fy 2、YH 1、double-star、ace、soho、themis、goes.载荷类型:mag、sewpam、sis、epam、eit、lasco?地基台站名称:海南空间天气综合观测站、怀柔太阳观测站、北京宇宙线测站十陵地磁站观测站、十三陵地磁站设备类型:磁通门磁力仪、中子堆、数字测高仪、激光雷达?观测区域:太阳、行星际、拉格朗日点、磁层顶、同步轨道、近地轨道、邻近空间.?观测要素:太阳黑子、高能离子、高能电子、宇宙线强度、dst指数、火星电离层参数、火星大气层参数、火星地形地貌图像?关联事件:CME事件、磁暴、质子事件?时间属性2.3空间科学数据网格的设计基本原则关键问题思路分析空间科学资源与网格服务的高度整合数据资源(data asa service)计算资源(puting asa service)应用资源(application asa service)灵活的网格节点和网格服务设计网格节点和网格服务剥离1个节点可以有1个，也可以有多个网格服务格务部署在任何地方网格服务可以部署在任何地方网格节点之间地位平等，削弱主从关系，削弱集中式支持数据节点快速与网格融合的准入机制数据资源的快速方便的融合和共享剥离资源描述和资源存储访问；支持整合在线资源和离线资源；支持整合访问协议异构的分布式在线资源；数据资源的安全访问网格的监控和安全协议数据资源的无缝链接和学科应用集成科学数据的管道（Pipeline）技术，单管道，多管道，流水线式管道，数据资源的全局同步和发现单节点上新资源的加入，能够通过网格拓扑的自组织，实现资源全局分布的更新和报告，达到快速同步的目的在任何一个节点上，都能够快速高效发现全局的所需的数据资源1.空间科学数据网格利用互联网实现空间科学数据资源、计算资源、存储资源和知识资源的无缝链接与全面共享，为空间科学研究提供易用、高效、智能的虚拟集成应用环境。 2.空间科学数据网格服务具有特定功能的网格单元，通过提供接口明确的服务来实现网格所必须的数据资源注册、数据资源发现、数据资源访问、拓扑自组织、学科应用等核心功能单元。 33.空间科学数据网格节点指由空间科学数据网格节点指由一个或者若干个网格服务支撑构成的物理节点。 个或者若干个网格服务支撑构成的物理节点。 空间科学数据网格的概念框架4.空间科学数据网格节点根据其部署网格服务性质的不同，可以分别定义为门户节点提供门户服务的网格节点；资源注册节点提供资源注册服务的网格节点；资源发现节点提供资源发现服务的网格节点；数据节点提供数据数据访问与存储服务的网格节点；拓扑支持节点提供拓扑自组织服务的网格节点；学科应用节点提供学科应用服务的网格节点；综合节点提供2个或者2个以上网格服务的网格节点。 网格服务表示符号门户服务资源注册服务资源发现服务数据访问与存储服务拓扑自组织服务学科应用服务Inter网格节点网格节点网格节点门户节点拓扑支撑节点学科应用节点网格节点节点节点节点综合网格节点网格节点化学与材料科学数据网格生命科学数据网格网格节点现节点网格节点网格节点册节点资源注资源发数据节点网格节点网格节点网格节点网格节点e-Science科学数据网格空间科学数据网格数据网格的服务分析与功能集成分析对象服务类型服务定义网格资源资源注册服务基于公共数据模型，实现数据资源的描述，审核和发布，使数据资源融入开放的网格共享环境资源发现服务基于数据资源的描述，面向空间天文科学的研究需求和学科查询，实现多维度的分布式数据资源发现资源访问与存储服资源访问与存储服务提供数据资源的存储力；统一安全的资源访问；支持在线提供数据资源的存储力；统资源和离线资源的快速融合和共享；支持整合访问协议异构的分布式在线资源；安全的资源访问；支持在线系统拓扑拓扑自组织(self-organizing)服务拓扑自组织是网格节点自交互的核心特征，通过拓扑的自组织，数据网格实现节点的加入和审核，访问和交互，安全和监控，资源全局分布的更新和报告，从而支持资源的发现和共享。 学科应用学科应用服务面向学科应用，提供数据计算、分析、可视化、知识发现的应用工具和虚拟环境用户界面门户服务是网格提供给用户访问的交互环境(interface)2.4空间科学数据网格的核心服务1.资源注册和同步2.资源发现3.资源存储与访问4.网格安全和监控5.学科应用2.4.1资源注册和同步?资源注册服务是空间科学数据网格向数据资源提供者的一种服务。 为数据网格提供数据资源的提供者，可以依据空间科学数据网格制定的公共数据模型和描述标准，对数据资源进行描述。 数据资源经过资源注册服务的录入、审核和发布三阶段，最终融入开放的网格共享环境。 为更好的反映描述信息的数据流和数据状态变化，我们设计3种不同的状态名对数据状态的变化过程进行刻画。 它们分别是等待审核状态审核通过状态审核通过状态审核不通过状态?数据状态名称状态定义等待审核指数据资源对应的核心描述信息刚注册到数据网格，被系统缓存在“元数据缓冲器”。 在该状态下的核心描述信息，是未经审核的，非正式的，不会被用于数据发现服务。 审核通过指经过系统管理员审核，判定为合格的，存储在“全局元数据容器”，并被推送到各子节点的“元数据容器”保存的核心描述信息。 在该状态下的核心描述信息，是经过审核的，正式的，将会用于数据发现服务。 审核不通过指经过系统管理员审核，判定为不合格，无法通过的核心描述信息。 该状态下的核心描述信息，虽然经过审核，仍然为非正式的，不会被用户数据发现服务。 资源注册阶段的数据描述信息状态转换图资源注册3阶段阶段名称要点分析数据资源录入依据数据资源的运行类别不同?情况1数据资源在线，即数据资源提供者已经为“物理数据实体”和“标准描述属性”提供独立的存储力，资源提供者能独力确定访问地址，并且表达到描述信息中?情况2数据资源离线，即数据资源提供者不但需要录入数据描述信息，还要求空间科学数据网格为其提供存储空间，以存储数据资源，由空间科学数据网格来实现数据资源的从“离线”到“在线”的转变数据资源审核?审核任务生成?元数据审核?审核结果反馈?元数据状态转换数据资源发布?数据访问权限授予?数据资源发布地选择?同步元数据的审核结果资源在线型的数据资源录入资源离线型的数据资源录入数据资源审核数据资源的描述格式检查审核任务生成阶段元数据审核阶段审核结果反馈阶段数据资源的可访问性检查 (3) (5) (4) (6)查看访问地址下载物理数据实体对比检查元数据和物理数据实体内容审核结果等待审核状态元数据审核通过状态元数据审核不通过状态元数据全局元数据容器数据资源的描述内容和对应物理数据的吻合度检查元数据状态转换阶段审核结果待审核审核不通过待审核审核通过 (2) (1) (7)核心数据描述信息新审核任务触发机制数据资源录入阶段数据资源发布数据资源录入、审核、发布的数据流总结务生成阶段件审核任元数据审核部审核结果反馈阶段待审核待审核状态元数据审核通审核通过状态元数据审核不通过状态元数据元数据状态转换阶段待审核-不通过全局元数据容器子节点元数据缓冲器子节点元数据容器拉模式的元数据收割器推模式的元数据收割器资源录入核心描述属性待审核-通过数据访问授权阶段数据资源发布地选择阶段网格子节点拉模式收割触发机制2.4.2资源发现服务数据资源发现框架层次图分布式环境下检索的策略基于空间事件关联的数据发现问题提出设计理念实现思路1.空间科学数据资源的一个重要特点是观测数据的相关性强。 2.针对一个研究对象，通常从不同的观测平台、不同的观测手段，不同的观测角度，不同的物理属性等去进行观测和记录。 1.以空间科学事件对观测数据的影响为导向2.紧密依据空间科学事件与数据的时间联系和物理联系1.为建立某一空间科学事件与空间科学数据的关联，数据网格系统将会维护三个部分的数据表达，分别为?空间科学数据空间科学事件编目事件关联库?事件关联库?3.从一个研究对象引出的空间科学事件，影响着不同空间观测区域和观测对象的物理特性，并导致相应的变化。 4.然而，当前的科学数据应用中，却鲜有利用空间事件的相关性，对全局的观测数据进行数据发现。 3.实现数据资源的关联发现，而非普通检索2.三部分数据表达中的核心是事件关联库，通过事件关联库，实现事件和数据的关联映射关系。 资源发现服务流程总结2.4.3资源存储和访问服务为提高空间科学数据网格的数据资源融合的灵活性，我们采取数据资源描述和数据资源存储访问剥离的思想，摒弃传统数据资源描述和数据资源存储访问必须相捆绑在一地的做法。 因此，资源的加入和发布只需要资源提供者按照公共数据模型进行标准化描述，并通过资源注册服务描述注册到网格系统即可，用户可以任何地方注册数据资源，而注册点不必是数据资源存储的所在地。 ?资源存储和访问服务的设计目的分析分析对象设计目的数据存储描述数据和存储数据相分开的方式，需要网格以资源注册服务录入数据描述信息，以资源存储服务的形式对外提供存储空间数据访问?异构的数据访问协议FTP或者，因而需要网格实现访问数据时两类协议的统一?通常利用两类协议访问数据时需要穿透安全协议，如要求提供“用户名+密码”，因而需要网格实现访问直接化、透明化网格监控?用户操作监视?数据情况监视资源融合和共享?资源在线型数据，在已有的数据应用环境上架设该服务，实现资源的快速融合?资源离线型数据，数据网格自身提供数据存储与访问，实现从离线到在线的转变数据无缝链接存储和访问独立出来的好处是，在该服务上直接实现科学数据的管道（Pipeline）技术，实现数据资源和学科应用的无缝链接。 想法简单明晰!资源存储和访问服务设计框架资源存储和访问服务和网格监控的关系上上传传下载下载上上传传InterInter2.4.4网格安全和监控服务空间科学数据网格的网格监控服务主要针对数据、服务、用户和系统资源等4类对象进行监控，并对系统日志和用户行为记录进行统计分析。 依据监控对象的不同，网格监控主要分为4类监控数据监控、服务监控、用户监控和硬件监控。 ?功能点功能点描述关联服务数据监控指监控是新的数据资源加入、类别数据资源的总量、节点数据资源的总量、数据资源的下载频率、数据资源的检索频率等。 资源注册资源存储和访问资源发现学科应用单点登录服务监控指服务运行状态监控硬件监控指宿主机监控，如CPU的使用情况、存储空间的使用情况、网络流量、系统访问负载。 用户监控指监控用户的操作，包括登录登出、个人资