面向网格的空间科学虚拟观测台体系结构研究与原型实现开题报告

1、面向网格的空间科学虚拟观测台 体系结构研究与原型实现 报告人： outline 1. 研究背景 2. 相关理论发展与研究现状 3. 研究内容与方法 4. 研究计划与流程 5. 参考文献 1.研究背景 空间科学数据应用环境发展的驱动力 空间科学应用环境研究的发展路线 当前研究热点vo 空间科学数据应用环境发展的驱动力 国际日地空间物理大观测台、国际superdarn地球两极电离层雷达观 测计划、日不落联合观测计划 . 空间科学数据资源丰富度成倍增长 日地系统研究，需要利用空间科学数据资源，了解源于太阳而最终影 响地球的空间三维全球结构和灾害性事件过程的时序因果关系。 仿真、模式运行与大规模计算成

2、为分析、发现和预测空间科学问题的 主要手段，需要空间科学数据应用环境进行支撑服务。 空间科学数据应用环境发展路线图 国际空间科学数据应用环境发展热点 虚拟观测台 our definition (physics perspective) 虚拟观测台是 “依赖于人类掌握的最新空间科学知识 ，面向天、地 基观测产生的海量空间科学数据资源，采用先进的信 息技术，以解决海量空间科学数据协同处理、分布式 集成与互操作、智能化科学应用、日地空间系统可视 化虚拟表达等核心问题为目标的空间科学数据应用环 境。 nasas vo definition (software perspective) “a virtu

3、al observatory (vo) is a suite of software applications on a set of computers that allows users to uniformly find, access, and use resources (data, software, document, and image products and services using these) from a collection of distributed product repositories and service providers. a vo is a

4、service that unites services and/or multiple repositories.” 世界各国的虚拟观测台 虚拟观测台项目国家或地区支持单位 live with sun national virtual observatory 美国美国nasa russian virtual observatory俄罗斯俄罗斯科学院 european virtual observatory 欧盟欧洲南方天文台、欧洲太空总局、法国louis pasteur大 学、法国巴黎天体物理研究所、英国曼彻斯特大学 uk virtual observatory英国英国粒子物理和天文委员会

5、indian virtual observatory印度印度天体物理研究所 korean virtual observatory韩国韩国天文与空间科学研究所 japanese virtual observatory日本日本国家天文台 german astrophysical virtual observatory德国德国联邦教育与研究部 virtual observatory france法国法国太空科学研究所 canadian virtual observatory加拿大加拿大航天局 spanish virtual observatory西班牙西班牙教育与科学部 australian vir

6、tual observatory澳大利亚澳大利亚射电望远镜组织 italian virtual observatory意大利意大利基础研究基金 空间科学虚拟观测台的提出与发展 概念概念 提出提出 2003年：由16国组成的国际虚拟天文台联盟(iova) 提出建 立国际虚拟天文观测台 国际大地测量学与地球物理学联合会，发展地学空间科学的 虚拟观测台成为核心任务。 国际国际 发展发展 2001年，nasa发起“live with sun”项目。2004年确定空间 与太阳物理虚拟观测台框架。2007年，nasa将基于虚拟观测 的数据应用环境列为日地空间物理长远发展纲要之一。 数据数据 现状现状 “神

7、舟系列”、“风云系列”、“嫦娥系列”、“双星计 划”、“天宫系列”等重大工程，推动空间科学数据的海量 增长 概念概念 引入引入 国内国内 发展发展 在e-science驱动下，“十五”、“十一五”开展的 “空间 环境基础数据库”、“空间环境数据共享平台”、“空间物 理交互数据资源” 等项目在推动空间科学发展上成效显著。 空间科学虚拟观测台发展的领头羊 nasa nasa在“与日共存计划” 按照先学科后集成的路线，率先 启动空间科学各分支学科的vo项目（sun-earth connections vxos） 虚拟太阳观测台 虚拟空间物理 观测台 虚拟日地观测台 虚拟电离层热层 中性层观测台 虚拟

8、辐射带观测台 虚拟磁层观测台 空间科学虚 拟观测台 空间科学公共数据模型 dataprovider data grid dataset 核心描述属性 标准描述属性(spase/pds) 物理数据实体(只到文件粒度) 2.相关理论发展和研究现状 l 典型体系结构 l 典型服务模型 体系结构 data grid 以组件化为 核心思想的 积木块结构 以五层沙漏 为代表的抽象 层次模型 概念空间结构 以开放网格服 务结构为典型的混 合模式结构 近年来，虚拟观测台成为国内外学科数据环境建设的主 流，其核心是分布式的面向服务的数据网格技术。当前 其体系结构主要分为4类： vo典型体系结构 vo数据中心：数

9、据中心是一个数 据中心联盟。数据中心的功能是， 发布数据资源，提供数据资源的 物理存储； vo设施中心： 设施中心是一个为 vo提供集中式的资源注册、数据 模型和标准、认证机制和vo技术 的社区支持； vo技术中心： 技术中心是一个分 布式的组织，它可以协调学科工 具、vo系统的工作流，使之服务 于研究； 服务模型 传统的传统的 网格服务网格服务 模型模型 数据管 理服务 存储管 理服务 用户管 理服务 运维管 理服务 组织机 构管理 服务 3. 研究内容和思路 l 体系结构研究 l 现存问题 l 解决思路 l 原型实现设计 l 数据库设计 l 核心服务设计 3.1现存问题 数据资源的互操作

10、天基和 地基的 探测数 据的指 数级增 长 分布式资源和节点的融合、共享和访问 数据资源全局的同步和发现定位 数据资源与学科应用无缝链接 网格的透明性问题 网格的安全访问和监控问题 网格的健壮性问题 虚拟观 测台 使人们意 识到一个一个 设计合理设计合理 的体系结的体系结 构构对于虚 拟观测台 的重要意 义 3.2解决思路 层次划分 服务模型 拓扑结构 3.2.1层次划分 应用层应用层 服务层服务层 资源层资源层 123 虚拟观测和学科应用 面向服务的中间件集合 分布式数据资源的汇聚 面向数据互操作与资源共享的资源层 l采用三层式的公共数据模型：物理数据实体+标准描 述属性+核心描述属性: l

11、物理数据实体底层物理数据访问和应用 l标准描述属性支持国际数据资源的互操作的统 一协议 l核心描述属性快速的数据资源发现 资源的 互操作 问题 l剥离资源注册发布和资源存储访问，可以异地 注册，异地发布、异地访问、异地存储； l支持整合在线资源和离线资源； l支持整合访问协议异构的分布式在线资源； 资源的 共享与 融合问 题 资源 存储与 访问服 务 三层 式的公 共数据 模型 面向资源同步发现与系统健壮性的服 务层 l节点和服务剥离，1个节点可以有1个，也可以有多 个服务；服务可以部署在任何地方；节点之间地位 平等； l新节点作为一个整体加入，能够快速通过节点 审核和认证，成为分布式拓扑中的

12、一个成员节点； l单节点上新资源的加入，能够通过收割同步机制， 把属性信息快速报告到其他节点； l在任何一个节点上，都能够发现全局的所需的数据 资源； 资源的 全局同 步与发 现问题 l对数据和服务做冗余和副本备份； l当某节点的服务崩溃时，系统透明切换该服务 的访问负载到另外一个节点的同类服务副本上。 系统健 壮性问 题 冗余和透明切 换服务 资源注册和发布 服务 资源审核服务 资源发现服务 同步收割服务 面向虚拟观测的应用层 通过科学数据的管道（pipeline）技 术和学科应用服务api接口的标准 化，粘合分布在各节点的服务 数据资 源和学 科应用 的无缝 链接 科学数据的可视化表达 基

13、于数据的知识发现 科学算法、模式的集成应用 科学数据的解析、阅读和转换 虚拟观 测与学 科应用 学科应 用服务 层次划分总结 学科应用服务 资源注册发布服务 资源审核服务 资源发现服务 同步收割服务 冗余和透明切换服务 资源存储和访问服务 三层式公共数据模型 123 应用层 服务层 资源层 3.2.2核心服务 传统网格服务模型传统网格服务模型 打散重组和增加 空间科学虚拟观测台空间科学虚拟观测台 服务模型服务模型 核心服务总结 分析对象分析对象服务划分服务划分定义 面向资源面向资源资源注册和资源注册和 发布服务发布服务 基于公共数据模型，实现数据资源的描述，审核和发布，使数据资源融入面 向网格

14、的虚拟观测台共享环境中； 资源发现服资源发现服 务务 实现快速的分布式数据资源的全局检索和发现 资源访问与资源访问与 存储服务存储服务 提供资源、服务以及冗余备份的存储力；支持在线资源和离线资源的共享， 统一协议异构的资源服务的访问 面向安全面向安全 和健壮性和健壮性 网格安全和网格安全和 监控服务监控服务 监视和记录数据、用户、硬件、服务的情况；基于监控记录和日志，对破坏 行为进行操作溯源和状态回滚；基于保护策略和安全访问协议，对违规访问 进行阻止； 冗余和透明冗余和透明 切换服务切换服务 依据网格冗余策略，自动对物理数据、元数据和网格服务做冗余；通过分析 网格的日志记录和监控结果，分析节点

15、和服务的健康情况，进行服务访问透 明切换 面向虚拟面向虚拟 观测观测 学科应用服学科应用服 务务 面向学科应用，提供数据计算、分析、可视化、知识发现的应用工具和虚拟 环境。 面向组织面向组织 管理管理 网格用户管网格用户管 理服务理服务 基于“统一注册，中心认证，局部授权”的原则，解决用户注册、审核、授 权和管理的问题 面向拓扑面向拓扑 结构结构 网格收割同网格收割同 步服务步服务 通过同步服务，使得任一节点的资源更新能够被全局节点获悉。 3.2.3拓扑结构 3.3.原型实现的初步设计 数据库设计 资源注册发布服务 资源发现服务 资源存储与访问服务 同步收割服务 服务透明切换 学科应用服务 数

16、据库设计 资源注册发布服务 分布注册 中心审核 分布发布 资源发现服务 资源发现服务与资源存储访问服务 基于核心描述属性的资源发现服务 资源发现服务与资源存储访问服务 基于标准描述属性的资源发现服务 全文 检索 学科字典索 引cache 查询 击中 传统 检索 资源发现服务的改进 检索接口重点涵盖电离层、检索接口重点涵盖电离层、 热层和中间层的物理现象、热层和中间层的物理现象、 基础物理性质和通用数据基础物理性质和通用数据 测量标称的专业术语测量标称的专业术语 通过引入术语字典作为检通过引入术语字典作为检 索的辅助索引，并把索引索的辅助索引，并把索引 作为检索的作为检索的“二级缓存二级缓存”，

17、 在检索时先在在检索时先在“二级缓存二级缓存” 寻找，如不能击中目标，寻找，如不能击中目标， 而再进入传统检索模式。而再进入传统检索模式。 从统计学的角度，高频检从统计学的角度，高频检 索请求往往占使用中索请求往往占使用中90% 的检索。的检索。 与资源审核发布结合的同步收割服务 服务透明切换 学科应用服务 基于空间事件关联的数据发现 科学数据阅读解析和转换 支持本地数据资源解析 支持网格中跨节点的资源解析 支持复杂模式下的txt输出 支持cdf v3.0，v2.0的不同版本标准间的相互转换 支持cdf、fits、netcdf、hdf4的相互转换 科学数据可视化 5.研究计划与流程 调研并总调

18、研并总 结虚拟观结虚拟观 测台研究测台研究 现状、相现状、相 关理论、关理论、 关键问题关键问题 结合空间结合空间 科学公共科学公共 数据模型，数据模型， 确立体系确立体系 结构的概结构的概 念结构和念结构和 设计原则设计原则 从层次划从层次划 分、核心分、核心 服务、拓服务、拓 扑 结 构扑 结 构 3 个方面分个方面分 析和设计析和设计 v o 的 体的 体 系结构系结构 针对核心针对核心 服务的划服务的划 分及其功分及其功 能定义对能定义对 核心服务核心服务 进行具体进行具体 设计设计 在在linux + j a v a web+my sql环境下环境下 实 现 核 心实 现 核 心 服

19、 务 ， 并服 务 ， 并 进 行 组 装进 行 组 装 部 署 和 联部 署 和 联 调调 总结实验总结实验 结果，讨结果，讨 论遗留问论遗留问 题，完成题，完成 毕业论文毕业论文 时间节点和安排 2009.07-2009.12 调研虚拟观测台研究 现状、相关理论、关 键问题和解决思路 分析空间科学数据特 点和公共数据模型 2010.01-2010.07 设计空间科学虚拟观测 台原型的体系结构和服 务模型 结合十一五科学数据网 格项目，与科学院计算 机网络中心合作，实现 服务模型中的核心服务 2010.08-2011.3 撰写毕业论文 发表学术论文 6.参考文献 1 todd king, jan merka, raymaon walker, steven joy, tom narock. the architecture of a multi-tiered virtual observatory. eearth sci