科学数据网格进展课件

科学数据网格进展中科院计算机网络信息中心周维2005.11科学数据网格进展中科院计算机网络信息中心背景介绍科学数据网格应用服务介绍背景介绍立项:863支持的“高性能计算机与核心软件”重大专项的应用网格项目（2002－2005）;主要基础:科学数据网格的建设以中国科学院科学数据库;目的:是科学数据库数据资源的基础上，通过网格计算的相关技术，特别是数据网格技术，促进科学数据库中大量分布式异构数据资源的共享，并在此基础上开发对科学研究有直接实用意义的应用系统

科学数据网格项目背景介绍(一)科学数据网格项目背景介绍(一)组成：网格信息服务系统科学数据网格数据访问服务科学数据网格存储服务开发的一些实用的工具，如：通用数据管理工具、数据目录管理工具、数据量统计工具、通用元数据管理工具、访问控制工具等。主要研究内容：构造科学数据网格的系统平台;开发科学数据网格所必需的中间件软件;开发科学数据网格的示范应用系统(包括:虚拟天文台)，并在这些研究工作成果的基础上，提出一种科学研究领域的网格应用框架，争取成为领域内的网格应用标准。科学数据网格项目背景介绍(二)组成：主要研究内容：科学数据网格项目背景介绍(二)科学数据网格主要软硬件环境硬件超级数据服务器（已安装）海量存储系统（已安装）磁带库系统（正在采购）外联交换机（正在采购）软件数据库管理系统（正在采购）并行数据库管理系统（正在采购）数据备份软件（正在采购）科学数据网格主要软硬件环境硬件超级数据服务器－深腾6800259个结点（4-way安腾2）；20TB盘阵；2Gbps网络出口超级数据服务器－深腾6800259个结点（4-way安腾超级数据服务器－深腾68001PC机群系统IA64结点总数59个每CPU内存2GB以上每结点局部存储73GB以上每结点具备千兆以太网端口总计算能力达1TFLOPS对外网络连接2Gbps支持主流并行数据库支持Linux和Windows超级数据服务器－深腾68001PC机群系统超级数据服务器－深腾680032个数据库服务结点并行Oracle10G数据库2个文件/存储服务结点基于GSI的FTP服务器文件I/O结点22个外部结点（应用服务结点）SQLServer、Mysql数据库等Apache、Tomcat、IIS等GT3运行环境等超级数据服务器－深腾680032个数据库服务结点科学数据网格应用服务介绍科学数据网格存储服务2.科学数据网格信息服务3.科学数据网格数据访问服务科学数据网格应用服务介绍科学数据网格存储服务科学数据中心存储软硬件环境6800NodeSAN存储设备Oracle10G磁带库科学数据中心存储服务文件存储服务数据库服务科学数据网格存储服务部分科学数据中心存储软硬件环境科学数据网格存储服务部分海量存储系统(一)数据中心的在线存储系统采取基于存储网络（SAN）的磁盘阵列系统。其他节点采取直接连接服务器的磁盘阵列;存储科学数据，为科学数据库提供数据存储空间。海量存储系统(一)数据中心的在线存储系统采取基于存储网络（海量存储系统(二)Brocade3900FibreSwitchSAN结构全光纤磁盘阵列裸存储容量20TB持续数据传输率（读/写）不小于2GB/s支持RAID5全双工冗余海量存储系统(二)Brocade3900FibreSw磁带库系统正在采购提供数据备份服务（备份在线存储系统数据）完全备份增量备份性能最大存储容量15TB以上持续数据传输率150MB/s以上驱动器数目不小于10个磁带容量不小于100GB磁带库系统正在采购软件系统数据库管理系统SQLServerEnterprise2000(64bit)正在采购并行数据库管理系统Oracle10gRACforIA64(8CPU)正在采购数据备份软件Veritas等正在选型软件系统数据库管理系统GSI安全框架科学数据中心存储服务架构图存储系统（StorageSystem）操作系统（OS）其它服务数据库服务上网服务文件服务用户备份GSI科学数据中心存储服务架构图存储系统（StorageS文件存储服务(一)为给各建库单位提供安全而有效的数据存储服务，并且提供数据存储管理功能以及配额管理功能。用途存储科学数据存储资源缺乏的建库单位数据备份需要大数据量备份工具SSTools、Ftp文件存储服务(一)为给各建库单位提供安全而有效的数据存储服务文件存储服务(二)数据提供/服务方式远程数据传输基于GSI的FTP上传机制（SSTools）本地数据传输光盘硬盘其它远程方式协作方式EmailFTP共享目录10月初提供服务所有上述各种方式文件存储服务(二)数据提供/服务方式数据库服务(一)为科学数据库（各建库单位）提供安全而有效的数据库服务。用途提供数据存储服务提供数据库服务接口日常备份（磁带库）数据库种类（不断增长）OracleSQLServerMySQL……数据库服务(一)为科学数据库（各建库单位）提供安全而有效的数数据库服务(二)数据提供方式远程数据传输（SSTools）本地数据库导入光盘硬盘协作方式文件存储服务（上载数据）数据中心管理人员导入数据服务方式提供数据库接口Oracle－1521端口MySQL－3306端口提供数据库备份接口10月份提供服务Oracle10GSQLServer数据库服务(二)数据提供方式科学数据中心文件存储服务(二)数据中心基于GSI的FTP服务器SAN1122331-远程数据传输2-协同工作3-本地数据传输用户数据中心管理人员科学数据中心文件存储服务(二)数据中心基于GSI的SAN11科学数据网格信息服务目的:

实现科学数据网格信息的集中高效管理提供数据网格资源状态信息提供数据资源的元数据信息。

科学数据网格信息服务目的:服务信息注册权限的获取服务信息注册地址：/srvReg服务信息注册采用密码认证方式各建库单位的初始密码申请请发签名email至ims@，请未申请证书或对证书的使用不了解的单位与科学数据库CA中心联系服务信息注册权限的获取服务信息注册地址：http://ims科学数据网格进展课件科学数据网格进展课件资源（数据、服务）信息的查询服务信息查询SdgFinder的地址/一般查询特色查询资源（数据、服务）信息的查询服务信息查询SdgFinder的科学数据网格进展课件科学数据网格进展课件科学数据网格

数据访问服务系统

（DAS2.0）科学数据网格

数据访问服务系统

（DAS2.0）数据访问服务数据访问服务是一个符合OGSA定义的网格服务。访问异构数据库的接口是一致的。用户不需要关心专业子库使用的数据库管理系统、操作系统和平台的技术细节，通过数据访问服务统一的接口就可以访问专业子库，按照用户的要求获取满足条件的数据。DAS介于数据用户和物理数据库系统之间，对物理数据库进行封装后，对外提供数据访问的网格服务接口。支持的关系数据库管理系统的类型包括：Oracle8、Oracle9i、SQLServer2000、Mysql4MySQLSQLServerOracle数据访问服务(DAS)用户用户用户数据访问服务数据访问服务是一个符合OGSA定义的网格服务。访系统结构示意图数据访问服务接口虚拟数据库物理数据库映射工具MappingBuilderDataView系统结构示意图数据访问服务接口虚拟数据库物理数据库映射工具D数据访问网格服务的使用通用Web检索前端DataViewDAS网格服务的客户端通过调用网格服务访问数据库资源。建库单位或最终用户，基于DAS网格服务开发应用系统。数据访问网格服务的使用通用Web检索前端DataView服务信息的注册服务信息的注册最终用户怎么用？1a.查询与××相关的数据库的信息1b.返回符合条件的数据库的GSH2a.请求元数据服务2b.返回数据库结构信息3a.用户提交查询请求（sql等）3b.数据服务与数据库交互3c.返回XML格式的查询结果给用户注册服务SDGFinder元数据服务数据服务用户关系数据库SOAP/HTTPAPIinteractions/sdgfinder

最终用户怎么用？1a.查询与××相关的数据库的信息1b.返回科学数据网格进展课件科学数据网格进展课件能帮建库单位解决什么问题呢？灵活定制检索系统，满足您的需求访问控制可设置哪些数据表、哪些字段可以访问补充和丰富元数据信息，数据规范化可添加或修改数据库、表、字段的中英文名称和描述信息等检索系统的需求可设置检索字段、概要显示字段、详细显示字段多表结构，可以添加表间约束条件。能帮建库单位解决什么问题呢？灵活定制检索系统，满足您的需求科学数据网格进展课件科学数据网格进展课件科学