科学数据库标准规范建设

科学数据库标准规范建设,中国科学院计算机网络信息中心黎建辉,提纲,为什么需要进行标准规范建设标准规范建设的主要任务数据库分析设计流程与文档规范化元数据建设基本设想,科学数据库资源状况,数据资源的学科分布地球科学空间数据、自然资源、地球环境、地质生命科学生物多样性、生态环境、基因、病毒化学结构、谱图、反应、化工产品、化合物、化学过程、化学品安全材料科学高分子材料、光学材料、材料腐蚀、纳米材料天文学天文星表、天文观测大气科学大气科学与环境、算法与模式海洋、能源及少量跨学科领域,科学数据库资源状况（cont.）,数据资源的基本来源实验观测实地考察调查文献资料整理统计分析科学计算镜像,科学数据库资源状况（cont.）,科学数据库数据的基本类型数值事实文献图像遥感影像地图Video/Audio,科学数据库资源状况（cont.）,科学数据库数据的组织管理方式结构化（Structured）RelationalDatabase半结构化的（Semi-Structured)Web非结构化的（Unstructured)FileSystem（FlatFile），如实验报告、图形、图像等,数据库建设过程中完全的自治性,科学数据库建设过程中完全的自治性(autonomous)数据选择数据表示和数据模型数据项的命名对数据所表示的概念和语义的解释系统的功能设计系统与其他系统之间关联和共享数据库的实现,自治性带来的异构性,自治性带来的异构性硬件平台异构性操作系统异构性数据库系统的异构性数据库管理系统的异构性语义异构性(主要来自于对数据所表示的概念和语义的解释的自治性）,各自独立的数据服务,DB1,DB2,DBN,SearchingInterface1,SearchingInterface2,SearchingInterfaceN,User,DB1,DB2,DBN,SearchingInterfaceA,DB1,DB2,DBN,SearchingInterfaceB,SDBPortal,User,GroupA,GroupB,数据共享的需求,数据共享的必要性与可行性科学内的协同工作跨学科的联合研究虚拟科研环境信息技术的发展提供了可能GRID、Metadata国际国内数据共享的范例NSDI（NationalSpatialDataInfrastructure）/nsdi/nsdi.htmlNBII（NationalBiologicalInformationInfrastructure）DataGrid,实施数据共享面临的主要问题,建库过程中完全的自治性带来的各个层面的异构性系统异构性、语法异构性、语义的异构性等建库过程中缺乏必要的建库文档所带来的数据库的不透明性和不可控制性缺乏对数据质量的评估，不能保证数据的精确性和完整性部分建库单位不能提供长期稳定的数据服务对数据共享认识上的差异知识产权方面的顾虑与担心,提纲,为什么需要进行标准规范建设标准规范建设的主要任务数据库分析设计流程与文档规范化元数据建设基本设想,主要任务,元数据标准体系的研究和制订数据集的元数据标准各学科领域典型的元数据标准数据标准体系研究数据质量评估标准管理规范体系研究数据共享的政策与规范科学数据库运行服务体系,提纲,为什么需要进行标准规范建设标准规范建设的主要任务数据库分析设计流程与文档规范化元数据建设基本设想,数据库建库分析与文档建设,数据资源分析,元数据分析,数据库设计,应用开发,更新维护,数据说明,元数据需求规格书,数据库设计说明书,应用开发文档,更新维护文档,数据库建设文档,数据库建库分析与文档建设,科学数据库文档模板草案数据库设计说明书数据分析说明元数据分析说明数据库外部设计说明结构设计说明运用设计说明数据库应用需求说明书数据更新维护说明书2002年8.20-9.20向各建库单位征求意见，2002年10月经专家委员会认可后发布执行,提纲,为什么需要进行标准规范建设标准规范建设的主要任务数据库分析设计流程与文档规范化元数据建设基本设想,科学数据库元数据的定义,科学数据库中元数据的基本定义元数据是对科学数据库系统中的数据和数据集的内容、质量、状态、使用等相关特性的结构化的描述，其目的是使用户能快速、便捷地发现和访问数据，正确地理解数据、评价数据和使用数据；使管理者能有效地管理数据并对数据访问进行控制。,关于数据的元数据,数据,关于数据的解释和说明,元数据,数据内容,数据质量,数据对象/信息对象,数据状态,数据使用,关于数据的元数据,关于数据的元数据主要功能与作用说明数据的内涵和意义描述数据产生环境、条件及数据质量等相关信息保证数据的精确性和完整性关于数据的元数据建设情况以结构化的数据库组织管理的数据以非结构化的形式组织管理的数据,关于数据集的元数据,数据,元数据,数据,元数据,数据,元数据,数据集,数据类型相同元数据结构和描述方法相同,数据集元数据,关于数据集内容、质量、结构等相关属性的描述,关于数据集的元数据,数据集层面的元数据主要功能与作用标识数据集描述数据集的上下文信息数据集的管理帮助用户发现、定位、使用数据集及数据集中的数据,科学数据库元数据标准/格式,形成数据集或某类数据资源的元数据的所有规则集合。不同类型的资源可能有不同的元数据标准/格式。完整的元数据标准/格式应该包括元数据项的结构和语义元数据著录规则（控制词汇表）元数据编码规则（语法）同类资源的元数据遵循同样的元数据标准/格式可以实现元数据共享与互操作，同时也容易实现资源的共享,元数据标准的作用,标准化可以实现数据的交换和共享通过元数据格式(MetadataFormat)的标准化，实现数据模型的规范化和标准化(CommonDataModel)，一定程度上消除数据库语义上的异构性通用的数据模型可以作为新建数据库内容分析的参考，保证数据库内容的精确性和完整性建立起不同的元数据格式之间互通的桥梁，从而通过元数据实现数据的共享和互操作标准化可以实现经验和技术的共享共享学科领域通用的工具（如数据分析工具、数据可视化显示工具等）,元数据标准的作用,DBA,DBB,SchemaA,SchemaB,DATA,Data+Metadata,Data+Metadata,元数据标准的作用,DBA,DBB,SchemaA,SchemaB,DATA,Data+Metadata,Data+Metadata,CommonSchema,科学数据库元数据标准框架,三层基本架构科学数据库数据集元数据标准(Collections)科学数据库学科领域数据元数据标准(Items)元数据交换标准(interoperability),科学数据库元数据标准框架（2）,科学数据库完整的数据集元数据包括数据集描述信息（描述型元数据）标识信息编目信息(cataloging)查找辅助信息(FindingAids)关联信息(Relationships)数据集管理信息（管理型元数据）知识产权信息访问控制信息数据质量信息,科学数据库元数据标准框架（3）,科学数据库完整的数据集元数据包括数据集结构信息本地数据模型（LocalSchema/LocalDataModel)共享数据模型(DisciplineCommonSchema/CommonDataModel)数据集技术信息（Technical）数据集存储软硬件环境信息数据集加密与认证信息数据集使用信息其它参考信息,科学数据库元数据标准框架（4）,科学数据库数据集元数据标准实施基本原则模块化科学数据库核心元数据+学科领域必须元数据+可选元数据著录规则：分析建设科学数据库数据集分类与主题词汇表（ControlVocabulary)语法规则：XMLSchema+RDFSchema,科学数据库元数据标准框架（5）,科学数据库学科元数据标准（CDM）依学科或资源类型分类和分析作为某一学科内通用的共享数据模型（CDM）著录规则：依各学科分析和建立必要的著录控制词汇表（ControlVocabulary）语法规则：XMLSchema,科学数据库元数据标准框架（6）,交换元数据标准有关联的学科元数据标准进行抽象与聚合，形成领域核心元数据（CommonCore）不同学科元数据标准进行一对一映射，建立映射表（Mapping/Crosswalk）科学数据库数据共享本体（Ontology）,数据集元数据标准,数据集元数据标准分析原则自顶向下进行分析，本着与国际通用的元数据标准接轨，简单、实用的原则进行分析以DC、FGDC/ISO19115为基本的参考标准，结合科学数据实际分析出科学数据库数据集核心元数据在核心元数据的基础上，分几个大的学科领域分析其学科领域必须的元数据，形成数据集元数据标准中一定条件下可选的元数据项最后根据科学数据库未来发展的方向以及数据网格等先进应用系统的需要发展可选的元数据项数据集元数据标准的实施2003年年中推出数据集元数据标准第一版，在得到专家委员会和建库单位的认可后，开始推广实施。数据中心将开发出元数据著录和管理工具，供建库单位使用数据中心将在各数据库数据集元数据建设的基础上，开发科学数据库综合目录（元目录）服务系统（catalog/clearinghouse),数据集元数据标准（Cont.）,数据集元数据标准分析流程,数据集元数据标准（Cont.）,数据集元数据标准分析流程,应用分析,需求规格书,建立实验系统,系统说明书和使用说明书,联机试验著录,联机实验报告,系统评估,系统评估报告,元数据标准推荐报告,关于数据的元数据标准,实施原则自底向上，以数据资源特定的内涵为基础，保持与国际通用标准兼容在实例分析的基础上归纳、提炼出各学科共享元数据标准各学科内共享元数据标准以XML的格式编码，即可以作为数据交换和共享的标准，又可以作为（元）数据库建设的参考模型。基于内涵的实例分析首先支援计划建立元数据库的单位，资源的类型包括实验报告、数据文件、图形、