国外科学数据服务网站竞品分析

国外科学数据服务网站竞品分析第一页，共75页。国外科学数据服务网站

竞品分析CASSDC韩芳2016/10/20第二页，共75页。大纲竞品分析核心目标十三五分布式数据资源管理与服务体系产品目录-

含5个重点国际数据网站；其他数据组织（7个）第三页，共75页。竞品分析核心目标核心目标是最终抽取可供中科院网络中心大数据部现有数据产品服务体系参考的重点内容。调研通过以下分解目标进行：分析总结5个重点数据网站的概况、数据存储、服务的具体体系。概括其数据资源的服务类型、存储、组织，管理形式、服务模式（抽象模型等方式）、服务对象，服务特点、服务框架等等。记录服务指标有特色的地方，描述清楚具体是如何服务的。部分模式的比较分析和趋势分析第四页，共75页。十三五分布式数据资源管理与服务体系深入构建分布式（同构/异构）数据资源管理与服务体系；重点在数据资源自治组织管理与服务层面，在数据资源安全控制、统一认证、集中注册、监控统计、需求咨询、效果评估等集成服务管理层面，在数据资源统一发现、交流、共享服务及科研应用层面突破数据集成、互操作、发现、同步、安全控制等关键技术，构建相关服务及支撑系统。第五页，共75页。十三五分布式数据资源管理与服务体系十三五目标：细化完善资源服务体系各层次工具与技术，形成完整的分布式资源管理与服务体系。在重点研究工具建设方面与DataONE持平，支持数据分析、表格数据管理、数据质控管理等多种工具集成；在以下体系与功能设计上超越DataONE:

1）在体系设计上：支持2级以上数据中心管理；可支撑千级以上分布式数据源点的集成管理与服务。

2）在数据自治管理方面：除关系型和文件数据源外，可支持半结构化数据源抽取；支持科研全生命周期数据管理；

3）在数据集成管理服务方面：增加数据质量评价管理、数据咨询与需求管理、数据节点服务评估管理工具，增强数据节点监控统计、资源访问统计功能，增强资源安全访问控制粒度管理；

4）在资源发现方面：增加资源服务目录、分类导航及资源推荐功能；优化资源综合排序算法；

5）在资源服务类型方面：除静态数据资源外，可支持模型计算资源和数据服务资源的集成；

6）在用户服务方面：提供个性化数据发现、访问、订阅和社交功能；提供虚拟社区交流共享服务功能。第六页，共75页。产品目录第七页，共75页。1世界数据中心（系统）世界数据中心（WDC）系统的设立是为了存档和分发在1957年至1958年国际地球物理年收集到的观测计划数据。最初世界数据中心设在美国、欧洲、苏联、日本，后来扩大到其他国家。该数据中心系统目前包括52个中心，12个国家。世界数据中心的经费和维持费用是由各地的国际科学界代表赞助。所有世界数据中心举行的资料是可用于复制和发送。WDC和天文与地球物理联合服务中心（FAGS）合并重组，并吸收其他符合条件的中心，共同建立新的世界数据系统（WDS）。第八页，共75页。1世界数据中心（系统）愿景/目标：建立大量的地面观测站，并用气球、火箭和卫星等手段对地球和太阳的各种现象进行全面的系统观测。主要任务：主要任务是对太阳和地球物理的观测数据进行广泛的收集、整理和复制，供各国科学团体和科学工作者使用。第九页，共75页。1世界数据中心（系统）ICSU下的数据组织由原来的３个（即CODATA、WDC、FAGS）合并重组。其中，CODATA不变，将WDC和FAGS合并，并增加新的具有数据共享服务能力的中心共同组成WDS。成立专门的WDS科学委员来指导WDS的各项工作。第十页，共75页。1世界数据中心（系统）第十一页，共75页。1世界数据中心（系统）服务模式：Ａ.服务类型、存储、组织、管理形式主要服务类型是在线提供数据的查询检索和下载服务，提供软件工具，用户可以获取数据接口或独立的应用服务，统一的服务标准ISO,OGC,W3C,OAI。数据服务由PANGAEA（ICSU-WDS的组织成员）提供，主要进行数据的归档、发布、处理、长期存储和组织，提供数据的检索和下载等服务。采用datawarehouse大文件系统方式以及RDBMS为分布式用户提供数据存储和管理服务。支持分布式用户的日常存储需求。启用点对点数据共享。第十二页，共75页。1世界数据中心（系统）发布数据的体系模型变化，One-for-all服务模式。增加了互操作性，减少了系统低效。对于研究机构、使用者、存储单位都有极大好处。第十三页，共75页。1世界数据中心（系统）有不同的协议认证。数据发布既可以独立发布，又可以结合论文进行发布，每个数据集都有一个DOI，论文与数据互相引用，引入peerreview模式，后续会进行数据出版相关工作。最终目标是提供：Article–Datacross-referencingservice，与科学出版社Elsevier,Springer,Wiley,AGU,Nature等合作。第十四页，共75页。1世界数据中心（系统）结合论文进行发布第十五页，共75页。1世界数据中心（系统）PANGAEA整合数据用到了本体论模型，建立了数据发布和出版概念。linkingbetweenPANGAEAandElsevier第十六页，共75页。1世界数据中心（系统）B.服务模式（具体提供方式呈现）查询服务：分类导航，关键词，专业属性，地图范围PANGAEADataPortalSearch提供了一个类似googlesearch的数据搜索接口，通过该接口可以搜索访问到ICSU-WDS所提供的数据集。主要有以下4类导航：Water Sediment IceAtmosphere。第十七页，共75页。1世界数据中心（系统）查询提供4种查询关键词范围。数据的描述：例如可以是数据集标题、项目名称、机构、作者、考察船,仪器,参数等等。数据集引用。 主要研究者PI。 发布者，来源:有七个不同来源。可以利用ANDOR来进行深度查询，用"-"来过滤掉某些查询条件，比如：GlobigerinaAND(falconensisORbulloides)使用通配符进行更高级检索，如？和*，分别代表一个字符和多个字符，也支持一些词组的查询方式。在高级查询设置地图范围时，可以画图选择特定区域，或者直接输入经纬度，或者定位当前位置范围。支持全球范围内的数据查询工作。第十八页，共75页。1世界数据中心（系统）访问服务：下载、数据接口、评价评论该数据网站的数据集提供下载和可视化服务。可对数据服务查询所得结果进行下载操作。如果查询得到一个数据集，则一般会生成一个Tab-delimitedtext文件，如*.tab，文件下载文本具体内容如下示例：相关内容会采用数据集集合的组织模式。如果查询获取多个数据集结果，则可以打包下载ZIP文件，并可以通过链接分别访问具体的数据集内容。第十九页，共75页。1世界数据中心（系统）可视化服务：提供数据的预览以及可视化服务，可以根据目标参数的选择来展示不同目标参数在对应横轴参数上的值。第二十页，共75页。1世界数据中心（系统）对对描述信息中的对应地理位置给出一个Google卫星图标识，内嵌在数据描述信息的页面上。第二十一页，共75页。1世界数据中心（系统）协作协同服务数据发布者、文章发布者通过元数据引用等手段将数据与文章关联起来。个性化服务除提供下载的数据集结果以及元数据详情外，每个数据集都可以选择预览，html格式进行查看，并且筛选条件进行可视化展示。第二十二页，共75页。1世界数据中心（系统）特色及专业工具服务工具主要服务PanMapMini-GIS，在地图上绘制点和矢量数据PanPlot可以在多变量的图上基于时空计算数据。Pan2Applic转换和编译从PANGAEA信息系统上下载到其他格式的单个文件或文件夹的输出文件PanCountExcel表使用键盘作为计数装置PaleoTools定量的古环境重建的扩展软件包第二十三页，共75页。1世界数据中心（系统）C.部分模式的比较分析和趋势分析第二十四页，共75页。2地球观测组织地球观测组织（GEO）成立于2005年2月，是地球观测领域最大和最权威的政府间国际组织。第二十五页，共75页。2地球观测组织主要任务：第二十六页，共75页。2地球观测组织GEO使命的核心部分是建立全球综合地球观测系统（GEOSS）。GEOSS是一组协调、独立的地球观测、信息以及处理系统，与公众及私营部门的广泛用户互动并提供多样化的信息。GEOSS将这些系统联系起来以加强对地球状态的监测。它有利于将出自GEO成员国家和组织大数据阵列观测系统获取的环境数据及信息共享。此外，GEOSS确保这些数据可获取，确定其质量与来源，并为工具开发及信息服务数据分发提供可互操作的支持。因此，GEOSS增进我们对地球过程的了解，提升预测能力，为良好的决策制定打下了基础。第二十七页，共75页。2地球观测组织机构组成：由全球8大发起机构组织及相关的工作组进行数据资源的协作协同服务，各国研究机构共同协同进行地球数据的观测和共享。第二十八页，共75页。2地球观测组织Ａ.服务类型、存储、组织、管理形式主要由GEOSS来提供相应的数据服务，分布式的系统，进行数据观测和数据处理，信息交换与分发，性能检测。第二十九页，共75页。2地球观测组织Ａ.服务类型、存储、组织、管理形式通过GEOSS的模型与数据分析，可以根据观测结果进行预测，为政策和管理提供决策支持。第三十页，共75页。2地球观测组织注册和存储资源时会根据资源的具体类型分为数据集、文档类型、监控观察系统、分析可视化应用、计算模型、RSS，info等9种类型。搜索检索时，也会根据元数据中的类型信息进行分类。第三十一页，共75页。2地球观测组织注册用户选择自己的GEO联盟信息，登录后，可以进行资源的管理和注册发布，资源发现服务。第三十二页，共75页。2地球观测组织B.服务模式（具体提供方式呈现）查询服务：分类导航，关键词，专业属性，地图范围可以根据查询关键词，在相关的主题、国家地理位置、数据访问条件以及地球观测目录下进行查询。Themes包括9大分类，主要是GEO的研究和存储数据集范围。国家地理位置既可以选择具体的某个特定国家，也可以进行经纬度的设置。数据访问条件分为所有数据集或者可以公开使用访问的数据集。第三十三页，共75页。2地球观测组织访问服务：下载、数据接口、评价评论用户在搜索获得的公开数据集的具体页面上，可以看到元数据信息中提供有可供数据下载的url地址，点击后，需要填写上用户的具体信息，方可以进行数据集的下载和使用。第三十四页，共75页。2地球观测组织下载信息一般存在该数据集的元数据所有描述信息中的distributionInformation中。搜索结果中如果有监测和观察系统结果，在具体的元数据描述页面中可以获取公开的访问接口链接，跳转进入到相关系统页面。第三十五页，共75页。2地球观测组织第三十六页，共75页。2地球观测组织第三十七页，共75页。2地球观测组织第三十八页，共75页。2地球观测组织C.部分模式的比较分析和趋势分析第三十九页，共75页。3地球观测数据网DataONE项目的目标是广泛收集、存储地球和环境有关的数据，在为众多科研人员了解、接受、使用的基础上，普及地球和环境数据，创造新的科学和知识。愿景/目标：第四十页，共75页。3地球观测数据网第四十一页，共75页。DataONE项目的最佳实践是把数据监管生命周期分成了计划、收集、保障、描述、保存、发现、整合、分析8个步骤，其中的保障主要是通过元数据和数据格式来保障数据质量和兼容性，保证数据的可获性以提升数据价值。3地球观测数据网第四十二页，共75页。3地球观测数据网第四十三页，共75页。DataONE允许用户引用其搜索到的数据。可以进行数据的使用。3地球观测数据网第四十四页，共75页。3地球观测数据网体系结构/主要组成：第四十五页，共75页。组织架构：DataONE项目组织架构见下图。3地球观测数据网第四十六页，共75页。3地球观测数据网第四十七页，共75页。技术架构：常见的数据监管服务包括数据加工描述服务、数据存储服务、数据发现和共享服务。数据加工描述服务指辅助科研人员根据科研数据的类型、特点和相关资助机构的数据管理要求描述和处理数据；数据存储服务要在判断科研数据价值的基础上，为科研数据选择合适的存储期限和存储地点；数据发现和共享服务要能帮助科研用户发现、检索、获取数据。这些服务一般还会有系统或者工具的支撑，比如，DataONE项目中ONEMercury用于搜索、Dataup用于数据存储、ONER用于统计发现和可视化展现。3地球观测数据网第四十八页，共75页。通过对DataONE及其他数据监管项目的析探讨，本文归纳总结出一条实施数据监管的关键流程，即构建数据监管基础架构、制定数据管理计划、选择元数据标准、规范与统一数据、数据存储与归档。3地球观测数据网第四十九页，共75页。3地球观测数据网实施数据监管的关键流程构建数据监管基础架构第五十页，共75页。3地球观测数据网制定数据管理计划

第五十一页，共75页。3地球观测数据网选择元数据标准第五十二页，共75页。3地球观测数据网规范与统一数据

第五十三页，共75页。3地球观测数据网数据存储与归档第五十四页，共75页。4分布式最活跃数据档案中心群分布式活动档案中心（DAACs）已被美国宇航局选中要处理，存档和分发地球观测系统（EOS）和相关数据。他们还提供全方位的全球变化研究人员的支持。（DistributedActiveArchiveCenters，DAACs）第五十五页，共75页。4分布式最活跃数据档案中心群机构组成及责任：各种DAACs和合作数据中心第五十六页，共75页。4分布式最活跃数据档案中心群第五十七页，共75页。4分布式最活跃数据档案中心群服务模式（具体提供方式呈现）查询服务：分类导航，关键词，专业属性，地图范围EOSDISDAACS提供了一个类似googlesearch的数据搜索接口，通过该接口可以搜索访问到EOSDIS所提供的数据。第五十八页，共75页。4分布式最活跃数据档案中心群第五十九页，共75页。4分布式最活跃数据档案中心群第六十页，共75页。4分布式最活跃数据档案中心群第六十一页，共75页。4分布式最活跃数据档案中心群

ToolDataSetsServedSearchVisualizationSubsetting

/ReprojectionReformatting

NSIDCDataSearchAllNSIDCdatasets✔

Reverb

(NASAproduct)AMSR