布式资料储存与管理的开源管理软件irods调研分析

调研CASSDC韩韩芳芳2016/11/04布布式资料储存与管理的式资料储存与管理的开源管理软件开源管理软件目录产品简介主要功能体系架构特色部分案例产品简介IRODS是什么INTEGRATEDRULEORIENTEDDATASYSTEM一种分布式资料储存与管理的开源管理软件，提供分散式资料管理所需的功能，例如维持资料完整、授权限制、资料存取、后设资料以及资料储存的策略和布署等。集成以规则为导向的数据管理系统，一个社区驱动、开放源、数据网格软件解决方案。重要理念是在广域分布式环境中对大容量数据进行有效的管理和传输。产品简介IRODS用于什么从根本上说，IRODS可帮助研究人员、档案管理人员和组织管理（组织、共享、保护和维护）计算机上的文件。集合的范围可以从0到数十亿的文件大小或更多总计浩如烟海的数据。IRODS运作机制结合资料网格（DATAGRID）、数位化储存、长期典藏等技术与观念；更支援数位资料保存、共同研究资料的分享及自动化的工作管理。除这些泛型功能之外，IRODS通过用户定义微服务，提供高度可配置和易于扩展的用例，范围非常广泛而不必修改核心代码。IRODS能管理多少文件IRODS可能管理几十到几亿个文件。功能4大主要功能数据虚拟化DATAOBJ,DBOBJ,WORKFLOW访问接口访问接口标准微服务标准微服务DATAGRID数据网格数据网格MAPFROMACTIONSREQUESTEDBYTHEACCESSMETHODTOASTANDARDSETOFMICROSERVICES映射标准微服务与标准操作MAPTHEOPERATIONSTOPROTOCOLSUPPORTEDBYTHEOPERATINGSYSTEM标准操作标准操作POSIX,ODBC数据虚拟化IRODS区域是运行IRODS服务器软件的计算机网络。ZONE用于托管在连接的存储设备上的数据，以及存储在元数据目录中的元数据。在每个区域中，一个服务器扮演目录服务器的角色并连接到保存目录的关系数据库。区域中的其他服务器目录服务的消费者。所有IRODS服务器接受来自IRODS客户端的连接。所有IRODS服务器可以托管存储资源，其中包含由区域提供的文件。所有IRODS服务器都可以执行IRODS规则实施工作流自动化。添加服务器可以通过在单个位置或分布事提供冗余来提高区域的性能，安全性和恢复能力。IRODS提供存储在物理存储位置的文件的逻辑表示。我们将此逻辑视图称虚拟文件系统；其提供的功能，即数据虚拟化。数据虚拟化可组合资源IRODS可组合资源允许数据分配政策通过协调资源和存储资源的决策树来定义。协调资源，决策树的分支节点，主动作出决策哪个叶节点或存储资源，将接收或服务每个数据对象。有许多不同类型的协调资源，每个都有一个定义的逻辑，确定如何分发或访问数据对象。协调资源类型的示例包括随机随机地将文件分发到其存储资源复制将副本分发到其每个存储资源延迟基于为每个存储资源定义的算法所确定的投票分发文件数据发现数据目录包含有关区域数据对象，集合，用户，存储资源以及有关区域本身的信息。有关数据的信息（称为元数据）对于数据发现非常有用，可在大型数据集中查找相关数据。数据对象元数据除了传统的系统元数据之外，还包括丰富的用户定义的元数据，例如文件名，文件大小和创建日期。这种丰富的元数据允许数据由作者姓名，关键字，案例ID和内容类型等特征来标识。丰富的元数据可以包括您选择应用于数据的任何描述符。丰富的元数据也可以应用于集合，用户，资源和其他IRODS区域。区域的整个IRODS目录包含在关系数据库中。目前，该数据库必须托管在POSTGRESQL，MYSQL或ORACLE数据库管理系统。工作流自动化一旦数据在目录中存储和可用，它通常需要迁移，保护或以其他方式处理。每个IRODS服务器运行一个事件触发后台进程的规则引擎。规则引擎使用IRODS规则编程，规则指定在IRODS启动特定系统活动时应触发哪些操作。IRODS事件触发器称为策略强制点（PEP）。示例，当删除用户时，将数据对象的所有权转移到项目管理器的规则触发器或PEP是用户的删除。类似地，每当将文件上传到IRODS资源时，可以编写规则来提取元数据或预处理数据。链接规则和PEP允许您创建强大的，自定义的工作流，节省时间并防止人为错误。复杂的多步科学过程可以通过保持持续状态的详细记录和其他实验室信息，得到严格管理和自动化，并且只在必要时发出警告人。组织数据管理策略可以使用IRODS规则以自动化、可审计的方式获取。安全协作当数据在合适的人手中时，数据是最有用的。公共研究界公认需要发布伴随书面文章的数据集。即使在数据可能无法发布的领域，通常有必要在多个工作组之间共享数据集。随着数据集增长超过几千兆字节，数据变得难以在不同位置间移动。IRODS通过三种技术提供安全协作TICKETS,PERMISSIONS和FEDERATION。IRODSTICKETS提供对数据对象和集合的受控公共访问。IRODSPERMISSIONS类似于UNIX文件系统权限。IRODSFEDERATION将数据共享和发布扩展到单个区域之外。FEDERATION解决了集中式共享系统固有的可扩展性，易腐性和传输速率的问题。管理责任分散到各个区域，每个区域可以向世界上任何IRODS区域中的数据提供其自己的视图（即，接口）。计算管理WHY当数据大小过大和计算简单时，可能更容易将计算移动到数据端通过本地处理减少延迟可能至关重要HOW规则ACTION|条件|MS1，MSN|RMS1，RMSN微服务250定义良好的功能服务器调用的用于强制执行策略的规则客户端调用以在服务器上运行工作流的规则计算管理策略可操作规则保留，处置，分发，安排真实性，出处，描述完整性，复制，同步删除，垃圾桶，版本生成归档，分期，高速缓存验证，授权，编辑访问，审批，IRB，审计跟踪，报告生成评估标准，验证派生数据产品生成，格式解析独立数据网格联合IRODS数据生命周期DATACOLLECTIONPRIVATELOCALPOLICYDATAGRIDSHAREDDISTRIBUTIONPOLICYDIGITALLIBRARYPUBLISHEDDESCRIPTIONPOLICYDATAPROCESSINGPIPELINEANALYZEDSERVICEPOLICYREFERENCECOLLECTIONPRESERVEDREPRESENTATIONPOLICYFEDERATIONSUSTAINEDREPURPOSINGPOLICY15用户搜索、访问、获取、添加数据及元数据利用浏览器或IRODSGUI或客户端命令行来访问分布式数据IRODSDATASERVERSDISK,TAPE,ETCIRODS元数据目录TRACKINFORMATIONIRODS规则引擎TRACKPOLICIESLOGICALNAMESPACE“虚拟集合”系统架构体系架构IRODS可区分为前端使用者端及后端服务器端两个部分，使用者端可透过不同的介面，存取及管理分散式资料。服务器端可依照不同需求，制定不同的策略，自动提供管理、认证、授权、备份等服务。IRODS运作机制结合资料网格（DATAGRID）、数位化储存、长期典藏等技术与观念；此外，更支援数位资料保存、共同研究资料的分享及自动化的工作管理。体系架构在规则库、后设资料库、配置文件以及各种类型的微服务是IRODS系统的最底层，通过实施一致性校验模组，分别对顶层的服务管理、规则修正器、配置修正器模组以及后设资料修改器模板提供服务而在客户端，规则引擎作为连接客户端与管理端的一个桥梁，是客户端的规则调研器、微服务模组和客户端当前状态描述的连结点。规则调研器一方面要接受来自客户端的资源调度请求，另一方面又需要将通过规则引擎处理后的结果返回给客户端。规则库IRODS规则库两类系统层级规则和使用者层级规则系统层级规则服务器内部运行时所执行的系统中的各种管理策略。这类规则包括各种资料管理策略，例如强制执行的可靠性、完整性，存取限制，资料存放、资料描述、复制、分布状态，处理过程以及资料的撷取和部署等；此外，它还包括服务的自动化，如服务的管理、鉴定、授权、审核和使用统计等。使用者层级规则客户端透过IRULE指令或者RCEXECMYRULEAPI调用规则引擎来执行各种管理策略。使用者层级的规则属于工作流类型的规则，它允许使用者请求IRODS服务器执行操作序列即微服务。此外，它还为使用者提供一些有用的服务，由于这些操作是在资料存放的服务器上完成的，因此执行上非常有效。规则库IRODS的规则引擎规则引擎布署在IRODS服务器上，当事件发生或使用者端发出请求时，判断是否有符合的规则条件，以便执行资料的管理策略。工作流引擎自动化关于数据访问，共享，保存的政策实施用户或管理员应用的规则以强制实施定义的策略管理员规则通过执行微服务实现微服务是实现某些功能的小程序规则库流程特色IRODS实现数据虚拟化，实现了统一的命名空间下访问分布式存储资产，从而解决只能在单一厂商存储解决方案的问题。IRODS使用元数据目录进行数据发现，该目录描述IRODS区域中的每个文件，每个目录和每个存储资源。IRODS自动化数据工作流，使用规则引擎，允许任何操作由区域中任何服务器或客户端上的任何触发器启动。IRODS支持安全协作，因此用户只需登录到其主区域即可访问远程区域上托管的数据。对比科学数据管理云平台VDBCLOUD产品/项目名称数据管理模式定制元数据可视化工作流客户端API服务方式IRODS文件模式，DATASET支持各种数据文件类型；虚拟化管理。可扩展，通过元数据目录进行数据发现偏底层数据管理。规则引擎特色多种API，客户端服务开源管理使用VDBCLOUD数据库管理；文件管理。有数据