征求意见稿-智慧图书馆大数据管理平台技术要求

T/CSSTIXXXX-YYYY1智慧图书馆大数据管理平台技术要求GB/T36344—2018信息技术数据质量评价GB/T38667—2020信息WH/T89—2020公共图书馆总分馆业务规范注：国际上，大数据的4个特征普遍不加修饰地直接用volume、variety、velocity和variability予以表述，并分d)多变性variability：大数据其他特征，即体量、速度和多样性等特征都T/CSSTIXXXX-YYYY2分布式文件系统distributed多个结构化数据集分布在一个或多个服务器集群注：此类系统中，数据可能分布在文件和/或数据集层，更为普遍的是在数据块这个层级分布，同时支持集群中多注：一般通过包括统计、在线分析处理、情报检索、机器学习注：资源包括服务器、操作系统、网络、软件、应用和存储设T/CSSTIXXXX-YYYY3总分馆体系中，在业务管理、资源调配、统一协调中发挥主导作用外的公共图书馆或承担文献信息服务功能的基层在本行政区内，独立于总分馆体系之外，可为多个总分馆体系提供支持和指导的公共图书馆。基于图书馆统计和数据，用数字、符号或文字表示，用以表征图书馆的在指定条件下使用时，数据的特性满足明确的和隐含的要求的程大数据分类bigdataclassifi4缩略语T/CSSTIXXXX-YYYY4API：应用程序编程接口（ApplicationProgrammingInterfacBIBFRAME：书目框架（BibliographicFrameCNMARC：中文机读目录（ChineseMachine-ReadableCataloDC：都柏林核心元数据元素集（DublinCoreElementSet）FRAD：规范数据的功能需求（FunctionalRequirementsforAuthorityFRBR：书目记录的功能需求（FunctionalRequirementsforBibliographicRecords）POSIX：可移植操作系统接口（PortableOperatingSystemIntREST：表述性状态转移（RepresentationalStRDA：资源描述与检索（ResourceDescriptionandAccesRDF：资源描述框架（ResourceDescriptionFramework）SQL：结构化查询语言（StructuredQuerXML：可扩展置标语言（ExtensibleMarkupLanguag5.1标准的兼容性5.2数据可重用性集、处理和分析成本，提高数据重用性和利用效率，从而提5.3功能可扩展性5.4平台互操作性据和应用程序，以提升跨平台之间的互操作性，确保服务的一致性和兼容5.5大数据安全性键资源、数据、个人信息不丢失、不外泄、不T/CSSTIXXXX-YYYY5a)数据产生情况，包括数据产生的场景、主c)数据质量情况，包括数据的规范性、完整性、准确性、一致性、可访问性等；f)数据应用情况，包括数据的使用目的、应用领域、使用方式等；g)数据时效性情况，包括数据处理的时效性要求、数据价值时效性等；a)按产生频率分类——即按数据产生周期，如秒、分、时、天、周、月、季度、半年、年等；也可以按单位周期中数据的产生量，如以记录条数或b)按产生方式分类——可分为人工采集、信息系统产生、感知设备产生、原始数据、二次加工c)按结构特征分类——结构化数据包括数据库数据、编目数据、表格数据、具有标准格式规范d)按存储方式分类——可分为关系数据库、键值数据库、列式数据库、图数据库、文档数据库g)按保护程度分类——可分为高敏感数据a)规范性：数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。b)完整性：按照数据规则要求，数据元素被赋予数值的程度。c)准确性：数据准确表示其所描述的真实实体（实际对象）真实值的程度。T/CSSTIXXXX-YYYY6f)可访问性：数据能被访问的程度。g)互操作性：数据在不同系统、应用程序或平台之间交换、共享和使用的能力。h)可理解性：即数据的可解释性，指数据集能够被理解和解释的信息、特征和模式的程度，不仅可以帮助人员更好了解数据特点，还能为后续数据的处理、模型构建和决策制定提供有价a)应提供系统自动故障探测及管理功能；b)应确保系统组件不存在单点故障风险；a)应提供元数据多副本存储功能，任意节点b)应提供基于分区容错的主副本规划功能，具有提前规划各副本数据物理分布的能力。a)建立大数据的备份机制，能够定期对馆藏资源和各类型数据进行自动和手动备份，宜支持数b)建立平台应用系统恢复机制，故障恢复过程不能影响资源数据的完整性，同时不影响平台整c)平台能够兼容各类开源中间件和应用程b)平台能够兼容各类元数据模型如BIBFRAME、FRBR、FRAD，以及知识组织数据标准T/CSSTIXXXX-YYYY7c)平台能够实现对各类异源异构数据的映射和清a)应对登录用户进行身份标识和鉴别，保证用户身份标识唯一性；b)用户登录应满足一定的复杂度要求并定期更换；a)应提供记录系统操作日志功能，记录用户b)建立日志定期备份机制，确保日志可查询、可追溯；平台采用模块化设计，应能够根据未来业务发展和b)系统运行中应提供错误诊断、定位和保存功能；e)应提供详尽的产品文档，为工作人图2给出了智慧图书馆大数据管理平台总体架构模型，该框T/CSSTIXXXX-YYYY8T/CSSTIXXXX-YYYY9互联互通，按照WH/T89—2020规定的总分馆体系的设置及职能定位，图书从产生来源来看，图书馆大数据分为资源数据、事务数据和统计数b)计算：执行和驻留其他大数据系统构件（如，物理资源、操作系统、虚拟实现、逻辑分布）c)存储：在大数据系统中保存数据的资源（如，存储器、本地磁盘、独立磁盘的d)环境：建立大数据系统时必须考虑的物理b)索引存储：无需扫描整个数据集，便可以迅速定位数据的具体要素。T/CSSTIXXXX-YYYY包括数据验证、清洗、标准化、格式化和存储等操作，形成规范化的图书馆大数据资产体系。a)检索发现：整合资源数据，以主题分类和学科领域构建数据集，提供一站式信息检索和内容促进数据交换和重用，提升数据利用率，提升图书馆c)数据挖掘：围绕具体应用目标，以智能化技术手段开展数据挖掘和价值提炼，为构建图书馆d)可视化：为最终数据使用者和消费者提供数据元素、知e)情报生成：围绕具体学科和领域构建知识组织体系，为管理优化、智库建设、辅助决策、科a)机构用户：图书馆是大数据的拥有者和使用者，依据职责和任务目标建设大数据平台，开展数据管理、分析和服务；其他机构用户向大数据平台提出服务请求，并接收信息和b)个人用户：个人用户向大数据平台提出服务请求，并接收信息和服务，主要包括普通读者、T/CSSTIXXXX-YYYYa)应提供数据导入功能，支持结构化数据、非结构化数据的批量导入；b)应支持离线数据导入和实时数据导入；c)应支持全量数据导入和增量数据导a)应提供数据抽取功能，支持对结构化数据、非结构化数据进行抽取；b)应提供数据清洗功能，支持对不一致数据、无效数据、缺失数据和重复数据的处理；c)应提供不同标准和格式数据的映射与转换功能；e)宜提供清洗和转换后的数据对比功b)应提供与关系型数据库、其他文件系统之间交换数据或文件的功能；1)应支持文件系统基本操作，包括上传、下载、读写、复制、移动、删除、重命名、权限2)应提供数据块多副本存储、恢复功4)宜支持数据压缩存储功能。T/CSSTIXXXX-YYYY2)宜支持基于表、列族和列的用户权限管理功能，权限管理操作包括读、写、创建等。2)宜支持图查询，支持单节点、多节点多层关系的扩线查询；3)宜支持图遍历，支持最短路径、最优路径遍c)应提供容错机制，出现故障时可及时予以处理；f)应支持数据查询，提供通过标准的数据库连接接口、RESTAPI查询g)应提供建立数据索引的功能，达到查询加速的效果；h)应支持精确查询和模糊查询功能；i)宜支持基于智能化技术的数据组织和挖掘功能，如支持数据关联、语义理解、知识组织、领大数据服务模块主要围绕智慧图书馆运行和读者需要，提供数智化应用服务，主要功1)开放性：符合图书馆行业习惯，兼容主流开源接口，减小接口定制化带来的重复设计、2)易用性：宜设计成抽象程度高、屏蔽底层实现、语法易理解的接口；3)扩展性：同一接口可通过增加函数、操作符、语句等形式支持新的功数据访问模块应支持相应访问接口，以便于第三方应用程序使用大数据系统的应用集成模块应支持相应API接口，以便于各类应用的集T/CSSTIXXXX-YYYYa)应提供硬软件资源的调度和配置功能；b)应提供对全局资源的集中管理功能，包括资源分类与组织、多种条件检索、元数据增删改、对象数据统一管理及与元数据的关联、内容发布与撤回a)应按照资源分类提供资源数据的数量、数据量等基本数值统计；b