《信息技术应用创新 经营管理系统数据管理技术规范》_第1页
《信息技术应用创新 经营管理系统数据管理技术规范》_第2页
《信息技术应用创新 经营管理系统数据管理技术规范》_第3页
《信息技术应用创新 经营管理系统数据管理技术规范》_第4页
《信息技术应用创新 经营管理系统数据管理技术规范》_第5页
已阅读5页,还剩11页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS

CCS

团体标准

T/COSOCCXXXX—XXXX

信息技术应用创新经营管理系统数据管理

技术规范

Informationtechnologyapplicationinnovation—Datamanagementtechnical

specificationsforoperationmanagementsystem

(征求意见稿)

(本草案完成时间:2023.11.24)

在提交反馈意见时,请将您知道的相关专利连同支持性文件一并附上。

XXXX-XX-XX发布XXXX-XX-XX实施

中国基本建设优化研究会发布

T/COSOCCXXXX—XXXX

信息技术应用创新经营管理系统数据管理技术规范

1范围

本标准给出了经营管理系统的数据管理体系以及相应的数据标准、数据整理与建模、元数据管理、

主数据管理、数据集成和共享、数据安全和数据质量等方面的技术规范要求。

本标准适用于组织和机构对经营管理系统在数据管理与数据应用能力建设的指导和评估。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

GB/T36073—2018数据管理能力成熟度评估模型

GB/T42450—2023信息技术大数据数据资源规划

3术语和定义

GB/T36073—2018、GB/T42450—2023界定的以及下列术语和定义适用于本文件。

数据仓库datawarehouse

一种用于分析和报告来自多个来源的结构化和半结构化数据的,面向商务智能活动的数据管理系

统。

数据湖datalake

一种用于以原生格式存储、处理和保护大量结构化、半结构化和非结构化数据的集中存储区。

数据治理datagovernance

对数据进行处置、格式化和规范化的过程。

注1:数据治理是数据和数据系统管理的基本要素。

注2:数据治理涉及数据全生存周期管理,无论数据是处于静态、动态、未完成状态还是交易状态。

[来源:GB/T36073—2018,3.5]

元数据metadata

关于数据或数据元素的数据(可能包括其数据描述),以及关于数据拥有权、存取路径、访问权和

数据易变性的数据。

[来源:GB/T36073—2018,3.8]

元模型metamodel

规定一个或多个其他数据模型的数据模型。

[来源:GB/T36073—2018,3.9]

数据质量dataquality

在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度。

1

T/COSOCCXXXX—XXXX

[来源:GB/T36073—2018,3.10]

数据安全datasecurity

数据的机密性、完整性和可用性。

[来源:GB/T36073—2018,3.11]

主数据masterdata

组织中需要跨系统、跨部门进行共享的核心业务实体数据。

[来源:GB/T36073—2018,3.12]

数据元dataelement

有一组属性规定其定义、标识、表示和允许值的数据单元。

[来源:GB/T36073—2018,3.15]

数据管理datamanagement

在数据处理系统中,提供对数据的访问,执行或监控数据的存储,以及控制输入输出操作等功能。

[来源:GB/T42450—2023,3.5]

4缩略语

下列缩略语适用于本文件。

API:应用程序接口(ApplicationProgrammingInterface)

ERP:企业资源计划(EnterpriseResourcePlanning)

DAMA:数据管理协会(DataManagementAssociation)

DCMM:数据管理能力成熟度评估模型(DatamanagementCapabilityMaturityassessmentModel)

DML:数据操纵语言(DataManipulationLanguage)

ETL:数据的提取、转换和加载(ExtractTransformLoad)

HTTP:超文本传输协议(HypertextTransferProtocol)

HTTPS:超文本加密传输协议(HypertextTransferProtocoloverSecureSocketLayer)

IP:互联网协议(InternetProtocol)

REST:一组架构约束条件和原则(RepresentationalStateTransfer)

PDF:可携带文件格式(PortableDocumentFormat)

SCM:软件配置管理(SoftwareConfigurationManagement)

TCP:传输控制协议(TransmissionControlProtocol)

ODBC:开放数据库连接(开放数据库连接)

JDBC:Java数据库连接(JavaDatabaseconnect)

CWM:公共仓库元模型(CommonWarehouseMetamodel)

CMIS:内容管理互操作性服务标准协议(ContentManagementInteroperabilityServices)

OLTP:联机事务处理过程(On-LineTransactionProcessing)

OLAP:联机分析处理(OnlineAnalyticalProcessing)

XML:可扩展标记语言(eXtensibleMarkupLanguage)

JSON:JS对象简谱一种轻量级的数据交换格式(JavaScriptObjectNotation)

CSV:字符分隔值,一种通用的、相对简单的文件格式(Comma-SeparatedValues)

PKI:公钥基础设施(PublicKeyInfrastructure)

CA:证书授权(CertificateAuthority)

2

T/COSOCCXXXX—XXXX

5数据对象范围

数据对象性质

5.1.1可描述性

经营管理系统数据应表现其具备的业务属性,包括类型、来源、格式、结构、内容、质量、时间、

所有权、访问权、位置、客户信息等能力。

5.1.2可集成性

经营管理系统数据应具备可通过API、数据库连接、数据集成工具、文本传输协议、消息队列、ETL

工具、Web服务、数据共享平台等技术手段,实现系统间应用集成和数据共享的能力。

5.1.3可重构性

经营管理系统数据应能适应企业内外部环境和管理要求的变化,应具备数据转换能力,可适应不同

的数据结构和标准。

5.1.4可配置性

经营管理系统数据应具备参数化配置性质,以满足不同场景需求,例如定制规则引擎、工作流程设

计器、报表和仪表板定制、数据导出和导入、扩展性插件、多语言支持等。

数据对象类别

5.2.1主数据

应对经营管理系统主数据进行收集,包括但不限于物料清单、工作中心能力和成本费率、工艺路线、

仓库和货位代码、会计科目等内容。此类数据需要按需定期维护,保持其准确性。

5.2.2业务生产数据

应对经营管理系统运行过程中,由生产经营活动在进行中所产生的数据进行收集。如客户合同、库

存记录、销售订单、财务凭证等。此类数据会随着业务发展不断增减修订,需要随时维护。

5.2.3业务加工数据

应对经营管理系统运行过程中,由信息系统按照既定的程序逻辑,对数据按生产业务需求进行运算

处理后得到的业务加工数据进行收集。此类数据可以更好的供管理人员掌握生产经营状况,进行分析和

决策。

6数据管理体系

概述

经营管理系统数据管理体系见图1,参考GB/T36073—2018中对DCMM8个数据管理能力域的划分,

关注经营管理系统数据从收集、治理到应用的过程。以元数据和主数据管理为基础,以数据标准体系为

支撑,标准化数据建模和数据开发过程,形成数据集成与共享能力。数据质量管理和数据安全管理为整

体过程提供质量和安全保障。

3

T/COSOCCXXXX—XXXX

图1经营管理系统数据管理体系

体系设计

6.2.1元数据管理

经营管理系统元数据应包含但不限于以下三种类型:业务元数据、技术元数据和操作元数据。其

可针对不同应用领域和功能,满足对数据对象的描述、定位、检索、管理、评估和交互的操作要求。

6.2.2主数据管理

经营管理系统主数据应是具备高价值、高共享、相对稳定的基础数据。主数据技术体系应具备主

数据平台和主数据集成两个层面的设计。平台层面应包括但不限于元模型管理、主数据清洗、主数据

质量、数据映射及转换等方面能力;集成层面应明确规范接口的集成方式、协议类型、参数、地址、

对接要求等内容。

6.2.3数据建模

经营管理系统数据模型具有强业务属性,数据模型应具备解释和可解释性,能够解释模型的工作

原理和结果,以便理解和接受模型的决策。数据模型向上应能承接业务需求,向下应能对接数据库系

统,能够为主数据和元数据提供清晰、一致的数据结构定义。

6.2.4数据标准体系

数据标准体系应明确规范企业经营管理业务活动中所涉及数据的规范化定义和统一解释,如数据

命名和命名约定、数据分类和层次机构、数据格式和数据类型、数据采集和录入规则、数据交换和集

成标准等。

6.2.5数据集成和共享

经营管理系统数据集成和共享应能横贯企业内外部的目标异构系统、应用、数据源,具备实现各

经营管理业务板块和数据仓库等系统的应用协同和数据共享的能力。应明确集成和共享的数据源、系

统和格式,明确使用的工具和技术,包括但不限于数据库间点对点集成、微服务或总线型应用集成、

基于数据仓库的结构化数据集成、基于数据湖的多类型数据融合等。

6.2.6数据质量管理

应在数据模型设计、数据资产管理、主数据管理、数据仓库等解决方案和过程中执行数据质量管

理,以确保数据在整个数据生命周期中保持高质量。通过数据验证、数据质量度量、数据质量监控、

4

T/COSOCCXXXX—XXXX

数据质量报告、数据质量规划与策略以及相关数据质量工具和技术,可改善各维度的数据问题,提高

数据质量。

6.2.7数据安全管理

应制定并采取各种策略、技术和活动,包括但不限于从组织建设、业务流程、规章制度、技术工

具等方面确保数据的可用性、完整性和保密性,以及能够控制数据安全风险或将风险带来的影响降至

最低。

7元数据管理

数据来源

企业经营管理系统的元数据应包含但不限于业务元数据、技术元数据和操作元数据三类,要求如下:

a)数据来源应具有唯一性,确保数据在一个数据集中或整个数据管理环境中的唯一性,包括使用

主键、唯一性约束、数据去重、数据匹配与合并等能力保障每个数据实体只有一个唯一的表示;

b)业务元数据应包括对数据的定义、结构、来源、更新频率、质量评级等信息,范围包含但不限

于ERP系统的所有经营管理领域系统;

c)技术元数据应包括数据库架构、应用程序代码、系统配置、安全权限等信息,范围包含但不限

于ERP系统的所有经营管理领域系统;

d)操作元数据应包括系统日志、用户活动日志、性能指标、配置更改历史等信息,范围包含但不

限于ERP系统的所有经营管理领域系统;

e)数据平台的元数据应包含但不限于数据仓库、数据湖;

f)数据处理工具的元数据应包含但不限于各种ETL工具;

g)应支持半结构化、非结构化数据元数据提取。

数据采集

企业经营管理系统的元数据采集具体应符合下列要求:

a)支持采用JDBC等数据库连接方式和API接口调用提取结构化数据的元数据信息;

b)支持全量抽取、增量抽取、基于日志的抽取等抽取模式;

c)支持对半结构化和非结构化数据采用图像识别、自然语言处理等人工智能技术识别和采集元

数据。

元模型管理

企业经营管理系统的元模型管理,应符合下列要求:

a)基于元数据管理工具构建符合CWM规范的元数据仓库,实现集中化管理;

b)提供对元数据增、改、删、查、发布等管理功能;

c)支持元数据版本管理,支持按版本的查询、对比和回溯操作;

d)提供统一的元数据访问接口服务,支持ODBC、JDBC、RESTAPI、CMIS等,兼容WebService

等接口协议。

元数据分析

7.4.1资源地图

以拓扑方式生成的企业经营管理系统数据资源地图,应符合下列要求:

a)资源地图内容范围包括业务流程、部门和职能、数据资产、应用程序、模块和功能、报表和分

析、集成和接口、安全和权限等内容;

b)支持可视化展示、支持自动布局算法的拓扑布局;

c)支持不同数据源导入生成资源地图,对于动态变化的资源信息,资源地图需支持实时更新;

d)支持资源之间的关联和依赖关系的呈现,支持相关资源进行分组、支持利用标签进行资源说明;

e)支持用户通过鼠标或触控交互来展开或收起子图、放大或缩小图形、查看节点的详细信息等;

f)支持对于包含敏感信息的资源地图的权限控制能力;

5

T/COSOCCXXXX—XXXX

g)支持资源地图导出为常见图片格式或PDF文件;

h)支持针对大规模资源地图对于加载速度和渲染性能的要求。

7.4.2血缘分析

追踪数据的来源和去向,识别数据之间的关系和传递路径,应符合下列要求:

a)血缘分析的内容应包括数据来源、数据去向、数据传递路径、数据转换、数据关系、数据质量、

数据版本控制等;

b)支持通过日志记录、元数据提取、数据仓库或数据湖等方式对数据进行采集和追踪;

c)支持建立元数据管理系统,使用ApacheAtlas、Collibra、或国内自主可控的、先进的相关

工具对数据源、表结构、字段信息、数据转换规则等内容进行维护和管理;

d)支持使用如ApacheNiFi、Talend、Kettle或国内自主可控的、先进安全的ETL工具,整合不

同数据源数据;使用如InformaticaDataQuality、Trifacta、或国内自主可控的、先进的

技术工具进行数据清洗与去重;

e)支持构建数据关系建模,利用数据库的关系模型或图数据库建立数据之间的关联;

f)支持利用自动化脚本根据预定义的规则和算法,自动追踪和分析数据的来源和去向;

g)支持可视化展示技术,利用图形化工具或Web可视化库,并以树状图、流程图等形式呈现血缘

关系。

7.4.3影响分析

识别和评估数据或资源变更对组织或系统的影响,应符合下列要求:

a)当元数据发生变化时,应评估影响的范围,包括变更对数据之间的依赖关系变化的影响、变更

对业务过程产生的影响、变更对数据质量的影响、变更对性能和资源消耗的影响、变更对应用

程序和系统的影响、变更对数据访问权限和数据安全性的影响等;

b)支持使用数据监控工具或具备同等能力的数据平台能力对数据变更进行实时监控,收集变更

信息;

c)支持使用数据质量工具或具备同等能力的数据平台能力对数据进行质量评估和分析,识别变

更过程中可能产生的数据质量问题;

d)支持在数据变更后仍具备严格的数据访问权限控制措施和数据安全策略的能力;

e)支持使用图形化工具或自主研发可自定义的可视化界面,将影响分析结果以图表或报表的形

式进行展示;

f)支持使用版本控制机制,记录和管理元数据的历史变更,提供变更历史回溯能力。

7.4.4冷热度分析

评估元数据使用频率和访问热度,按活跃度分类元数据,应符合下列要求:

a)元数据冷热度分析内容应包括但不限于数据访问频率、数据访问模式(周期性访问、突发性访

问)、数据热度、数据冷度等内容;

b)支持使用数据监控工具,如ApacheNiFi、ApacheKafka或国内自主可控的、先进的技术工

具,实时采集和监控数据的访问信息,如数据的访问次数和时间戳等信息;

c)支持使用数据分析技术(如Python的pandas库、R语言、国内自主可控的、先进的数据分析

工具等),对数据访问日志进行分析和挖掘;

d)支持在数据库中添加数据访问时间戳字段,定期清理冷数据,优化数据库性能;

e)支持使用缓存技术,将热数据缓存在高速缓存中,加快数据访问速度;

f)支持对数据进行分级存储,将热数据存储在高速存储介质中(如SSD),将冷数据存储在低成

本存储介质中(如磁盘存储)。

元数据应用

7.5.1应用开发

基于反向工程将元数据模型(通常是逻辑模型)转换为应用系统数据库中的物理表,实现数据模型

与实际数据库的同步,应符合下列要求:

6

T/COSOCCXXXX—XXXX

a)应支持定义元数据模型,在设计工具或建模工具中创建逻辑数据模型,其中包含实体、属性、

关系等;

b)应使用有权限控制的应用系统数据库连接;

c)应使用适合的反向工程工具,如IBMInfoSphereDataArchitect、SAPPowerDesigner、

OracleSQLDeveloperDataModeler或国内自主可控的、先进的技术工具。

d)应支持利用反向工程工具映射元数据模型到数据库表,将元数据模型中的实体、属性、关系等

映射到数据库表结构的能力;

e)应支持生成和执行DDL语句的能力。

7.5.2数据仓库建模

利用元数据记录和管理数据在数据仓库内的流转过程,对数据仓库的设计和建模过程进行辅助和

支持,元数据应记录以下属性和内容:

a)数据表信息:记录数据仓库中的数据表,包括表名称、描述、创建时间、修改时间等;

b)数据字段信息:记录数据表中的字段,包括字段名称、描述、数据类型、长度、精度、是否允

许为空等;

c)数据关系信息:记录数据表之间的关联关系,包括外键约束、主键-外键关系等;

d)维度信息:记录维度表的名称、描述、属性、层次结构等信息;

e)事实信息:记录事实表的名称、描述、度量等信息;

f)数据质量规则:定义数据质量规则和指标,用于衡量数据的准确性、完整性和一致性;

g)数据血缘关系:记录数据的来源和去向,用于追踪数据的传递路径和依赖关系;

h)数据安全和权限控制:记录数据表或字段的安全策略、权限控制信息,以确保数据的访问控制;

i)数据变更历史:记录数据表或字段的变更历史,包括创建时间、修改时间等;

j)数据文档化:记录数据表和字段的文档描述,如数据字典、数据模型、ETL流程等;

k)数据可视化和报表设计:记录数据可视化和报表的设计信息,以支持数据仓库中的分析和报表

展现;

l)数据源信息:记录数据仓库中数据源的信息,包括数据源名称、描述、类型等;

m)数据变换规则:记录数据抽取、转换和加载(ETL)过程中的数据变换规则和映射。

8主数据管理

主数据建模

企业经营管理系统主数据建模要求如下:

a)应支持主数据分类,按一定的维度和特征对主数据划分,包括但不限于根据数据域分类、根据

数据特性分类、根据数据管理责任分类、根据数据使用分类、根据数据的生命周期分类、根据

数据关联性分类等,方便主数据的管理和使用;

b)应支持主数据编码,支持设置码段、码位、步长等,以满足不同业务需求,编码方式包括特征

值编码、固定值编码、日期码、流水码、组合码等;

c)应支持设置中文名称、英文名称、字段类型、长度、唯一性约束、校验规则等主数据属性;

d)应提供主数据管理视图配置功能,支持为不同分类主数据分配不同的属性。

变更管理

企业经营管理系统主数据应具备变更、冻结和归档功能,应符合下列要求:

a)主数据编码不允许修改,以多版本形式维护属性定义;

b)业务流程无法使用冻结的主数据记录,记录维护主数据状态的历史信息;

c)对于失效的主数据记录进行归档操作,即迁移至历史数据库,对归档的主数据不可修改,只能

查询。

主数据分析

支持跟踪主数据的血缘关系,通过可视化方式有效的管理数据变化和异常情况,应符合下列要求:

7

T/COSOCCXXXX—XXXX

a)记录主数据的最初来源以及数据的变换和处理步骤;

b)建立主数据之间的关系模型,包括数据源、数据仓库和数据消费者之间的关联关系;

c)实时或定期跟踪和监控主数据的传递和使用情况;

d)记录主数据的血缘关系,编制数据血缘文档,便于后续的数据溯源和审计。

主数据集成

支持以数据库、消息中间件和Web服务等方式实现主数据的集成共享,应符合下列要求:

a)支持包含国产数据库在内的多数据源抽取数据,并能将数据加载到目标系统或数据仓库的能

力;

b)具备数据类型转换、数据规范化等能力;

c)具备数据匹配和去重能力,对于主数据集成,具备识别和处理不同数据源中的重复数据,并进

行数据匹配,确保主数据唯一性的能力;

d)具备检测和修复数据质量问题的能力;

e)具备数据安全和权限控制能力,主数据集成涉及敏感数据,需具备严格的数据安全和权限控制

措施;

f)具备实时的数据抽取和传输能力;

g)具备定义和管理数据转换规则和映射关系的能力,确保数据在不同系统之间的正确转换;

h)具备容错和数据回滚能力,在主数据集成过程中,对于可能会出现的错误或失败情况,具备有

效处置的能力;

i)具备满足多规模、多需求的主数据集成场景能力。

9数据建模

可视化建模

9.1.1数据结构化和标准化

业务数据应以结构化的方式进行组织和存储,确保数据的一致性和可比性,包括采用统一的数据标

准和命名规范等。

9.1.2数据完整性和准确性

数据模型应能够确保业务数据的完整性和准确性,可定义适当的数据约束和验证规则,确保数据在

采集、存储和处理过程中没有缺失、错误或冲突。

9.1.3数据可扩展性

应采用合适的数据结构(如列表、数据、字典、树、图等)和关系模型(如表格、视图、主外键、

范式等),设计灵活可扩展的数据模型。

9.1.4数据一致性和关联性

数据模型应能够准确地反映业务实体之间的关联关系,保持数据的一致性。通过定义适当的主键、

外键和关联规则,确保数据的关联性和关系完整性,避免数据的冗余和不一致。

9.1.5数据性能和查询效率

应合理设计索引、分区和分片策略,优化数据访问路径和查询性能,提高数据的检索和分析效率。

9.1.6数据安全和权限控制

业务数据模型应考虑数据的安全性和权限控制,采用适当的数据加密和权限管理机制,确保数据的

机密性和访问控制,防止未经授权的访问和数据泄露。

9.1.7数据可视化和报表支持

8

T/COSOCCXXXX—XXXX

数据模型应具备数据可视化和报表支持的能力,通过图表、报表和可视化工具,呈现数据的洞察和

趋势。

9.1.8支持系统级数据模型开发

数据仓库、应用系统的数据模型均应可基于企业级数据模型进行扩展,实现系统模型的正向建模。

9.1.9支持数据模型的反向采集

应支持将Oracle、Mysql等关系型数据库和主流国产关系型数据库中的数据结构采集到数据模型管

理工具中进行统一管理。

数据模型查询

数据模型查询功能应符合下列要求:

a)支持通过但不限于模型分类、标签分级等能力进行查找定位;

b)支持全业务域模型总览,能识别模型间拓扑关系,支持模型的逐级下钻。

数据模型管理

数据模型管理应具备基本的创建维护功能。在状态和属性发生变更时,能自动识别出当前服务的上

下游引用对象,帮助用户评估影响范围,应符合下列要求:

a)支持数据模型的增删改等一系列基础维护功能;

b)支持模型变更管理和发布,按企业管理需要,支持简单的审批流程配置功能;

c)支持模型分版本管理,支持版本回溯。

模型对比分析

支持不同模型间对比、模型内不同版本对比,识别模型差异,形成差异报告。

模型开发

数据模型的开发应同时面向业务应用的开发和数据仓库的模型开发,应符合下列要求:

a)在面向业务应用开发方面(OLTP),应提供面向需求的数据概念模型、面向设计的数据逻辑模

型、面向开发的数据物理模型;

b)在面向数据仓库应用开发方面(OLAP),应能够提供相应的元数据和主数据辅助建模开发,并

支持模型标准校验。

10数据标准体系

标准内容

10.1.1业务术语标准

应详细、准确定义企业级公共业务词汇表,提供业务术语上下文的关联和控制。

10.1.2数据元值域标准

应详细、准确定义数据字典,包括数据元分类、数据元名称、数据元编码、数据元值域范围等。

10.1.3数据指标标准

应详细、准确涵盖指标的业务属性、技术属性和管理属性,例如指标名称、业务含义、统计维度、

计算方式等信息。

标准版本管理

应提供数据标准版本管理功能,包括版本查看、版本发布、版本对比和回溯等功能。

标准稽查管理

9

T/COSOCCXXXX—XXXX

应提供数据稽查能力,参照数据管理标准,可实现对数据模型、数据字典等进行对比分析的能力,

确保模型质量和标准的落地执行。

11数据存储

存储的性能和可靠性

经营管理系统数据存储的性能和可靠性应符合下列要求:

a)具有快速的响应时间,确保用户能够快速访问和操作数据;

b)支持足够的吞吐量,满足同时处理用户请求和数据交互的要求;

c)具备可扩展的能力,可以根据需求进行水平或垂直扩展,以满足业务增长的需求;

d)具备均衡的数据分布能力,经营管理系统数据量庞大,数据颗粒度较细,应确保资源分配均匀,

不会出现过度负荷的情况;

e)具备缓存和性能优化能力,减少数据访问时间,提高系统性能;

f)具备定期数据备份能力,以应对意外数据丢失或损坏的情况,确保数据的可恢复性;

g)具备冗余和容错性,防止硬件故障引发数据丢失,可通过但不限于RAID、备用服务器或云存

储的冗余机制来实现;

h)确保数据的一致性,避免数据损坏或不一致的情况,例如,可通过事务处理和ACID(原子性、

一致性、隔离性、持久性)属性来实现;

i)具备快速的故障恢复机制,以最小化系统停机时间,保持系统的可靠性;

j)具备对数据存储系统进行实时监控,设置警报机制,及时发现并处置问题的能力;

k)确保存储系统的高可用性,可通过使用冗余和负载均衡等方式来实现。

存储的安全和数据保护

经营管理系统数据存储安全和数据保护应符合下列要求:

a)具备数据加密的能力,保护数据安全,对涉及到个人隐私或者企业机密的敏感信息进行加密,

例如姓名、身份证号、银行账号、密码等;

b)具备多层防御的能力,采用防火墙、入侵检测系统、反病毒软件等技术工具构建多层防御策略

略;

c)具备访问控制能力,根据不同的用户角色设定不同的访问权限,防止未授权的访问和非法操作;

d)定期组织安全审计,检查是否存在安全隐患,及时发现和修复漏洞;

e)建立完备的容灾恢复能力,构建灾难恢复计划,在出现数据丢失或者系统崩溃的情况时,具备

快速恢复数据和业务的能力。

存储的控制和合规

经营管理系统数据存储应满足以下控制和合规性要求:

a)保障数据完整性,确保数据在整个生命周期内保持完整性和一致性不受破坏、删除、修改或者

未经授权的访问;

b)对数据实施严格的访问控制,只允许经过授权的人员访问相关数据,限制访问权限和活动范围;

c)根据数据的重要性及其敏感程度,将数据分为不同级别,分别设置相应的安全策略和保护措施;

d)定期备份关键数据,防止意外损失,同时具备快速恢复数据的能力,在遭遇灾难时尽快恢复正

常运营;

e)对在网络上传输的数据进行加密,以防数据被窃取或篡改;

f)记录并保留所有涉及数据的高危操作,以便进行事后审查和追踪,确保数据的安全性和合规性;

g)保障相关技术的合规性要求;

h)定期对系统进行安全评估,检查系统的安全性是否符合预期的标准,找出存在的安全风险并采

取相应的防护措施。

12数据集成和共享

10

T/COSOCCXXXX—XXXX

数据交换

企业经营管理系统数据交换要求如下:

a)应提供基于接口、文件的服务访问方式,以满足实时服务和批量服务的发布要求;

b)应支持多种标准的数据格式,如XML、JSON、CSV等,以确保不同系统之间可以解释和处理数

据;

c)应在数据接收端应进行数据完整性检查,以确保数据没有被损坏或篡改;

d)应在数据交换系统内形成备容错机制,以应对网络故障或其他不可预见的问题;

e)应考虑性能优化,以确保在大量数据交换场景下保障数据传输的效率和速度;

f)应提供租户隔离机制,基于不同的服务实例实现不同消费者对相同数据服务的独立访问;

g)应遵从数据分级管理要求,在发布服务时对相关数据资产共享风险进行评估;

h)可在传输过程中使用数据压缩技术,以减少带宽占用和提高传输效率。

数据清洗

企业经营管理系统数据清洗应符合下列要求:

a)对数据进行验证,确保其符合预定的数据格式、范围和规则,包括但不限于验证数值字段、日

期字段、文本字段等的有效性;

b)检测和移除重复的数据,标准化数据以确保一致性,例如,将日期格式标准化为统一的日期时

间格式;

c)处理缺失数据,可以填充缺失值、删除包含缺失值的记录,或者使用适当的插补方法来填充缺

失数据;

d)检测和处理异常数据,如超出范围的数值、不符合规则的文本等,异常值可以被纠正、删除或

进一步调查;

e)将数据格式化为一致的数据类型,如日期、时间、货币等,以便进行分析和报告;

f)确保数据在不同数据源之间的一致性,包括标准化单位、货币、单位代码等。

数据转换

企业经营管理系统数据转换应符合下列要求:

a)提供数据校验功能,包括空值检测、长度检查、数值范围检查、正则表达式校验等;

b)提供数据表转换功能,包括字段值替换、值映射、列转行、行转列、记录合并、记录排序、去

除重复记录等;

c)提供数据运算处理功能,包括求和、最大值、最小值、平均值等;

d)提供基于代码映射的自动转换功能。

标签管理

标签管理包括数据的标识、分类和搜索,通过为数据添加标签来实现更精准的数据发现和利用,应

符合下列要求:

a)建立统一的标签体系,确保标签的一致性和标准化,标签定义明确,并与业务需求和数据特征

相匹配;

b)建立相应的标签分类和层次结构体系,标签的分类能够覆盖经营管理领域的不同维度和主题,

以支持不同层次的数据分类和搜索;

c)具备唯一性和标识性,并能够准确地标识数据的某种特征或属性,标签的命名清晰、简洁、易

理解;

d)提供维护和更新功能,包括标签的创建、编辑、删除等功能;

e)提供高效的标签搜索和检索功能,用户能够根据关键字、属性或标签进行数据的查找和筛选,

搜索结果准确、快速;

f)提供对标签的版本管理功能,标签有修改和更新时记录标签的历史变更和版本信息,支持用户

追溯和回滚标签的使用情况。

数据目录

11

T/COSOCCXXXX—XXXX

12.5.1概述

数据目录提供了数据资源的可管理性和可发现性,支持数据驱动的决策和合作,并确保数据的安全

性和合规性。

12.5.2数据分类和组织

业务数据目录应能对数据进行有效的分类和组织,包含对数据目录的层次结构设计、数据分类标准

和元数据管理等内容。

12.5.3数据检索和搜索

业务数据目录应提供方便快捷的数据检索和搜索功能,包含但不限于通过关键字、标签、属性等进

行数据的查找和筛选,利用高效的搜索引擎和索引机制,支持快速的数据检索和定位。

12.5.4数据质量和准确性

应具有对数据质量指标的定义和计算、数据质量规则的管理和应用、数据质量报告、数据审计等能

力。

12.5.5数据安全和权限控制

业务数据目录应具备数据安全和权限控制的能力,技术上包括对敏感数据的加密和脱敏处理、用户

和角色的权限管理、双因素认证、水印防篡改、数据可追溯、访问审计等安全措施,以保护数据的机密

性和完整性。

12.5.6可视化和用户界面

数据目录应具备直观易用的用户界面和可视化展示能力。

12.5.7可扩展性和集成性

应支持与行业主流及主流国产化系统数据源、数据仓库和分析工具集成能力,实现数据的无缝流动

和交互。

13数据质量管理

质量管理工具

经营管理系统数据质量管理应包含如下工具:

a)数据标准化稽核工具:评估、验证和监控数据是否符合指定的数据标准和规范;

b)数据清理工具:删除不正确或重复数据条目,修整数据项的值域;

c)数据分析工具:收集数据质量统计信息,评估和度量数据质量;

d)质量监控工具:对数据质量状态进行监控,及时发现数据质量问题。

数据质量测量

从业务实体的角度,以信息项为单位对质量指标进行描述,对每一个指标信息项确定质量核验方法。

可以为每一个核验方法定义测量脚本,配置调度任务,定时执行脚本,记录测量的数据质量结果,并提

供用户查询入口。

数据质量分析

经营管理系统数据质量分析应包含如下内容:

a)应对数据进行结构分析,解析数据与格式描述是否一致。测量数据属性的最小值、最大值,确

定数据是否在值域范围内,以及其他格式错误等。

b)应具备分析数据集、数据记录、数据库字段或数据实体之间的关联关系的能力。识别数据集中

可能出现的数据重复、数据参照不完整等问题。

数据质量评价指标

12

T/COSOCCXXXX—XXXX

经营管理系统数据质量评价要求如下:

a)指标应是可测量的,可以通过定量或定性方式来评估数据质量,而不是主观判断;

b)指标应与经营管理系统的业务目标和需求相关

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论