T-JNBDA 0001-2024 数据要素价值预评价规范

T/JNBDAT/JNBDA0001—2024数据要素价值预评价规范Dataelementvaluepre-evaluationspecification2024-10-13发布2024-10-13实施本规范由济南市大数据协会提出并归口，按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的要求编写。请注意本规范的某些内容可能涉及专利。本规范的发布机构不承担识别这些专利的责任。本规范由山东财经大学、山东省注册会计师协会、山东中测信息技术有限公司联合起草。本规范主要参与单位：中荣国投智慧城市建设有限公司、山东齐鲁知识产权投资运营有限公司、山东国家应用数学中心、山东鲁商科技集团有限公司、济南职业学院、山东青年政治学院、鲁担（山东）数据科技有限公司、山东土地数字科技集团有限公司、山东利诚大数据有限公司、济南建工集团有限公司、济南大陆机电股份有限公司、青岛皓盛未来智能科技有限公司、山东旗帜信息有限公司、山东省征信有限公司、浪潮卓数大数据产业发展有限公司、山东海看新媒体研究院有限公司、山东浪潮傲林大数据科技有限公司、北方健康医疗大数据科技有限公司、济南新物联自控科技有限公司、山东鹰格信息工程有限公司、齐鲁银行股份有限公司、山东长纳数字科技有限公司、浪潮云洲工业互联网有限公司、山东北天极能源科技有限公司、山东微笑数据科技有限公司、山东领潮软件科技有限公司、普联软件股份有限公司、济南城市投资集团有限公司、十方数据产业（山东）有限公司、济南农村商业银行股份有限公司、航天信息（山东）科技有限公司济南分公司、山东高驰数据科技有限公司、国泰新点软件股份有限公司、山东天元同泰会计师事务所（特殊普通合伙）、山东东知信息技术有限公司、深圳市思普达软件系统有限公司、华鲁数智信息技术（北京）有限公司、山东浩瑞卓特数字科技有限公司、宏济堂制药集团、山东影响力智能科技有限公司、太一数据科技（山东）有限公司、山东双泽信息技术有限公司、明曦金道（山东）数据科技有限公司、山东省国际信托股份有限公司。本规范主要起草人：张志红、吴博、梁仕念、荣丹、程晓杨凌云、吴昊天、邓宇、毕岩。本规范在参考已有制度标准条例同时，结合我国数据产业现状的实际，结合《数据安全法》等新制度编制，适用于行政企事业单位数据价值的自评，适用于第三方服务机构对数据价 2规范性引用文件 2 23.2数据资源Dataresources 23.3数据要素Dataelement 23.4数据资产Dataasset 23.5数据质量Dataquality 23.6应用场景Applicationscenarios 23.7数据确权Dataconfirmation 33.8合规Compliance 33.9数据产品Dataproduct 3 45数据要素预评价范围确定 45.1数据主体维度 45.2是否属于公共数据维度 45.3加工情况维度 46数据要素价值预评价步骤及基本要求 56.1数据要素价值预评价框架 56.2数据要素价值预评价评分标准 66.3数据要素应用场景识别基本要求 6.4数据要素权属明晰基本要求 6.5数据要素合规评判基本要求 6.6基于应用场景跨部门成本效益分析基本要求——96.7数据质量评价基本要求 116.8数据安全评判基本要求 6.9数据产品研发计划基本要求 T/JNBDA0001—2024数据要素价值预评价规范本规范规定了数据要素相关术语和定义、数据要素预评价范围、数据要素价值预评价步骤,包括了数据要素应用场景的识别、数据要素合规预判、数据要素的成本效益分析、数据要素质量自评与外评、数据要素应用价值预评估、数据价值的安全保障、数据要素进一步转换为数据产品等基本规则和要求。本规范适用于数商服务企业和数据要素拥有企业对数据要素价值做出初步判断与了解。2规范性引用文件下列文件对于本规范的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适用于本规范。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本规范。GB/T35274信息安全技术大数据服务安全能力要求GB/T35295信息安全大数据术语GB/T36073数据管理能力成熟度评估模型GB/T36344信息技术数据质量评价指标—2—T/JNBDA0001—20243术语与定义下面术语和定义适用于本规范。信息的可再解释的形式化表示,以适用于通信、解释或处理。注:可以通过人工或自动手段处理数据。C来源:GB/T5271.1-2000,定义01.01.02)数据资源是指经过加工后,在现时或者未来具有经济价值C来源:《数据资产评估指导意见》(中评协C2023)17号))3.3数据要素Dataelement数据要素是指那些以电子形式存在的、通过计算的方式参与到生产经营活动并发挥重要价值的数据资源。合法拥有或控制的,以数据为载体和表现形式,能进行计量的,并为组织带来直接或者间接经济利益的数据资源。C来源:根据GB/T37550-2019,定义2.4、GB/T40685-2021,定义3.1以及GB/T34960.5-2018,定义3.3改写)在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度。C来源:GB/T36344-2018,定义2.3)T/JNBDA0001—2024应用场景是指数据在实际应用中所处的环境和情境,它是指数据在实际的特定的环境和情境下的使用方式和目的,是数据的具体应用方式和应用目的。数据唯有和场景结合,才能更好体现其数据价值。3.7数据确权Dataconfirmation确定数据的权利属性,确定数据的权利主体和权利的内容,设置确定和行使数据权利的规则和程序架构。应遵循现行有效法律、行政法规和规范性文件,对数据资源合法合规性进行管理,建立组织数据合规管理机制,确保数据资源的合法、合规。由开展经济活动的自然人、法人或非法人组织,使用运营单位提供的数据资源与服务,开发的有明确应用场景的新的数据资源或数据服务,以及对数据资源投入实质性加工和创新性劳动形成的数据衍生品,产品形式包括但不限于数据集、数据分析报告、数据可视化产品、数据指数、API数据、加密数据等。T/JNBDA0001—20244缩略语下列缩略语适用于本规范。ETL:数据提取、转换和加载(Extract-Transform-Load)5数据要素预评价范围确定数据要素预评价的范围非常广泛,它涵盖了所有以数据形式存在、能够为数据持有者、使用者和经营者带来经济价值的5.1数据主体维度(2)企业数据;(3)政府数据。5.2是否属于公共数据维度(2)非公共数据。5.3加工情况维度(1)原始数据(0阶数据);(2)脱敏数据(1阶数据);(3)模型化数据(2阶数据);(4)人工智能化数据(3阶数据)。T/JNBDA0001—20246数据要素价值预评价步骤及基本要求6.1数据要素价值预评价框架本规范提出从以下七个方面对数据要素价值进行预评价(1)数据要素应用场景识别;(2)数据要素权属明晰;(3)数据要素合规评判;(4)基于应用场景跨部门成本效益分析;(5)数据质量评价;(6)数据安全评价;(7)形成数据产品研发计划。T/JNBDA0001—2024其中,数据要素应用场景的识别需要经过跨部门跨领域的业务需求分析后实现,同时数据要素的合规评判和质量自评应在多部门协同下完成。6.2数据要素价值预评价评分标准上述步骤1-7,每完成一个,需根据各步骤的评价标准及具体情况对该步骤的实际情况进行打分,并对应到所属的ABC级别当中。级别及标准如下所示:表1各步骤所属等级判断标准等级标准A除满足该步骤中提出的基本要求外,还能根据实际情况自行制定相应的要求并予以实施。B该步骤中的要求全部满足C该步骤中的要求达到60%以上6.3数据要素应用场景识别基本要求多部门协同,分析内外部具体需求和痛点;(2)数据资源评估分析组织持有的数据资源类型、质量和可用性,确定可以支持哪些内部和外部应用场景;(3)应用场景可行性初步论证对识别的内外部应用场景进行初步评估,确保数据资源、技术能力和内外部需求三者匹配。6.4数据要素权属明晰基本要求T/JNBDA0001—2024数据确权本质上是确定数据的权利属性,需要确定数据的权利主体,即谁对数据享有权利;确定权利的内容,即享有什么样的权利。组织应通过以下数据权利的分割,确保其数据的安全和隐私,遵守法律法规,实现数据要素权属的确定。作为数据的收集者和原始持有者,拥有数据资源持有权。这意味着组织拥有这些数据的原始所有权,可以决定谁可以访问这些数据,以及在什么条件下可以访问;(2)数据加工使用权数据资源持有者在相关数据主体的授权同意下,或者其他市场主体在数据资源持有者和相关数据主体的授权同意下,对数据进行加工、分析等处理,应用于具体业务场景,从而提升运营效率、创造经济社会效益的权利。他们可以对原始数据进行分析和处理,以提取有价值的信息,这种权利通常受到组织内部政策和数据保护法规的约束;(3)数据产品经营权市场主体在数据资源持有者和相关数据主体的授权同意下对数据进行实质性加工和创造性劳动,形成数据产品和服务对外提供,从而获得经济收益的权利。这些数据产品的经营权归该组织所有,并可以决定如何销售、许可或合作这些产品。6.5数据要素合规评判基本要求组织获取数据行为不违反任何法律法规、国家政策和社会T/JNBDA0001—2024公共道德,不侵犯任何第三方合法权利。常见的不合规行为包括:自行采集非企业主营业务范畴的相关数据;数据采买时未检查供应商是否拥有数据的合法授权等;(2)数据内容合规组织存储数据的内容需真实、合法、合规,不得存储法律法规不允许采集或存储的违法数据。常见的不合规行为包括:组织私自存储未依法获取授权的国家机密数据、敏感数据、重要数据、商业秘密、个人信息等;组织处理数据行为不违反法律相关规定,符合合法、正当、必要原则。常见的不合规行为包括:组织超出个人授权同意的范围处理个人信息(4)数据管理合规组织需按照法律法规、规章和国家标准等要求,建立数据合规相关管理制度,开展包括合规管理体系搭建、风险识别、风险评估与处置等管理活动,对数据分类分级管理、数据跨境,个人信息保护等领域建立相应的全链条监督管理机制;组织需依法开展数据经营业务,获得相应的资质、行政许可及充分授权,建立完善的内控体系,保障数据经营业务不危害国家安全、公共利益以及侵犯个人、组织合法权益;(6)数据确权合规对数据要素的权属问题未出示相关政策文件予以说明,但T/JNBDA0001—2024—9—可以借助"数据二十条"中对数据资源权属问题的处理,评判数据要素的权责关系:①持有权:根据该数据要素谁持有进行评判;②加工使用权:根据是否拥有对该数据要素的加工使用权进行评判;③数据产品经营权:根据如果加工数据要素后是否能形成数据产品,以及是否能控制对该数据产品的后续经营进行评判。6.6基于应用场景跨部门成本效益分析基本要求(1)预期经济利益的可行性分析首先,企业需要判断是否将数据资源进行应用或利用。这一过程需要企业进行数据的场景化分析,如果企业仅持有数据资源,但无法将这些数据资源通过自用或对外进行许可、转让、提供数据服务等方式,对数据资源加以利用,则这些数据无法为企业带来直接或间接的经济利益,不得将这些数据资源确认为数据资产。其次,企业在应用或利用数据资源时是否具有经济可行性。数据资源的经济可行性主要受两方面因素的影响:一方面是数据规模的影响。另一方面是数据利用成本的影响。最后,企业还需判断应用或利用数据资源带来的经济利益很可能流入企业(一般指可能性大于50%)。判断是否有经济利益流入的可能(≥50%)主要有以下五个方面:①先决条件:在该应用场景下完成相应的项目使其能够使用或出售在技术上具有可行性;T/JNBDA0001—2024②对外赋能能否满足:需要有场景、有需求、有市场;③对内赋能满足:赋能新业务、提升现有业务收益、降低现有业务成本;④货币化度量:利用历史经济收益数据,结合回归或AI模型,预测未来经济利益可能性和规模。可选用收益法、成本法和市场法等;S核心在于梳理经济价值背后的业务指标或者成本动因。(2)成本的归集与分摊①确定数据资源生产流程:包括数据采集1外购、数据脱敏、数据清洗、标准、整合、数据分析、数据可视化等。②明确以上流程中涉及的成本要素:专属成本与共担成本。③建立准确的数据血缘图谱用于数据各个阶段合理归集成专属成本数据要素数据要素共担成本外购数据资源的购买价款和相关税费数据资源权属鉴证、质量评估、登记结算、安全管理等成本外部数据专属数据加工、开发成本、如单一数据产品的清晰、标注、整合、分析及可视化成本外部数据伴生性数据如录入客户合同信息、记录客户消费信息等过程中即发生数据采集行为客户数据存储业务数据至不同的数据库的同时也发生客户数据数据资源的存储行为对相同的客户信息,进行不同维度额分析,形成不同的数据产品所发生的成本数据安全管理成本图2数据要素成本血缘分析图数数据湖数据仓库应用场景财务主题某项项产品主题某项项营销主题运营主题风控主题T/JNBDA0001—2024(3)结论当数据要素的经济利益流入可行且成本经上述步骤可靠分摊具备可行性,则可进行后续步骤。6.7数据质量评价基本要求根据目前业界对于数据质量的衡量标准,并结合数据治理经验,可基于数据完整性、唯一性、有效性、一致性、准确性和及时性6个维度来评估数据质量。依据以上指标,结合ETL等工具,针对不同的数据要素做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。完整性指的是数据信息是否存在缺失的状况,数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值就会大大降低,也是数据质量最为基础的一项评估标准;(2)唯一性针对某个数据项或某组数据,没有重复的数据值。值必须是唯一的如ID类数据;有效性指的是描述数据遵循预定的语法规则的程度,是否符合其定义,比如数据的类型、格式、取值范围等;(4)一致性一致性是指数据元素的类型和含义必须一致和清晰,如数据迁移或加工的前后数据表大小一致性对比;—ll—T/JNBDA0001—2024(5)准确性准确性是指数据记录的信息是否存在异常或错误。和一致性不一样,存在准确性问题的数据不仅仅是规则上的不一致,更为常见的数据准确性错误就如乱码,其次异常的大或者小的数据也是不符合条件的数据。常见的准确性指标有:缺失值占比、错误值占比、异常值占比、抽样偏差、数据噪声;及时性是指数据从产生到可以查看的时间间隔,也叫数据的延时时长。对于数据更新频率的满足程度,针对用户对信息获取的时间及时性要求,确保数据及时更新。表2数据质量评价指标评价维度评价指标指标说明完整性非空约束数据记录内容中存在空值的情况编码表是否缺失对数据编码维表的描述是否为空的情况字段是否缺失重点字段内容是否为空值唯一性主键是否唯一主键数据ID必须为唯一的编码表是否唯一编码含义,编码规则必须唯一数据是否重复数据记录中是否存在重复内容的情况有效性代码值域约束是否符合数据值域约束,无超出情况符合数据长度要求长度约束内容规范约束符合数据类型约束要求T/JNBDA0001—2024评价维度评价指标指标说明有效性取值范围约束符合数据范围的约束要求标志位取值约束重点标识数据必须满足要求。如:身份证号一致性相同数据一致性同一数据在不同位置存储或被不同应用或用户使用时,数据的一致情况关联数据一致性符合基础数据元组合的数据集的逻辑一致性约束跨表逻辑含义一致的数据定义及内容要一致准确性取值准确约束数据获取内容同来源要保障准确,无偏差脏数据重复情况数据中出现脏数据的占比情况数据格式约束数据是否符合标准格式校验要求的情况及时性时段数据准确日期范围的记录或者频率分布符合业务需求的情况时点数据准确性特定时点的记录数、频率分布或延迟时间符合业务需求的情况数据时序准确性数据时序的正确性6.8数据安全评判基本要求判断数据要素在以下方面是否安全:按照信息安全管理体系要求制定大数据安全策略与规程,T/JNBDA0001—2024从数据服务组织与人员的安全管理,以及数据服务所需的数据资产与系统资产管理视角制定数据安全管理等制度,满足数据服务组织管理安全合规及数据安全风险管控要求。具体要求:策略与规程方面有明确的方针、目标和原则以及建立相应的安全管控流程与制度;组织与人员方面划分好组织职责与岗位职责,明确各自的安全责任,制度数据安全保护相关的教育培训计划;资产管理方面分别建立数据资产和系统资产各自的安全管理规范以及运营管控措施。(2)数据处理安全能力针对数据收集、存储、使用、加工、传输,提供、公开、销毁等数据处理活动,从数据平台和数据应用业务及技术层面采取数据保护措施,满足数据服务中数据处理活动相关的数据保护要求。具体要求:数据收集方面对数据的获取、清洗、标识以及加载制定规范操作规程,明确相应要求,记录操作行为并定期进行评估;数据存储方面建立可伸缩的数据存储架构,做好数据的副本与备份管理,依据数据资产的重要性等需求建立数据归档存储相关的操作规程;数据使用方面建立好数据的合规管理、访问控制以及数据展示有关的安全机制;数据加工方面规范操作分布式计算、大数据分析、密文计算和数据脱敏;数据传输方面建立系统中数据传输接口安全操作规范;数据提供方面按照组织内提供和跨组织提供两部分做好安全约束;数据公开方面对数据发布、在线访问做好安全授权管理操作规范;数T/JNBDA0001—2024据销毁方面动态监管数据删除和介质管理,做好管控措施。(3)数据安全风险管理能力按照数据业务流转过程和数据处理活动安全保护要求,从风险识别,安全防护,安全监测、安全检查,安全响应和安全恢复六个环节建立安全风险管理能力,采取风险应对措施使数据资产始终处于有效保护合法利用状态,保障数据运营者所提供数据服务的可持续性。具体要求:风险识别方面应采用风险评估、技术分析、业务监测等方式构建数据资产识别能力,基于主管部门监管要求定期对数据供应链上下游组织的数据处理活动进行风险评估;安全防护方面应该建立区域边界防护、计算环境防护、数据操作防护、数据服务接口防护等安全防护基础设施体系;安全监测方面应具备数据处理监测、系统运行监测、服务持续监测等方面的能力;安全监测方面应定期对数据系统的安全控制措施进行检查;安全响应方面应做好应急预案管理、安全事件处置、事件归因分析、安全风险报送的规范化操作;安全恢复方面应制定数据备份、归档与恢复的计划,定期开展数据系统灾难恢复演练。6.9数据产品研发计划基本要求明确数据要素能够形成的数据产品类别,包括但不限于以下内容:这类产品帮助用户进行数据的收集、整理、分析和可视化,T/JNBDA0001—2024以便更好地理解和利用数据。它们可能提供数据挖掘、机器学习或预测分析等高级功能;(2)数据服务这包括提供数据访问、数据集成和数据管理的服务。例如,API(应用程序接口)服务允许用户从各种来源获取数据,而数据仓库和数据湖则提供数据的存储和管理功能;(3)数据决策支持系统这类产品利用数据和算法来辅助决策过程。它们可能包括风险评估工具、市场预测系统或商业智能(BI)平台,帮助用户基于数据做出更明智的决策;(4)数据可视化产品数据可视化工具将数据转化为图形、图表或仪表板,使数据更容易被理解和解释。这些产品对于数据驱动的决策和沟通至关重要;这包括基于数据的各种应用程序,如推荐系统(如电商平台的商品推荐)