CN119006165B 一种基于大数据的数据资产评估方法及系统 （中国标准化研究院）

一种基于大数据的数据资产评估方法及系统本发明公开了一种基于大数据的数据资产收集多源数据存储至中央数据库并上传到区块多源数据构建数据资产的图网络并提取图网络2收集多源数据存储至中央数据库并上传到区块基于中央数据库构建数据资产的图网络，捕捉图网络中基于提取的节点特征识别影响数据资产价值的因素，构建资产存储数据资产评估过程中产生的数据并实施所述收集多源数据存储至中央数据库并上传到区块链中进行数据确权与记录指从各数据源收集数据并进行预处理后存储进中央数据库中，使用Solidity语言编写智能合约，所述基于中央数据库构建数据资产的图网络指安装Neo4j图数据库和Elasticsearch，构建图数据模型，将两个节点之间的交易关系作为边连接相关的数据资产节点和用户节在此基础上增加数据资产的多维属性并根据数据资产的交易频率和金额设置边的权基于数据资产间的交互强度和频率使用数据资产影响力评分公式定义数据资产的中uv是节点u和v之间的交互频次；计算每个数据资产节点的影响力评分并将影响力评分作建立实时数据监控系统实时监控数据资产的动态变化并将更新推送至Neo4j，使用指使用批量导入工具将数据资产和交易记录导入Neo4j，基于市场波动和历史数据资产图网络中数据关系的时间变化并从图网络中提取节点特征指为每个边添加时间属性并定通过反向传播更新模型权重并定义损失函数，当在连续迭代过程中GraphSAGE模型的3提取的节点特征识别影响数据资产价值的因素指基于业务知识和从图网络中提取的节点使用回归分析方法估计因素对数据资产初始价值的影响，进构建XGBoost模型量化每个因素对数据资产初始价值的贡献，使用从图网络中提取的基于因果推断结果调整XGBoost模型的参数，使用从因果推断中筛选出的因素作为输响因素和历史数据资产价值数据作为训练数据输入进定义损失函数和Adam优化器进行模型参数迭代优化，当在连续迭将需要评估的数据输入资产评估模型中得到数据资产的价值数据资产评估过程中产生的数据并实施访问控制指在通过智能合约验证数据资产价值评6.一种基于权利要求1_5任一所述的基于大数据的数据资产评估方法的基于大数据的数据采集模块，用于确定并配置需要集成的数据源类型，收集资产评估模块，用于基于最大影响因素构建资产评估模45集多源数据存储至中央数据库并上传到区块链中进行数据确权与记录指从各数据源收集[0012]在基础模型上增加数据资产的多维属性并根据数据资产的交易频率和金额设置[0013]基于数据资产间的交互强度和频率使用数据资产影响力评分公式定义数据资产6[0016]计算每个数据资产节点的影响力评分并将影响力评分作为节点的影响力评分属[0017]建立实时数据监控系统实时监控数据资产的动态变化并将更新推送至Neo4j，使[0018]使用批量导入工具将数据资产和交易记录导入Neo4j，基于市场波动和历史数据捉图网络中数据关系的时间变化并从图网络中提取节点特征指为每个边添加时间属性并[0022]通过反向传播更新模型权重并定义损失函数，当在连续迭代过程中GraphSAGE模型的损失不再明显下降则停止迭代输出模型参数更新GraphSA于提取的节点特征识别影响数据资产价值的因素指基于业务知识和从图网络中提取的节断阈值Q进行对比判断因素对结果变量的影响，若因素的p值小于Q，则该因素在统计上显[0026]构建XGBoost模型量化每个因素对数据资产初始价值的贡献，使用从图网络中提[0027]基于因果推断结果调整XGBoost模型的参数，使用从因果推断中筛选出的因素作7影响因素和历史数据资产价值数据作为训练数据输入进资产评估估模型的损失不再明显下降则停止迭代输出模型参数储数据资产评估过程中产生的数据并实施访问控制指在通过智能合约验证数据资产价值理器执行所述计算机程序时实现基于大数据的数据资产评估[0040]本发明通过收集多源数据构建数据资产的图网络并提取图网络的节点特征识别[0041]此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部8处理逻辑并在NiFi中设置处理器，对于从各数据源收集的数据使用SQL_like查询去除无的哈希值，可以为每个数据项生成一个唯一标识符，确保数据的完整性和一致性。使用[0052]具体的，基于中央数据库构建数据资产的图网络指安装Neo4j图数据库，启动Elasticsearch，并设置集群配置和索引策略与Neo4j集成，设置Elasticsearch的节点名[0055]基于数据资产间的交互强度和频率使用数据资产影响力评分公式定义数据资产9[0058]计算每个数据资产节点的影响力评分并将影响力评分作为节点的影响力评分属[0059]建立实时数据监控系统实时监控数据资产的动态变化并将更新推送至Neo4j，使_δt，[0063]使用批量导入工具将数据资产和交易记录导入Neo4j，基于市场波动和历史数据增强了系统的数据管理能力和查询性能，通过使用Cypher语言在Neo4j中创建数据资产节Neo4j中使用Cypher查询来生成统计指标，并将统计指标作为属性添加到相应的数据资产[0071]通过反向传播更新模型权重并定义损失函数，当在连续迭代过程中GraphSAGE模型的损失不再明显下降则停止迭代输出模型参数更新GraphSA断阈值Q进行对比判断因素对结果变量的影响，若因素的p值小于Q，则该因素在统计上显[0077]在统计学中，p值是一个概率值，表示在零假设为真的条件下观察到的统计结果[0078]构建XGBoost模型量化每个因素对数据资产初始价值的贡献，使用从图网络中提[0079]基于因果推断结果调整XGBoost模型的参数，使用从因果推断中筛选出的因素作[0080]判断阈值Q通过