CN114924943B 基于人工智能的数据中台评估方法及相关设备 （中国平安财产保险股份有限公司）

层基于人工智能的数据中台评估方法及相关本申请提出一种基于人工智能的数据中台本方案可以针对数据中台的多个主要问题进行2计算所述数据集中的日志数据的权重以构建业务指标三权重构建业务指标，所述业务指标用以表征数据中台中的应用程序在运行过程中的性依据插值算法对所述更新指标进行插值以构建初始训采集实时数据输入所述性能评估模型并获取数据中台的评依据预设的数据采样时间点采集所述数据中台的结构数规范率指标，所述规范率指标为符合表命名规范的表数量与所述复用率指标，所述复用率指标为具备前置依赖的表的覆盖率指标，所述覆盖率指标为不具备前置依赖但具备后置计算所述协方差矩阵的特征值以获取所述结构依据所述权重更新所述结构指标和业务指标依据所述插值算法拟合所述更新指标区间集内的数据以获得函依据所述函数曲线集中曲线起点对应的采样时间点对函数曲线进行排序以获得排序将所述排序函数曲线集中的曲线首尾相连以获取所述初始训练3数据输入所述性能评估模型并获取数据中台将所述实时更新指标输入所述性能评估模型对所述数据中台进行评估并获取评估结7.一种基于人工智能的数据中台评估装置，所述处理器，执行所述存储器中存储的计算机可读指令以实现如权利要求1至6中任9.一种计算机可读存储介质，其特征在于：所述4[0001]本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的数据中台评估方[0004]鉴于以上内容，有必要提供一种基于人工智能的数据中[0013]上述数据中台评估方法中，通过分析数据中台的结构与标的构建与数据分析步骤提供数据支撑，避免传统的概念化指标评估方法带来的泛化误5结构指标，所述结构指标能够表征数据中台的结构性能并为后续指标评估提供数据支撑，[0023]在一些实施例中，所述计算所述数据集中的日志数据的权重以构建业务指标包[0024]计算所述数据中台中的一个应用程序被调用的次数与所有应用程序被调用的总[0025]计算所述数据中台中的一个应用程序占用中央处理单元的总时长与该应用程序[0026]计算所述数据中台中的一个应用程序报错的次数与该应用程序被调用的总次数[0028]如此，结合数据中台业务逻辑运行过程中的日志数据构建了数据中台的业务指[0037]依据所述函数曲线集中曲线起点对应的采样时间点对函数曲线进行排序以获得6[0043]将所述实时更新指标输入所述性能评估模型对所述数据中台进行评估并获取评[0057]图1是本申请所涉及的基于人工智能的数据中台评估方法的较佳实施例的流程[0058]图2是本申请所涉及的计算日志数据的权重以构建业务指标的较佳实施例的流程[0059]图3是本申请所涉及的更新所述结构指标和所述业务指标以获取更新指标的较佳[0060]图4是本申请所涉及的依据插值算法对所述更新指标进行插值以构建训练数据集[0061]图5是本申请所涉及的采集实时数据输入所述性能评估模型并获取数据中台的评7[0062]图6是本申请所涉及的基于人工智能的数据中台评估装置的较佳实施例的功能模[0063]图7是本申请所涉及的基于人工智能的数据中台评估方法的较佳实施例的电子设8述数据中台的层级结构包括ODS层、DWD层、DWS层、DM层和DIM层。所述ODS的全称为可以降低数据计算口径和算法不统一的风险。示例性的，所述ODS层中的表命名规范为：层级名称_主题域_业务过程_描述_分表规则，所述DIM层中的表命名规范为：DIM_主数据域_描述_分表规则。[0078]该可选的实施例中，可基于所述采样时间点运行预设的SQL脚本以采集数据中台[0080]该可选的实施例中，可基于所述采样时长利用预设的SQL脚本提取数据中台运行程序运行的总时长Time，0<Time<30日；在一个采样时长内，每个应用程序报错的次数9[0082]该可选的实施例中，可将所述结构数据和所述日志数据联合存储为CSV格式的文[0090]其中，S代表基于某一个采样时间点获取的所述数据中台内所有表的名称数据集[0096]其中，M代表基于某一个采样时间点获取的所述数据中台中所有表的后置依赖总[0113]在所述采样时长内，每个应用程序占用CPU的时长与该应用程序运行总时长的比间戳频率通常为1Hz即每秒记录一次应用运行状态，因此所述数据中台的业务指标G包含[0119]如此，结合数据中台业务逻辑运行过程中的日志数据构建了数据中台的业务指可依据所述采样时间点从所述业务指标G中筛选出720BCG。[0128]该可选的实施例中，可将所述四个特征值作为所述结构间跨度为720小时的数据中台结构指标波动曲线与数据中台业务指标波动曲线。所述三次i2+diiii9]。Ct-1t-1tt当前时刻的输出数据。所述遗忘门的主要过程为，将上一时刻的输出数据ht-1与当前时刻的输入数据xt共同输入22。述数据中台的相关数据包括实时结构数据和实时数量、所述数据中台中所有表的后置依赖总数量和所述数据中台ODS层中所有表的后置依[0160]该可选的实施例中，可基于步骤S13更新所述实时结构指标和实时业务指标以获[0165]上述数据中台评估方法中，通过分析数据中台的结构与[0166]如图6所示，是本申请实施例提供的基于人工智能的数据中台评估装置的较佳实请所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计述数据中台的层级结构包括ODS层、DWD层、DWS层、DM层和DIM层。所述ODS的全称为可以降低数据计算口径和算法不统一的风险。示例性的，所述ODS层中的表命名规范为：层级名称_主题域_业务过程_描述_分表规则，所述DIM层中的表命名规范为：DIM_主数据[0174]该可选的实施例中，可基于所述采样时间点运行预设的SQL脚本以采集数据中台[0176]该可选的实施例中，可基于所述采样时长利用预设的SQL脚本提取数据中台运行程序运行的总时长Time，0<Time<30日；在一个采样时长内，每个应用程序报错的次数[0177]该可选的实施例中，可将所述结构数据和所述日志数据联合存储为CSV格式的文[0178]在一个可选的实施例中，第一构建单元111用于解析所述数据集中的结构数据以[0187]其中，S代表基于某一个采样时间点获取的所述数据中台内所有表的名称数据集[0193]其中，M代表基于某一个采样时间点获取的所述数据中台中所有表的后置依赖总[0204]在一个可选的实施例中，计算单元112用于计算所述数据集中的日志数据的权重[0206]计算所述数据中台中的一个应用程序被调用的次数与所有应用程序被调用的总[0207]计算所述数据中台中的一个应用程序占用中央处理单元的总时长与该应用程序[0208]计算所述数据中台中的一个应用程序报错的次数与该应用程序被调用的总次数[0211]在所述采样时长内，每个应用程序占用CPU的时长与该应用程序运行总时长的比1*D*E*F；反之，若该应用程序报错，则该时间戳对应的数据中台的业务指标的构建方式间戳频率通常为1Hz即每秒记录一次应用运行状态，因此所述数据中台的业务指标G包含[0215]在一个可选的实施例中，更新单元113用于更新所述结构指标和所述业务指标以[0216]该可选的实施例中，所述更新所述结构指标和所述业务指标以获取更新指标包可依据所述采样时间点从所述业务指标G中筛选出720BCG。[0224]该可选的实施例中，可将所述四个特征值作为所述结构[0226]在一个可选的实施例中，第二构建单元114用于依据插值算法对所述更新指标进[0230]依据所述函数曲线集中曲线起点对应的采样时间点对函数曲线进行排序以获得间跨度为720小时的数据中台结构指标波动曲线与数据中台业务指标波动曲线。所述三次2+diii[0237]在一个可选的实施例中，第三构建单元115用于依据所述初始训练数据集构建性9]。Ct-1t-1tt当前时刻的输出数据。所述遗忘门的主要过程为，将上一时刻的输出数据ht-1与当前时刻的输入数据xt共同输入22。[0244]在一个可选的实施例中，评估单元116用于采集实时数据输入所述性能评估模型[0248]将所述实时更新指标输入所述性能评估模型对所述数据中台进行评估并获取评述数据中台的相关数据包括实时结构数据和实时数量、所述数据中台中所有表的后置依赖总数量和所述数据中台ODS层中所有表的后置依计算机可读指令以实现上述任一实施例的基于人工智能的数[0267]具体地，处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡可以用于存储安装于电子设备1的应用软件及各类数据，例如基于人工智能的数据中台评[0272]处理器13执行电子设备1的操作系统以及安装的各类应用程序。处理器13执行所块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计[0275]电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品述实施例方法中的全部或部分流程