CN120258453A 一种基于大数据环境的决策模型构建方法 （宜宾职业技术学院）

(19)国家知识产权局(22)申请日2025.04.02刘玉麟合伙)51223G06Q5GO6N5/022(2023.01)GO6N3本发明提出了一种基于大数据环境的决策模型构建方法。属于经济数据决策领域。首先，获可解释知识图谱。接着，构建神经符号联合模型。本发明方法能有效提高决策模型的准确性和解步骤2:基于因果强化学习框架和知识图谱嵌入技术，从包含各类相关指标的标准化数据中提取隐含因果特征，构建符号化规则约束集检测、动态覆盖度测试和反事实一致性检验，通过形式化方法保证决策输出符合预定的规则步骤5:基于实时数据流和专家反馈，采用增量式冲突检测与规则修正机制动态优化模型，构建闭环迭代的决策支持21.一种基于大数据环境的决策模型构建方法，其特征在于：所述的方法包括：获取多源异构数据，包括传感器时序数据、专家规则库及设备因果先验知识，构建带时间戳的标准化训练数据集；通过因果发现算法从历史数据中提取变量间的显式因果关系，结合设备手册的因果先验生成可解释知识图谱；构建神经符号联合模型，所述模型包含用于特征提取的神经网络模块和基于符号逻辑的规则推理模块，并设计知识融合层动态协调两类模块的输出；采用带约束优化的联合训练策略，在反向传播过程中同步更新神经网络参数与规则置信度权重，实现数据驱动与知识驱动的协同学习；对训练后模型进行多维度逻辑验证，包括规则冲突检测、反事实推理测试及决策路径可追溯性验证；基于实时数据流和专家反馈，采用增量式冲突检测与规则修正机制动态优化模型，构建闭环迭代的决策支持系统。2.根据权利要求1所述的一种基于大数据环境的决策模型构建方法，其特征在于，所述的因果发现算法采用约束型因果发现框架，具体包括：通过PC算法生成初始因果骨架，利用设备手册中的已知因果关系作为约束条件筛选候选因果边；采用基于条件独立性测试的贝叶斯评分函数量化因果关系强度，对传感器数据与设备部件节点间的多跳因果路径进行概率建模；构建带权重和方向的知识图谱，其中节点类型包括传感器变量、物理部件及故障类型，边权重反映因果关系的统计显著度与领域专家验证状态。3.根据权利要求1所述的一种基于大数据环境的决策模型构建方法，其特征在于：所述的神经符号联合模型的结构包括：所述神经网络模块采用时空图卷积网络，其图结构基于生成的知识图谱构建，输入层接收传感器时序数据并提取时空关联特征；所述符号推理模块将专家规则编码为可微分逻辑程序，每条规则包含前提条件的传感器阈值判断、时间持续性约束及结论的故障类型映射；所述知识融合层包含注意力门控机制，根据当前输入数据的特征分布动态计算神经网络预测结果与规则推理结果的加权融合系数。4.根据权利要求1所述的一种基于大数据环境的决策模型构建方法，其特征在于：所述的联合训练策略包含以下优化过程：设计多任务损失函数，包含神经网络预测误差、规则推理结果与标注数据的匹配度、以及知识图谱中因果关系的嵌入一致性损失；对符号推理模块中的规则条件阈值实施可微松弛处理，允许在反向传播中更新阈值参数和规则应用优先级；在每次迭代训练后执行规则简化操作，删除置信度权重低于预设阈值的冗余规则，并合并逻辑等价或高度相关的规则条目。5.根据权利要求1所述的一种基于大数据环境的决策模型构建方法，其特征在于：所述的多维度逻辑验证包括：3静态验证阶段采用模型检测工具对专家规则库进行死锁分析和决策路径可达性验证，识别相互矛盾的规则组合；动态验证阶段通过反事实样本生成器构造对抗性测试案例，评估模型在数据分布偏移场景下的决策鲁棒性；对验证过程中发现的规则缺陷，自动生成带上下文约束的规则修正建议并提交专家审核。6.根据权利要求1所述的一种基于大数据环境的决策模型构建方法，其特征在于：部署技术提取文本与表格区域，再利用注入设备编码手册语料训练的领域适配BERT模型进行实体关系抽取，将非结构化数据转化为包含设备参数、操作指令的结构化JSON格式；其中，表格区域的重构精度不低于98%,实体关系抽取的F1值不低于0.92。7.根据权利要求2所述的一种基于大数据环境的决策模型构建方法，其特征在于：基于约束型因果发现算法GES,在时空约束条件下构建因果图模型，通过结构方程模型验证因果强度；对设备运行数据中的多变量时序关系，采用时间延迟互信息与格兰杰因果检验相结合的方法，提取设备状态参数间的因果链，并计算因果效应量；生成的决策规则库中每条规则关联置信度权重，且置信度阈值不低于0.85。4一种基于大数据环境的决策模型构建方法技术领域[0001]本发明属于经济数据决策领域，更具体的说涉及一种基于大数据环境的决策模型构建方法。背景技术[0002]现代经济活动中，经济决策问题的复杂性和不确定性十分普遍。复杂经济系统中的决策问题，其特征包括：多源异构数据，变量之间的复杂相互作用，以及需要承受的不确定性因素等。因此，对这些决策问题进行科学有效的处理就显得尤为重要。[0003]传统的决策模型一般基于理性人假设，即假设决策者完全理性，能够从所有可选择的行动中选择使自己效益最大化的那个行动。但实际上，由于信息不完全、思考能力有限等因素，经济主体的决策行为通常与完全理性的预期存在偏差。[0004]在这种背景下，数据驱动决策已经成为一种重要的决策策略。数据驱动决策利用大数据和人工智能技术，从历史数据中提取决策知识，提供决策支持。然而，现有的数据驱动决策方法主要是基于统计学习模型，对决策过程的解释性和因果关系研究不足，为决策者的信任和接受带来困难。[0005]为应对这一问题，本发明提出了一种基于大数据环境的决策模型构建方法，该方法综合运用因果发现、神经网络运算和符号逻辑，借助知识图谱，将数据驱动与知识驱动有发明内容[0006]本发明要解决的技术问题是如何在大数据环境下，有效整合多源异构数据，并通过因果发现和深度学习，构建出既具有高预测准确性、又具有良好解释性的决策模型。同时，解决此类模型在实时数据流和专家反馈下的动态优化问题，构建出一套可靠、高效并能持续优化的决策支持系统。[0007]为了实现上述目的，本发明是采用以下技术方案实现的：[0008]所述的方法包括：[0009]获取多源异构数据，包括传感器时序数据、专家规则库及设备因果先验知识，构建带时间戳的标准化训练数据集；[0010]通过因果发现算法从历史数据中提取变量间的显式因果关系，结合设备手册的因果先验生成可解释知识图谱；[0011]构建神经符号联合模型，所述模型包含用于特征提取的神经网络模块和基于符号逻辑的规则推理模块，并设计知识融合层动态协调两类模块的输出；[0012]采用带约束优化的联合训练策略，在反向传播过程中同步更新神经网络参数与规则置信度权重，实现数据驱动与知识驱动的协同学习；[0013]对训练后模型进行多维度逻辑验证，包括规则冲突检测、反事实推理测试及决策路径可追溯性验证；5[0014]基于实时数据流和专家反馈，采用增量式冲突检测与规则修正机制动态优化模型，构建闭环迭代的决策支持系统。[0015]在一个方案中，所述的因果发现算法采用约束型因果发现框架，具体包括：[0016]通过PC算法生成初始因果骨架，利用设备手册中的已知因果关系作为约束条件筛选候选因果边；[0017]采用基于条件独立性测试的贝叶斯评分函数量化因果关系强度，对传感器数据与设备部件节点间的多跳因果路径进行概率建模；[0018]构建带权重和方向的知识图谱，其中节点类型包括传感器变量、物理部件及故障类型，边权重反映因果关系的统计显著度与领域专家验证状态。[0019]在一个方案中，所述的神经符号联合模型的结构包括：[0020]所述神经网络模块采用时空图卷积网络，其图结构基于生成的知识图谱构建，输入层接收传感器时序数据并提取时空关联特征；[0021]所述符号推理模块将专家规则编码为可微分逻辑程序，每条规则包含前提条件的传感器阈值判断、时间持续性约束及结论的故障类型映射；[0022]所述知识融合层包含注意力门控机制，根据当前输入数据的特征分布动态计算神经网络预测结果与规则推理结果的加权融合系数。[0023]在一个方案中，所述的联合训练策略包含以下优化过程：[0024]设计多任务损失函数，包含神经网络预测误差、规则推理结果与标注数据的匹配度、以及知识图谱中因果关系的嵌入一致性损失；[0025]对符号推理模块中的规则条件阈值实施可微松弛处理，允许在反向传播中更新阈值参数和规则应用优先级；[0026]在每次迭代训练后执行规则简化操作，删除置信度权重低于预设阈值的冗余规则，并合并逻辑等价或高度相关的规则条目。[0027]在一个方案中，所述的多维度逻辑验证包括：[0028]静态验证阶段采用模型检测工具对专家规则库进行死锁分析和决策路径可达性[0029]动态验证阶段通过反事实样本生成器构造对抗性测试案例，评估模型在数据分布偏移场景下的决策鲁棒性；[0030]对验证过程中发现的规则缺陷，自动生成带上下文约束的规则修正建议并提交专家审核。[0031]在一个方案中，部署多模态处理流水线，对PDF工艺文档、手写巡检记录进行版面分析与语义解析；首先通过OCR技术提取文本与表格区域，再利用注入设备编码手册语料训练的领域适配BERT模型进行实体关系抽取，将非结构化数据转化为包含设备参数、操作指令的结构化JSON格式；其中，表格区域的重构精度不低于98%,实体关系抽取的F1值不低于[0032]在一个方案中，基于约束型因果发现算法GES,在时空约束条件下构建因果图模型，通过结构方程模型验证因果强度；对设备运行数据中的多变量时序关系，采用时间延迟互信息与格兰杰因果检验相结合的方法，提取设备状态参数间的因果链，并计算因果效应量；生成的决策规则库中每条规则关联置信度权重，且置信度阈值不低于0.85。6[0034]通过因果关系发现与神经符号联合模型，可以在大数据环境中高效地构建出决策模型，大大减少模型建立的复杂度和计算负担。[0035]采用了带约束优化的联合训练策略，可以同时优化神经网络模型和符号逻辑模型，在反向传播过程中同步更新参数，能够提高模型的准确性。[0036]通过生成知识图谱，解释神经网络与符号逻辑在模型中的作用，提供了模型结果的逻辑验证，增强了模型的可解释性，有利于人工理解和接受。[0037]对训练后的模型进行多维度逻辑验证，包括规则冲突检测、反事实推理测试及决策路径可追溯性验证，使得决策过程更加透明、公正和公开。[0038]通过增量式冲突检测与规则修正机制，在实时数据流和专家反馈的基础上，动态优化模型，使得决策模型能不断适应和学习新的情况，使得决策更加精确和实时。[0039]因此，该发明设计的基于大数据环境的决策模型构建方法，不仅可以高效地处理大数据，还能建立高准确度、具备强解释性和可追溯性的决策模型，具有很附图说明[0040]图1为本发明方法流程图。具体实施方式[0041]为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是，本发明可以以许多不同的形式来实现，并不限于本发明所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。[0042]除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是，本发明可以以许多不同的形式来实现，并不限于本发明所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。[0043]如图1所示，一种基于大数据环境的决策模型构建方法，包括一下步骤：[0044]步骤1:运用多源异构数据融合模块对来源于各类型报告数据、运行数据、生产数据进行清洗与对齐从而实现时空统一化处理，生成标准化数据。[0045]在实现多源异构数据融合模块时，首先需要构建分布式数据湖作为底层存储架系统、扫描文档等不同来源的原始数据，通过Flink的流批统一处理引擎建立并行接入通道，其中时序数据流通过Kafka消息队列实时摄入，而历史批量数据则通过分布式文件系统(如HDFS)进行分片加载。在数据清洗阶段，针对结构化运行数据设计基于滑动窗口的动态异常检测算法，采用改进的3σ法则结合孤立森林模型识别离群点，同时对缺失数据实施多模式填补策略，根据字段的业务含义分别采用时间序列预测(Prophet模型)、空间插值(Kriging算法)或关联字段推理进行补全。对于非结构化报告数据(如PDF工艺文档、手写巡检记录),部署多模态处理流水线，先通过基于PaddleOCR的版面分析模块提取文本与表格7区域，再使用领域适配训练的BERT模型(注入设备编码手册等专业语料)进行实体关系抽斯-克吕格投影转换不同精度的GPS/北斗定位数据，时间维度上通过动态时间规整算法[0047]首先基于标准化数据构建动态因果图模型，采用结构通过Q-learning策略融合因果图与知识图谱信息，设计奖励函(e,e),其中互信息I(X→Y)通过do-calculus计算因果效应P(Y|do(X)),Sim(e,e)为知包含时态逻辑表达式8辑程序求解器与图注意力因果网络(GACN)构成。系统首先将步骤2生成的符号化规则约束检测框架，将步骤2生成的符号化规则约束集通过Büchi自动机转换生义验证空间为五元组M=(S,∑,δ,s0,F),其中状态s∈S对应规则原子命题的真值组合，迁9建覆盖度度量函’其中触发函数[0074]trig(r|x)=σ(a·sim(ex,er)+β·P(Y|do(X)))[0075]由神经网络预测输出与符号规则的联合激活概率确定，通过蒙特卡洛采样在标准化数据集上执行覆盖轨迹分析，当r∈R使得Cov(r)<θc时，触发基于注意力权重的规则重[0076]@,=sofimax(MLP([μ([0077]·反事实一致性检验构建因果干预验证管道，针对关键决策变量X设计反事实生成器[0078]CFG(X)=GN(ō)+GS(△),其中神经网络生成器GN通过对抗训练生成数据分布内反事实样本，符号生成器GS基于步骤1的因果图执行do-calculus干预生成逻辑合规反事实。验证指标定义为一致性得分[0080],其中f为神经网络预测通道，fs为符号规则推理通道，当Consist<η时自动激活规则蒸馏模块，通过最小化KL散度[0081]KL(fsIIfx)+||▽[0082]实现双向知识对齐。最终验证系统集成三阶段结果生成形式化证明证书，其合规性边界由微分逻辑方程6L/OR=fΩ((R,x)◎-sat(R,x)dx≤eL确定，其中ψ(R,x)为规则可能输入模式下的成立性，确保决策系统满足预定规则的安全约束。[0083]步骤5:基于实时数据流和专家反馈，采用增量式冲突检测与规则修正机制动态优化模型，构建闭环迭代的决策支持系统。[0084]构建了基于事件总线的动态演化架构，通过分布式流处理引擎实时捕获多源异构数据流，将传感器信号、业务日志与专家反馈共同编码为带有时间戳的知识图谱增量事件。当新数据包到达时，轻量级边缘推理模块首先执行局部因果推断，利用步骤1的因果发现算法在线检测潜在的新型关联模式，并通过差分隐私保护的规则假设生成器提出候选约束条件。这些临时规则与既有规则库在内存计算层进行增量式冲突检测，采用改进的Retract-Update-Propagate(RUP)算法动态维护一致性：若发现新规则与现有体系存在逻辑矛盾，系统自动激活多臂老虎机策略，在保持核心约束不变的前提下，根据实时性能指标动态调整规则置信度权重，同时通过人机协同界面向领域专家推送冲突图谱与修正建议。专家审核通过的规则更新通过热部署机制注入神经符号联合推理系统.触发双通道模型的增量式再训练——符号推理侧采用逻辑程序分片技术，仅对受影响规则相关的子图进行稳定模型重新求解；神经网络侧则基于弹性权重巩固算法，在微调图注意力网络参数时施加因果重要性的正则化约束，防止新知识覆盖原有认知。闭环验证环节同步启动增强型沙箱环境，将更新后的模型输出与历史决策轨迹进行反事实对比分析，通过步骤4的合规性验证管道生成可信度评估报告，异常波动超过阈值的场景自动回滚至上一稳定版本。最终形成的动态知识库通过区块链辅助的版本树进行溯源管理，每个规则迭代均关联数据指纹、专家签名与验证摘要，形成可解释、可审计、可进化的决策支持生态，在持续吸收新鲜知识的同时保持系统整体的逻辑完备性与运行稳定性。[0086]以电力市场为例，为了有效地管理和调度电力资源，市场参与者需要通过预测电力价格、电力需求等因素来做出决策。这涉及的数据包括历史电力价格、电力需求数据、气候数据、节假日等公共信息，以及来自各大电力公司和端到端用户的反馈数据等。[0087]首先，通过采集这些多源异构数据，包括电力市场的历史交易数据(带时间戳的电力市场的运行规则和电力设备的工作原理的)以及设备数据(电厂设备的运行状态，例如发电机的负载、功率、效率等),构建电力系统的[0088]然后，通过因果发现算法从历史数据中提取电力需求、电力供应、气候条件、公共节假日等变量间的显式因果关系，结合电力市场运行规则和电力设备工作原理，生成经济领域的知识图谱。[0089]接着，构建神经符号联合模型，其中神经网络模块用于提取电力市场交易数据、气象数据等的特征，符号逻辑模型用于进行基于电力市场运行规则的推理。然后，通过知识融合层动态协调神经网络和符号模型的