CN119398004A 基于生成式人工智能的私有化大模型构建方法及系统 （泉州市金同信息科技有限公司）

基于生成式人工智能的私有化大模型构建本发明公开了一种基于生成式人工智能的服传统优化算法在高维金融数据中容易陷入局2S4：模型训练，在前馈网络的训练过程中基于所述步骤S4中在前馈网络的训练过程中基于生态位动态优化算法进行前馈网络参数前馈网络的损失函数表示为适应度Ss()是正弦和指数函数的混合型激活函数，mpe是当前批次输入到前馈网络的金融数据所述步骤S2中信息脱敏包括采用模式匹配和自然语言处理工具自动识别和标记文本中的所述在前馈网络的训练过程中基于生态位动态优化算法进行前馈网络参数的调优还包括：还包括，动态选择奇异值，只保留使得累计能量超过预设阈值的奇异值，表示为：3为选取的重要奇异值。络的第层输入的自适应噪声的计算方式表示为,式中，是自适应噪声的基线噪声系数，是自适应噪声的衰减系数；所述基于非平衡动态优化的自编码神经网络计算方式表示为式中，为自,是自编码神经网络的正则化参数，48.一种基于生成式人工智能的私有化大模型构建系统，基于模型训练模块，其在前馈网络的训练过程中基于生态位动态优化9.一种计算机可读存储介质，其特征在于的基于生成式人工智能的私有化大模型构建方567化权重向量中较大值的影响；是自编码神经网络的第层权Ih是Frobenius范数；w是自编码神经网络的第层权重；是自编码神经网络的第i8私有化大模型建立模块，其用于采用基于Transformer网络的架构建立私有化大所述的基于改进的基于生成式人工智能的私有化大模型构建方图1是根据本申请实施例的基于生成式人工智能的私有化大模型构建方法流程示9所述信息脱敏包括采用模式匹配和自然语言处理工具自动识别和标记文本中的特征映射为一系列上下文感知的向量表示，解码器则将这些向量表示逐步解码为目标特层组成:多头注意力机制子层和前馈网络子层，编码器在每个子层后都添加了残差连接和编码器的核心模块，负责从输入特征中学习每个位置的重要性，并结合所有位置的信息得注意力得分的数值稳定，将得分除以一个缩放因子，所述缩放因子可以为键向量维度的平方根；进一步地，采用Softmax函数处理注意力得分，得到每个位置的注意力权重，所述[0044]在Transformer网络的编码器和解码器中，每个子层的输出都是层归一化和残差Transformer网络的前馈网络为由神经元组成的神经网络结构，其起到增强模型降，为避免传统前馈网络利用梯度下降法进行参数更新时带来的梯度消失和梯度下降现网络的输入特征的维度，为前馈网络的隐藏单元数，randn()表示从标准正态分布中[0060]c.根据个体的适应度进行选择，适应[0067]式中，是控制变异强度曲线的陡[0072]g.利用资源分配的结果[0085]还需要说明的是，Transformer网络由编码器和解码器两部分组成，传统Transformer模型其固定的编码器和解码器编码器和解码器结构限制了其在处理非均匀或本发明采用的Transformer模型中的编码器和解码器为基于非平衡动态优化的自数据的实际特性动态调整其结构和参数，从而更有效地处理金融数据的非均匀性和动态数进行特征编码，设自编码神经网络的输入向量为，为自编码神经网络的第层的输码输出,gr为自编码器的解码函数。,是自编码为参数更新操作；为自编码神经网络的学习率；为自编码神经网络的动态调整因