CN119476355A 基于混合专家模型的数据处理方法、装置、计算机设备和可读存储介质 （天翼云科技有限公司）

基于混合专家模型的数据处理方法、装置、本申请涉及一种基于混合专家模型的数据出的各个专家网络模型与输入数据中的字符之2基于输入数据中的目标字符，确定与所述目标字符对应的基于各所述专家网络模型的概率估计值以及所述目标概针对于每一所述字符，通过所述注意力机制层对所述字符针对于每一所述预先配置的概率差值阈值，在所述混合专家模型基于各所述预先配置的概率差值阈值分别对应的阈5.根据权利要求1至4任意一项所述的方法，其按照所述序列的排列次序，计算所述目标专家网络模型与所述目标专家网如果所述概率估计值差值小于所述目标概率差值3基于各所述目标专家网络模型的概率估计值以及各所述目标专家网络模型分别对应通过所述输出层对应的处理操作对所述加权结果进行处理，得到所述第一确定模块，用于基于输入数据中的目标字符，确定与所第一筛选模块，用于基于各所述专家网络模型的概率估计值第一处理模块，用于基于各所述目标专家网络模型对所8.一种计算机设备，包括存储器和处理器，所述存储器处理器执行时实现权利要求1至6中任一项所述的方行时实现权利要求1至6中任一项所述的方4[0001]本申请涉及计算机技术领域，特别是涉及一种基于混合专家模型的数据处理方家网络模型可以是为特定任务或数据子集训练[0003]传统技术中，混合专家模型中包含的专家网络模型是通过静态Top_K的选择策略5[0017]基于各所述预先配置的概率差值阈值分别对应的阈值评价指标的指标值进行筛[0024]基于各所述目标专家网络模型的概率估计值以及各所述目标专家网络模型分别67可穿戴设备可为智能手表、智能手环、头戴设备等。头戴设备可以为虚拟现实（Virtual可以是待混合专家模型处理的数据；预设的混合专家模型中可以包含多个专家网络模型，字符确定出的与该目标字符相适配的两个概率估计值之间的差值的阈该混合专家模型中的各个专家网络模型分别对于该目标字符能够进行准确推断的能力，8[0062]具体地，终端可以基于筛选出的各个目标专家网络模型分别对目标字符进行处家网络模型对待字符进行文本翻译处理，得到各目标专家网络模型分别对应的翻译结果；扩展混合专家模型的决策效率以及提升混合专家模型9[0072]在一个示例中，终端可以将包含多个字符的输入数据一度较高部分的字符，使混合专家模型/混合专家层中的各个专家网络在进行数据处理时更程度。输入数据对应的任务类型可以是当前应用场景所需要进行的推理任务的任务类型，过该预先配置的概率差值阈值对数据处理模型中的混合专家层包含的各个专家网络模型[0087]步骤306，基于各预先配置的概率差值阈值分别对应的阈值评价指标的指标值进到更好地提升混合专家模型/数据处理模型地处理效率以及模型性能的目标概率差值阈[0093]具体地，终端按照各个专家网络模型的概率估计值的从当前的下一专家网络模型为目标专家网络模型，并按照该专家网络模型序列的排列次序，计算该目标专家网络模型与该目标专家网络模型的下一专家网络模型之间的概率估计值可以将当前的下一专家网络模型确定为目标专家网络模型，即将专家网络模型2确定为目简称为第一专家网络模型终端可以分别计算该第一专家网络模型与该第一专家网络模[0102]步骤504，基于各目标专家网络模型的概率估计值以及各目标专家网络模型分别[0108]在一个示例中，终端也可以将该加权结果确定为该目标字符对应的数据处理结[0109]本实施例中，通过各目标专家网络模型分别对应的字符[0113]本实施例提供的基于混合专家模型的数据处理方法对任务推理过程中专家网络概率差异阈值的动态专家数选择机制，在推理过程中处理不同的字符token的时候选择不[0114]本实施例提供的基于混合专家模型的数据处理方法可以提高混合专家模型以根据每个输入token的实际情况选择最合适的专家数量以及对应的专家，以确保计算资处理不同的token的时候有不同的k值，而不是在任务级别选择k值，任务级别所有的k值都那些对当前输入最有知识的专家，而不是平均考虑所有专家意见，这有助于做出更精确的前提下提高整体的计算效率。[0116]如图6所示，可以是本实施例提供的基于混合专家模型的数据处理方法的具体执具体地，门控网络针对每次输入的token，实时计算并为每个专家模型分配一个概率估计值(ΔP它为专家选择提供了一个判断标准。这个阈值可以是固定值，也可以是根据输入此只组合了那些概率高于设定阈值的专家。这确保了模型在推理时更多地依赖于那些建议更可能正确的专家。[0118]基于这样的动态选择机制允许模型根据实时token数据的复杂性自适应地减少或现了一种新型的精确到token级别的动态专家选择机制。该机制在混合专家模型中提供了[0120]本实施例提供的基于混合专家模型的数据处理方法实现了token级别的动态专家专家模型的数据处理装置实施例中的具体限定可以参见上文中对于基于混合专家模型的[0126]第一筛选模块802，用于基于各所述专家网络模型的概率估计值以及所述目标概所述目标专家网络模型的概率估计值以及各所述目标专家网络模型分别对应的字符处理件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外机程序被处理器执行时实现以以上实施例所述易失性存储器和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read_