CN111367633B 问答系统中的模型服务治理方法、装置和计算机设备 （深圳市腾讯信息技术有限公司）

本申请涉及一种问答系统中的模型服务治标数据，当指标数据满足模型流切换指标条件理过程中的指标数据来判断是否需要切换模型2查找各所述数据处理模块对应的可选模型，根根据所述初始指标数据，确定各所述模型流的优先级，并将携带有接收问答数据，从模型流集合中选取优先级最高的目标模型流将所述目标模型流的问答数据分流至所述备选模型流进行获取预设的流程编排方式，所述流程编排方式包括串行连接采用不同的流程编排方式，将各所述数据处理模块进行连接，得从组件库中获取与所述可选模型对应的模型组件，所述模型组件携带有包括模基于所述数据处理流，对所述携带有组件标识的模型组件将模型类别信息和模型版本信息作为所述模型的组件标识，生成携带将预设比例的问答数据分流至所述备选模型流进行问答处理，获取3当所述备选模型流的指标数据不满足所述模型流切换指标条件时，根据所述预设比第一种，当接收的问答数据对应的业务流量达到目标模型流的业务流量承载上限时，第二种，当目标模型流的问答准确率小于模型流问答准确率第三种，当目标模型流的无答案率大于模型流无答案率最高阈值模型流构建模块，用于获取问答系统的业务场景信息，确定业务场景备选模型流获取模块，用于当所述指标数据满足所4优先级次高的备选模型流；在目标模型流的问答准确率小于模型流问答准确率最低阈值使得所述处理器执行如权利要求1至6中任一项5[0001]本申请涉及人工智能技术领域，特别是涉及一种问答系统中的模型服务治理方6[0031]图6(a)为一个实施例中智能问答系统中的模型服务治理方法中的串行连接方式[0032]图6(b)为一个实施例中智能问答系统中的模型服务治理方法中的并行连接方式[0033]图6(c)为一个实施例中智能问答系统中的模型服务治理方法中的判断执行连接[0038]图11为一个实施例中智能问答系统中的模型服务治理方法数据流切换控制示意7[0043]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控申请实施例提供的方案中的智能问答系统涉及人工智能中的自然语言处理技术(Nature[0044]图1为一个实施例中智能问答系统中的模型服务治理方法的应用环境图。参照图采集目标模型流在进行问答处理时的指标数据，当指标数据满足模型流切换指标条件时，型服务治理方法具体包括如下步骤S210至8数据对多个模型进行测试得到的初始指标数据来确定。指标数据包括模型的承载流量上[0048]智能问答系统用于针对某类数据的问答处理。以游戏信型流问答准确率最低阈值以及模型流问答无答案率最高阈值为模型流的业务流量承载能力不足或是目标模型流的准确度过低或是目标模型流的无答案9业务流量承载上限来确定备选模型流。当业务流量达到目标模型流的业务流量承载上限[0058]模型流问答准确率最低阈值和模型流无答案率最高阈值可以根据应用场景的需型流问答准确率最低阈值时或在目标模型流的无答案率大于模型流无答案率最高阈值时，[0061]问答数据分流是指将目标模型流的待处理数据转移到备选模型流进行问答处理[0062]模型服务治理是指对问答系统进行问答处理的过程中的建立决策并执行决策的[0064]在一个实施例中，可以根据指标数据与模型流切换指标条件的类别来进行分线上的用户流量突增的情况下，有效避免业务流量突增导致问答服务的不可用的情况发的问答数据分流方式即AB测试的分流策略，将目标模型流的待处理数据转移到备选模型[0066]在一个实施例中，如图3所示，多次少量的问答数据分流方式包括步骤S310至行处理,10％的流量通过modelflow2进行处理，modelflow2可以是新配置的模型流也可以model2之间的串行连接为例，问答数据经过model1处理后，用model1的输出结果来当做model2的输入数据，参见图6(a)所示的串行连接方式,在问答系统中可以配置如图6(a)所[0082]以model2和model3之间的并行连接为例，问答数据经过model1后再并行经过model2和model3，即用model1的输出结果当做model2和model3的输入数据，且model2和接方式，该modelflow中分词组件的输出结果可以分别当实体识别组件和意图识别组件的该modelflow中意图识别组件识别出的结果会经过一个条件判断，根据条件判断来确定是[0089]数据处理模块对应的可选模型是指用于实现该模块的功能的函数或模型的集词模型、基于深度模型的分词模型等；实体识别模块可选模型包括基于crf(conditional型和基于bert(基于Transformer的双向编码器表征)的意图分类模型等。模型组件是携带[0096]为提高智能问答系统的数据处理能力，对于同一问答数据会进行对此数据处得到的模型为相同类型不同版本的模型，比如分词模块中hmm的分词组件可以根据不同的则可以自定义，比如分词模块中hmm的分词组件可以根据不同的训练数据集生成不同的版块和分类模块，每个模块有2个组件，则该业务可生成2*2个modelflow。第六步，指定[0100]AB测试：当需要新上线一个模型的时候，可以针对这个模型组件配置成新modelflow，然后基于配置的AB测试的分流策略，比如初始值90％的流量走modelflow1,通过统计当前使用的模型流在问答处理过程中的指标数据，控制组件actian获取统计结[0117]S1228，在接收的问答数据对应的业务流量达到目标模型流的业务流量承载上限[0119]S1232，在目标模型流的无答案率大于模型流无答案率最高阈值时，进入步骤[0128]在一个实施例中，问答系统中的模型服务治理装置1300还包模型流构建模块用于获取问答系统的业务场景信息，确定业务场景所需的数据处理模块；达到目标模型流的业务流量承载上限时，从模型流集合中获取优先级次高的备选模型流；机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按各个实施例的问答系统中的模型服务治理方法中答系统中的模型服务治理方法的步骤可以是上述各个实施例的问答系统中的模型服务治(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM