CN115358401B 一种推理服务的处理方法、装置、计算机设备及存储介质 （平安银行股份有限公司）

本发明提供一种推理服务的处理方法、装理模型的复用；提高了AI芯片或AI显卡的利用2根据所述服务类型，确定预设的初始服务配置中的目标服务根据所述目标服务配置中的模型编排配置，对所述目标推理模型基于所述目标服务模型，对所述推理服务请求对应的待推理数据进在所述根据所述服务类型，确定预设的初始服务配置中的目标服务配置的步骤之前，获取预设的初始配置模板中的目标配置模板以及所述目标配置模板对应的目标配置所述根据所述目标配置参数，对所述目标配置模板进行参数设所述中间服务配置中的模型类型配置，确定预先部署的初始推理模型中的中间推理模型；模型编排配置包括模型关系配置和模型权重配置；所述根据所述目标服根据所述目标服务配置中的模型关系配置，对多个所述目标推理模型进行模型组合；根据所述模板构建数据，渲染得到所述初始配置模板；所述初始配置调用所述目标服务模型中输入端推理模型的暴露接口3模型编排模块，用于根据所述目标服务配置中的模型编排配置，对所数据推理模块，用于基于所述目标服务模型，对所述推理服务请配置设置模块，用于在所述根据所述服务类型，确定预设的初始配置设置模块具体用于根据所述目标配置参数，对所述目标配置模板进行参数设置，模型编排配置包括模型关系配置和模型权重配置；模型编排6.一种计算机设备，其特征在于，包括存储4理模型按照该服务场景所需要的模型参数在平台上进行部署，得到对应的服务模型，也即最终提供推理服务的服务模型是直接通过部署得到，该服务模型对应的两个推理模型只能应用在该服务场景中；导致部署的推理模型无法进行复用，由于推理模型基本都需要借助相应的AI芯片或AI显卡来提升推理性能，从而降低了AI芯片或AI显卡的利用率，由于AI芯[0011]获取预设的初始配置模板中的目标配置模板以及目标配置模板对应的目标配置567明实施例中推理服务的处理方法的应用场景中包括计算机设备100(计算机设备100中集成[0051]本发明实施例中计算机设备100可以是独立的设备，也可以是设备组成的设备网算(CloudComputing)的大量电脑或[0053]此外，本发明实施例中的推理服务的处理方法的应用场景中计算机设备100可以设置显示装置，或者计算机设备100中不设置显示装置并与外接的显示装置200通讯连接，访问后台数据库300(后台数据库300可以是计算机设备100的本地存储器，后台数据库300明实施例描述的推理服务的处理方法的应用场景是为了更加清楚的说明本发明实施例的[0056]该计算机设备可以包括一个或者一个以上处理核心的处理器201、一个或一个以[0057]处理器201是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设8[0058]存储器202可用于存储软件程序以及模块，处理器201通过运行存储在存储器202[0061]基于上述推理服务的处理方法的应用场景，提出了推理服务的处理方法的实施信息将对应的服务类型确定为该服务处理请求中指定的服[0066]其中，服务方和请求方可以通过HTTP协议(超文本传输协议HyperTextTransfer输的一种规则)来发送和接收推理服务请求，即推理服务请求为http请求(http请求包括http请求行、http请求头和http请求正文)，在该http请求中，服务类型对应数据存放在9每个初始推理模型各自对应的初始模型类型(需要说明的是，推理模型库仅仅用于解释本都已经部署在服务方的平台上)，从而可根据模型类型配置中的每个模型类型在推理模型库中匹配对应的初始模型类型，然后将初始模型类型对应的初始推理模型设置为对应的目[0079]获取预设的初始配置模板中的目标配置模板以及目标配置模板对应的目标配置[0082]其中，服务方人员通常是基于选择的目标配置模板来输入对应的目标配置参数，别表征推理模型A(包括推理模型A的权重参数)、推理模型B(包括推理模型B的权重参数)、它为止)添加自定义的业务逻辑中间价，从而保证后续能够根据服务配置可靠的得到服务[0095]其中，对中间服务配置进行参数调整主要是针对中间服务配置中的权重参数部[0100]确定中间服务模型的实际输出与期望输出的比对结果，若比对结果不满足要求[0101]获取下一个训练样本，然后重新进入将训练待推理数据作为中间服务模型的输到该目标服务模型后，即可调用推理模型A的暴露接口，直接接收请求方发送的待推理数[0141]模板设置模块，用于在获取预设的初始配置模板中的目算机设备中的处理器201会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器202中，并由处理器201来运行存储在存储器202中的计算机程[0151]通过上述计算机设备，预先部署的推理模型没有被限制推理模型是一个初始化的状态，当根据推理服务请求中的服务类型确定到目标服务配置[0159]本领域普通技术人员可以理解，本发明所提供的各实施例中所使用的对存储器、ROM(EEPROM)或闪