CN119415246A 大语言模型负载均衡方法、装置、电子设备、介质及产品 （中移在线服务有限公司）

可用服务实例中连接数最小的服务实例确定为2将各可用服务实例中连接数最小的服务实例确定为目标服若大语言模型中每一服务实例的连接数均大于或等于相应服务实例的连接数上限阈确定所述大语言模型中存在连接数小于目标连接数阈阈值是基于连接数上限阈值与预设连接数阈对探活失败次数大于或等于熔断阈值的服务实例进行若所述资源变更事件为服务实例删除事件，且所述服务实例确定所述服务实例删除事件所指示的服务实例的连接数为7.一种大语言模型负载均衡装置，其特征8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至6任一项所述大语言模3足大语言模型推理场景下的负载均衡需求，无法提供高并发场景下对后端服务的限流保[0003]当前负载均衡器的负载均衡策略主要是通过云原生负载均衡器提供的轮询策略4算机程序，该计算机程序被处理器执行时实现如上述任一种所述大语言模型负载均衡方机程序被处理器执行时实现如上述任一种所述大语言模型负5指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。若大语言模型中每一服务实例的连接数均大于或等于相应服务实例的连接数上标连接数阈值的服务实例中连接数最小的服务实例确定为目标服务实[0030]进一步地，在接收外部系统的服务请求之前以及在接收外部系统的服务请求之6对探活失败次数大于或等于熔断阈值的服务实例进行以包括一个或多个云原生的负载均衡器，云原生负载均衡器的内部包括云原生生负载均衡器在内存中维护了每个后端的服务实例实时的请根据内存中动态维护的后端的服务石磊的请求连接数情况，通过基于连接数的负载算法，接数上限的服务实例不会再接受新的大语言模7[0047]对于负载策略的实现，容器场景下，为避免容器Pod实例频繁变更导致NginxUpstream配置一直reload刷新的问题，默认情况下Lua模块负责Nginx的Upstream配置维[0049]具体地，Lua模块中设置有Balancer模块，Balancer模块中新增服务质量策略部[0051]Balancer模块在返回一个后端的实例地址给Nginx去转发处理请求时，优先选择[0053]对于服务探活能力实现，云原生的负载均衡器支持对后端服务实例开启主动探8[0056]若大语言模型中存在可用服务实例，可以将各可用服务阈值均由该服务实例的连接数上限阈值与预先针对该服务实例设置的连接数阈值相加得[0058]若确定大语言模型中存在连接数小于相应服务实例的目标连接数阈值的服务实[0059]本申请实施例提供的大语言模型负载均衡方法，在接收到外部系统的服务请求控制每个服务实例的连接数的基础上保证各服务实例负载均衡，实现实例级别的负载均[0060]本申请基于Kubernetes的Controller技术，结合Lua语言扩展保障大语言模型服9[0067]应用的Pod实例在被删除时，会先停止接受新的流量并等待正在处理的流量处理4.标记对应的Controller会监听Pod的删除事件，按周期调用Balancer模块查询[0076]所述大语言模型负载均衡装置包括负载均衡器及存储在所述负载均衡器上的计将各可用服务实例中连接数最小的服务实例确定为目标服将各可用服务实例中连接数最小的服务实例确定为目标服[0078]此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以将各可用服务实例中连接数最小的服务实例确定为目标服序，该计算机程序被处理器执行时实现以执行上述各方法提供的大语言模型负载均衡方将各可用服务实例中连接数最小的服务实例确定为目标服以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是