CN114270333B 用于查询处理中的基数估计反馈循环的系统和方法 （微软技术许可有限责任公司）

2021.11.29PCT/US2020/0288892020.04.18WO2020/242631EN2020.12.03用于查询处理中的基数估计反馈循环的系用于查询处理中的基数估计反馈循环的方机的查询优化器执行的查询或类似查询的后续推荐被应用于查询计划以供查询监测器执行和2从查询主机接收事件信号，所述查询主机根据由所述查询主机生成的将所述事件信号中的所选择的事件信号提供给所述查询计经由对所述运行时统计信息的分析，来确定在所述数据确定针对反馈信号的暂时禁用的状态信息，其中所述反馈至少基于所述估计基数与所述实际基数之间的差异并且至之前执行的先前查询的先前查询参数来确定5.根据权利要求1所述的系统，其中所述更改推荐包括用于改变所述查询和一个或多38.根据权利要求1所述的系统，其中所述查询计划信号分析器还被配置为确定所述状在对所述至少一个查询参数的更改之前的查询语句的状态信息由所述信号路由器将所述事件信号中的所选择的事件信号提供给查询计划信号分析由反馈管理器至少基于所述估计基数与所述实际基数之间的差异并且至少基于所述由所述反馈管理器确定所述更改推荐还至少基于在所述查询之前执行的先前查询的416.一种其上记录有程序指令的计算机可读存储介质，所述程序指令在由至少一个处由所述信号路由器将所述事件信号中的所选择的事件信号提供给查询计划信号分析由反馈管理器至少基于所述估计基数与所述实际基数之间的差异并且至少基于所述19.根据权利要求16所述的计算机可读存储介质，其中所述更改推荐包括用于改变所20.根据权利要求16所述的计算机可读存储介质，其中所述至少一个查询参数包括以56存储器/处理器不足或分配不当以及运行时间显著增加的因素，工作负载下降可能会影响[0004]用于在针对诸如关系数据库的数据库的查询处理中的基数估计反馈循环的方法起进一步用于解释实施例的原理并且使相关领域的技术人员能够制作和使用实施[0007]图1示出了根据示例实施例的用于查询处理中的基数估计反馈循环的联网系统的[0008]图2示出了根据示例实施例的被配置用于查询处理中的基数估计反馈循环的计算7[0011]图5示出了根据示例实施例的用于查询处理中的基数估计反馈循环的系统的框[0014]图8示出了根据示例实施例的具有用于在查询处理中利用基数估计反馈循环的用功能相似和/或结构相似的元素。元素第一次出现的图由对应附图标记中最左边的(多个)例的一个或多个特征的条件或关系特性的形容词应当理解为表示条件或特性被限定为在并且附图的元素的取向或组织在实施例中可以不同。在任何节/小节中公开的实施例可以以任何方式与在相同节/小节和/或不同节/小节中描[0024]下面的第II节描述了查询处理中的基数估计反馈循环的示例实施例。下面的第III节描述了可以用于实现本文中描述的实施例的特征的示例计算设备实施例。下面的第8果传递给反馈优化器的反馈管理器以生成更改推荐反馈，该推荐反馈作为指导或抢占指[0027]由查询主机接收的后续查询可以被监测以经由用户接口(UI)来标识更改推荐可9[0032]优化服务与查询服务器主机之间的通信连接可以由优化服务发起(基于上述原服务器主机进行监测和回滚。这些更改推荐和相关联的日志记录也可以以这样方式的持续务本身是否被连接无关。[0035]优化服务还可以被配置为提供用于将中间数据从一个服务数据库迁移到另一服的数据库可以被备份/恢复。实施例还提供向优化服务通知所监测的数据库已经迁移到新[0036]本文中的用于优化服务的实施例适用于任何类型的查询主机/引擎，并且可以用[0041]查询主机104可以包括一个或多个服务器计算机或计算设备，该服务器计算机或化服务主机102的各种系统/设备和/或诸如(多个)客户端设备114的客户端设备可以被配置为经由网络112向查询主机104提供与CE估计和查询执行/处理相关联的数据和信息，包括查询和CE反馈。查询主机104可以被配置为执行经由网络112从(多个)客户端设备114提发生器110，该事件信号发生器110可以被配置为生成提供给优化服务主机102以执行本文中所描述的反馈操作的信息和/或事件信号。下面提供了关于事件信号生成和查询执行监[0045]优化服务主机102可以包括一个或多个服务器计算机或计算设备，该服务器计算102可以包括反馈优化器108，该反馈优化器108被配置为将事件信号路由到一个或多个分机102还可以被配置为作为网络112的替代或补充而通过其他连接与查询主机[0046]系统100可以包括被示出为数据存储106的存储装置，数据存储106可以是独立的[0048]本文中的CE反馈实施例自动学习和将最佳CE假定应用于可重复查询和单例查询具有不正确基数估计的编译查询的很小百分比以及因此错误选择的关联查询参数可能导[0049]诸如优化服务主机102和/或查询主机104的主机设备可以以各种方式配置以用于并且计算设备218可以是图1的查询主机104的实施例，每个计算设备可以是任何类型的服分析查询信息并且经由反馈来提供更改推荐，并且计算设备218可以包括查询管理器228，监测/生成查询统计信息和信息以供反馈优化器208[0051]系统200还可以包括附加组件(为了简洁和说明性清楚而未示出)，包括但不限于[0052]处理器204/处理器220和存储器206/存储器222可以分别是本文中描述的和/或受益于本公开的(多个)相关领域技术人员将理解的任何类型的(多个)处理器电路和存储器。处理器204/处理器220和存储器206/存储器222可以各自分别包括一个或多个处理器或存上处理线程的多核处理器。处理器204/处理器220可以包括被配置为执行计算机程序指令[0054]网络接口207/网络接口224可以是任何类型或数目的有线和/或无线网络适配器、及系统和计算设备与本文所述的网络中所使用的其他系统/设备之间通过诸如以上相对于询处理器230使用以根据查询计划来估计用于执行的基数的一个或多个CE模型。UI226被[0057]信号路由器210被配置为将诸如从查询管理器228接收的事件信号的信号路由到信息和事件信号的其他查询信息并且向反馈管理器214提供与查询数据基数相关联的分析结果，然后反馈管理器214被配置为基于数据的基数和查询执行的性能来确定查询参数的加地，可以选择由反馈管理器214确定的更改推荐选项以基于概率分析经由反馈信号来提[0060]查询处理器230被配置为根据查询计划和估计的数据基数来执行针对数据库的查228的组件中的一个或多个组件可以组合在一起和/或作为系统200的其他组件的部分。在一些实施例中，可以包括少于图2所示的反馈优化器208和/或查询管理器228的所有组件。在软件实现中，反馈优化器208和/或查询管理器228的一个或多个组件可以分别被存储在据库的查询来生成。事件信号可以包括用于在查询主机处执行的查询的运行时统计信息，如，信号路由器210可以被配置为将接收的事件信号提供给反馈优化器208的适当分析器，[0066]在步骤306中，经由对运行时统计信息的分析来确定在数据库中查询的数据的实[0067]在步骤308中，至少基于估计基数与实际基数之间的差异来确定用于至少一个查中的数据列进行独立相关性确定可能会使反馈管理器推荐更改查询计划中所使用的查询214可以被配置为经由网络接口207将来自步骤308的更改推荐提供给计算设备218(作为查[0069]本文中的实施例还提供对可以用于执行本文中描述的技术的ML(机器学习)模型查询信息116存储在中间存储装置(例如数据存储106中)，以供以后在确定更改推荐时使[0074]与以上在流程图300中描述的类似，由查询计划信号分析器212从查询管理器228以指示用于执行查询的一个或多个提示或更改推荐可用于考虑和/或实现。更改推荐可以与在查询的执行中所使用的一个或多个查询参的第一查询计划不同的第二查询计划可以由查询处理器230确定。第二查询计划包括相对与在步骤602中执行的第一查询的估计基数与实际基数之间的差异相关联，并且因此第二被配置为基于由监测器234执行的系统和执行监测来生成(多个)事件信号，该事件信号表[0087]图7示出了根据示例实施例的用于查询处理中的基数估计反馈循环的流程图70查询的执行和/或反馈信号的更改推荐的接收之后，可以接收第二查询以供查询主机(例[0089]如本文中描述的，用于给定查询的查询参数的更改推荐可以被存储在查询存储确分配系统存储器和处理资源，并且这可以防止资源分配不足(查询执行需要更长的时间[0090]作为示例并且如本文中指出的，这样的最小附加开销可以是查询管理器228的监测器234的监测器，其被配置为观察到计算设备218和查询管理器228的传入查询以确定是否接收到用于其生成更改推荐的先前执行的查询或与先前执行的查询类似的其他查询以[0092]在步骤706中，经由用户接口提供更改推荐作为用于应用于第二查询的可选择选提供相对于更改推荐和相对于UI的查询提示的其特定类型的查询参数或运算符的估计基数有关的数据相关性假定。当估计基数不正确时，[0094]现在还参考图8，示出了根据示例实施例的具有用于在查询处理中利用基数估计中作为(多个)反馈/更改推荐814。更改推荐可以基于与它们相关联的查询而相关联和/或被索引，该查询可以由监测器234和/或查询存储236(等)跟踪。在实施例中，查询标识符[0099]监测器234可以包括反馈/更改推荐监测器(更改监测器)816，其被配置为监测查或输入监测器818针对反馈/更改推荐814被存储的索引查询来引用，该索引查询与先前为使查询存储236提供(多个)反馈/更改推荐814中的适当的反馈/更改推荐作为查询提示以查询存储236(和/或诸如监测器234等另一组件)可以跟踪和/或存储用于查询而实现的更[0103]图9示出了根据示例实施例的用于查询处理中的基数估计反馈循环的流程图90可以根据流程图900操作，该流程图900可以提供上述流程图和流程图的附加细节和实施于所更改的CE模型的估计基数的新查询计划。主机提供没有更改推荐的指示，或者备选地，不采取动作(而流程图900可以返回到步骤[0107]如果查询计划信号分析器212和/或反馈管理器214的启发式和分析证明反馈生成900继续到步骤926，在步骤926中反馈管理器214确定是否将或者可以生成(多个)更改推装置中和/或提供给查询主机用于存储在查询存储[0108]从步骤920或步骤928中的任何步骤，流程图可以继续回到步骤902以进一步迭代文中描述的实施例可以被实现为被配置为在一个或多个处理器中执行并且存储在计算机[0112]本文中描述的实施例可以在类似于固定或移动计算机实施例中的移动系统和/或计算设备的一个或多个计算设备中实现，包括本文中所描述的移动系统和/或计算设备的描述的实施例可以在类似于固定或移动计算机实施例中的计算设备1000的一个或多个计器电路实现的电和/或光电路。处理器电路1002可以执行存储在计算机可读介质中的程序包括只读存储器(ROM)1008和随机存取存储器(RAM)1010。基本输入/输出系统1012(BIOS)诸如CDROM、DVDROM或其他光学介质等可移动光盘1022读取或向其写入的光盘驱动器[0117]用户可以通过诸如键盘1038和指示设备1040等输入设备将命令和信息输入到计这些和其他输入设备通常通过耦合到总线1006的串行端口接口1042连接到处理器电路括与硬盘驱动器1014相关联的硬盘、可移动磁盘1018、可移动光盘1022、其他物理硬件介其他类型的物理/有形硬件存储介质(包括图10的存储器1020)。这种计算机可读介质和/或存储介质与通信介质和传播信号不同(不包括通信介质和传播信号)并且不重叠。通信介质其他无线介质)以及有线介质。实施例还涉及与涉及计算机可读存储介质的实施例分开并且不重叠的这种通信介质。[0122]实施例还涉及包括存储在任何计算机可读介质或计算机可读存储介质上的计算[0125]本文中描述的实施例通过优化查询计划和CE模型的基数估计反馈来提供增加的存储器和处理器使用效率。通过允许基于用于改变查询计划和/或查询参数的CE模型的基[0128]附加地，本文中的实施例没有显著增加相对于查询主机的查询执行的系统负载该(或类似)查询的后续执行中所应用的当前查询的适当模型选择——并且还提供了基数估计模型分析的主动使用以驱动语义上相似[0130]本节中描述的附加示例和实施例可以适用于本公开的任何其他节或小节中公开改变查询和一个或多个类似查询的后续执行；以及在反馈信号中向查询主机提供更改推少一个处理设备被配置为生成至少一个事件信号，至少一个事件信号被提供给优化主机，查询的至少一个查询参数的更改推荐。