CN114116766B 计算引擎选择方法、装置及存储介质和电子设备 （杭州海康威视数字技术股份有限公司）

的SQL查询语句的SQL特征；获取SQL查询语句所算引擎执行SQL查询语句的预测资源消耗和预测耗时；根据每个计算引擎执行SQL查询语句的预所述SQL查询语句的预测代价；根据每个计算引2获取待执行的结构化查询语言SQL查询语句的SQL特征，所述SQL特获取所述SQL查询语句所要查询的表的数据特征，所述表的数据特征包括如下信息之获取各计算引擎的状态特征，所述各计算引擎的状态特征包括：各计算引擎的总CPU将每个特征向量分别输入到资源消耗预测模型中进行计算，分将每个特征向量分别输入到耗时预测模型中进行计算，分别得到每根据所述每个计算引擎执行所述SQL查询语句的预测资源消耗，以及所述每个计算引擎执行所述SQL查询语句的预测耗时，计算每个计算引擎执行所述SQL查询语句的预测代根据所述每个计算引擎执行所述SQL查询语句的预测代价，选择执行所2.根据权利要求1所述的方法，其特征在于，3获取各计算引擎在最近连续预设日的与SQL查询语句的提交时刻同一时刻之后的预设获取执行每个SQL查询语句时计算引擎的实际资源将每个特征向量依次输入到待训练的资源消耗预测模型，并将资将每个特征向量依次输入到待训练的耗时预测模型，并将耗时预测特征采集模块，用于获取待执行的结构化查询语言SQL查询预测模块，用于将每个特征向量分别输入到资源消耗预测模型中进行计算每个计算引擎执行所述SQL查询语句的预测资源消耗；将每个特征向量分别输入到耗时预句的预测代价；根据所述每个计算引擎执行所述SQL查询语句的预测代价，选择执行所述6.一种非瞬时计算机可读存储介质，所述非瞬45[0003]查询调度是指将使用SQL编写的查询语句调度到大数据平台中合适的计算引擎中SQL语句的特征，然后根据特征获取多个引擎中每个引擎执行包含该特征的查询语句的耗[0005]这种方法只是简单地对SQL特征进行提取，然后根据各种计算引擎对包含每种特[0015]根据所述每个计算引擎执行所述SQL查询语句的预测资源消耗，以及所述每个计6[0019]获取所述SQL查询语句包含的语法特征，并抽取每种语法特征涉及的特征值放入[0020]所述获取所述SQL查询语句包含的语法特征，并抽取每种语法特征涉及的特征值[0022]抽取查询的project列的列数和列类型，将project列的列数和列类型放入SQL特[0027]判断所述SQL查询语句是否包含groupby语法特征，若包含，则抽取groupby分组[0028]判断所述SQL查询语句是否包含orderby语法特征，若包含，则抽取排序列，将[0038]获取各计算引擎在最近连续预设日的与SQL查询语句的提交时刻同一时刻之后的7测耗时和输入的特征向量对应的实际耗时进行比较，根据比较结果更新耗时预测模型参询语句所要查询的表的数据特征和对应计算引擎得到每个计算引擎执行所述SQL查询语句的预测资源消耗；将每个特征向量分别输入到耗述指令在由处理器执行时使得所述处理器执行如上任一项所述的计算引擎选择方法的步每个计算引擎执行该SQL查询语句的预测资源消耗和预测耗时，从而选择出代价最小的计[0053]图2为本发明一实施例提供的资源消耗预测模型和耗时预测模型的训练方法流程8将orderby语法特征标志和排序列放入SQ[0070]10)判断该SQL查询语句是否包含子查询，若包含，则将子查询标志放入SQL特征[0076]一可选实施例中，步骤103进一步包括：获取各计算引擎在最近连续预设日的与9SQL查询语句的SQL特征、该SQL查询语句所要查询的表的数据特征和对应计算引擎的状态对该计算引擎执行该SQL查询语句的预测资源消耗和预测耗时进行加权计算，得到该计算个计算引擎执行该SQL查询语句的预测资源消耗和预测耗时，从而选择出代价最小的计算[0088]图2为本发明一实施例提供的资源消耗预测模型和耗时预测模型的训练方法流程[0095]2)抽取查询的project列的列数和列类型，将project列的列数和列类型放入SQL[0100]7)判断该SQL查询语句是否包含groupby语法特征，若包含，则抽取groupby分组[0101]8)判断该SQL查询语句是否包含orderby语法特征，若包含，则抽取排序列，将[0103]10)判断该SQL查询语句是否包含子查询，若包含，则将子查询标志放入SQL特征[0104]一可选实施例中，对应的SQL查询语句所要查询的表的数据特征通过如下方式获[0105]一可选实施例中，执行对应的SQL查询语句的计算引擎的状态特征各计算引擎的的计算引擎在最近连续预设日的与该SQL查询语句提交时刻同一时刻之后的预设多个时刻的表的数据特征和执行该SQL查询语句的计算引擎的状态特征进行进一步的特征工程处别得到每个计算引擎执行该SQL查询语句的预测资源消耗；将每个特征向量分别输入到耗否包含groupby语法特征，若包含，则抽取groupby分组列，将groupby语法特征标志和各计算引擎在最近连续预设日的与SQL查询语句的提交时刻同一时刻之后的预设多个时刻查询语句的计算引擎的状态特征；获取执行每个SQL查询语句时计算引擎的实际资源消耗[0126]