CN111723161B 一种数据处理方法、装置及设备 （阿里巴巴集团控股有限公司）

本申请提供一种数据处理方法、装置及设用所述数据表和所述数据表关联的元信息进行2若所述数据处理请求还包括自动发现指示信息，则根据所述自动发根据所述属性信息创建数据表，所述数据表对应至少一个数据集根据所述多个数据集分别对应的属性信息，对所述多个数据集进行聚类3.根据权利要求2所述的方法，其特征在于，根据所述多个数据集分别对应的属性信基于所述多个数据集分别对应的属性信息，根据所述聚类指示信基于所述多个数据集分别对应的聚类子属性，将聚类子属性相同的若所述数据处理请求还包括聚类指示信息，则从所述数据处6.根据权利要求2所述的方法，其特征在于，根据所述多个数据集分别对应的属性信若所述数据处理请求还包括过滤指示信息，则根据所述过滤指所述根据所述属性信息创建数据表之后，还包括：若所述数据处理根据所述至少一个数据集对应的属性信息，确定所述至少一个数据集对应的元信息，3若所述数据处理请求还包括自动发现指示信息，则根据所述自动发根据所述属性信息创建数据表，所述数据表对应至少一个数据集若所述数据处理请求还包括自动发现指示信息，则根据所述自动发根据所述属性信息创建数据表，所述数据表对应所述数据源的至少所述至少一个数据集对应的元信息与所述数据表进所述至少一个数据集对应的元信息与所述数据表进所述关联模块根据所述属性信息创建数据表时具4根据所述多个数据集分别对应的属性信息，对所述多个数据集进行聚类所述关联模块根据所述多个数据集分别对应的属性信息，对所述多个数据集进行聚基于所述多个数据集分别对应的属性信息，根据所述聚类指示信处理器和机器可读存储介质，所述机器可读存储介质上存储有若若所述数据处理请求还包括自动发现指示信息，则根据所述自动发根据所述属性信息创建数据表，所述数据表对应至少一个数据集5[0002]数据湖分析(DataLakeAnalytics)用于为用户提供无服务器化(Serverless)的6[0020]根据所述属性信息创建数据表，所述数据表对应所述数并将所述至少一个数据集对应的元信息与所述并将所述至少一个数据集对应的元信息与所述[0038]处理器和机器可读存储介质，所述机器可读存储介质上7[0051]在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申8功能，则可以根据该自动发现指示信息确定不需要为该数据处理请求使能数据表发现功9分析系统可以包括客户端、负载均衡设备、前端节点(frontnode，也可以称为前端服务[0083]进一步的，对于每个数据库来说，该数据库的类型还可以包括但不限于：OSS(ObjectStorageService，对象存储服务)、TableStore(表格存储)、HBase(HadoopDRDS(DistributeRelationalDatabaseService，分布式关系型数据库服务)、RDBMS针对资源池中的每个前端节点，用于接收客户端发送的数据请求，并对数据请求进行SQL由计算节点处理执行计划。系统支持很多类型的数据源，且不同类型的数据源的元信息差别较大，如OSS类型的数据据湖分析系统可以通过SQL语句直接获取到数据表的相关信息，并基于这些信息确定数据的部分数据，继而得到数据集2的属性信息2。数据湖分析系统可以读取数据集3的部分数就是说，json类型的数据集可以作为目标数据集，csv类型的数据集也可以作为目标数据据湖分析系统可以确定每个目标数据集对应的文件类型(文件类型是目标数据集的属性信示聚类子属性是字段信息，则数据湖分析系统可以确定每个目标数据集对应的字段信息，[0130]在一个例子中，数据集对应的元信息可以包括但不该数据表信息对应的数据表(即根据数据源中数据集的属性信息创建的数据表，具体创建湖分析系统这种异构云数据库产品时的效率和体验。例如，如果一个数据库有100个数据[0138]在实际应用中，若数据集未包括对应的属性信息(如某些数据格式的数据集本身实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图