CN111324392B 一种自动调节数据处理时间窗口的方法和装置 （北京京东尚科信息技术有限公司）

一种自动调节数据处理时间窗口的方法和本申请公开了一种自动调节数据处理时间将要处理的数据量和标准数据处理时间窗口判标准数据处理时间窗口是事先设置用于参考的设置的数据处理时间窗口记录表确定新的数据口记录表包括数据处理时间窗口和单个窗口处2根据将要处理的数据量和标准数据处理时间窗口对应的数据处理标准数据处理时间窗口是事先设置用于参考的数据处理如果需要调节，则按照事先设置的数据处理时间窗口录表包括数据处理时间窗口和单个窗口处理能力所述数据处理时间窗口记录表包括超高数据处理时间窗口，所述按照所述数据处理时间窗口和单个窗口处理能力值之间的对如果所述比值结果大于或等于所述预设的第二比值阈判别单元，根据将要处理的数据量和标准数据处理时间窗口对应的数据处理能力值，窗口调节单元，按照事先设置的数据处理时间窗口记录表确定新的数据处理时间窗3存储子单元，用于保存数据处理时间窗口记录表；所述数据述数据处理时间窗口和单个窗口处理能力值之间的对应关系包括：标准数据处理时间窗新窗口确定子单元，用于在确定新的数据处理时间窗口时，如果所述令在由处理器执行时使得所述处理器执行如权利要求1至4任一项所述的自动调节数据处4[0007]根据将要处理的数据量和标准数据处理时间窗口判断是否需要调节当前的数据[0014]根据所述将要处理的数据量和所述标准数据处理时间窗口对应的数据处理能力5[0015]计算所述将要处理的数据量和所述标准数据处理时间窗口对应的数据处理能力记录表包括数据处理时间窗口和单个窗口处理能力值之间的6[0042]本申请能够根据数据量情况自动调节数据处理能力，以应对可能出现的数据洪[0045]实际应用中，SparkStreaming可以从多种数据队列中获取数据，比如Kafka、[0046]步骤S02：根据将要处理的数据量和标准数据处理时间窗口判断是否需要调节当7理时间窗口记录表包括数据处理时间窗口和单个窗口处理能力值之间的对应关系。中1条数据记录为1K字节；超高数据处理时间窗口是系统需要处理积压比较多但还不至于8检测其处理能力和处理时间。实际应用中，也可以使处理器执行其他类型的操作，比如[0058]不管事先进行哪种方式检测或者根据经验都可以设置一个数据处理时间窗口记9[0071]步骤L208：按照事先设置的数据处理时间窗口记录表确定新的数据处理时间窗[0072]1)如果所述比值结果大于所述预设的第一比值阈值，小[0076]如果当前需要处理的数据量为60万条数据记录，标准数据处理时间窗口为10过第二比值阈值N2，则确定需要将当前数据处理时间窗口调节为超高数据处理时间窗口。产生了洪峰数据的情况下，可以自动将数据处理时间窗口调节到洪峰数据处理时间窗口，[0080]针对上述各方法实施例，本申请还提供一种自动调节数据处理时间窗口的装[0082]也就是说，数据量获取单元301从数据队列中获取将要处理的数据量，判别单元窗口调节单元303按照事先设置的数据处理时间窗口记录表[0089]其中，存储子单元3031保存的数据处理时间窗口记录表可以如表一或者表二所单元303中的新窗口确定子单元3032查询所述存储子单元3031保存的数据处理时间窗口记产生了洪峰数据的情况下，可以自动将数据处理时间窗口调节到洪峰数据处理时间窗口，