CN119402440A 一种基于分布式通信的数据分析方法、系统、设备及介质 （西安电子科技大学）

一种基于分布式通信的数据分析方法、系本发明公开了一种基于分布式通信的数据分析任务的需求和节点性能，设计任务分配策有技术中动态资源管理不足和任务调度灵活性2基于分布式数据处理框架，通过分布式分解并执行计算数据分析任基于分布式通信网络，利用节点内置的监控工具，实时监控收基于自适应评估算法清洗节点资源状态数据集，并利用滑动窗口技术基于机器学习算法的学习框架，设计节点性能评估的多层感知机根据数据分析任务需求和节点性能，设计初始的任务分配策略，将数基于最优资源分配方案和优化的任务分配策略，构建分布式数据处基于数据分析任务的计算复杂度和数据规模，将数据分析任务3根据任务分解方案和节点性能排序列表，为每个节点基于最优资源分配方案，构建分布式数据处理框架的任务调度器基于分布式数据处理框架的数据流管理模块，协调各计算节点间的数据传输和处理，通过分布式数据处理框架的结果聚合机制，收集各计算节点的计算8.一种基于分布式通信的数据分析系统，用于实现权利要求1_7中任意一项所述的一所述任务分配调度模块，用于基于节点性能评估模型，动态分配数所述分布式数据分析模块，用于基于分布式数据处理框架，通9.一种计算机设备，包括存储器、处理器以及存任意一项所述的一种基于分布式通信的数据于，所述计算机程序被处理器执行时实现如权利要求1_7任意一项所述的一种基于分布式4[0005]针对现有技术中存在的问题，本发明提供一种基于分布式通信的数据分析方法、5根据任务分解方案和节点性能排序列表，为每个节点子任务匹配最佳的计算节6务的需求和节点性能获取的任务分配策略，提升了动态资源管理能力和灵活的任务分配，7员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范8内存占用、存储空间和带宽占用率等指标，形成清洗后的节点资源状态数据集。IQR是9节点数量每个基因由三部分组成：分析任务划分为适合分布式处理的节点子任务，并为每个节点子任务分配最佳计算节点，Score=(1_CPU使用率)*0.4+(1_内存占用率)*0型的数据分析任务设置资源队列；具体的，使用ApacheKafka作为分布式流处理平台，实现数据流的发布和订阅，[0049]Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中可扩展的大数据分析引擎；DataFrameAPI是一种用于处理和操作结构化数据的编程接S31、利用分布式数据处理框架的任务调度器，将数据分析任务分解为多个子任b.应用SparkMLlib中的机器学习算法b.使用Spark的collect()方法将最终结果收集到驱动程序。collect()是一个行动操作，将分布在集群上各个节点中的弹性分布式数据集收机存储介质存储的程序指令。处理器可以是中央处理单元(CentralProcessingUnit，集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列上指令，具体适用于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于分布式通信的数据分析[0060]本发明再一个实施例中，还提供了一种存储介质，具体为计算机可读存储介质解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适用于被处理器加载并执行的一条 储介质中存放的一条或一条以上指令，以实现上述实施例中有关分布式通信的数据分析方法的相应步骤。[006