云计算论文关于云计算大数据处理技术在智能电网中应用论文范文参考资料

云计算论文信息智能网格中云计算大数据处理技术应用论文泛参考徐高翔黄永达赵卓大数据是信息时代的重要产物，将大数据集成到智能电网的使用中，正确把握大数据的核心技术，有效地推进电力产业的可持续发展和强大的智能电网建设。在此基础上，本文首先分析了电力大容量数据平台的整体体系结构和电力大数据平台体系结构与电力系统数据流的结合点，然后在此基础上从集成管理技术、数据分析技术、数据处理技术和数据显示技术四个方面分析了智能电网应用中的电力大容量数据核心技术。【关键词】电力大数据；核心技术智能电网1、电力大数据平台总体体系结构电力大型数据平台的整体体系结构具有一定的通用性，适用于电力企业的大规模数据计划，如图1所示。此体系结构的存储框架是基于Hadoop文件系统的分布式文件处理系统，Hadoop文件系统是基于Map Reduce的分布式计算技术。分别基于分布式文件处理技术和计算技术，实现PB和ZB级别的数据存储和查询分析。该框架还包括现有数据仓库、大容量数据调度框架、网络层、操作系统以及数据备份和恢复模块。电力大容量数据平台的整体体系结构必须与电力系统广泛的数据流相结合，才能产生真正的工业应用程序。电力系统是包含信息流、气象流、潮流等多种数据流的复杂高维非线性系统，图2是基于电力系统整体平台体系结构的电力企业业务应用程序和电力系统内部数据流的可能结合点，包括负荷控制系统、电能计量系统、管理信息系统、风力发电预测系统、监控控制和数据收集系统等2、利用智能电网实现电力大数据核心技术2.1集成管理技术电力企业数据集成管理技术是将两个或多个应用程序系统数据组合在一起，以创建功能更多的企业应用程序。在整合方面，存储介质或逻辑将多种、特性、特性和格式的数据集中起来，从而在系统中存储统一、面向主题、更可靠的数据集合，从而确保系统数据共享的全面性。电力大容量数据集成管理技术包括数据提取技术、关系型和非关系型数据库技术、数据过滤和清洗技术等多种技术。多样性是大数据的突出特征之一，因此确定了数据的普遍性和数据类型的复杂性，处理大数据量的难度很大。要处理大型数据，请先提取和合并数据源数据，列出实体和关系，然后将数据存储为合并结构。整合和提取数据时，将数据处理干净，以确保质量和可靠性。2.2数据分析技术大数据技术的根本动力是从信号到数据，先从数据到信息，再从信息到知识，通过知识实现决策和行动。利用电力分析技术，从大规模电力系统数据中找出隐藏的规律和模式，支持决策者。与传统的逻辑推理研究相比，大数据研究以大量数据为对象进行统计搜索、比较、分类等，从而延续了统计科学的特定特征，如统计关注的数据相关性或相关性(相关关系意味着两个或多个变量的值之间具有一定的规律性)。相关分析主要是为了确定数据集上的潜在关系网，通常由可靠性、支持程度等参数反映。从根本上说，电力大数据分析技术是现有数据挖掘技术在大规模数据挖掘中的新发展。但是，大规模数据快速增长，具有多种特性，除了结构化数据外，还包括半结构化数据和非结构化数据，许多传统的数据挖掘方法已不能满足要求。大数据环境中的数据挖掘和机器学习算法是从大数据治理、采样和特征选择开始，将大数据转换为小数据。二是实现大数据分类算法、聚类算法研究。第三，并行处理传统的数据挖掘方法，实现大容量数据并行算法，将其用于大容量数据知识挖掘。2.3数据处理技术电力大容量数据的数据处理技术主要有三种：分布式计算技术、内存计算技术和流技术。其中，分布式计算技术主要负责大规模数据的分布式保留和处理。内存计算技术主要负责高效的数据读取和在线实时计算处理。流处理技术主要负责实现到达和对不控制大小和速度的数据的处理。分布式计算技术是一种新的计算方法，将需要强大计算性能解决的问题分为多个小块，然后主要研究如何将小块分配给多台计算机进行处理，最终结果完成了。分布式计算技术的典型例子就是谷歌推出的Map Reduce编程模型。该模型首先分解需要处理的数据，将其分配给多个Map工作区进行处理，然后根据键值将其保存到本地硬盘，接着使用Reduce操作根据键值汇总结果，最后输出最终结果。分布式计算技术适合于在电力系统中收集大规模分布式数据源。内存计算技术通过将所有数据放置在内部层来工作，因此磁盘读取和写入操作非常耗时，计算速度大大提高。内存计算技术的快速发展和广泛使用得益于大数据浪潮的到来和内存价格的下降。EMC、SAT和Oracle通过内存计算解决方案将过去客户需要的工作时间从数小时减少到数秒，有效地解决了大规模数据知识挖掘和实时分析问题。流处理技术将大量数据组视为流，当出现新数据时，处理并返回结果。流处理技术的根本理念是，随着时间的推移，数据价值越来越低，因此尽快处理新数据以得出结果。流处理技术的使用方案主要是金融中的高频交易，网页点击中的实时统计等。随着电力事业的发展，电力系统数据快速增长，数据的实时标准也逐渐提高，在电力系统中使用流技术可以为决策者提供满足实时在线分析要求的实时依据。2.4数据显示技术电力大数据显示技术主要包括可视化技术、空间信息流显示技术和历史潮流显示技术三种。这三种技术在不同层次上解释了电力大数据的数据显示技术。数据显示技术使管理员能够更直接、更准确地理解电力系统数据表示的含义，并更全面地了解电力系统的运行情况。可视化技术主要用于电网状态的实时监控，可以有效地提高电力系统的自动化水平。以后，可视化技术还可以与复杂网络环境的相关理论相结合，对网格自动分布、自动分层、自动分区等进行进一步研究，进一步挖掘网格连接和规律。空间信息流显示技术包括变电站三维显示技术、虚拟现实技术等，主要用于网格参数与现有地理信息系统的结合。配电设备管理和地理信息系统的有机结合，帮助管理员更清楚地了解设备情况，为决策提供及时有效的地理信息。空间信息流显示技术在变电站工程设计中的应用有效地节约了资源、时间和成本，为电力企业提供了高效率。历史流量显示技术主要出现在电网的历史数据管理和展示上。电力系统通常基于历史数据进行深度应用分析。使用历史流程显示技术，您可以在生产现场实时监控数据，根据网格计划、负荷预测数据绘制相应的数据发展趋势和趋势图，模拟关键历史事件的发生和演变过程，更全面地挖掘历史事件中隐藏的规则和知识。3、结论总之，倡导低碳经济和_ _网络技术快速发展的今天，智能电网建设是不可避免的趋势。智能网格中使用的大规模电力数据的核心技术主要有四种：集成管理技术、数据分析技术、数据处理技术和数据显示技术。本文重点分析了这四种技术，实现了四种核心技术在智能电网中的重要作用，实现了电网中批量数据的及时收集、分类、比较和处理。无可