智能电网建设中云计算大数据处理技术

1、智能电网建设中云计算大数据处理技术 摘要：概述云计算大数据处理技术的相关内容，探讨其在智能电网中的应用，以期为电力企业的智能电网数据高质量、迅捷处理提供参考经验。 关键词：智能电网；云计算大数据处理技术；可视化处理技术 0引言 现阶段我国电力企业修建的电网工程多是基于数字化、信息化技术的智能化电网，此类工程在实际应用期间能够通过现代化的先进技术提升电网运行质量，分析获取的大量信息，待有效处理之后若相关参数存在异常，工作人员可直接对异常部位进行检查，尽快发现设备、线路存在的问题，并及时进行处理。当前，对智能电网运行期间的大量数据进行处理的技术为云计算大数据处理技术，结合该技术实际应用情况，发现其

2、应用效果良好，可有效规避智能电网运行中的种种风险。 1云计算大数据处理技术概述 该技术是在科学技术不断进步发展过程中产生的一种数据处理技术，在具体应用期间可整合所有需要计算的数据对象，形成资源池，以此对能够扩展、动态抽象的数据进行处理，并通过互联网技术确保电网运行的有效性与安全性，值得在智能电网工程建设中多加应用与推广。该技术具备如下几方面特点：（1）数据计算范围广且数据计算的限制较少，以往在计算电网运行数据时，采取的计算方法仅能够对小部分同构性资源数据进行计算处理，计算时的限制条件较多，数据整合效果较差，而采用云计算技术可以降低常规计算方法限制性因素的影响，在较大范围内对同构性较差的资源数据

3、进行有效计算；（2）虚拟化，依托该特点电网建设运行中的各种数据均可被迅捷收集，进而选择相应的设备处理数据，实现对全部电网数据的合理配置与利用；（3）动态扩展，云计算技术基于该特点有着较好的兼容能力，在电网运行时可对数据进行合理调动，并在较短时间内对数据进行独立且动态化的计算，由于数据处理需要一些新型设备，在原计算处理设备使用基础上，增加部分设备即可，无需更换设备；（4）通信平台为互联网，运用云计算技术处理数据时可依托互联网平台对数据加以计算处理，保证该基础平台的所有数据资源均具备良好的安全性，不会发生泄露问题，并且平台应用中使用的通信协议为国际通行协议，数据处理的可靠性高。当前，我国的智能电网

4、建设中需要处理的数据信息异常庞大，处理过程中会遇到较多的难题和阻碍，需要电力企业加强对云计算大数据处理技术的应用。 2云计算大数据处理技术在智能电网中的应用 在智能电网进行数据计算期间，会通过大数据系统、智能电表以及传感器等装置获取所需的数据，进而利用相应技术做好数据处理工作。当前，电网大数据系统包含的模块较多，在应用关键技术处理数据时需把握好各个模块的内容，从而保证云计算技术得到有效应用。模块主要为分布式系统基础框架（Hadoop）、分布式文件系统模块、数据仓库系统以及开发工具集等。具体的处理技术则包括如下内容。 2.1集成管理技术 在应用该项技术时，需采用数据抽取技术、数据清洗技术以及数据

5、过滤等技术对庞杂的电网数据做好基础的处理工作，即是借助集成管理技术抽取相关数据，并对所有数据信息进行集成、聚合处理，待全部数据处理完毕后，统一数据结果，并进行保存。在使用该技术时，须注意在数据集成前，需对其进行清洗处理，保证数据不存在失真或质量问题后方可进行后续的集成处理。 2.2传输、存储技术 在电网数据传输环节，在对电网系统的运行数据进行抽取与集成后，需传输所有数据，以此减轻电网监控系统的巨大工作压力，提高数据处理质量，并使用先进的传输技术，对庞杂且数量众多的数据加以压缩处理，以此在控制传输量的同时确保数据传输的有效性，提升数据传输的质量和效率，保证智能电网的数据处理能力，使大量的数据可在

6、较小空间内有效保存。在电网数据存储环节，借助数据压缩传输技术可实现对大量数据的高质量传输，但在此期间不可避免会产生数据资源浪费问题。以往在存储数据时，基本采用分布式文件形式保存相关电网数据，存储的数量较多，但存储质量一般，尤其对非结构化数据无法起到良好的保存效果。而采用基于云计算的数据存储技术可以对大量的、非结构化数据，相对限制较少地进行存储，数据存储价值较高。 2.3数据分析、处理技术 在进行电网大数据分析时，需转换获取的数据，使之成为有效的信息或知识，便于工作人员通过这些知识做出正确的决策，且针对相关电网运行故障问题迅速地做出应对。该分析技术即是要在海量的电网运行数据中，找出规律性内容以及

7、电网能够正常运行的模式、状态，经过分析之后的数据信息之间存在着潜在的联系，工作人员通过把握用于表达此种联系的相关参数，便可为各项电网监督、管理工作的有序开展提供理论依据。当前，在应用基于云计算处理的大数据分析技术时，需要进一步优化将数据转化为有用信息的过程，加强聚类、分类以及并行算法的应用，从而对常规使用的数据分析技术施以合理的改进，保证电力企业能够在降低成本的基础上，采用新型数据技术开展大数据处理工作。 当前，电网大数据处理技术包括分布式、内存式与流处理式三种，不同的处理技术具有不同的特点与应用价值。其中，分布式计算技术在具体应用时能够对大数据进行切割处理，使其成为小数据，进而将小数据分配至

8、各任务区，给予其针对性处理，且最终处理完毕的数据能够被有效保存在本地硬盘中。例如，MapReduce编程模型为此种技术应用较为成熟且广泛的模型，在实际的数据处理过程中，该模型会先对大量的数据进行分解处理，待分解完毕后即可按照Map任务区的划分结果对数据进行重新分配与处理，获取键值之后科学保存在本地硬盘中，并基于Reduce任务的需要，及时将数据再次输出。研究分布式计算技术应用情况后，了解到其在电力系统应用效果良好，可对大量分散数据进行快速有效的保存与输出，保证电力系统安全且可靠的运行。内存式处理技术的应用需要先构建内层，将电网运行数据全部放置其中，统一进行数据读写处理，与常规处理技术相比，磁盘

9、读写操作时间大量缩短，处理效率显著提升。经过多年的发展以及内存价格的控制，该技术的实际应用价值显著提高，国外大型数据库软件公司相继提出经优化处理后的内存式处理技术，有效解决以往处理数据时间过长、效率低等问题，数据处理分析的实时性较强，多数大数据处理计算单位可用秒来计算，在当前诸多领域的业务处理中应用效果显著、优势明显。流处理技术则是将全部数据视为“流”，要求能够对出现的电网数据进行随时处理，数据处理效率极高。 如果处理时间过长，数据信息具备的价值会相应降低，而依托该技术可实现对获取的实时数据的快速处理，且对电网监控系统的实时数据处理效果理想，便于工作人员获取电网运行的实时信息。同时，流处理技术

10、在金融业务处理中的应用也有着极佳的效果，尤其在高频交易中，用户可借助该技术把握金融市场变化情况，更好地进行金融买卖交易。 2.4可视化处理技术 可视化技术在现阶段的智能化电网中已开始大量应用。在具体应用时，即是于控制中心处安装显示屏，保证电网运行质量监控系统的工作人员在工作中能够通过显示屏直接掌握电网的运行情况。电网运行中产生的数据信息多种多样，处理难度较大，但通过电网运行监控系统的显示屏，可及时进行数据信息的可视化传递与处理，便于工作人员随时获取电网运行的有效信息，并针对发生的电网故障问题，及时开展故障维修处理，保证电网供配电工作的正常进行。在可视化处理技术的未来发展中，要求研究人员准确把握电网环境的复杂性，加强对电网运行相关理论的学习，实现所学内容与可视化技术的充分融合，在结合发展的过程中，找出电网自动化运行内核与规律，方便电网企业技术人员更好地对电网布点、分区等多方面工作实施自动优化，在提升电网自动化的基础上增强电网运行质量和安全性。 3结论 云计算技术在当前的电网大量数据处理中有着非常理想的应用效果，其资源整合计算能力较强，成功改进以往数据处理过程中的不足，并结合现代化的先进处理技术解决各类电网运行问题，保证电网的安全、稳定运行。 参考文献： 1尹君，缪刚，桑遥，等.智能电网建