云计算电力大数据分析技术

1、编号：时间：2021年X月X日 书山有路勤为径，学海无涯苦作舟 页码：第2页共6页云计算电力大数据分析技术摘要：本文以电力大数据分析技术为核心，分析了现代电力大数据的主 要特征，提出基于云计算的电力大数据分析技术的应用途径，旨在推动电力行业 的持续发展，并为相关研究人员提供一定的借鉴和帮助。关键词：云计算；电力大数据；分析技术；应用。引言我国电力输送网络主要以智能电网为核心，把现代化控制技术应用到 电网管理中，借助计算机网络系统，实现发电、输电、用电、调度等环节的数据 采集、分析和处理，为电力企业各项管理决策提供信息依据，优化各个系统运行 环节，提高供电效率，保证智能电网运行的安全性和稳定性，

2、进而满足用户的多 元化用电需求。由此可见电力数据无论是智能电网运行还是在电力企业经营管理 中都占据重要的地位，在此背景下，探究基于云计算的电力数据分析技术具有重 要的现实意义。I现代电力大数据的主要特征(-)数量化随着智能电网的普及范围逐渐扩大，搭建面积也在增加，各个网络节 点设备数量也在增多，形成了庞大的数据资源体系。这些庞大而繁杂的数据，给 数据搜集工作和数据分析工作带来了一定的难度。对此，相关管理部门要进行大 量的数据分析。目前，我国电力大数据级别由TB上升到PB级别，假设某地区 电力客户为2 2 0 0万户，全部设置现代智能电表，每I 5分钟搜集一条数据, 该地区每天就会产生2 1亿条

3、电力数据，可见电力数据的庞大性，这也就赋予现 代电力大数据的数量化特征。（二）多元化现代电力大数据的多元化主要体现在数据种类的多元化，由于先进技术和相关设备的投入使用，使得计算机数据由传统单一化结构性数据发展为现代各类数据并存的数据体系，包含非结构性数据和结构性数据，其中非结构性数据的数量比例在日益提升，赋予现代电力大数据多元化特征。现代电力大数据多元化特征，也表示传统的数据分析方式无法适应数据变化，需要对数据分析技术进行创新和改革，进而达到最佳的应用效果。（三）高速化现代电力大数据无论是从数据采集方面还是从数据分析方面上看，都具备高速化特征，以高速状态迅速完成，这主要是由用户终端数量的不断增

4、加所决定的，要求国内电网内大数据分析设备能够满足每秒数十万次的计算和分析。2基于云计算的电力大数据分析技术电力数据除了传统数据中心的数据之外，还包括一些无法处理的文件，例如谀之文件、监控视频以及故障照片等，数据结构种类不单一，对大数据分析技术有很高的要求，而基于云计算的电力大数据分析技术很好地解决了这一问题,具体分析技术如下所示：（-）多维索引技术传统Hive系统索引功能过于单一，无法实现电力大数据搜索的具体化与细致化，造成CPU资源的浪费，降低了电力大数据分析效率。电力大数据具备多维区间查询特征，各个维度查询较为固定。例如浙江省电力系统，是一种以单位代码与时间代码为标准的索引方式，结合实际情

5、况，采用各个维度辅助的形式开展电力大数据多维索引，自动过滤干扰数据和无用数据，有效提高了大数据索引效率与利用效率。当前，多维索引技术应用范围较广，形成以多维索引技术为核心的分布式多维索引系统，依托于Hive命令，通过HQL解析器，实现代码解析，使得可索引的维度区间更加丰富，还可以根据实际需求，把索引数据放置到Hadoop分析系统中综合处理。（二）翻译工具传统Hive系统运行中，利用HQL索引语言进行数据分析，HQL索引语言属于SQL的分支，但二者间的语法差异较大。现代化电力大数据中含有很多SQL语言储存信息，这就是传统Hive系统无法满足数据分析要求,在数据存储和数据分析上效率较低。在基于云计

6、算的环境下，电力数据的SQL语言会直接翻译为HQL语言，但是这一手动翻译方式由于处理内容较大，会消耗大量的时间，人工翻译的错误率也很高。对此，为了提高翻译效率，要应用自动化翻译工具，自动分析SQL语句中的语言数据，一旦满足设定的翻译条件，就会形成多个HQL语段，对这一语段进行分析和处理，不仅避免了人工翻译的错漏，还降低时间消耗量，提高翻译效率和系统分析效率。（三）混合存储技术在传统Hive系统运行中，无法为数据更新与删除提供支持，只能依靠重写来实现间接性数据更新。由于现代电力大数据分析中，智能电网每天需要处理的数据容量较大，无论是数据更新还是数据删除，都需要快速处理，效率要求较高，而且每个操作

7、数据比例小，若继续使用重新方式进行数据更新，会造第4页共6贞编号：时间：2021年X月X日书山有路勤为径，学海无涯苦作舟 页码：第5页共6页成大量数据资源的占用，降低系统的整体运行效率。对此，应用混合储存技术,借助主表与附表的辅助与支持，记录实时更新数据与不需要实时更新的数据，根据运行要求进行数据处理，进而提高数据分析处理的有效性，保证资源利用效率的最大化。（四）分层次处理技术在云计算技术的支持下，引入分层次数据技术进行综合数据分析处理,在智能电网中，形成电力信息搜集、储存、应用等功能为一体的结构化管理系统，结合电力供应情况，建设大数据管理系统分支化管理体系，加强电力供应系统间的关联性和独立性

8、，保证电力系统资源在各个电力供应系统中的流转和共享，提高资源利用效率。同时，借助云计算SQL系统，保证电力大数据分析计算的同步性，有效提高电力大数据分析处理效果和效率，实现智能电网的电力大数据层次化分析管理。3基于云计算的电力大数据分析技术应用效益分析早在20I3年，浙江省首次提出基于云计算电力大数据分析技术，并尝试性应用在电网供电运行中，使得浙江省成为我国电力大数据分析技术应用的核心地区，借助前置群分析与缓冲，分析和处理电力大数据，帮助用户索引各类数据。特别是在云计算平台的支持下，各类数据在数据库中储存，借助以太网来实现实时连接与同步更新，提高电力大数据的准确性，运行速度快，大大提高了电力大

9、数据分析的综合水平。（-）提高处理速率在应用基于云计算的电力大数据分析技术后，以计算机内部数据处理系统为主，辅助虚拟数据挖掘技术，促进计算系统的完善和优化，提高虚拟空间的利用效率，形成以云计算为基础的电力大数据分析处理平台，提高电力大数据处理速率，将整体数据划分成各个层次的数据，同步处理，解决由于数据庞大而造成分析处理效率低的问题，进而提高了电力大数据分析处理的综合速率。（二）强化系统兼容性在应用基于云计算的电力大数据分析技术后，有效提高了电力大数据分析系统的兼容性，利用分布式处理系统，实现各类电力大数据信息的控制，多种电力大数据分析系统协同处理，对信息管理资源进行综合探索，应用效益较为明显。

10、（三）扩展数据储存空间电力资源是社会发展的动力，而大容量大力资源提高了电力系统建设难度。在应用基于云计算的电力大数据分析技术后，通过多维索引技术、翻译技术、混合存储技术、分层次处理技术，增加了虚拟空间的利用率，并在云计算技术的支持下，实现虚拟空间的进一步扩展，提高电力大数据分析处理的高效性和完整性，达到最佳的应用效益。4结束语本文通过对基于云计算的电力大数据分析技术的分析，明确了现代电力大数据的主要特征，以此为依据，应用多维索引技术、翻译工具、混合存储技术、分层次处理技术，特别是在云计算平台的支持下，各类数据在数据库中储存，借助以太网来实现实时连接与同步更新，提高电力大数据分析的准确性、高效性和完整性，达到最佳的应用效益。第6页共6页编号：时间：2021年X月X日 书山有路勤为径，学海无涯苦作舟 页码：第2页共6页参考文献1吴凯峰，刘万涛，李彦虎，等基于云计算的电力大数据分析技术与应用J.中国电力，2015,48(2)