电力大数据资料.doc

电力大数据背景：中国电机工程学会电力信息化专委会拟编制发布中国电力大数据发展白皮书（2013），重点提出重塑电力核心价值和转变电力发展方式是电力大数据发展的两条核心主线；并重新定义了电力大数据的特征，即 3V和 3E：3V指体量大（Volume）、类型多（Variety）和速度快（Velocity）3E指数据即能量（Energy） 、数据即交互（Exchange）、数据即感知（Empathy）此白皮书将成为大数据行业应用的范式和标杆，推动电力行业大数据“双轨”并行，加速发展。国家电网就在北京亦庄、上海、陕西建立了三个大数据中心，其中北京亦庄大数据中心已安装超过 10200 个传感器，每个月可节约的能耗价值大概为 30 万元。海盐供电局与国网信通公司建立的智能电力大数据实验室。实验室基于已有的数据基础开展了同业对标指标分析及数字可视化展示、用户用电行为分析、配网设备负载分析等项目的研究实践，成功实现了快速地问题发现，有效地决策支持，精准地服务用户，成为了业界的范例。国网电科院瑞中数据致力于自主研发契合电网业务场景、处理电网海量数据的高科技产品，解决电网运营中的数据难题，保障电网运营安全。面对电网大数据实时存储需求，瑞中自主知识产权的旗舰级产品“海迅实时数据库管理系统” ，是进行海量实时/历史信息处理的专业平台，可广泛应用于电力、石油化工、钢铁冶金、水情水利、智能交通、环境监测、气象监测、金融电信等工业自动化及现代服务业领域，同时能够作为新兴物联网应用的海量信息处理平台。面对电网大数据综合计算难题，瑞中自主研发了旗舰级产品“海迅电力云计算平台 V1.0，适用于多类超大规模异构数据类型高效存储和分析的一体化基础性支撑平台，解决了电网运营过程中海量数据规模（PB 级）异构数据（时间序列型数据、 结构化数据、半结构化数据、 非结构化数据）存储、计算、综合分析难题。VolumeVarietyVelocityValue传统数据用电度数电价信息用户缴纳电费信息客户资料等大数据实时用电信息异常故障报警信息地理位置信息天气、交通数据电动汽车数据等智能用电服务产生大量用户行为数据用户侧大数据4V特征VolumeValueVelocityVariety视频、音频、文本等非结构化数据数据实时处理以满足用电需求预测对企业有价值的信息占数据总量比重小经济效益、技术、安全、社会四个方面分析经济效益方面：机遇：（1）建立可预测性设备维护模型，更好地对设备进行生命周期分析，提高设备的使用效率。（2）可利用电力生产MIS系统，结合地理信息GIS系统中分散的、大量的数据，以及外部环境数据等，综合考虑不同地区生产力水平、能源分布、地形优势，结合气候特征等因素，运用数据挖掘技术，从数据资源中提炼升华出支持电网规划建设布局的决策信息，实现资源优化配置。（3）有效的用电量需求预测，合理准确设计用电需求侧管理和有序用电手段，提高电力资源利用率；进行客户细分，针对不同客户实行有针对性的营销和服务策略；深入分析造成电费回收困难和欠费风险因素，建立客户信用等级模型，发现客户异常用电行为，防止偷电、窃电行为。电力大数据体系的建设 可以最大限度地发挥数据的价值，大力提升生产集约化和管理现代化水平，提高智能电网的信息化水平；通过数据的高速处理和及时响应，进一步增强智能电网操作控制的自动化能力；借助高吞吐、大并发的处理能力，进一步提升用电服务的互动化水平，提供更优质的服务。挑战：数据体量大、类型多、价值密度低，如何最大限度的挖掘数据的价值，符合经济效益原则地使用大数据。技术方面：优势：国际国内主流大数据技术，主要包括以开源 Hadoop 及 HBase 系列软件为基础的相关技术， 包括分布式计算框架 （MapReduce）、分布式文件系统 （HDFS） 、 分布式数据库（HBase）、云计算、数据挖掘等。云计算核心技术包括分布式文件系统(distributed file system，DFS)和 MapReduce 技术，存储量大、廉价、可靠性高，用于调度自动化系统的后台，智能电网数据中心(营销、管理和设备状态监测)并行数据库：关系数据库(如 Oracle 等)主要存储结构化数据，提供便捷的数据查询分析能力、按照严格规则快速处理事务(transaction)的能力、多用户并发访问能力以及数据安全性的保证。劣势：云计算可以满足智能电网监控软件运行的可靠性和可扩展性，但实时性、一致性、数据隐私和安全等方面的要求难以满足。并行数据库数据存储容量有限、关系模型束缚对海量数据的快速访问能力、缺乏对非结构化数据的处理能力、扩展性差。机遇：良好的外部环境和政策支持其产产业的技术研发带来的经验（特别是互联网技术）大数据传输及存储技术、实时数据处理技术、异构多数据源处理技术（异构信息的整合、各类电网数据的高效管理）、大数据可视化化分析技术的研究，如：建立类似 IEC 61850或 IEC 61970 的信息互操作模型，基于HANA内存数据库的智能电表。挑战：（1）如何将数据组织成合理的同质结构，是大数据存储处理中的一个重要问题（2）智能电网中存在大量的非结构化和半结构化数据，如何将这些数据转化为一个结构化的格式（3）大数据可视化化分析技术的挑战主要包括可视化算法的可扩展性、并行图像合成算法、重要信息的提取和显示等方面安全方面：机遇：在电力系统安全运营方面，可在利用数据挖掘技术基础上，借助分布式处理和计算技术，实时分析大量来自电力系统环境监控、工业控制等传感器网络和监视摄像等一系列监控系统数据，提高电网安全检测水平，及时发现电网故障，并给出有效解决方案，提高电网对灾难的预警和应对能力。通过海量数据的分析帮助信息安全服务提供商更好地刻画网络异常行为，从而找出数据中的风险点；通过整合计算和处理资源分析隐匿在大数据中攻击者的攻击痕迹，实现攻击者溯源。挑战：数据存储安全、数据处理平台的安全监控和检测、数据灾备机制、日志管理安全性、强制的访问控制和安全通信、多粒度访问控制以及数据来源和数据通道的可信等。大数据技术也可能成为被攻击者利用的一种攻击手段，攻击者利用大数据技术分析窃取的数据如社交网络、邮件、微博、电子商务、电话和家庭住址等，向企业发起精准的攻击。海量的更复杂、 更敏感的数据聚集， 使得这些数据极易成为网络攻击者的目标， 攻击者的一次成功攻击能获得更多的数据。社会方面：机遇：以数据中心为纽带，新型数据运维的成果将有可能作为一种新的消费形态与交付方式，提高用户体现价值。这些转变将打破传统业务系统间各自为阵的局面，有利于集中优势资源，提升整体运作的效率和效果。为坚强智能电网建设，“三集五大”体系构架提供更有力的支撑。电力大数据与互联网数据、天气数据、经济数据、交通数据、电动汽车数据等社会数据融合，一方面促进智慧城市的建设，为用户提供便捷的电力服务；另一方面为政策制定、公共事业管理以及商业经营提供有益帮助。有利于构建绿色、节能、环保、高效的 IT架构节能减排、低碳环保社会的构建，树立良好的企业形象。挑战：信息共享，社会信息安全参考文献：1宋亚奇,周国亮,朱永利.智能电网大数据处理技术现状与挑战J. 电网技术，2013,37(4):927-935.2吴学忠.电力行业如何应用大数据N.人民邮电,2013-7-1(7).3闫龙川,李雅西，李斌臣，赵子岩. 电力大数据面临的机遇与挑战J.电力信息化,2013,11(4):1-4.4史紫薇.电力行业大数据“双轨”并行N.中国计算机报,2013-4-8(25).5丁杰.电力大数据研究及应用展望J.电力信息化, 2013,11(2):5-6.6徐建.大数据的安全分析J.电力信息化, 2013,11(2):6-7.7王春毅.电力行业的大数据发展解析J.电力信息化, 2013,11(2):8-9.8闫龙川.可