安徽省电力公司基于大数据用电信息采集系统设计与实现肖坚红

1、基于大数据技术的用电信息采集系统的设计与实现，上报单位：国家电网安徽省电力公司，2017年5月，概要，一、项目背景：安徽省电力公司用电信息采集系统经过五年建设，实现了“全采集”、“全覆盖”、“全成本控制”的功能。目前，它连接了2700多万个智能电能表和40多万个终端数据，如96点负载(三相电压、三相电流、有功功率、无功功率等)。)，收集了日冻结电能指示、需求和电压合格率。采集系统每天需要处理5亿多条记录，新增数据量达到70-90G，库存数据超过100T。采集系统业务不仅支持本地自动抄表核算、实时成本控制、有序用电、在线计量监控、用电特性分析、采集管理、线损计算等业务，还支持运行检查部、安全质量

2、部、运行监督中心、发展政策部等系统的正常运行。采集系统的构建与应用。项目背景：IEO用电信息采集系统应用中存在的问题，如查询速度慢、统计时间长、数据质量差、数据维度少、缺乏智能、不支持实时分析等。项目背景，1。项目背景，1。项目背景，大纲，2。业务规划，简要分析和描述项目的主要技术创新3。跨界思维：打破固有模式，通过业务整合提升数据价值；2.商业思维：定量思维，数据替代经验，所有数据都有价值；4.实验思维：通过实验选择最佳方案，通过快速迭代不断优化；5.合作思维：通过合作共同推动电力业务的发展和创新；1.技术思维：高效的数据处理、高效的数据服务和性能的线性扩展。3.支持海量数据的快速存储、高效

3、计算和有效收集；2.实现关键业务的实时监控和智能分析；4.具有智能分析功能，如数据挖掘和机器学习；5.与企业深度融合，提高工作效率，协助决策；1.以“高内聚、松耦合”的方式获取所需数据；2.商业规划；2.商业计划。为了保证电力系统的安全可靠运行，信息技术需要在标准原则的基础上制定其未来的信息技术架构，其技术架构的设计也需要考虑完善的指导原则。开放，大数据平台的设计应该选择开放技术，这不能局限于某个厂商的特定产品，需要满足系统间灵活的信息交互需求。可维护性、可扩展性、充分考虑可扩展性、坚持“强内聚、低耦合”以满足大规模业务和开发技术的需求。大数据平台为营销部门或省级公司提供了基本的支持平台，是一

4、个通用的面向服务的平台。各部门基于大数据平台开发和运行各种典型的大数据业务应用。大数据平台的设计应该在产品和技术上先进成熟，产品和技术的选择能够满足未来业务需求和技术发展变化的需要。同时，尽可能关注产品和技术的成熟度，增强信息基础设施的整体稳定性。平台设计、业务应用分析、气象要素数据、状态监测数据、地理信息数据、节假日数据、PMS数据、人口经济数据、MDS数据、营销数据、用电信息采集数据、95598数据、计算、存储等。公共数据池，深入贯彻“IT服务”理念和本地化理念，以大数据开源软件框架为核心，以传统数据处理组件为补充，形成优势互补的混合架构。电力营销测量大数据平台从数据采集、数据集成、数据存

5、储、实时计算、海量数据处理和分析等方面为营销业务应用提供必要的组件支持、集群监控和配置、安全保护和管理、停电事件分析、配电网运行分析、客户用电行为分析、客户价值挖掘、验证效率和现场运行行为、窃电行为分析、计量装置在线监测和智能诊断。平台设计、传统解决方案和大数据平台解决方案主要面向结构化数据处理，不适用于处理非结构化或半结构化数据。海量数据处理成本高，硬件要求高，如依赖大规模并行处理系统(MPP)，存在单点风险，线性扩展能力有限。MPP节点的上限通常为100，处理的数据量是有限的。当数据量较大时，响应时间明显延长。固定的数据结构和模型数据处理易于保持一致性，适用于具有复杂事务的业务系统。它可以

6、混合和处理任何格式的数据。基于工业标准X86平台和低成本的开源Linux系统，降低了成本，充分利用了原有的分布式容错能力，不存在单点隐患。线性膨胀能力极高。一般来说，它可以在1000处理一个很大的数字(TB到1E)。通过横向扩展，二级响应灵活的数据结构和数据模型不能保证数据处理的一致性，需要独立开发验证程序，适用于追求分析效率的分析系统。相比之下，大数据不能替代关系数据库管理系统，最好的解决方案是相互补充！第三，平台设计，第三，平台设计，简要分析和描述项目的主要技术创新。2.配电网设计中断电事件的实时分析和推送；1.流量处理子系统由水槽、卡夫卡、风暴和再贴现组成；3.异常设计载荷数据的实时验证

7、和修复；4.设计日冻结抄表数据的实时校验和修复以及抄表故障的实时刷新；5.实时计算、维修和完成设计日用电量；3.平台设计，项目主要技术的简要分析和描述2.该设计满足了查询和统计应用的海量数据存储需求。1.该系统由分布式列数据库、全文检索、分布式数据仓库、交互式查询和其他软件组成。3.设计的关键是标准实时计算和每小时刷新。4.根据业务需求，快速统计和收集所有维度的设计数据。支持高效的查询和分析；5.在线测量监控和智能诊断软件后台计算、分析和重构；3.平台设计；2.离线海量数据基于IBM可视化建模工具SPSS实现模型学习和验证；1.该系统由SPSS、SPARK、模型库、数据提取和预处理软件组成；3

8、.在线机器学习基于SPARK，通过引用SPSS分析模型实现分析。4.根据业务建立分析模型库，满足各专业部门的工作需求；5.自动迭代和优化设计模型，以满足不断变化的业务需求；3.设计平台；2.通过IBM可视化建模工具(SPSS)的展示功能，满足简单的应用需求；1.结合业务需求，开发基于百度图形组件的网络展示；3.合并业务。通过热图、散点图、地理信息系统和地图反映业务特征；3.平台设计；2.基于FTP实现不同地区业务的实时交互应用需求；1.基于网络服务实现同区域实时互动业务；3.结合数据交互，实现迭代模型分析和自学习功能设计；4.与业务深度集成，并将分析结果嵌入到业务流程中。系统设计、系统设计、概

9、要、功能设计、功能设计，基于用电信息采集系统的实时负荷、停电事件和通信流程，95598计划停电信息，生产线路故障停电和ONU停电事件的实时控制，实现配电网停电事件的监控和分析；并将负荷数据和停电事件实时推送到省配网的SCADA、运行检测部、95598、安全质量部和海量数据平台；目前，该功能已经应用到生产环境中，实现了安徽省电力公司每天5亿多条记录的实时分析和诊断。4。功能设计、4。功能设计，基于用电信息采集系统的日冻结拷贝值实现实时验证和修复；通过英帕拉实现负荷、电量和关键指标的快速统计；基于大数据技术的改造，在线监测异常分析(包括计量、用电和终端异常)的时间从8小时以上减少到1小时以下；分析

10、结果直接用于省级公司和供电公司监测指标和指导现场运行维护，满足市场自动抄表结算的需求。该功能目前已经在生产环境中得到应用。功能设计在与安徽公司电力信息采集系统相连的运行智能电能表中，大部分属于四、五类电能表，约占安徽公司运行电能表的98%。三类电能表约占安徽公司运营电能表的1.5%，一类和二类电能表仅占安徽省运营电能表的一小部分。由于四、五类电能表不采用现场检验，四、五类电能表的运行环境与一、二类电能表有很大不同，因此不能采用相同的分析方法和技术手段。因此，DL/T448电能计量装置技术管理规定已不能适应新形势的发展需要。4.系统设计，概要，5。项目成果：安徽公司新一代采集系统“存储与计算”基

11、于大数据平台，已购买31台PC服务器，操作系统安装和网络调试已完成，大数据程序安装、各组件部署和系统联合调试正在准备中。其中，存储由分布式数据库(HBASE)和分布式数据仓库(HIVE)组成基于大数据架构的新计划已于4月中旬部署并投入运行。新架构充分利用了原有的硬件设备，只扩展了部分服务器的硬盘和内存，通过高吞吐量的消息处理和流处理技术，实现了从原来的90分钟到现在的20分钟的2700万天冻结抄表数据的采集。在低压用户全载波通信模式下，全省2700万电能表可在5-7天内完成时钟读数和计时工作。由于新的体系结构采用分布式消息系统，并使用磁盘数据结构来提供消息持久性，它充分保证了预先收集的数据的完

12、整性。五、项目效果：实现了六类应用：一是配电网停电事件的实时监控和综合分析；二是实时验证、修复和完成负荷数据；三是每日冻结抄表数据的实时验证和异常数据标记；第四，实时计算、维修和完成日用电量。目前，每小时都实现了电力和线损的在线统计；第五，实时刷新抄表失败细节，并根据单元、用户类型、站区和终端维度实时查询采集成功率，支持采集系统的现场高效运行和维护；第六，负荷、电量指示、事件数据等数据的有效实时发布，有效支持营销抄表数据的实时发布，以及配网抢修和运行监控对调度和运行检查的需求。五、项目有效性：基于大数据平台的分布式存储和并行计算架构，实现用电信息采集系统的日冻结副本表示值、负荷、通信报文等海量

13、数据的快速存储；各种指标、各种维度的负荷特性、日/月用电量和关键指标的准实时计算通过小时实现，满足指标在线监测的要求；在线计量监控(包括计量、用电和终端异常)的异常分析时间从8小时以上减少到45分钟左右。分析结果直接用于省级公司和供电公司监测指标和指导现场运行维护。项目成果：7大类29个智能诊断分析模型，电压电流异常、电压异相、电压超限、电压不平衡、大功率电能表B相异常、功率损耗流量异常、功耗异常、电能表开盖、计量门开关、恒磁场干扰、负荷异常、电量异常诊断、电能指示值不均匀、电能表负荷持续超下限飞脱、倒换、停机、 ，紧急维修服务，紧急维修工作单监控，紧急维修资源监控，投诉工作单分析，节电任务监

14、控，异常接线，异常反向功率，异常相序，反向功率流，异常时钟，异常终端时钟，异常电能表时钟，异常功率差，问题(。 无法从通信质量、终端软件和运行条件等方面分析异常原因，有效支持现场高效运行和维护。问题(3):计算速度慢，传统的基于关系数据库的计算方法在涉及GB级数据操作时需要大量的I/O操作，数据处理效率低，时效性不能满足业务应用。问题(4):智力水平不够。异常的聚合和关联分析不能有效、全面地分析异常产生的原因，支持计量业务的持续发展。问题(2):分析规则需要改进。由于光伏用户的接入和计量服务的发展，有必要分析现场电能表的新问题，优化和完善现有方案，支持电能表的状态检测。项目有效性、营销业务数据

15、库、大数据收集平台、营销档案数据、营销流程业务数据、营销统计数据、新模型、改进模型、原始模型、电力损耗、c，光伏用户上网电量异常：在光伏用户中，根据互联网上自发自用剩余的情况，监控用户的用电量和发电量，准确定位用户是否存在欺诈性补偿。在原有7个模型的基础上，在原有诊断模型上增加了终端异常工况和终端软件异常两个诊断模型，并增加了两个事件，即高供电电表接线错误和光伏用户上网电量异常，改进了电能表开盖、过流、负荷超限等事件的判断方法。项目成果和阶段性成果。应用分布式技术和机器学习技术来提高测量异常分析、数据集成、数据导入工具Sqoop、分布式消息队列Kafka、数据存储、分布式数据仓库Hive、列存储HBase、分布式文件系统HDFS、甲骨文、数据交互、数据计算流处理风暴、Spark、Impala、批处理计算MapReduce、存储过程、JAVA计算服务、数据分析、SPSS、MATLAB、自定义算法、图表组