《基于大数据的智慧电力解决方案》

基于大数据的智慧电力解决方案（电力大数据）电力大数据来源POSSIBLE电力大数据的特征数据特征数据类型不同：营销、生产等核心业务系统的结构化数据，智能电表、系统日志等半结构化数据，客户服务的音频、运行检修的视频监测、某著名企业设计和拓扑等的非结构化数据。加载频率不同：根据业务数据分析时效要求，数据加载频率可按小时、天、周、月等。数据价值不同：相同的业务数据在不同专业体现不同的作用和价值。处理特征使用特征调度模式不同：数据有时需要在不同平台间迁移和复制，有时无需某著名企业而只是简单的查询。使用角色不同：业务分析人员、数据分析师、数据科学家。加工特征不同：对于结构化数据，需要进行汇总、分组、排序等，对于半结构化和非结构化数据，需要先通过自然语言处理、视频分析等技术转化成结构化数据。使用方式不同：业务指标统计、预测分析、深度数据挖掘和探索。使用时效不同：不同频度的指标统计、Ad-hoc查询、自助式的数据探索等。电力业务与大数据的有什么关系？电力大数据驱动电力业务管理模式发生变革发电输电变电配电用电1、通过大量积累的某著名企业输、变、配电设备的运行状态和历史检修工作记录数据，能够实现预测性资产维护，提升某著名企业运行的可靠性；1、基于数字化电厂建设中不断积累的海量数据:分析生产运行状态，提升对机组的控制和优化策略、故障诊断的能力；2、结合外部环境数据(如：天气和自然灾害预报)、某著名企业设备的地理信息数据、设备维护数据等，分析和评估外部环境对某著名企业设备的影响程度，并及时作出防灾、减灾措施(智能防灾)；1、通过分析智能电表产生的海量用电明细数据，分析客户的用电行为，引导客户提升用电效率，平衡用电负荷；2、对大量的分布式能源进行实时监测和控制，能够及时准确掌握分布式电源的设备及运行状态3、通过配某著名企业络的实时监测和分析，能够快速定位电力中断的地点、识别断电原因、估算电力恢复时间等，提高事故的响应程度；2、通过对智能电表运行状态的监控，并结合地理信息数据，能够高效判断故障来源，提升运营效率；提升用电环节的智能化，从大数据中掘金智能用电1、实现某著名企业与用户的双向互动，提升用户服务质量，满足用户多元化需求；2、改善终端用户用能模式，提升用电效率；CustomerOperations智能电表PeakManagement客户服务整合分析Efficiency地理信息BinYoudu人人网客户档案社交网络通过用电大数据分析，发现大价值客户服务：为用电客户提供图形化的分析工具，以准实时的方式告知客户电力使用情况，并为客户提出电力使用方案建议，从而提升客户服务能力。用电效率：通过及时获知用某著名企业息，以调整用电方式和期间，降低用电成本，提高用电效率。运营效率：自动读取智能电表数据，通过及时分析智能电表运行状态，能够高效地判断故障来源。资产利用率：通过提供透明的用某著名企业息，影响客户的用电行为模式，以降低高峰期的用电负荷，平衡用电，从而能提高某著名企业设备的利用率。日程如何解决大数据架构困惑？什么样的平台能够承载大数据的分析和探索需求?大数据的数据独特特征对数据处理平台提出了全新的要求。大数据特性对处理平台要求·廉价且稳定的数据保存与粗加工平台Volume·强大快速的数据分析与深入挖掘能力在目前的技术水Velocity平下，没有一个单独的平台可以同·复杂数据的整合管理与隐私管理能力时满足所有要求Varityplexity·非结构数据的分析与探索能力10如何有效应用多种大数据处理技术?大数据时代没有“银弹”可以高效低成本的满足大数据处理的全方位要求，各种技术相辅相成，优势互补。高性能数据仓库：高并发、高性能处理结构化数据，支撑高SLA需求MPP数据库：结构化、关联性分析、即席分析Hadoop：非结构化或批量简单汇总、非实时处理、数据挖掘NoSql：结构化或非结构化存储与实时查询流处理：实时数据处理过滤，规则匹配高性能数据仓库MPP数据库Hadoop流处理NoSQL如何实现对大数据的统一管理和运维实现大数据的元数据、数据质量和安全统一管理，实现统一的开发管理(IDE)和调度管理。在统一界面和管控流元数据管理程下进行开发、监控和作业维护运维管理扩展现有基于CWM的元数据管理设施，使其覆盖Hadoop等新基础技术平台统一的4A安全策略和数数据质量据加密管控，使得Hadoop等新基础技术平台安全管理合法合规安全管理将数据质量稽核、数据一致性管理、版本管理等DQ

应用扩展到Hadoop等新基础技术平台12电力统一大数据平台架构统一分析应用数据整合平台数据探索平台数据汇集平台构建在高性能高可靠硬件平台上的MPPRDBMS构建在X86平台上的MPP

RDBMS■存储冷数据和非结构化原始数据高并发/高性能较低并发/较低成本■高并发/高性能存储热数据存储m存储冷数据和非结构化原始数据高效数据加工，支撑KPI、月报的及时展现■支持大量Ad-hoc访问统一数据管控●支撑各类高级分析和数据挖掘m实现自定义、灵活的数据加工和挖掘支撑数据的高可靠低时延访问通过沙盒模式支持自助分析服务大规模简单数据查询数据互通服务器及本地存储数据采集与预处理平台数据源运检营销建设规划运监物资财务13电力营销————智能用电管理应用大数据平台技术架构统一数据管控营销业务管理迁移访问用电行为模式分析用电采集数据整合平台负荷预测业务分析师客户档案数据汇集平台整合客户档案、用某著名企业息、某著名企业拓扑、天气等数据，构建电力负荷预测模型，分析预测用户用电负荷和配某著名企业络负荷。同时，结合用户用电行为模式分析结果，设计和仿真执行智能用电优化策略。用电策略建议某著名企业运行用电策略优化分析数据科学家快速加载用电采集数据、某著名企业运行、某著名企业拓扑、电力政策、外部天气等半结构化或非结构化数据，并对其进行原始存储和初步加工。某著名企业拓扑数据探索平台用某著名企业息查询电力政策工程师整合智能电表采集、用电客户档案等数据，利用数据探索和挖掘技术，实现基于用电采集信息的用户用电行为模式识别。天气数据负荷实时监测用户数据源统一分析应用客户服务智能识别与分析应用大数据平台技术架构统一数据管控营销业务管理迁移访问客户投诉智能分析数据整合平台客户服务系统业务分析师数据汇集平台客户业务状态分析整合用电客户档案、业务办理过程、用电信息、客户电话记录智能分析结果等数据，全方位地获知和分析客户的业务状态，并结合对客户需求的智能识别和分析，提升客户服务的精准度和及时性。客户档案数据科学家快速加载大量的客户投诉、咨询、建议和保修等业务的文本记录和语音记录、电力政策文档和外部天气数据等半结构化或非结构化数据，并对其进行原始存储和初步加工、转换。客户满意度分析电力政策数据探索平台客户历史用电信息查询工程师引入文本挖掘和智能识别技术，整合客服文本记录数据和用电客户档案数据，实现对客户需求的深度挖掘和精准分析。天气数据用户数据源统一分析应用电力生产·设备运维管理智能分析应用———大数据平台技术架构统一数据管控管理迁移访问生产管理系统预测性资产维护分析数据整合平台业务分析师SCADA数据汇集平台设备运行监测整合设备当前运行状态、历史检修工作记录、设备地理空间信息和外部环境数据等，实现预测性设备资产维护和智能防灾和减灾，同时，对设备运行的实时监测，实现快速故障定位和原因分析。某著名企业拓扑设备智能防灾数据科学家快速实时加载大量的设备运行状态、设备运行视频、生产工作票、某著名企业拓扑地理空间数据和外部环境数据等多结构化或非结构化数据，并对其进行原始存储和初步加工、转换。数据探索平台外部环境数据设备状态历史分析工程师利用MPP并行处理技术架构和流式计算技术，通过对设备运行检修的视频流数据进行分析和挖掘，实现以自动化方式对设备运行状态进行大范围和长分析，从而能够识别设备故障发生模式。用户数据源统一分析应用Gartner某省市场评估报告(2014)Source:Gartner(March2014)·本报告反映了当今的某省市场——Teradata是领导者本报告是对某省市场的综合评估(包括Hadoop,竞争对手,客户,分析师等)·市场趋势是如何更好的使用数据仓库，并对不同技术进行整合LDW逻辑数据仓库是综合了数据不同的存储策略，而不是取代传统的数据仓库，对不同技术的整合才是真正的大数据。Teradata的统一数据架构UDA是对Gartner提出的LDW最全面的实现。Teradata某省市场领导者，而且还引领未来的方向。·Teradata引领持续创新Teradata进一步通过和客户实践UDA的创新某省市场，通过EDW和LDW为超过1200名客户提供服务。来源:gartner/technology/reprints.do?id=1-1RP452A&ct=140310&st=sbidentialTERADATA大数据探索平台ASTER为什么要探索？大数据探索平台是什么？业务与IT人员的关于大数据的话题减少大数据分析的新的数据类型代表着新的机会复杂性利用大数据获取竞争优势使用下一代新的分让已有资源能从大数据中产生价值析方法实现业务洞察力)数据探索问题数据仓库/商业智能高级分析f(x)STATSPIG,ASTATSMAPREDUCEHadoopIntegrated

Date

Warehouse

(IDW)PATHT101001010TEXTGRAPHSQLTextGraph各种复杂的高级分析环境导致数据碎片，更高的成本，需要更复杂的技能，更长时间才能实现业务价值。20数据探索问题数据仓库/商业智能高级分析f(x)STATSPIG,ASTATSMAPREDUCEHadoopIntegrated

Date

Warehouse

(IDW)PATHT101001(010TEXTGRAPHSQLTextGraph各种复杂的高级分析环境导致数据碎片，更高的成本，需要更复杂的技能，更长时间才能实现业务价值。解决方案SQL框架访问层100PIG,IASTATSMAPREDUCEIntegrated

Data

Warehouse

(IDW)PATH集成的探索平台(IDP)TData

PlatformTEXT101001010SQLGRAPH预置分析函数集成的分析探索提供了更输入的洞察，统一的访问接口，，低成本，更好的洞察。21分析探索平台的需求数据源分析探索分析探索工具用户非关系型SQL数据分析探索平台数据科学家MapReduce多结构化数据结构化和多结构化数据业务分析师统计功能不需要大量的数据建模需要从尽可能多的数据中进行分析探索欺诈模式分析结构化客户行为分析数据一定的数据完备性要求数字营销优化往往没有严格的SLAs供应链分析等具有快速迭代开发的能力交数据库22日程大数据从小做起大数据的海洋浩瀚无边大数据很重要，但对我的现有业务似乎没有太大的影响?常见我没有那么多的预算投入用于大数据的收集、分析、与平台?问题我没有收集非传统数据，如何进行大数据的分析与应用?我没有能力进行大数据的分析?24如何着手大数据?Why?□大数据于电力企业有什么业务价值?□在电力哪些业务领域中可以应用大数据?□为什么大数据对电力企业的发展至关重要?What?□电力企业目前大数据的现状是怎么样?□国内外领先电力企业的大数据应用状况如何□其他行业的大数据应用经验哪些可以借鉴?How?当前主流的大数据架构和技术?如何将大数据和传统“小数据”结合?配套的组织、人员、技能要求?When?□电力大数据应用的蓝图?□电力大数据战略的第一步应该从哪里开始?□为此需要开展哪些配套的工作?25但成功案例告诉我们：一切从“小”而“美”做起26但成功案例告诉我们：一切从“小”而“美”做起大数据与传统数据相结合，才能带来最大?化的商业价值在传统的数据上也可以进行大数据分析，带来新的业务价值Teradata?解决方案提供多种大数据的收集工具与存储方式?提供大数据分析咨询服务，通过项目发现商业价值，并进行知识转移?27寻找合适的切入点是开始应用大数据的关键大资料收集设计和制度建立理解并将大数据和传统数据集成营销、服务、生产(集成的统一视图)大数据战略启动(建立面向营销、服务、生产的可操作性策略)完整的、集成的，基于大数据的优化战略基于传统数据进行大数据分析大数据收集和分析咨询基于大数据的分析和战略咨询基于实践的客户化大数据分析集成的、数据驱动型分析和策略完整的决策优化开始收集大数据开始大数据分析的最佳方法结合传统数据源应用大数据分析28日程通过大数据带动业务创新并真正落地通过大数据做创新□数据量大，有素材□可以结合·不同的数据源·不同的分析方法□通过数据和分析来加快对问题和形势的深入了解30大数据里的创新通过大量高质量的尝试可以创造巨大的商业价值！Sheerqualityattemptscreated...Woah!31[TOPCODER]速度代表一切业务用户1234010101?001010数据获取数据准备数据分析数据展现数据科学家、分析师快速探讨尝试的越多，挖掘的价值越多32大数据，从小做起降低投入成本快速的筛选题目，排除没用的分析为什么快速投入生产怎么做首选一些容题原型开发减少初步的数据量只用你需要的数据用容，数据质量好的数据大数据的天时，地利，人和人员了解国内外不同行业的大数据应用，可灵活借鉴案例和经验技能数据价值技术流程成熟的大数据平台平台制度结合大数据需求的敏捷项目管理方法不同人员应用和数据仓库有高性能连接根据业务需求快速让技术人员利用平台去提升数据的价值34大数据的敏捷项目管理业务分析方向已定应用测试业务人员但细节还没确定的情况下·分析是否符合·展现是否符合分析数据轮廓分析数据分析成果展现数据分析师数据是否符合数据是否符合加载更多数据加载更多数据小量数据加载数据初定型数据再定型数据(1个月)ETL数据模型快速把整个流程建起再一步步优化3535智能某著名企业发展愿景近些年来，SCE将发展智能某著名企业作为公司战略目标，其愿景是：以环保和更加多样的方式生产电力，通过更智能和可靠的网络传输电力，为客户提供更优质的服务，帮助客户通过多种途径更高效地使用电力。EdisonSmartConnectmeterHydroRenewablesPlug-inhybrid

vehiclesNuclearNaturalGasExpanded,enhanced

transmissionCleaner,moreefficientdistributionEnergy-storage

possibilitiesfor

munities,homes,and

intermittent

resources39智能电表项目·—SmartConnect从2008年起，SCE启动了智能电表项目——SmartConnect;同年，该项目获得了加州公共事业委员会的批准通过，项目投资约16亿美元；该项目计划从2009年-2012年，使用5百万智能电表替换老式的机械或电子表；通过智能电表的应用，电力用户能够及时地获知其电力的使用情况和成本消耗情况，而且，通过近实时地获取用户的用某著名企业息，从而使实时定价机制的执行成为可能；40SmartConnect—从概念到技术实现SCE分步骤、分阶段进行SmartConnect项目的设计和实施工作，将安装近5万块智能电表和开发和部署相应的信息支持系统。项目实施过程控制；调研和收集用户需求和业务用例；完成信息支持系统的开发和实施；完成两种电表和通信解决方案的现场测试；分析电表需求，设计系统架构；安装和部署5万块智能电表；完成业务用例的开发和系统需求的完善；完成供应商提供的原型系统测试；完成智能电表设备的采购流程为终端用户提供对用电效率的分析能力，提升客户服务水平；SmartConnect—业务变革与创新在实施SmartConnect项目后，SCE在12个小时内采集的智能电表数据要比采用非智能电表时期一年内采集的电表数据还要多。每块电表每个月采集一次数据，每月大约5百万条电表数据。每年大概2.4百万次现场服务变更每年大概8.5万次电表数据校验每年约18.5万次由抄表人员完成的现场客户服务；每月生成一次账单；125YearsofTraditional

Operations每块电表每个月采集720次数据，每月共计56亿次数据采集。通过远程完成服务方式变更通过远程完成电表数据校验为终端用户提供更多服务：获知每天的用电情况、用电费用预测和用电预算监测等;EdisonSmartConnect42SmartConnect—客户用电服务体验TatefortGreenSIVEC7Pear预定义的客户用电模式，客户可以按Andournagerate…………基于web的某著名企业终端应用，展示客户用某著名企业息25.通过SmartConnect系统技术，提升电力负载管理能力客户能够与智能电器进行自动化交互3:11pm70°±0.3676°直观的用某著名企业息展示，促进了电力消耗的降低和电力节约SOUIIIENCAITORNIA1743客户用某著名企业息展示可以按照小时频度展示客户用某著名企业息，同时，可以展示一个算费每一天的客户用某著名企业息，而且，可以进行每月客户用电趋势预测分析。算费的电费计算客户能够使用SCE提供的电费计算自助工具主动计算当前算费的电费消耗情况(电量消耗×阶梯电价)，从而能够帮助客户有效管理用电成本。Bill-to-DateProjectedNextBillXScheduleDPricing

($/kWh)ScheduleDPricing

($/kWh)Tier5Tier5Tier4Tier4Tier3Tier3Tier2Tier2Tier1Tier1Current$/kWhPeriodEnd$/kWh95RatePlansRepresenting4.9MAccounts45电量电费综合展示SCE提供基于WEB的客户工具，协助客户及时获知电量和电费信息，从而主动调整用电行为，降低电力消耗和浪费。OncilesUnderstandMyBEBalanceDueProjectedNextBillProjectedNextBillFeb还是到红书57.22Basedonyoureragedailyusagefrom

Feb16toMar4.UnderstandMySel$67限免费12DueDateUN:072012South$31Projected

$67Billto14$17…………Date$31PaythicntCp6cmsViewRecentVitageHowisthiscalculated?BilledUsageinsected(2012)DailyUsage…$17k3%471×2024Daysremainingin

billperiodProjectedtobeover

yourspendinggoalof1615415515740Fear"毛12an12pn124%ViewRecentUsageTeo"12inDetail46阶梯电价和电费计算说明电费计算报告能够帮助客户更好地理解居民阶梯电价结构，这个动态的图形展示了客户实际的电力成本和预测成本。UnderstandYourProjectedNextBillProjectedNextBillTakealookathouryearselectictyusageupprojectedtoaffectyouneatuebasedonyoureragedailyusagefrom

Feb16toMar4.BillToDate.ProjectedCost:ProjectedNextBirt$31$36$67ProjectedNextBilBilltoDate:$67Billto$31DateTiers-31:$31Tiar4-286Ter3244Howisthiscalculated?Tel2-164Tiert-13#14$17ProjectedNextBill:$67Daysremainingin

billporiodProjectedtobeover

yourspendinggoalof

$50EditViewRecentUsage47BudgetAssistant——电费预算辅助工具电费预算辅助工具能够允设定一个电力消费目标，通过短消息、电子邮件或电话语音的方式地接收到电费信息和是否超过预定目标提示信息。SelectYourTarget"BillAmountPerformance"Alert"YourTarget·1#DayinBillingcycle+8

theirthonMonth-end·1#DayinBillingcycle+15ElectricBIII0wendrwDatedAssiferatebetterChristrationTom$95.00·1#DayinBillingcycle+22·LastNotification=BillisReadyEditBudgetAssistantSettingsStep1……………………orCallExpression1100FeceTiHtsummer$10354%5505100550SCEBudgetAssistant

Alert.You'reUNDERyour

$30goalby$2.Projected

NextBir:$27.B846-Date:55.22daysleftinbil

$88530$200②ree250……………inothersSome48SCESmartConnect技术架构SCEWebPresentmentRFMeshNetworkCellRelayENSEvent

Notification

System寸之多比丘Wireless

Cellular

NetworkCellRelaycss1NMSMDMS020Network

Management

SystemMeterData

ManagementCustomer

Service

SystemItronCellTower各部分功能简述：MDMS：智能电表数据校验和估算，电费计算因素生成，远程服务转换；数据仓库：存储智能电表明细数据和其他电表数据元素；Teradata

Data

WarehouseENS：事件生成、通知和交互；uLDMSCE.:客户能够通过基