大数据从小做起

1、大数据从小做起Teradata卜晓军(Robert Bu, ) 大数据解决方案大中华区总监美商天睿信息系统有限公司(Teradata Greater China)日程Teradata 电力的大数据电力大数据来源5/21/2014Teradata Confidential1ERADATA智能电表读数设备图像数据设备运行监测历史客户用电信息塗矣主i动态事件:NO! SMART METERS客户情感信息客户服务数据（文本+语音）地理空间信息电网拓扑外郦境信息 （气象、气候）THE BESTDECISIONPOSSIBLE电力大数据的特征r数据特征，客数据类型不

2、同：营销、生产等核心业务系统的结构化数据,智能电表、系统日志等半结构化数据 户服务的音频、运行检修的视频监测、电网设计和拓扑等的非结构化嫌。加载频率不同：根据业务数据分析时效要求，数据加载频率可按小时、天、周、月等。、数据价值不同：相同的业务数据在不同专业体现不同的作用和价值。55/21/2014Teradata ConfidentialTeradata挖掘和探索。处理特征凋度模式不同：数据有时需要在不同平台间迁 移和复制，有时无需移动而只是简单的查询。加工特征不同：对于结构化数据,需要逬行汇 总、分组、排序等，对于半结构化和非结构化 蠅，諛先通过自然语言艇、邂分析等 技梢专化成的化数据。使用

3、特征:使用角色不同：业务分析人员、数据分析 师、数据科学家。使用方式不同：业务指标统计、预测分析、深度嫌使用时效不同：不同频度的指标统计、1 Adhoc查询、自助式的数据探索等。/THE BESTDECISIONPOSSIBLE日程THE BESTlERADMA.麟蛋电力业务与大数据的有什么关系?电力大数据驱动电力业务管理模式发生变革95/21/2014Teradata Confidential发电输电变电配电用电（1、基琢字化 电厂建设中不断 积累的海量数据,分析生产运行 状态,提升对机 组的控制和优化 策略、故障诊断 的能力；2、对大量的分 磺能源逬行实 时监测和控制, 能够及时准确拿 握

4、分布式电源的 设备及运行状态/ 1、通过大量积累的电网输、变、配电设备的运行状态 和历史检修工作记录数据，能够实现预测性资产维护, 提升电网运行的可靠性;2、结合外部环境数据（如：天气和自然灾害预报）. 电网设备的地理信息数据.设备维护数据等,分析和评 估外部环境对电网设备的影响程度,并及时作岀防灾. 减灾措施（智能防灾）；3、通过配电网络的实时监测和分析，能够快速定位电 力中断的地点.识别断电原因.估算电力恢复时间等， 提高事故的响应程度；a 通过分析智能电、表产生的灣用电明SBMK,分析客户的用电行为，引导客户提升用电效率，和用电负荷；2、通过对能电衰 运行状态的监控，并 结合艇信息哋,

5、能够高效判断故障来 源，提升运营效率;1ERADATA 霧蠱1.实现电网与用户的双向 互动，提升用户服务质量,满足用户多元化需求；Cuftomer Operbon$提升用电环节的智能化从大数据中掘金智能用电ZX2、改善终端用户用能模式,提升用电效率；点単案社交网络Teradata ConfidentialTHE BESTDECISIONPOSSIBLE智能电表客户服务Peak Management艇信息分析Efficiency通过用电大数据分析,发现大价值客户服务:为用电客户提供图形化 的分析工具，以准实时的方式告知 客户电力使用情况,并为客户提岀 电力使用方案建议,从而提升客户服务能力。用电

6、效率:通过及时获知用电信息 ,以调整用电方式和期间，降低用 电成本,提高用电效率。运营效率:自动读取智能电表数据 ,通过及时分析智能电表运行状态 ,能够高效地判断故障来源。 w nmui T s 十jlectricity nerH40资产利用率：通过提供透明的用电信息，影响客户的用电行为模式,以降低高峰期的用电负荷,平衡用电,从而能提高电网设备的利用率。85/21/2014THE BESTDECISIONPOSSIBLETeradata ConfidentialTeradataTeradata 霧廳日程如何解决大数据架构困惑?什么样的平台能够承载大数据的分析和探索需求?Volume大数据的数据

7、独特特征对数据处理平台提出了全新的要求对处理平台要求廉价且稳定的数据保存与粗加工平台155/21/2014Teradata ConfidentialTeradata 震翳Velocity珈快速的iVarity复杂数据的整合管理与隐私管理能力分析与深入挖掘能力在目前的技术水 平下没有一个 单独的平台可以同 时满足所有要求Complexity非结构数据的分析与探索能力实时数据处理复杂多表关联响应实时性如何有效应用多种大数据处理技术?大数据时代没有银弹可以高效低成本的满足大数据处理的全方位要求 各种技术相辅相成,优势互补。-高性能教据仓库：高并发、高性能 处理结构化数据,支撑高SLA需求 MPP数据

8、库：结构化、关联性分 析、即席分析厂Hadoop :非结构化或批量简单;匚 总、非实时处理、数据挖掘p NoSql :结构化或结构化存储与 实时查询流处理：实时数据处理过滤，规则匹配高性能数据仓库MPP数据库 Hadoop 流处理 NoSQL如何实现对大数据的统一管理和运维实现大数据的元数据数据质量和安全统一管理实现统一的开发管理（IDE）和调度管理。扩展现有基于CWM的元数据管理设施，使其覆盖Hadoop等新基础技术平台j数据廈量将數据质量楕核、數据一元数据管理在统一界面和管控流程下进行开发、监控和作业维护运维管理统一的4A安全策略和数据加密管控，使得Hadoop等新基础技术平 台安全管理合

9、法合规致性管理.版本管理等DQ 应用扩展到Hadoop等新基 础技术平台THE BESTDECISIONPOSSIBLE175/21/2014Teradata ConfidentialTeradata电力统一大数据平台架构数据整合平台-构建在高性能高可靠硬件平台上的MPP RDBMS高并发/高性能数据探索平台 构建在X86平台上的MPP RDBMS-较低并发数据汇集平台-存储冷魏始嫌和非结构化原-高并发僑性能存储-高效数据加工，支撑KPI、-歸支持大量Adhoci方问始:和非结构化原月报的及时展现-支撑各类高级分析和实现自定义灵活的数?支撑城的高可靠彳氐时延 访问-通过沙盒模式支持自助分析服务

10、加工和挖掘烦模简单骚查旬195/21/2014Teradata Confidential1ERADAIA 震豳数据互通服务器及本地存储数据源电力营销 智能用电管理应用和仿真执行智能用电优化策略国数搞匚集平台数据探索平台城源行.电raffifh 外部 天气暮化 或结构化数据 ，并行原 始*ffl初步加 工整合智能电表采集、用电客户档 案等数据,利用数朋索和挖掘 技术,实现基于用电采1MUB的 用户用电行为横式识别电网拓扑、天同时 ,结合用户用电行为模式分析结果，统一管控3访问用户析应用THE BESTDECISIONPOSSIBLE溟1ffll客户服务智能识别与分析应用升客户服隽的精准度和及时性

11、整合用电客户档案、业务办理过程、用电 电6智能分溜果阜厶、户历史用电本记 彌电力 rosaw海丹翳,并碾 进行原始存储和初步 力01、转换引入文本挖掘和智能识8!1技术, 整合客脈文本记录数据和用电客 户档案数据,实现对客户需求的 分析.数据探索平台统一管控访问析应用THE BESTDECISIONPOSSIBLE圍电力生产设备运维管理智能分析应用利用MPP并行处理技术架构和流式计算技 术,通过对设备运行检的UU显进 行分析和期B,实现以自动化方式对设备 运行状态进行大范围和长周期的分析，从 而瞬砲萍故HS生昭数据C集平台数据探索平台行姫.iSfi 运行畅新工作 9L电剛昭卜地理空据等多结构化

12、或 构化嫌,并对帥 行就步加 工、转换.快速故障定位和原因分析设备当前运行状态.历史检修工作记I录.设备晦间砸E躍3区矚I实现快速故障定位和原因分析丁统-管控1SB访问Gartner大数据市场评估报告(2014)从 1999年起，Teradata连续 16年在GartnerGartner据仓库平台总体性能评测中排名第一；Teradata 在各项主要测评指标中全面领先SAPlOlOteUAmam Wvb Swvces Cloudtrt.KorteHobngM.啦哄.ActanCOMPLETENESS Of VISION 北 M 总心 20148ION7BLE速度代表一切515/21/2014Te

13、radata ConfidentialTeradata 翳矗业务用户001010 I数据获取数据准备数据分析数据展现数据科学家、分析师快速探讨尝试的越多，挖掘的价值越多大数据，从小做起THE BESTDECISIONPOSSIBLE为什么降低投入成木快速的筛选题目，扌非除没川的分析快速投入生产怎么做I,原型开发首选一些容易的课题减少初步的数据量只川你需要的数据N用容易拿到，数据质量好的数据Teradata大数据的天时,地利,人和555/21/2014Teradata ConfidentialTeradata 務矗连接r4U-4X1技术 平台J成熟的大数据平台易于让不同人员应人贝 技能 ，FLr

14、Tiii1数聒 价值 了解国内外不同行业的 大数据应用，可灵活借 鉴案例和经验r制度 a*J结合大数据需求的敏 捷项目管理方法根据业务需求快速让 技术人员利用平台去 提升数据的价值大数据的敏捷项目管理575/21/2014Teradata Confidential35 TeradataTHE BESTDECISIONPOSSIBLE业务业务人员分析方向已定但细节还没确定的情况下应用测试分析数据分析师分析是否符合展现是否符合Q 曲分析 数据分析成果展现数据ETL数据模型二数攪足查符企数据是否符合謂严咕;黠常泸： ssr快速把整个流程建起再一步步优化日程Teradata 翳蠱电力案例分享TERAD

15、ATA电力行业客户Teradata 翳蠱SOUTHERN CALIFORNIAEDISONH Pacific Gas andElectric CompanyOGlrEg XcelEnergy9次 eRDFtLECTRIOTt RESSU DISTRIBUTION FRANCEConstellatioruAn Exelon Companyow Fo fvtmocentrica智能电网发展愿景美国南加州安迪生电力公司介绍南加州爱迪生电力公司总部位于美国加利福 尼亚州的城市罗斯米德，公司员工约1万7千 人。口公司为1干4百万人口提供电力服务，覆盖加 州南部5万平方英里的区域、约180个城市。公司具备

16、9000兆瓦的发电能力，发电方式： 核电、水电、火电。公司拥有12 5年的电力生产与服务历史，其在 可再生能源生产、电力传输、智能电网、智 能电表等业务方面都处于美国电力行业的领 导者地位。近些年来，SCE将发展智能电网作为公司战略目标，其愿景是：以环保和更加多样的方式生 产电力，通过更智能和可靠的网络传输电力，为客户提供更优质的服务，帮助客户通过多种 途径更高效地使用电力。Edison SmartConnect meterHydroRen ewablesPlug-in hybrid vehiclesEn ergy-storage possibilities for commu nities,

17、 homes, andintermittent resources635/21/2014Teradata ConfidentialTeradaja 翳矗SmartConnect 一从概念到技术实现从2008年起，SCE启动了智能电表项目SmartConnect;同年，该项目获得了加州公共事业委员 会的批准通过，项目投资约16亿美元;该项目计划从2009年2012年，使用5百万智能电表替换老式的机械或电子表；通过智能电表的应用，电力用户能够及 时地获知其电力的使用情况和成本消耗 情况，而且,通过近实时地获取用户的 用电信息，从而使实时定价机制的执行成为可能；SCE分步骤、分阶段进行SmartCo

18、nnect项目的设计和实施工作,将安装近5万块智能电表和开发和部署相应的信息支持系统。 THE BESTDECISIONPOSSIBLE655/21/2014Teradata ConfidentialTeradataSmartConnect 业务变革与创新在实施SmartConnect项目后，SCE在12个小时内采集的智能电表数据要比采 用非智能电表时期一年内采集的电表数据还要多。2005 2006Phase I:Research2007Phase II:/ Development2008 2012Phase III:Deployment调研和收集用户需求和业务用例；分析电表需求，设计系 统架

19、构；完成供应商提供的原型系统测试;项目实施过離制;完成两种电表和通信解 决方案的现场测试;完成业务用例的开发和 系统需求的完善；完成智能电表设备的采 购流程完成信息支持系统的开 发和实施；安装和部署5万块智能电 表；为终端用户提供对用电 效率的分析能力，提升 客户服务水平；THE BESTDECISIONPOSSIBLE5/21/2014Teradata ConfidentialTeradataEdison SmartConnect每块电表每个月采集一次数 据，每月大约5百万条电表 数据。每年头概2.4百万次现场服务每年大概8.5万次电表数据校 验每年约18.5万次由抄表人员 完成的现场客户服

20、务；-每月生成一次账单；每块电表每个月采集720次 数据,每月共计56亿次数据 采集。-通过是程完成服务方式变更 -通过远程完成电表数据校验 为终端用户提供更多服务： 获知每天的用电情况、用电 费用预测和用电预算监测等SmartConnect 一客户用电服务体验695/21/2014Teradata ConfidentialTeradzoa BE?igiSSmartConnect 系 统技术，提升电力负 载管理能力,预定义的客 户用电模式,客户可以按 需选择基于web的 移动终端应 用r展不客 户用电信息直观的用电信 息展示,促进了电力消耗的 降彳暗口电力节 约JI WWEDISON客户能够与

21、智能电器进行自动化交互客户用电信息展示可以按照小时频度展示客户用电信息，同时，可以展示个算费周期内每坯THE BESTDECISIONPOSSIBLE775/21/2014Teradata Confidential1ERADATA的客户用电信息,而且,可以进行每月客户用电趋势预测分析。Hourly Interval UsageHistorical Interval UsageMonthly Trend,从而能够帮助客户有效管理用电成本。算费周期内的电费计算Recentin Him ii ii iSchedule D Pricing ($/kWh)Tier 5$0.32Tier 4$0.28Ti

22、er 3$0.25Tier 2$0.16Tier 1$0.13Bill-to-DateProjected Next BillCurrent $/kWh95 Rate PlansRepresenting4.9M AccountsPeriod End $/kWhI 1/ *TOU61客户能够使用SCE提供的电费计算自助工具主动计算当前算费周期内的电费消 耗情况（电量消耗x阶梯电价）电量电费综合展示SCE提供基于WEB的客户工具;协助客户及时获知电量和电费信息,从而主动 调整用电行为，降低电力消耗和浪费。Projected Next BillBalance Due Projected Next Bl

23、View Recent UsageBased on your average d片 usae fromFeb 16 to Iter 4Biled UsageDairy UsageProjected-# Next Bi $67 Bto Date$31How s tM calculated14Dys retninrfl in Mpnodt$17Projected to be over your spendrg goal of SSOEdt阶梯电价和电费计算说明电费计算报告能够帮助客户更好地理解居民阶梯电价结构,这个动态的图形展 示了客户实际的电力成本和预测成本。Projected Next Bil

24、lFtoxtBl $6758M0 on your avenge aai/ usaoe fwr ceo 6toU44-3tot$17Pnjectedto&eoM yor .吟“.？ qo. of SSOEcCot S3Nrt M7#5/21/2014Teradata ConfidentialTeradata 務蠱View Recent UiiQeBudget Assistant 一电费预算辅助工具电费预算辅助工具能够允许客户设定一个电力消费目标,通过短消息、电子邮 件或电话语音的方式周期性地接收到电费信息和是否超过预定目标提示信息。THE BESTDECISIONPOSSIBLE795/21/2

25、014Teradata ConfidentialTeradataPerfocmance AJeit” DayMBMnfcycte Day m Bitenf cycte 15 Day m Bdhn( cyde 22 Ust Notifkibon Bill is Ready . Umv(wwirw I J|E(X Budget Assistant Settings(3UmiRef$103$88Step 1b Mv M Mm toAmW9vh M*Ote Orw*和.Y2* 2 Cell Relay2V CellXelayWireless Cellular NetworkSCE SmartConne

26、ct 技术架构各部分功能简述: MDMS :智能电表娠校验和估算，电费计 算因素生成,远瀏艮务转换；数据仓库:存储智能电表明细数据和其他电 表数据元素； ENS :事件生成、通知和交互；uLDMTeradata Data WarehouseNMSNetwork Management SystemcssCustomer Service SystemMDMSMeter Data ManagementItronSCE.comWeb PresentmentTeradata SCE.COM :客户能够通过基于web的应用获 知用电信息，电费预算管理和电费预测等；THE BESTDECISIONPOSSI

27、BLE815/21/2014Teradata Confidentialsaw一j 932Meter Usage: 1931.728 kWh 百 二-62“ 614出Find within feedo MontNy Usage By MeterCONTENTSMeter 10:11323836基于地理信息的客户用电信息展示Buimess or category.Al Grttomea7 Mx 2012 Feb 2012 Jan 2012 02011Nov 20X1 HLTERS / LEGENDx .电网资严信息展示7Weathern Power Onesn SubstationS 密 Pnmary MetersIB