国外大数据技术的需求侧管理应用研究

国外大数据技术的需求侧管理应用研究

信息技术与互联网的融合将导致大数据的生成。大数据改变了传统的逻辑模型，创造了科学数据的第四模式。1数据技术的核心价值和应用现状20世纪90年代初,美国数据仓库之父比尔恩门首次提出“BIGDATA”一词,拉开大数据技术从研究到应用的伟大序幕。大数据技术的核心价值主要体现在两个方面,一个是将数据视作人财物一样的企业核心资产,通过复杂的关联分析,让数据创造新的价值,提升精细化管理水平,促进管理方式和商业模式的创新。另一个是将大数据技术应用于企业实际生产和营销等各类环节,通过技术变革提高生产效率。随着大数据技术的逐渐成熟,近年来大数据技术的应用取得了广泛应用。在国外,一些IT企业如ORACLE2门的高度关注近年,大数据发展迅猛,引起国际社会商业界、科技界、学术界和政府部门的高度关注。国外企业对大数据的研究和实际应用比国内起步要早,许多大型企业都已经部署了大数据的实际应用项目。本次调研的国外公司集中在大型的能源企业,其在大数据技术的研究和应用方面均取得了十分值得借鉴的成效。2.1客户新产品需求分析法国电力公司大数据主要应用方向是基于客户行为特征分析客户群特征及消费规律、客户与新产品相关性等方向,以帮助营销部门更为精确的找准目标客户,推出更具盈利性的新产品,进而保留客户和扩大市场份额。2.1.1大数据项目(1)用电负荷精确化计量。截至2016年底,全法已经安装了3500万只智能表,电表产生的数据量将在5至10年内达到PB级。智能电表采集的主要是个体家庭的用电负荷数据。以每个电表每10分钟抄表一次计算,3500万只智能表每年产生1.8万亿次抄表记录和600TB压缩前数据。每天产生50亿次抄表记录和大约2TB的抄表数据。这些电表数据、结合气象数据、用电合同信息及电网数据,构成了法国电力公司的电力大数据。以智能电表采集数据为例,这些数据具有以下特点:数据具有时间序列特性、数据来源具有分布式特性,并且需要在不同尺度上进行处理。某些应用需要对数据进行实时处理。考虑到大数据的广泛应用前景,针对自身海量数据的特性及其处理需求,法国电力公司的研发部门成立了大数据项目组,借助大数据技术研究海量数据的处理架构,实现用电负荷的精细化测量,降低信息决策系统与运行操作系统之间的延迟。目前该项研究尚属于起步阶段,该项目组的短期目标是:将分布式智能技术集成于原有业务系统,包括具有数据处理功能的智能路由器、分布式数据库、分布式数据处理以及分布式复杂事件实时处理技术。这些分布式技术同时需要支持控制中心的统一集中式控制。法国电力公司以用户用电负荷曲线的海量存储和处理为突破口,利用大数据技术,形成了能够支撑在规定延迟内的复杂、并行处理能力。其中数据接入的接入形式包括批处理或数据流两种:数据的预处理包括时间同步、异常数据检测及修正,以及改变数据表达形式等。数据处理包括按区域的指标计算、账单模拟、商业智能(BI)等。(2)用电需求侧管理。法国电力公司在筹建大数据研究团队初期,选择用户负荷曲线为突破口,将电网运行数据与气象、电力消费数据、用电合同信息等进行实时分析,以更为准确地预测电力需求侧变化,并识别不同客户群的特点。通过优化需求侧管理,改进投资管理与设备检修管理,提升运营效率效益。其中通过优化需求侧管理,使电网日负荷率提高至85%左右,相当于减少发电容量1900万千瓦。2.1.2数据库集中监测,提升质量管理能力(1)数据平台部署方式。法国电力研发部下成立了职能服务型的数据分析中心,构建企业级统一大数据库。(2)数据管理模式。数据分析中心与业务部门保持沟通,找到分析所需的相关数据;对内部数据进行清理,对外部源数据进行整合,统一管理企业数据资源。数据分析中心采取建立大数据库对数据进行集中管理,由专门的数据质量管理专家对数据质量进行管控、自动集中监测的方式,提升数据库的性能,促进数据质量管理经验的分享以及规避个人处理能力的不足。(3)数据应用。数据分析中心以项目制的形式负责向电网运营维护、销售、营销、客户关系管理、财务控制和人力资源管理六个业务部门提供客户行为分析支撑,包括:客户群特征及消费规律、客户与新产品相关性等,以改善业务部门的服务质量、实现客户的最大化保留。2.2高级计量架构ami管理模块美国巴尔的摩燃气电力公司(BG&E)利用C3energy公司能源分析引擎平台两项应用模块对其内部12个数据源系统及来源于其服务地区内的200万台智能电表的数据进行了集成,总计10TB的云图像数据,集成分析3500万条数据,每天约传输8GB/2.2亿条数据,年收益预计可达200万美元。其中,高级计量架构(AMI)管理模块可快速查看电表状态、隐患区域、部署进度以及焦点问题,优化高级计量架构(AMI)的全寿命周期管理,提高高级计量架构(AMI)系统运行效率,降低公司运行成本;收入保护模块能够识别欠费/窃电行为,改进收费和服务策略,降低非技术性线损。美国巴尔的摩燃气电力公司(BG&E)进行大数据分析的主要模式是与专业的大数据分析公司合作进行数据挖掘工作。将企业内部数据提供给专业的数据分析公司,不再自己搭建大数据平台,各个业务部门提出业务需求,由专业数据分析公司进行实现。2.3大数据技术的短期负荷预测模型爱迪生电力公司(SCE)主要针对两个方向开展了大数据的实际应用。第一个方向是配电网的故障评估。该公司麻省理工学院(MIT)、哥伦比亚大学联合开发了基于机器学习的配电网故障风险评估系统。该系统在纽约供电公司进行了试点应用,可针对馈线和设备(电缆、配变等)进行故障风险等级评估,用于指导停电检修、提高设施维护效率、提升配电网可靠性。美国南加州爱迪生电力公司(SCE)对于大数据的另外一个应用方向便是短期负荷的精准预测。该公司与C3energy公司合作开发用电负荷精准预测模型,因为爱迪生电力公司现有数据源头已经可以定位至用户级负荷层面,结合其完备的业务辅助平台数据库提出基于大数据技术的短期负荷预测解决方案。该解决方案采用对每个用户的负荷进行独立预测,最后累加的方法。数据源为智能电表数据库及相关影响因素数据库,软件采用大数据技术(聚类分析、灰色关联分析、决策树等)对负荷数据进行预处理,分析每个用户负荷与天气、日类型等影响因素的密切关系。并根据不同用户特性构建预测模型,最后累加所有用户的结果得到系统负荷预测结果。美国南加州爱迪生电力公司(SCE)进行大数据分析的主要模式是与专业的大数据分析公司合作进行数据挖掘工作。将企业内部数据提供给专业的数据分析公司,不再自己搭建大数据平台,各个业务部门提出业务需求,由专业数据分析公司进行实现。2.4第一,德国“电力地图”提供高效的社会管理信息目前意昂与爱立信合作开展的数据分析应用场景主要体现在以下几方面:一是爱立信为意昂提供从智能电表到电网运行系统的设备与数据分析服务;二是对停电、电力供应、电力需求、天气对电力供需的影响等数据进行精确分析,从而为电网安全运行提供更可靠的参考依据。三是爱立信为意昂提供一款“电力地图”,将人口调查信息、电力企业提供的用户实时用电信息和地理、气象等信息全部集合在一起,制作了一款地区地图。该地图以街区为单位,展示每个街区在当下时刻的用电量,甚至还可以将这个街区的用电量与该街区人的平均收入和建筑物类型等相比照,从而得出更为准确的社会各群体的用电习惯信息。德国意昂能源(EON)作为大型综合性集团,具有强大的经济实力,但是内部却没有设置数据管理和数据分析部门,而是采用与专业的数据分析公司合作的方式。2014年4月,德国意昂能源(EON)宣布携手瑞典爱立信(Ericsson)公司探索“大数据”。爱立信将向意昂能源出售相应的电网应用设备和软件,帮助意昂进行数据管理和分析,从而为企业经营服务。3大数据应用在国内企业中的应用现状通过对大数据应用实践情况的研究表明,国外企业均非常重视大数据在需求侧管理方向的应用工作。国外电力企业大数据多处于探索研究阶段,大部分采取与专业公司合作的方式开展大数据分析。其中,法国电力公司成立了专业部门、统一搭建大数据平台、系统性开展了大数据场景研究工作。下面从平台建设、数据管理、分析应用三个方面展开分析。3.1业务应用规划数据平台建设包括平台建设与运维,是开展大数据应用的基础。法国电力公司建设了统一大数据库,集中管理企业数据资源,围绕各专业业务需求组织开展大数据分析应用,鉴于目前大数据业务开展时间较短,客户数量不足5000万,数据规模相对较小,尚未采用云部署方式。美国巴尔的摩燃气电力公司、美国南加州爱迪生电力公司和德国意昂能源公司在大数据平台建设上也都采用了统一大数据库的平台建设模式,实现对数据和应用的集中管理。综合分析可知,集中建设统一大数据平台,并采用云部署方式是企业目前大数据平台建设的主流方式。3.2法国公司法在研发的背景数据管理包括数据规范的制定、数据评价、数据汇聚和治理。本次调研企业中存在两种数据管理模式:一是数据统一规范,集中管控;二是数据统一规范,分层管控。各企业为实现数据融合和数据质量管控,均在总部层级设立专业部门(法国电力公司在研发部设立),建立统一的数据资产管理规范与技术标准,但数据管控方式略有不同。其中,法国电力公司采用数据统一规范,集中管控模式。法国电力客户规模不足5000万,建立统一的大数据库集中管理数据,能满足该公司的分析需求,同时成本相对较低。综合分析可知,统一数据标准规范有利于数据共享与数据管控,实现数据资源价值最大化。数据管控应结合业务特点和数据特性开展,如果业务差异小、数据同质性强,宜采用集中管控模式;如果专业属性较强、业务数据差异较大,则宜采用分层管控模式。3.3设立数据分析中心数据应用包括数据分析与挖掘、算法模型研究和应用实施。除法国电力外,其他企业大数据分析应用都使用分层、分级方式开展,具体分为企业级研究和专业级分析应用。法国电力公司在总部研发部下设立了职能服务型的数据分析中心,配有十几人的专业队伍,围绕企业电网运营维护、销售、营销、客户关系管理、财务控制和人力资源管理等方面组织开展大数据分析应用。数据分析中心下设专项项目组,负责收集各业务部门需求,以项目的方式组织推动数据分析应用。综合分析可知,大数据分析应用有两个特点:一是大数据分析应用应紧紧围绕业务需求,以专业级应用为重心,配备充足的人力资源,准确聚焦业务痛点,快速解决业务实际问题。二是企业应结合业务特点和发展要求开展基础技术和基础应用方面的研究,为专业级分析应用提供服务和支撑。4数据分析交互支撑当前,企业大数据技术的研发和应用已经取得了非常卓著的效果,许多企业将大数据技术作为占领商机、转型升级的优先技术方向。对于大数据技术的研究,我国与国外企业的研发脚步差距不大,要想在未来的数据时代占领先