电力大数据质量实时监控平台建设可行性研究报告

电力大数据质量实时监控平台建设可行性研究报告(说明：此文为WORD文档，下载后可直接使用)1目录1.项目概况2.项目实施意义2.1项目的整体概念和含义2.2市场需求分析2.3项目的示范效应2.4预期项目经济及社会效益3.项目实施方案3.1项目可行性分析73.2设计原则和技术特点3.3项目主要研究内容3.4项目创新性分析4．预期目标及验收指标4.1预期目标4.2中期检查指标4.4项目进度安排5．资金筹措及使用5.1投资估算5.2资金筹措25.3资金使用计划5.4已投入经费6．项目产业化应用的推进策略和优势分析6.1项目的市场空间和目标客户群体6.2项目的商务运营推广模式以及开拓市场的创新性6.3项目产业化推广有效性分析7．项目已有基础与保障条件7.1承担单位概况7.2技术人员储备7.3开发团队人员名单与简历7.3基础设施与研究设备7.4已有科研成果7.5企业产学研情况8．项目风险分析8.1技术风险8.2管理风险8.3市场风险8.4环境污染风险31.项目概况Hadoop架构技术建立的大数据准实时监控平台。通过对电力大数据的采集、存储和管理，该平台实现实时的大数据质量监控、系统分析处理以及预警发布。监控。同时可以将原有数据质量监控周期从以天、周、月级缩小到分钟级，并且有效解决了传统互联网用户关系数据库对于问题清单的保留与查询难点。业的信息化、数字化管理提供优质服务，成为包括南方电网、某某电网、广州供电局、东莞供电局、中山供电局、惠州供电局、潮州供电局、汕头供电局、江门权。目前该项目中的监控平台建设具有较好的前期基础。和服务、监测大数据预警模型和服务等与应用密切相关的业务模型与服务。2132.项目实施意义大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科学问题尚未被重视。络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。力工业发展需要，服务经济发展需要。电力大数据技术包括：高性能计算、数据挖掘、统计分析、数据可视化等。电力大数据通过对电力数据进行分析挖掘，得信息融合，促进经济社会发展；另一方面，是电力行业或企业内部，跨专业、跨单位、跨部门的数据融合，提升行业、企业管理水平和经济效益。214模迅速扩大，行业应用所产生的数据呈爆炸性增长。据世界权威IT信息咨询分析公司IDC10年将从2009年的0.8ZB增长到2020年的35ZB（1ZB=1000EB=年将增长44倍，年均增长40%。20世纪60生产自动化到80年代以财务电算化为代表的管理信息化建设，再到近年大规计算为代表的新一代IT电力数据以其与经济发展紧密而广泛的联系，将会呈现出无以伦比的正外部性，对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。特点是度，因为传统的数据质量算法基本上是基于关系数据的，对于象XML、文档、时进行数据质量处理，会导致数据质量问题的堆积，越来越严重。215成功实施可以帮助提升广州市乃至某某省电力企业在智能电网大数据方面的技源的利用与我国经济社会的可持续发展，具有良好的示范效应。耦合可以实现对用户360面向行业内外提供大量的高附加值的内容增值服务。据的使用率和数据质量，能够显著提高企业的经营表现。根据研究提供的数据，如果企业数据使用率提升18%左右。如果企业数据质量提升10%，电力行业受益最为明显，净资产收益率（ROE）提升幅度为218%。216本项目的实施期为2系统平台。同时项目的实施有明显的社会促进意义，效益明显：1）提升和巩固我省大数据应用领域在国内外的先进乃至领先地位，推动大数据真正发挥价值、创建创新型某某做出积极贡献；2）通过申请专利或软件著作权、在国内外重要学术刊物和会议上发表论文企业以及有关从业人员赢得应有的国际国内声誉做出积极努力；3）有利于增强和保持项目依托单位相关领域产品在市场中的引领地位，提产业整体发展。3.项目实施方案1.经济可行性217保障，项目在经济上具有可行性。2.技术可行性公司自2007电企业核心价值为己任，为电力企业提供全面有效的信息化解决方案。2010年础。目前，公司从事技术开发专业技术人员有317人，公司的典型客户有南方潮州供电局、汕头供电局、江门供电局等。系共同创建，并于2013年11月正式成立。该实验室拥有的技术团队，是国内最早开展大数据技术研究的技术团队之一，其在hadoop底层优化等方面的大数据技术属于国内领先地位。实验室已完成基于开源技术大数据技术架构搭建，并作了优化封装。218技术特点：（1）实时性：系统需要能准实时完成增量和全量电网数据质量校验处理，校验结果输出和数据统计报告。（2）高可靠性：系统应采用目前业界成熟可靠的大规模数据处理平台和技处理能力，保证不出现系统瘫痪和数据出错现象。（3）高可扩展性：系统构架和方案必须具有高可扩展性，保证在将来应用系统规模扩大时能根据需要随时增加节点以扩大系统的数据存储能力和计算能力。（4）高可获得性：项目使用市场上标准的普通商用服务器，采用标准的网络构建云计算平台，云计算平台通用性强，且任何节点损坏都易于更换和维护，的开源系统，既节省软件费用，也易于获得。（5）高性价比：采用价格不高的普通服务器，大大节省系统的构建和维护成本，同时通过云计算平台的并行化计算能力可提供比传统方案更高的计算性能，获得很高的性价比。（6）全业务支持：对电网大数据采用分布存储，而少量数据关系复杂或实219类型的数据，满足各种不同的数据处理和应用业务需求。本项目的设计将采用基于Hadoop生态系统的的大数据存储和并行计算系统解决方案。面向大数据并行处理的三个层面的支撑：1.大数据存储和高性能并行计算平台和基础设施(ClusterInfrastructure)为了克服MPIHadoopMapReduce用市场上极易获得、但性价比较高的普通商用服务器，构成一个包含数百至千个节点的海量数据存储和高性能并行计算集群。因此，MapReduce及其地产存储系统（包括HDFS和HBase）首先代表了一个为上并行计算基础设施。2.并行计算软件框架(SoftwareFramework)HadoopMapReduce提供了一个庞大但设计精良的分布式数据存储和并220和运行提供强大的功能支撑和运行环境。Hadoop并行计算软件框架主要包括分布式大数据文件系统HDFS、结构化/半结构化数据表存储管理系统HBase、以及MapReduce并行程序执行框架。3.并行程序设计模型与方法(ProgrammingModel&Methodology)MapReduceLisp函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象处理，从而大大简化了应用系统并行程序的设计和编程实现。法，我们可以方便有效地完成海量数据并行处理算法和应用程序的设计和开发。221HDFS（非结构化数据）中，少量的数据关系较为复杂的数据将存放在关系数据速查询分析访问。SaaS层主要包括基础服务和业务模型中间件软件、以及上层的各种电网大数据应用系统。基础服务和业务模型中间件软件可包括基础数据查询分析服务、理业务和应用系统。1.分布式计算体系应用在电力大数据质量监控中的应用，解决了数据质量规则检验复杂,难以进行全面快速的数据质量监控的难题。随着hadoop等分布式计算创新性应用点之一。2.建立数据进行准实时监控的架构体系，将原有数据质量系统按天、周、月为单位的监控周期,缩小到准实时的分钟级。3.利用分布式存储体系可以有效解决对数据质量问题数据的全生命周期跟踪的存储问题，通过hdfs存储技术解决传统关系数据库对于问题清单的保留与查询难点。2232244．预期目标及验收指标利用目前较为成熟和广为业界接受使用的Hadoop等大数据存储和计算现准实时的数据质量监控、统计分析处理、以及预警发布。的实施主要实现以下两个目标：2篇以上发表。经济指标售收入在400万以上。技术指标达到以下指标1）完成营销模块设备域业务模型转换、业务规则检验大数据开发，交付一套可实际操作系统。2252）营销设备域的处理效率从原来的48小时提高到4小时内。3）营销设备域关键接口处理时间：8小时以上的提高到30分钟内其他指标专利1项论文2篇1成果(级别、数量)原有数据质量系统按天、周、月为单位的监控周期,缩小到准实时的分钟级，预计达到国内领先水平。对于约2.3亿记录，100G数据规模的系统，达到以下四个指标：1)处理频率：从原有每月处理1次提高到每天处理2次以上2)处理效率：全量处理从累计4天提高到8小时3）实时增量数据处理：千万级别以上的对象一次增量50万，30分钟内处理完成4）关键业务接口处理：8小时以上的提高到30分钟内，4小时以上的提高到20分钟内，1小时以上的提高到10分钟内5）超高速大数据交换：在10万记录的数据交换不超过10万记录不超过6分钟6）高可靠性的大数据平台：主控节点出现故障时，HA节点3秒内完成漂移接管2项目形成的论文（级别、数量）级别：学术期刊等226数量：2篇。3项目形成的专利和著作权（级别、数量）级别：专利数量：2项级别：著作权数量：1项5项目建设过程中的人才培养：处理的理论与实践水平。6项目经济效益项目产品未来5年销售收入、利润目标00公司未来五年销售收入、利润目标2272014/6-2014/92014/10-2014/122015/1-2015/3原型验证系统一套营销模块设备域典型复杂接口大数据处理模块数据质量营销模块设备域大数据营销模块设备域大改造数据处理模块2015/4-2015/62015/7-2015/9数据质量营销模块客户域、帐务营销模块设备域大域大数据改造数据处理模块2282015/10-2015/12营销模块的大数据检验功能模块大数据质量准实时监控平台一套著作权一项2016/1-2016/32295．资金筹措及使用资金使用计划。专项经费未能达到申请额度，由企业自筹资金补足。我司近2年（2011-2013）看出，科腾公司的财务状况健康，现金充沛，因此，项目实施期内，本项目所需的自筹经费公司完全有能力提供。省经信委资金（万元）（万元）一、研究开发费1.设备费70510015030702300025002015财政专项资金研究开发人员的薪酬8.劳务费无259.专家咨询费2001500须展开列出具体科目二、市场运营推广费1．广告费502051.2展会营销351025231500市场运营推广人员的财政专项资金无020100须展开列出具体科目财政专项资金无必须展开列出具体科开支、需求调研等费用。资金来源公司自筹主要用途1301万/人/月。23222050公司自筹软硬件平台采购(已购浪潮英信NF5270M3服务器5台)合计6．项目产业化应用的推进策略和优势分析20世纪60生产自动化到80年代以财务电算化为代表的管理信息化建设，再到近年大规计算为代表的新一代IT电力数据以其与经济发展紧密而广泛的联系，将会呈现出无以伦比的正外部性，对我国经济社会发展以至人类社会进步也将形成更为强大的推动力。公司自2007电企业核心价值为己任，为电力企业提供全面有效的信息化解决方案。2010年233础。目前，公司从事技术开发专业技术人员有317人，公司的典型客户有南方潮州供电局、汕头供电局、江门供电局等。保障，项目在经济上具有可行性。1．提高系统运算能力，促进供电企业业务系统的实用化水平源头上预防问题的产生，达到事前预防的效果。直接促进业务系统实用化水平，间接达到提升客户服务水平、提高客户满意度的目标。2．降低数据质量监控对资源的消耗目前广州局的数据质量系统数据处理过程（数据清洗、校验、转换等）超过12小时，按照指定的规则发现问题数据隔天处理，由于问题发现的非实时性，234问题数据存在用于后续业务过程产生风险。这样纠正错误需要耗费大量的人力、理问题数据的代价，从而降低人力、物力耗费。2357．项目已有基础与保障条件2007年8月，注册资本3010万元人民币。广州科腾公司是一家以技术见长的高科技公司，2009年12月通过了某某省科学技术厅高新技术企业资格认定。公司现有职工403人，其中技术人员（服务和研发）261名，接近公司员工总数的65%，每年在软件研发方面的投入高达1000网公司、某某电网公司、广州供电局、东莞供电局、中山供电局、惠州供电局、潮州供电局、汕头供电局、江门供电局等。广州科腾公司依托对电力业务的深刻理解和对IT行业动向的准确把握，注的最高级别的技术认证，包括浪潮、思科、联想、华为等厂商。年销售收入为32770.13年销售收入29763.21万元，2013年实现销售收入28137.03万元。公司每年都加大科年的研发投入分别为236万元，占销售收入的比例分别为5.56%，4.64%，5.59%。某省服务业百强企业，于2011年5月成功通过了质量管理体系认证，同时还获得了“ISO27001服务管理体拥有自主核心基础技术包括：IT服务管理平台、电网资源网络地理信息系统、资产全生命周期管理智能分析体系、一项外观设计专利授权，并获得了36项计算机软件著作权。工人在内的职工队伍。公司现有员工403人，其中技术人员总数261人，占职工总数64.76%，研发人员总数93人，占职工总数23.08%。其中公司内部高级职称17人，中级职称39人，初级职称21人。此外，我公司与某某省、广州市各大供电局、电网公司建立长期合作关系，并于华南理工大学、中山大学、南电网信息一体化管理平台系统的开发提供充足的人力保障。在营配信息集成领域有32名熟悉数据通讯领域各个主流厂商的技术的综合237流厂商的最高级别的技术认证，包括浪潮、思科、联想、华为等厂商，其中有0名CiscoCCIE名H3CT/H3CSE3种国外和国内安全产品的系统集成和安全管理信息的分析。在IT服务管理领域公司有12名IT0名IBMCertifiedDeployment名拥有IBMTivoli相关认证，在管理各个国外和国内品牌网络产品领域积累了丰富经验。公司在自主软件研发领域有84名软件研发人员，其中架构设计师4名、系统分析员17315人。技术核心人员在IT包括C#、TIOBE、JAVA、VB。公司研发团队多年来一贯坚持产品开发以最终满足市场需求为导向，一切以战斗的团队。从研发团队的构成和多年的研发成果来看，公司的研发团队整体专业技术能并已形成了一个完整的技术梯队，足以应付具有挑战性的产品研发工作。238序号年龄433435262339312公司现有的办公、研发占地面积5000平方米，拥有十多台（套）IBM/HP/Dell等厂商服务器和近30台各厂商设备型号的网络设备,包括HPML/DL型号服/WS-C4506-E/WS-C6506-E、华三S1050T/LS-3100-26TP、思科ASA5510防火墙等。除硬件设施外，在软环境上已经具备了数据库、操作系统、开发工具239和客户模拟环境的检验测试和模拟平台。状态123456789研发2014.41研发2011.71研发2011.83研发2007.12研发2010.91研发2011.82研发2009.12研发2010.940研发2007.11正常正常正常正常正常正常正常正常正常笔记本(）主要研究开发设施设备的图片240与技术升级工作，共开展了30个研发项目，涉及多项产品的技术研发与升级，形成了多项新技术、新产品。2011．1-2011．122011．1-2011．2011．1-2011．2011．1-2011．2011．1-2011．2011．1-2011．2011．1-2011．电科院MIS系统V2.0项目122012．1-2012．12配网工程系统2011年项目数据整理录入项目2432012．1-2012．122012．1-2012．122012．1-2012．1211息运行监控优化设计及信息运行告警数据关联)技术服务项目2012．1-2012．12营配