大数据在水电工程行业的应用课件

2015年8月赛迪顾问股份有限公司中国电建贵阳勘测设计研究院有限公司

大数据在水电工程行业的应用研究2015年8月赛迪顾问股份有限公司中国电建贵阳勘测设计研究院目录1

大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345目录1

大数据概述项目背景项目目标与内容大数据应用场景项目流大数据概念的提出最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。2011年，麦肯锡出版了研究报告《大数据：创新、竞争和生产力的下一个新领域》，产学研界对“大数据”的关注达到历史性新高度。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。互联网、移动互联网、物联网、云计算的快速兴起以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。越来越大、越来越快、越来越复杂，数据特性的演变和发展，催生了一个全新的概念——大数据。大数据概念的提出最早提出“大数据”时代已经到来的机构是全球知IBM定义大数据的3个特征：数量、种类和速度IDC定义大数据的四大特征(4V)：海量的数据规模(Volume)多样的数据类型(Variety)快速的数据流转和动态的数据体系(Velocity)巨大的数据价值和低密度(Value)Mckinsey定义：量极大，无法用常规数据软件进行获取、存储、

管理和分析的数据集1P=106G1Z=1012G大数据的定义IBM定义大数据的3个特征：IDC定义大数据的四大特征(4结构化数据：存在于关系数据库中，多年来一直主导着IT应用；半结构化数据：包括电子邮件、文字处理文件以及大量发布在网络上的新闻等，以内容为基础，这也是谷歌和百度存在的理由；非结构化数据：广泛存在于社交网络、物联网、电子商务之中。伴随着社交网络、移动计算和传感器等新技术不断产生，有报告称，超过80%的数据属于非结构化数据。更广的信息范围新的数据与分析类型实时信息来自新技术的数据非传统形式的媒体大数据量社交媒体数据最新流行词*2012年IBM对95个国家中26个行业的1144名专业人员调查结果大数据的范围结构化数据：存在于关系数据库中，多年来一直主导着IT应用；更描述技术海量数据存储技术分布式文件系统实时数据处理技术StreamingData流计算引擎数据分析技术TextAnalyticsEngineVisualDataModeling自然语言处理、文本情感分析、机器学习、聚类关联、数据模型数据高速传输技术服务器/存储间高速通信InfiniBandHadoop，x86/MPPMapReduce搜索技术文本检索、智能搜索、实时搜索EnterpriseSearch大数据涉及的关键技术描述技术海量数据存储技术分布式文件系统实时数据处理技术Str能源与公用事业智能电表分析资产管理零售全渠道营销实时促销司法执法多点监测网络安全检测交通运输物流优化缓解交通拥堵金融服务业欺诈检测360°客户视图数字媒体

实时广告定位属性分析健康与生命科学病历分析疾病监测通讯客户资料货币化网络分析&优化大数据已应用于各行各业能源与公用事业零售司法执法交通运输金融服务业数字媒体健康目录7

大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345目录7

大数据概述项目背景项目目标与内容大数据应用场景项目流全球进入大数据时代，数据呈现爆炸式增长趋势随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长信息处理技术的发展使数据价值能够被更好地挖掘和利用传统的数据处理技术已经无法应对新的挑战来源：IDC数字宇宙研究报告，2011.11据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB（35,000,000PB），为2009年（0.8ZB）的44倍全球进入大数据时代，数据呈现爆炸式增长趋势随着互联网/移动互各国政府高度重视大数据，上升到国家战略高度美国：奥巴马政府3.29宣布“BigDataResearchandDevelopmentInitiative”

将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论中国：工信部物联网十二五规划信息处理技术作为4项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等各国政府高度重视大数据，上升到国家战略高度美国：奥巴马政府3贵州省开放政府大数据实验

2014年6月,贵州省政府出资1亿元,成立云上贵州大数据产业发展有限公司,专门运营政府搭建的云平台，并展开招标，服务器选择了浪潮,机房选择了中国联通,操作系统选择了阿里。在该平台中，基础设施层、系统平台层需要政府主导去做；应用层、增值服务层、智能终端层则应该更多地交给市场。

2015年4月14日，全国首个大数据交易所——贵阳大数据交易所成立，用于政府、企业之间的数据交易。秉承国有控股、混合所有制、百分百市场化运营管理的体制，不同品种的数据根据品种、时间跨度等实行不同的价格机制。贵州省开放政府大数据实验2014年6月,贵州省政府出资12015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会（简称数博会）于5月26日在贵阳拉开帷幕，阿里巴巴、惠普、富士康等知名企业参展。李克强总理在贺信中说：“数据是基础性资源，也是重要的生产力”，“中国是人口大国和信息应用大国，拥有海量数据资源，发展大数据产业空间无限”在过去一年里，贵阳奇迹般地创造出五个“中国第一”—中国首个大数据战略重点实验室、中国首个全域公共免费WIFI城市、中国首个块上集聚的大数据公共平台、中国首个政府数据开放示范城市和中国首个大数据交易所。贵阳市已经成为国内大数据应用的先头兵2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会（简12水电工程行业遇到大数据水电行业数据特征水电勘探设计工程数据的类型众多，不同类型数据包含的信息各具特点，综合各种数据所包含的信息才能得出工程项目真实的地质状况。水电行业面临的大数据问题水电工程行业企业对大数据产品和解决方案的需求集中体现在：可扩展存储、高带宽、可处理不同格式数据的分析方案。12水电工程行业遇到大数据水电行业数据特征水电勘探设计工程数

对贵阳院拥有的数据，进行全面深入、实时的分析和应用，是贵阳院应对新形势下的挑战，避免沦为大量数据，而不是大数据的的关键大数据为贵阳院带来新的机遇对数据的有效利用日益成为贵阳院进一步发展的关键知识共享：把项目的数据（建成、坝高、材料、建设工期、造价等）、经验、知识全部共享，提高知识资源利用价值。业务创新：对市场保持足够的敏锐度，及时捕捉市场空白，并迅速作出响应决策支持：多角度、多层次、多方面、多维度展示工程过程产生数据，为项目决策、生产经营提供决策支持。大数据将成为贵阳院发展的核心驱动引擎对贵阳院拥有的数据，进行全面深入、实时的分析和应用，目录14

大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345目录14

大数据概述项目背景项目目标与内容大数据应用场景项目项目目标与工作范围项目目标在调研大数据建设外部经验和内部需求的基础，构建水电工程大数据框架，梳理贵阳院大数据应用场景，全面分析贵阳院大数据应用的可行性，为贵阳院水电工程信息一体化建设提供新思路。

工作范围项目范围如下：1、调研大数据在其他行业的最佳实践和建设案例，分析贵阳院对大数据高级应用的需求，总结水电行业大数据应用的特征和要求，形成贵阳院大数据高级应用需求分析报告；2、研究适合水电企业的水电工程大数据框架，全面支撑大数据应用；梳理贵阳院大数据高级应用场景，并选择典型场景进行分析。15

项目目标与工作范围项目目标15

大数据平台目标架构及定位准实时采集批量采集Hadoop平台MPP，基于X86平台主数据仓库分布式数据库基于X86平台数据采集（云化ETL，流数据处理、爬虫）数据层获取层能力层精细化营销智能运营物联网应用应用商店客服应用基础分析能力数据挖掘能力实时分析能力自助分析能力多维分析能力数据共享能力指标应用报表应用主题分析专题分析互联网CATIA半结构化、非结构化数据OAERP财务人力项目管理业务平台结构化数据数据源分布式文件系统HDFS记录明细数据HBaseM/RHive记录汇总数据数据统一服务和开放SQL、FTP、WS、MDX、API、……分布式数据库（MPP）：存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。主数据仓库（与MPP合设）：存储指标数据、KPI数据和高度汇总数据。Hadoop云平台：负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。数据开放接口：向大数据应用方提供大数据平台的能力。数据采集（ETL）：负责源数据的采集、清洗、转换和加载包括：1、把原始数据加载到Hadoop平台。2、把加工后的数据加载分布式数据库和主数据仓库应用层大数据平台目标架构及定位准实时采集批量采集Hadoop平台M目录17

大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法12345目录17

大数据概述项目背景项目目标与内容大数据应用场景项目2与大数据应用相关-BIM技术政策推进：

2011年住建部《2011年~2015年建筑业信息化发展纲要》2014年住建部《关于推进建筑业发展和改革的若干意见》2014年上海市《关于在本市推进建筑信息模型技术应用的指导意见》三维设计可视化，方便多方沟通便于有限元、CFD等数值模拟计算多专业协同保空间协调防冲突灵活的设计变更可在设计阶段便捷考虑经济性2与大数据应用相关-BIM技术政策推进：三维设计可视化，方便建筑性能分析

日照分析、能耗模拟、声学计算、视线模拟、碰撞检查

日照模拟自然通风系统模拟热能环境模拟受风作用的流体力学模拟大数据与BIM结合-仿真计算除建模进行结构计算分析外：建筑性能分析日照模拟自然通风系统模拟热能环境模拟受风作用的流大数据与BIM结合-项目管理精细化

建筑信息模型施工模拟工程数量资源消耗工程造价变更设计物资采购验工计价限额领料大数据与BIM结合-项目管理精细化建筑信息模型施工模拟工程与大数据应用相关-GIS技术一个GIS项目包括环节：

定义一个问题获取软件或硬件采集与获取数据建立数据库实施分析解释和展示结果GIS是一种特定的空间信息系统：在计算机硬、软件系统支持下，对整个或部分地球表层（包括大气层和地下）空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述。与大数据应用相关-GIS技术一个GIS项目包括环节：GIS是大数据和3DGIS融合，实现车站和线路的一体化设计以及施工模拟、监测大数据与GIS结合-设计施工一体化大数据和3DGIS融合，实现车站和线路的一体化设计以及施工

大量的不相关信息(多角度反映事物特性)深度复杂分析（机器学习、人工智能等）对未来趋势和模式的可预测分析(数学、力学模型)数据价值密度较低（绝大部分数据无应用价值）数据挖掘：对大数据通过算法搜索隐藏于其中有用的信息，与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统、模式识别等方法来实现预期目标。与大数据应用相关-知识管理大量的不相关信息(多角度反映事物特性)数据挖掘：对大数据通土压力大数据与知识管理结合-建模分析、协同共享土压力大数据与知识管理结合-建模分析、协同共享建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）非结构化数据数据获取结构化数据分析应用数据集市数据集市EDW结构化元数据Hadoop建立非结构化信息的标签、摘要、索引、日志、内容等提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合ODSSQL与大数据应用相关-BI技术非结构化数据数据获取分析应用数据集市数据集市EDW结构化Ha关系数据库引入对XML的支持仍然无法有效处理ETL主要关键技术

自然语言理解，文本分词、语义分析，情感分析或者大规模计算技术

非结构化数据索引技术，如搜索引擎倒排索引技术

多媒体处理，包括图像识别，语音识别，多媒体索引等技术

……大数据与BI结合-实时数据分析关系数据库引入对XML的支持仍然无法有效处理ETL主要关实时数据分析-经营风险控制27

实时数据分析-经营风险控制27

实时数据分析-客户360分析28

实时数据分析-客户360分析28

实时数据分析-运营状态监测利用大数据探索实现大坝、发电等基础设施（设备）运行状态信息库的充实和监测管理的准确。水电行业需要储备规