大数据在水电工程行业的应用v1.1.pptx

2015年8月 赛迪顾问股份有限公司 中国电建贵阳勘测设计研究院有限公司大数据在水电工程行业的应用研究 目录 1 大数据概念的提出 最早提出 大数据 时代已经到来的机构是全球知名咨询公司麦肯锡 2011年 麦肯锡出版了研究报告 大数据 创新 竞争和生产力的下一个新领域 产学研界对 大数据 的关注达到历史性新高度 麦肯锡在研究报告中指出 数据已经渗透到每一个行业和业务职能领域 逐渐成为重要的生产因素 而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来 互联网 移动互联网 物联网 云计算的快速兴起以及移动智能终端的快速普及 正使得当前人类社会的数据增长比以往任何一个时期都要快 越来越大 越来越快 越来越复杂 数据特性的演变和发展 催生了一个全新的概念 大数据 IBM定义大数据的3个特征 数量 种类和速度 IDC定义大数据的四大特征 4V 海量的数据规模 Volume 多样的数据类型 Variety 快速的数据流转和动态的数据体系 Velocity 巨大的数据价值和低密度 Value Mckinsey定义 量极大 无法用常规数据软件进行获取 存储 管理和分析的数据集 1P 106G1Z 1012G 大数据的定义 结构化数据 存在于关系数据库中 多年来一直主导着IT应用 半结构化数据 包括电子邮件 文字处理文件以及大量发布在网络上的新闻等 以内容为基础 这也是谷歌和百度存在的理由 非结构化数据 广泛存在于社交网络 物联网 电子商务之中 伴随着社交网络 移动计算和传感器等新技术不断产生 有报告称 超过80 的数据属于非结构化数据 大数据的范围 描述 技术 海量数据存储技术 分布式文件系统 实时数据处理技术 StreamingData 流计算引擎 数据分析技术 TextAnalyticsEngineVisualDataModeling 自然语言处理 文本情感分析 机器学习 聚类关联 数据模型 数据高速传输技术 服务器 存储间高速通信 InfiniBand Hadoop x86 MPPMapReduce 搜索技术 文本检索 智能搜索 实时搜索 EnterpriseSearch 大数据涉及的关键技术 能源与公用事业智能电表分析资产管理 零售全渠道营销实时促销 司法执法多点监测网络安全检测 交通运输物流优化缓解交通拥堵 金融服务业欺诈检测360 客户视图 数字媒体实时广告定位属性分析 健康与生命科学病历分析疾病监测 通讯客户资料货币化网络分析 优化 大数据已应用于各行各业 目录 7 全球进入大数据时代 数据呈现爆炸式增长趋势 随着互联网 移动互联网 数码设备 物联网 传感器等技术的发展 全球数据生产在高速增长信息处理技术的发展使数据价值能够被更好地挖掘和利用传统的数据处理技术已经无法应对新的挑战 来源 IDC数字宇宙研究报告 2011 11 据IDC预测 未来10年全球数据量将以40 的速度增长 2020年全球数据量将达到35ZB 35 000 000PB 为2009年 0 8ZB 的44倍 各国政府高度重视大数据 上升到国家战略高度 美国 奥巴马政府3 29宣布 BigDataResearchandDevelopmentInitiative 将投入超过2亿美元推动大数据提取 存储 分析 共享 可视化等领域的研究 并将其与历史上对超级计算和互联网的投资相提并论 中国 工信部物联网十二五规划信息处理技术作为4项关键技术创新工程之一被提出包括海量数据存储 数据挖掘等 贵州省开放政府大数据实验 2014年6月 贵州省政府出资1亿元 成立云上贵州大数据产业发展有限公司 专门运营政府搭建的云平台 并展开招标 服务器选择了浪潮 机房选择了中国联通 操作系统选择了阿里 在该平台中 基础设施层 系统平台层需要政府主导去做 应用层 增值服务层 智能终端层则应该更多地交给市场 2015年4月14日 全国首个大数据交易所 贵阳大数据交易所成立 用于政府 企业之间的数据交易 秉承国有控股 混合所有制 百分百市场化运营管理的体制 不同品种的数据根据品种 时间跨度等实行不同的价格机制 2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会 简称数博会 于5月26日在贵阳拉开帷幕 阿里巴巴 惠普 富士康等知名企业参展 李克强总理在贺信中说 数据是基础性资源 也是重要的生产力 中国是人口大国和信息应用大国 拥有海量数据资源 发展大数据产业空间无限 在过去一年里 贵阳奇迹般地创造出五个 中国第一 中国首个大数据战略重点实验室 中国首个全域公共免费WIFI城市 中国首个块上集聚的大数据公共平台 中国首个政府数据开放示范城市和中国首个大数据交易所 贵阳市已经成为国内大数据应用的先头兵 12 水电工程行业遇到大数据 水电行业数据特征 水电勘探设计工程数据的类型众多 不同类型数据包含的信息各具特点 综合各种数据所包含的信息才能得出工程项目真实的地质状况 水电行业面临的大数据问题 水电工程行业企业对大数据产品和解决方案的需求集中体现在 可扩展存储 高带宽 可处理不同格式数据的分析方案 大数据为贵阳院带来新的机遇 对数据的有效利用日益成为贵阳院进一步发展的关键知识共享 把项目的数据 建成 坝高 材料 建设工期 造价等 经验 知识全部共享 提高知识资源利用价值 业务创新 对市场保持足够的敏锐度 及时捕捉市场空白 并迅速作出响应决策支持 多角度 多层次 多方面 多维度展示工程过程产生数据 为项目决策 生产经营提供决策支持 大数据将成为贵阳院发展的核心驱动引擎 目录 14 项目目标与工作范围 项目目标在调研大数据建设外部经验和内部需求的基础 构建水电工程大数据框架 梳理贵阳院大数据应用场景 全面分析贵阳院大数据应用的可行性 为贵阳院水电工程信息一体化建设提供新思路 工作范围项目范围如下 1 调研大数据在其他行业的最佳实践和建设案例 分析贵阳院对大数据高级应用的需求 总结水电行业大数据应用的特征和要求 形成贵阳院大数据高级应用需求分析报告 2 研究适合水电企业的水电工程大数据框架 全面支撑大数据应用 梳理贵阳院大数据高级应用场景 并选择典型场景进行分析 15 大数据平台目标架构及定位 准实时采集 批量采集 Hadoop平台 MPP 基于X86平台 主数据仓库 分布式数据库 基于X86平台 数据采集 云化ETL 流数据处理 爬虫 数据层 获取层 能力层 精细化营销 智能运营 物联网应用 应用商店 客服应用 基础分析能力 数据挖掘能力 实时分析能力 自助分析能力 多维分析能力 数据共享能力 指标应用 报表应用 主题分析 专题分析 互联网 CATIA 半结构化 非结构化数据 OA ERP 财务 人力 项目管理 业务平台 结构化数据 数据源 分布式文件系统HDFS 记录明细数据 HBase M R Hive 记录汇总数据 数据统一服务和开放SQL FTP WS MDX API 分布式数据库 MPP 存储加工 关联 汇总后的业务数据 并提供分布式计算 支撑数据深度分析和数据挖掘能力 向主数据仓库输出KPI和高度汇总数据 主数据仓库 与MPP合设 存储指标数据 KPI数据和高度汇总数据 Hadoop云平台 负责存储海量的流量话单数据 提供并行的计算和非结构化数据的处理能力 实现低成本的存储和低时延 高并发的查询能力 数据开放接口 向大数据应用方提供大数据平台的能力 数据采集 ETL 负责源数据的采集 清洗 转换和加载包括 1 把原始数据加载到Hadoop平台 2 把加工后的数据加载分布式数据库和主数据仓库 应用层 目录 17 2 与大数据应用相关 BIM技术 政策推进 2011年住建部 2011年 2015年建筑业信息化发展纲要 2014年住建部 关于推进建筑业发展和改革的若干意见 2014年上海市 关于在本市推进建筑信息模型技术应用的指导意见 三维设计可视化 方便多方沟通便于有限元 CFD等数值模拟计算多专业协同保空间协调防冲突灵活的设计变更可在设计阶段便捷考虑经济性 建筑性能分析日照分析 能耗模拟 声学计算 视线模拟 碰撞检查 日照模拟 自然通风系统模拟 热能环境模拟 受风作用的流体力学模拟 大数据与BIM结合 仿真计算 除建模进行结构计算分析外 大数据与BIM结合 项目管理精细化 建筑信息模型 施工模拟 工程数量 资源消耗 工程造价 变更设计 物资采购 验工计价 限额领料 与大数据应用相关 GIS技术 一个GIS项目包括环节 定义一个问题获取软件或硬件采集与获取数据建立数据库实施分析解释和展示结果 GIS是一种特定的空间信息系统 在计算机硬 软件系统支持下 对整个或部分地球表层 包括大气层和地下 空间中的有关地理分布数据进行采集 储存 管理 运算 分析 显示和描述 大数据和3DGIS融合 实现车站和线路的一体化设计以及施工模拟 监测 大数据与GIS结合 设计施工一体化 大量的不相关信息 多角度反映事物特性 深度复杂分析 机器学习 人工智能等 对未来趋势和模式的可预测分析 数学 力学模型 数据价值密度较低 绝大部分数据无应用价值 数据挖掘 对大数据通过算法搜索隐藏于其中有用的信息 与计算机科学有关 并通过统计 在线分析处理 情报检索 机器学习 专家系统 模式识别等方法来实现预期目标 与大数据应用相关 知识管理 土压力 大数据与知识管理结合 建模分析 协同共享 建立对非结构化数据进行SQL语法查询的支持 实现与结构化数据的集成关联 key 非结构化数据 数据获取 结构化数据 分析应用 数据集市 数据集市 EDW 结构化元数据 Hadoop 建立非结构化信息的标签 摘要 索引 日志 内容等 提取结构化的元数据信息 如类别 标引 摘要等 实现与结构化数据的整合 ODS SQL 与大数据应用相关 BI技术 关系数据库引入对XML的支持仍然无法有效处理 ETL 大数据与BI结合 实时数据分析 实时数据分析 经营风险控制 27 实时数据分析 客户360分析 28 实时数据分析 运营状态监测 利用大数据探索实现大坝 发电等基础设施 设备 运行状态信息库的充实和监测管理的准确 水电行业需要储备规模巨大的状态库 部分国家正在将大数据技术用于基础设施运营状态监控 其收集到的数据除了解基础设施的运行状态提高运维效率以外 还可用于风险预警 应急指挥等管理 物联网技术的发展使人与物的沟通成为可能 物联网对物体状态的实时反馈满足了大数据的全数据 高频采样特点 只有大数据技术才能对这些数据进行分析 中国电子信息产业发展研究院 云平台是基础设施架构云平台如何整合既有BIM GIS系统 大数