大数据技术与应用

1、大数据技术与应用Emerging Technologieszheng.w.wang34届美洲杯冠军团队背后的Oracle技术从1:8 到9:8 的逆转背后决定性因素数据决定船体优化单个船体安置400个传感器随时对3000个参数做实时分析每秒30000个数据点每天200G数据（4G 2007)专业应用程序移动装置做实时行动调整支持移动的Java应用架构云计算的处理模式Exadata支持和大数据及BI实时分析3Copyright © 2013, Oracle and/or its affiliates.s.Agenda§ 面向行业的典型应用场景行政监管大数据设备监管大数据（GP

2、S/北斗/城市交通）科研大数据（大数据/气象/水利/海洋） 智慧城市/城市大数据运营中心 烟草大数据4Copyright © 2013, Oracle and/or its affiliates.s.Oracle大数据解决方案概览当前大数据使用场景示例这种数据的主要不同之处是什么？数据量、高速度、多样性汽车报告位置和问题的汽车传感器教育与科研实验传感器分析高科技/工业质量保修分析医疗卫生患者传感器、监视、EHR 医护质量临床试验组观交社交人职匹配这些特点给您现有架构带来石油与天然气钻探传感器分析和国防威胁分析 社交监视、分析5Copyright © 2013, Oracle

3、 and/or its affiliates.s.打造您的大数据架构逐步扩展现有架构，满足大数据要求：§ 第 1 步：更深入地分析当前数据§ 第 2 步：§ 第 3 步：数据多样性和数据量进行设计高数据速度设计§ 第 4 步：发现新模式业务价值提高6Copyright © 2013, Oracle and/or its affiliates.s.第 0 步：数据仓库基础高密度数据Oracle数据库 信息板 即席Oracle BI企业版7Copyright © 2013, Oracle and/or its affiliates.s.决

4、策分析组织获取第 1 步：深入分析当前数据高密度数据Oracle数据库 信息板 即席Oracle BI企业版 流失Spatial and Graph高级分析8Copyright © 2013, Oracle and/or its affiliates.s.决策分析组织获取第 2 步：数据多样性和数据量进行设计高密度数据Oracle数据库 信息板 即席Oracle BI企业版Hadoop低密度批量数据 流失聚合预分析 关系 评论9Copyright © 2013, Oracle and/or its affiliates.s.决策分析组织获取第 3 步：高数据速度设计高密度数

5、据Oracle数据库 信息板 即席Oracle BI企业版Hadoop低密度批量数据 流失Spatial and Graph聚合预分析 关系 评论高级分析流数据实时决策处理 推荐 操作10Copyright © 2013, Oracle and/or its affiliates.s.决策分析组织获取操作建模第 4 步：发现新信息Endeca Information Discovery高密度数据Oracle数据库 信息板 即席Oracle BI企业版Hadoop低密度批量数据 流失Spatial and Graph聚合预分析 关系 评论高级分析流数据实时决策处理 推荐 操作 发现11

6、Copyright © 2013, Oracle and/or its affiliates.s.决策分析组织获取操作建模Oracle 的大数据解决方案12Copyright © 2013, Oracle and/or its affiliates.s.SQLOracle ExadataOracle Advanced AnalyticsOracle Big Data ConnectorsOracle Big Data ApplianceCloudera HadoopOracle No SQLDatabaseOracle ExalyticsOracle Business An

7、alytics FoundationOracle Big Data Appliance高性价比的高性能 Hadoop 一体机§最高性能的预优化 Hadoop 一体机 同类中最佳的优化软件集成§到 Exadata 的超快连接能力: 15TB/Hour 分区与区；与离线数据装载§预先集成优化的软件系统 Linux, Java VM, Cloudera Distribution of Hadoop Oracle R Distribution & NoSQL Database§从小配置起步逐步扩展，处理能力与同步提升13Copyright ©

8、2013, Oracle and/or its affiliates.s.Big Data Appliance X4-233%More storage14Copyright © 2013, Oracle and/or its affiliates.s. 软件部分 Oracle Linux / Oracle JDK Cloudera Hadoop Distribution Cloudera Manager Cloudera Impala, Search, Navigator,HBase & BDR Oracle NoSQL CommuEdition Open-source R

9、distribution Oracle Big Data Connector ODI Adapter for Hadoop Oracle Loader for Hadoop Oracle Direct Connector for HDFS Oracle R Conenctor for Hadoop 硬件部分 18 台数据服务器 每台2 CPUs * 8核 每台64 GB内存(可扩展至512GB) 每台12块4TB SAS盘 部分 40Gb InfiniBand 10Gb 以太网Raw Storage: 864TCore Count:288核Mem Count: 1152G (可扩展至9612)

10、Big Data ApplianceStarter Rack 作为起始的大数据机版本包含6个节点的配置In-Rack Expansion 在本机加以扩展，增多6个节点Full Rack 提供了的选项的能力及扩展15Copyright © 2013, Oracle and/or its affiliates.s.大数据机性能比较16Copyright © 2013, Oracle and/or its affiliates.s.时间（小时）时间（小时）标记和文本文档的速度比 30 节点Hadoop 集群快 2.5 倍1050大数据机基于云的Hadoop处理大批量转换作业的速度

11、比定制的20 节点 Hadoop 集群快 6 倍1050大数据机Hadoop 集群Oracle 大数据机优势最优性能l 在硬件能力，端到端技术堆栈的整体最稳定平台l 全面整合测试的集成化版本，保证长期稳定运行优化，使应用效率最高，计算分布l 集成最新的CDH开发的补丁，并和ORACLE整体技术堆栈结合l 保证各个软件组件的一致性，使应用顺滑运行更均匀l 出厂化的最优参数配置，避免系统集成测试中大量冗余工作最易管理最强功能l 提供了大数据到传统平台的无缝迁移工具l 提供了业界领先的NOSQL解决方案l 提供了业界领先的高级分析功能l 提供业界领先的集成化管理工具，避免开源版本管理的问题l 提供各

12、种方式的系统异常功能17Copyright © 2013, Oracle and/or its affiliates.s.NoSQL 与关系型数据库18Copyright © 2013, Oracle and/or its affiliates.s.NoSQL DB 商业价值行 业案 例商 业 价 值增加市场份额 提升客户忠诚度提高整体收入 降低、保险、发卡、风险评估的实时分析/新金融股票等投资组合趋势分析诊疗质量加快诊疗速度医疗共享电子及医疗，帮助快速故障、失效综合分析优化设计、/专利检索降低保修成本加快问题解决高科技智能设备全球，位置服务降低工程事故风险优化勘探过程能源

13、勘探、钻井等传感器阵列数据集中分析投放商品评分、排名提升社交用户忠诚度体验互联网We/b2.0社交自动匹配向目标用户提供有性的商品与服务搜索结果优化智能城市信息集成更好地对外提供公共服务分析准确预判安全威胁/天气、地理、水电煤等公共数据收集、研究公共安全信息集中处理、智能分析公用事业创造准确评估、交叉销售商机效用收视率统计、热点信息统计、分析基于用户位置信息的精确促销促进客户顺应客户热情行为习惯零售社交行为分析19Co常见NoSQL比较20Copyright © 2013, Oracle and/or its affiliates.s.CouchDBMongoDBRedisHBase

14、CassandraOracle NoSQL是否开源开源开源开源开源开源社区/商业类型文档型文档型键值对列式键值对键值对编写语言ErlangC+C/C+JavaJavaJava结构P2P主/辅主/辅主/辅P2P主/辅一致性不保证不保证不保证不保证不保证可配置的事务一致性特点读比写快磁盘空间占用大内存占用太高读写均衡写比读快高速读写，务要求适用场景主要适用于积累性的、并且较少改变数据的应用适用于动态主要适用数据集数据时常变化的应用适用于对读写性能要求不是太高的场合适用于写入多于的场合企业级NoSQLCAPAPCPCPCPAPCP和AP流获取组织分析决策Oracle Exalytics 揭开神秘面纱

15、适用于 Exalytics 的TimesTen1 TB RAM40 个处理内核高速联网Essbase自适应内存工具内存中分析软件内存中分析硬件Oracle BI Foundation Suite该内容参考，不对任何特性或功能的开发、发布和时间安排的承诺。21Copyright © 2013, Oracle and/or its affiliates.s.Oracle Advanced AnalyticsOracle Data Mining12 套算法使用情况数据极致性能专为数据科学家设计的 GUI22Copyright © 2013, Oracle and/or its a

16、ffiliates.s.决策分析组织获取使用 R 引擎进行大数据分析Oracle Enterprise R原生 R MapReduce原生 R HDFS无需 R 用户学习其他 API 或语言无需管理员学习 R 即可在生产环境中调度 R Map Reduce模型更高的效率更快的速度、可扩展23Copyright © 2013, Oracle and/or its affiliates.s.Oracle ExadataR 引擎Oracle 大数据机R 引擎ORCHMapReduce 节点客户端主机R 引擎ORCHHDFS分布式文件系统Hadoop 与 Oracle 数据库相集成Oracl

17、e 大数据连接器§ Oracle Loader for Hadoop§ Oracle SQL Connector for Hadoop Distributed File System (HDFS)§ Oracle Data Integrator Application Adapter for Hadoop§ Oracle R Connector for Hadoop24Copyright © 2013, Oracle and/or its affiliates.s.将数据加载至 Oracle 数据库Oracle Loader for Hadoo

18、p预处理和加载快速高效和离线模式25Copyright © 2013, Oracle and/or its affiliates.s.MAPREDUCEMAPSHUFFLEREDUCEMAP/SORTMAPREDUCEMAPREDUCESHUFFLEMAP/SORTREDUCE从 Oracle 数据库直接Oracle SQLConnector for HDFS对 HDFS 的 SQL外部表视图数据或导入Native Oracle LoaderInterface并行并自动的负载平衡ni26Copyright © 2013, Oracle and/or its affiliat

19、es.s.Oracle 数据库SQL外部表DCHHDFSBandD客户端HDFSInfi快数据实时分析Fast Data毫秒Big Data分钟合并快速的数据流计算与MapReduce的输出加深分析结果27Copyright © 2013, Oracle and/or its affiliates.s.Historical depth: shallowHistorical depth: deep例如：交通摄像头监测， 以确保给定的车牌没有被使用在多个车辆上例如：分析交通模式和城市的拥堵时间Oracle驱动架构(EDA)解决方案轻量级, 低延时, 高并发吞吐,基于Java技术的开发部署

20、平台Oracle 复杂处理高性能 & 高可扩展性 丰富的数据流 From any source: data streams, web services, Java, Database 适配器 Translate external events/data into java objects for processing 逻辑处理器 Set of queries applied to the streams 侦 Handle triggers raisedby the processors Implemented as JavaBean or Map数据聚合, 关联, 过滤不间断的处理延迟

21、毫秒级(Avg.)输入数据流1,000,000+ 消息/秒采用JAVA描述的业务结果对象28Copyright © 2013, Oracle and/or its affiliates.s.In-Memory, Continuous Queries (CQL)Extensible and Configurable Event Processors处理输出过滤 符合特定的条件新的流过滤，例如股票价格>关联和BABOE NGD77 5754 57580020080305 0 03 02 78DODU OND4 575300020080305 0 03 04 2$22AAA COA

22、NCD20 2500020080305 0 03 0 55CACA ER I ARD22 560020080305 0 03 03 46IES200 0305 0 03 04 2CDUOONMPLEDX Q4 57 UE30R0DOCACA ER I ARD22 560020080305 0 03 03 46 滚动的，基于时间窗口的指标，例如在最后一小时的股票笔数模式匹配平均DODU OND4 575300020080305 0 03 04 2AAA COA NCD20 2500020080305 0 03 0 55AXAMER EX RESS COD45 87550020080305 0 0

23、3 02 0BABOE NGD77 57580020080305 0 03 02 78 通知检测到的模式，如价格变化,A、B和C在15分钟的窗口发生 在内存（非数据库）中运行的连续数据 强大和潜在无限的可扩展性数据容器29Copyright © 2013, Oracle and/or its affiliates.s.实时地理数据流分析空间地理分析：打造强大的物联网地理分析Oracle SOA套件集成Oracle数据库的空间分析和Oracle 处理技术Oracle Spatial基于位置的业务应用管理所有的地理空间数据，包括矢量和栅格数据，拓扑和模型Oracle Event Proc

24、essing处理实时地理数据流（GPS）提供指定地理资产的地理栅格分析Oracle Spatial Geographical关闭，进入和的关系透明地集成与SOA套件技术来启动基于地理栅格触发器的业务流程或企业服务Bus Stop AlertsSpatial Data Cartridge30Copyright © 2013, Oracle and/or its affiliates.s.为什么选择Oracle大数据体系？ 全面的大数据解决方案+众多的客户实践 BDA + Exadata + Exalytics+云应用 软硬一体预集成 软硬一体，工程化调优 全集成系统，完整机柜，插电即用

25、 Infiniband商业支持 开源软件商业支持 Hadoop 操作系统商业支持 Linux 硬件商业支持 Sun x86 品牌优势 Oracle + Cloudera31Copyright © 2013, Oracle and/or its affiliates.s.大数据 RDBMS / Sharding订单、物流、金融业务等Hadoop / NoSQL / RDBMS / Sharding推大数据通用方向Hadoop / MapReduce / In Memory海量大数据计算嫌疑人碰撞、行人、数据仓库预处理、数据统计和报表等Data Mining行为/交互大数据用户浏览、用户

26、日志、荐系统、GPS轨迹、Data Visualization计费、传感器数据等NoSQLETL RDBMSData DiscoveryNoSQL / RDBMS / Sharding高并发明细实时用户详单、账户明细、用户收藏、车牌查HadoopMDistributed File System/ NoSQL / RDBMS大数据询、LBS位置等交通、图像、气象数据、等非结构化数据处理Text / NLP / Search Engine电子、社交、分析、搜索引擎等大数据业务大数据共享大数据挖掘大数据分析大数据模型大数据打通大数据开发Big Data 技术解决方案概览大数据场景满足的业务需求常见技

27、术新的技术客户用例非结构化大文件传统NAS或海量大文件的廉价高效组织和分布式文件系统HDFS交通管理、智慧城市、者技术国土遥感数据、日志、数据、气象数据文件分布式NoSQL数据库非结构化数据和分析网页、文本、图片、数据库技术(Varchar / Lob)、网警、话单、地图瓦片等低价值系统、情报系统、业务系统的文字描述密度数据的和索引分布式NoSQL数据库巨量明细数据和数据库技术廉价并高效的巨量低价值城市行车GPS轨迹、交通营运车辆交通乘客数据、明细和解决方案住建部造价大数据分布式数据计算引擎数据库 / MPPHadoop / MapReduce综合、交通GPS轨支持巨量数据的廉价高效的计算引擎

28、迹计算、住建部造价大数据计算Exadata + Hadoop + NoSQL全结构化数据平台支持全结构大数据、数据库智慧城市、城市数据运营平台、区域医疗卫生数据中心、处理和分析新一代数据平台大数据分析挖掘技术数据库 / MPPExadata + OAA+ Hadoop + R+NoSQL支持全结构的综合数据分、住建部造价、析挖掘平台医疗卫生Exadata /DB Sharding海量高并发用户满足海量用户高实时的事数据库技术金税系统、系统日常业务务易大数据§ 新技术的痛点已有的应用系统如何利用新的分布式计算技术§ 新数据 以前没有管理和处理的数据如何使用和创造价值 行为数据

29、/社交数据/传感器数据等§ 新的数据应用 如何在传统数据/新数据/外部数据/互联网数据的大数据浪潮中发现数据的价值，创新性数据应用， 推动业务发展。§ 新的数据平台采用新的技术，为新的数据应用提供新的数据平台支撑。34Copyright © 2013, Oracle and/or its affiliates.s.§ Oracle大数据解决方案概览Agenda行政监管大数据设备监管大数据（GPS/北斗/城市交通）科研大数据（大数据/气象/水利/海洋） 智慧城市/城市大数据运营中心 烟草大数据35Copyright © 2013, Oracle

30、and/or its affiliates.s.面向行业的典型应用场景大数据行业应用契合度值得关注行业用户优先关注行业用户应用特点与大数据技术有较高的契合度， 在主客观条件上也有较高的应用可能性。纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：该位置为分析师访谈的综合印象，为定性分析， 图中位置不代表具体数值应用可能性应有特点与大数据的契合度及应用可能性综合较高High适当关注行业用户Mid两个维度暂时都不具备优势，可适当给予关注LowHighLowMid36Copyright © 2013, Ora

31、cle and/or its affiliates.s.（公共事业）医疗互联网（电子商务）电信交通能源（电力/ 石油）教育零售金融流通中国对大数据的重视和科研机构高度关注大数据各地据与正在探索大数管理和发展之间的关系各地大数据项目推出和产业园开始建立部委大数据项目启动权威聚焦大数据，大数据走入寻常生活37Copyright © 2013, Oracle and/or its affiliates.s. 2014年春节期间，频道推出“数据说春节”栏目，结合春运、年货、年夜饭等话题，通过运营商的大数据支持，将大数据以能看懂的方式，展现在千家万户的电视屏幕上，可以说是大数据技术在公共领域应

32、用的一次有益尝试。 旅游局大数据平台，交通部营运车辆联网联控系统，交通部道路运政管理信息系统都已经在进行 2013年11月19日，与阿里、等11家企业签署了大数据战略合作框架协议，共同在、开发、利用大数据方面进行合作，以推动大数据在统计中的应用，促进大数据实现大价值，使之更好地服务于。 2012年10月，北京市各政务部门共同参与推出了北京政务数据网。上海智慧岛数据产业园、秦皇岛开发区数据产业基地、中国国际电子商务中心重庆数据产业园等一批数据产业园区， 2012年12月，陕西启动建设“中国首个专业大数据产业园区”沣西新城大数据产业园。 2012年12月，省启动了省实施大数据战略工作方案。 201

33、3年上海市科委发布了推进大数据研究与发展的三年行动计划；2013年7月，重庆市发布重庆市大数据行动计划的通知。浙江省交通厅宣布，将大数据引入交通管理，助力道路治堵； 2012年12月，发改委数据分析软件开发和服务列入专项指南；2013年科技部将大数据列入973基础研究计划；2013年度自然基金指南中，管理学部、信息学部和数理学部将大数据列入其中。北京成立“中关村大数据”。我国大数据的背景和关注点信息融合公开是目前大数据环境下的一种趋势自2002年信息化小组关于我国电子政务建设指导意见发布以来，许多部门开展大规模的电子政务建设。目前，绝大多数部委和省级部门的业务都有数据库支撑，核心业务数据库覆盖

34、率超过80%。部建成了覆盖13亿人口的国§2013年，上海市科委发布的上海推进大数据研究与发展三年行动计划（20132015年），其 重点任务包括技术攻关和 研制，以及应用推进和模式创新：1、公共平台建设：重点选取医疗卫生、食品安全、终身教育、智慧交通、公共安全、科技服务等具有大数据基础家人口数据库。工商建成了企业法人数据库，和编制办公室初步建成了团体和事业信息库，四的领域，探索交互共享、的服务模式，建设大数据级国土主管部门积累了近6000 TB的数据，建成公共，促进大数据技术成果惠及民众。了统计信息库。此外，金融、税务、质检、社保、教育等领域也都建成了一批信息库。2、行业应用推进：

35、 重点选取金融 、互联网、数字生活、公共设施、 和电力等具有迫切需求的行业，开展大数据行业应用研发，探索“数据、平台、应用、终端” 四位一体的新型商业模式，促进产业发展但是在各级层面上，、局、财政厅、税务局、§局、电力公司等部门数据处于分割状态，形成了一个个“信息孤岛”。2013年重庆市正式重庆市大数据行动计划：中国在2007年制定了信息公开条例。但是最近中§重庆将打造2至3个大数据产业示范园区，培育10家龙国互联网信息中心发布的报告显示，各级门户提供的信息类别趋同，80%以上提供的是部门、政策文件、职能、业务5类信息。消息类信息的更新率是36%，其他信息的更新率不足30%

36、，有超过40%的每半年才更新一次。头企业、500家大数据应用和服务企业，引进和培养1000名大数据产业高端，形成500亿元大数据产业规模，建成 国内重要的大数据产业基地。同时，通过引进行业领先企业 与培育本地企业相结合的模式，完善大数据产业链，推进大数据技术在电子商务、工业、交通物流、医疗卫生、食品药品安全、金融、传媒等行业的全面应用。、“真正有价值的企业运行、税收、财政收支、报关等数据，§都是长时间不更新，恰恰是这些数据才能发掘出价值，进行运行分析。”发展研究中心技术部研究员38Copyright © 2013, Oracle and/or its affiliates.

37、s.§ Oracle大数据解决方案概览§ 面向行业的典型应用场景Agenda设备监管大数据（GPS/北斗/城市交通）科研大数据（大数据/气象/水利/海洋）智慧城市/城市大数据运营中心39Copyright © 2013, Oracle and/or its affiliates.s.行政监管大数据住建部大数据40Copyright © 2013, Oracle and/or its affiliates.s.住建部标定司造价大数据§ 招标乱象 有标准、无参照 高价中标、低标设计§ 公众服务获取公众服务建设造价信息失明 无法掌握

38、7;§实际造价情况制定造价指标/指数/相关性分析树立一个合理造价参考系 强制标准无法推广 标准太§ 造价机构，无法因地制宜指导和引导造价趋于合理发现市场异常造价，有效监管§ 机构服务 合理造价，更好掌握造价标准 标准掌握不全面 缺少可参考的造价依据41Copyright © 2013, Oracle and/or its affiliates.s.住建部造价大数据工程造价成果文件按最多每年收集30多万个项目每个项目23个单项工程每个单项工程5套造价数据工程造价计价依据及资讯信息文字数据图片数据每个单项工程按10个工程每个工程2500条数据每年增加约100

39、TB数据每年数据库增加约一千亿条数据每条数据1KB，交换文件2MB42Copyright © 2013, Oracle and/or its affiliates.s.每年最多增加约100TB数据业务架构及Oracle解决方案造价数据造价数据服务共享44Copyright © 2013, Oracle and/or its affiliates.s.造E价xaly数tics据可视/ 化BI/Essbase造价/数据实Ti时me分sTe析n造价成 果文件BDA造价/明细数H据ado整o理p/NoSQL造价指标预计算造价数据报表Exadata/造Or价acl数e D据B分析/挖

40、掘DW/OLAP模型该解决方案同样适用于其他机构住房城乡建设部工业和信息化部§§§§§§§§§§§国土部广电§ 行政上承担行业监管责任§ 技术上拥有大量上报数据§ 数据价值未得到很好利用§ 结构化数据为主安全监管食品药品监管税务发改委45Copyright © 2013, Oracle and/or its affiliates.s.Oracle大数据解决方案概览§ Oracle大数据 通用大数据方向 BD or DB?战略A

41、genda面向行业的典型销售场景行政监管大数据§科研大数据（大数据/气象/水利/海洋）智慧城市/城市大数据运营中心46Copyright © 2013, Oracle and/or its affiliates.s.设备监管大数据（GPS/北斗/城市交通）交通部重点营运车辆联网联控§ 虽然交通事故呈下降的趋势，道路安全形势依然严峻。、旅游包车和长途§ 两客一危重点营运车辆客车）（品§ 各地车辆动态系统相对，缺少统一标准，无法实现跨区管理和数据共享。§ 交通-部道路司全面实施驾驶员素质教育工程；强化严把企业安全生产责任主体；车辆技术关；

42、-加强对客运站的安全管理；-加强重点时段和重点地区的安全监管；加强重点营运车辆动态监管，实现联网联控。-47Copyright © 2013, Oracle and/or its affiliates.s.交通部重点营运车辆联网联控2千万+营运车辆 ，入网仅300万+§§ 每隔15秒GPS数据一次§ 每天8亿条数据§ 每月3T数据量重点营运车辆联网联控系统架构功能层应用服务层空间数据属性数据静态信息数据库动态信息数据库数据服务层Oracle10g数据库49Copyright © 2013, Oracle and/or its affi

43、liates.s.车载技术RFID技术Oracle10g引擎GIS应用组件通信模块ARCSDE引擎其他组件车辆信息管理驾驶员信息管理品信息管理车辆决策支持模块信息发布模块交通部重点营运车辆联网联控二期50Copyrig交通部重点营运车辆联网联控Oracle解决方案Oracle Exadata (OAA)Oracle Exadata Oracle Spatial51CopyrigOracle Service Bus Oracle Event Process Oracle Data Integrator Oracle GoldenGateOracle Big Data Appliance (MR/

44、R)该解决方案同样适用于其他§ 交通部（陆路/水运/海运）机构§ 铁路局§ 行政上承担行业监管责任§ 拥有巨量的设备设施交管局（城市交通）§§ 北斗§ 教育部（校车）§ 水利水文监测§ § 产生巨量的数据§ 实时性要求比较高52Copyright © 2013, Oracle and/or its affiliates.s.Oracle大数据解决方案概览§§面向行业的典型应用场景行政监管大数据设备监管大数据（GPS/北斗/城市交通）Agenda大数据智慧城

45、市/城市大数据运营中心53Copyright © 2013, Oracle and/or its affiliates.s.科研大数据（/气象/水利/海洋）行业大数据背景局的主要职能（部分）（二）组织编制防震减灾；拟定破坏性行业在信息化方面一直走在前列，建立了在世界上先进§应急预案；建立破坏性应急预案备案制度；指导灾害和预防；研究提出的以震观测为基础的数字地灾区重建防震的意见。（三）制定烈度区划图或动参数区划图；管理建设工程和。可能发生严重的建设工程的安全性评价工作，审定安全性评价结果，确定抗震设防要求。防震减灾信息化实践，已经使§（六）管理提出织实施。（七）承担

46、监测预报工作；制定监测预报方案并组织实施；我们代来临和感觉到大数据时趋势预报意见，确定重点监视防御区，报批准后组抗震救灾指挥机构的办事机构职责；对震情和灾情进我国防震减灾信息化，明行速报；组织灾害与损失评估；向提出对国内外发生破坏性§作出快速反应的措施建议。确提出数据的战略地位，（十）管理、监督事业费、基本建设经费和专项资金的使用。海量数据的冲击，建设数§ 根据大数据的特点和学的进展，已经有人提出了据体系，数据的用、挖掘保存、利学由定量学或数字学向应急学发展（）§ 还有人提出实时学、信息学等等54Copyright © 2013, Oracle and/

47、or its affiliates.s.大数据向传感器的或称为观测系统物联网方向发展产生大数据和自组织智能网相新型地震观测传感器自组织智能网智能网状网网结大数据合 络云存贮云计算数据中心数据挖掘、与服务55Copyright © 2013, Oracle and/or its affiliates.s.§ 信息基础设施的架构必将 ；数十万、上百万的节点和传感器必将是 信息基础设施向网状网，智能网，传感器网、物联网方向发展；§ 的观测、应急、预防生产工作数据体系和地震数据 保存共享体系将是大数据数据体系的两大支柱。目前观测 树状网（三级架构）大数据的数据中心合理，及时响应，数据共享适应大数据的数据资支持海量，保证数据共享大数据挖掘和服务源中心和基础设施新一代数据库或数据中心。通过大数据的特点：涉及的数据量数据挖掘，来满足 高级别的数据分析需求，例如 应急、 结构动态分析处理它能构建百台级别的分布式集群来管理大 请求多，特别类似电子商务的亚马逊、淘宝，和传统的 数据共享模式完全不一样。PB级别的海量数据。它能极快地导入海量的数据，并极快地进行相关的 ， 它是一个软件和硬件的集成体系，提供云 和云计算，保证数据高速实时处理和挖掘，促进科学的新发现。大数