Oracle的大数据解决方案

1、Oracle 的大数据解决方案梅浩(宿迁学院10软件 2 班 20100311227)摘要：随着科技的发展，人们生活和工作中的数据日趋庞大，无论是入库，还是查询，都出现了性能的瓶颈。用户的应用和分析结果也逐渐呈整合趋势，从而对实时性和响应时间的要求越来越高。并且随着使用的模型越来越复杂，计算量呈指数级上升。传统技能SAS、SQL 等已经无法应对大数据。可见，大数据时代对人类对海量数据的驾驭能力提出前所未有的挑战。本论文便是对 Oracle 的大数据解决方案进行了探讨。关键词： Oracle 数据库大数据1 引言大数据概念越来越引人瞩目，它被用来描述和定义在当前信息爆炸时代所产生的海量数据和与其

2、相关的技术发展与创新。 如何管理这些迅速膨胀的海量数据， 也成为每个数据库厂商必须面对的问题。2 何谓大数据大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、 管理、 处理、并整理成为帮助企业经营决策更积极目的的资讯。对于“大数据”，有些研究机构给出了这样的定义： “大数据” 是需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能力的海量、 高增长率和多样化的信息资产。 大数据具有5 大特点：大量、高速、多样、价值和精确。? 巨大的数据量：集中储存 / 集中计算已经无法处理巨大的数据量? 多结构化数据：文本/ 图片 / 视频 / 文档等?

3、 处理速度很快：海量数据的及时有效分析? 价值密度低：单条数据并无太多价值，但庞大的数据量蕴含巨大财富? 足够的精确性：大数据的结果应该是精确的，而不是无效的3 传统信息技术难以处理大数据大数据是传统的架构、 传统的技术无法解决的数据的问题。实际上传统的应用也有很多数据方面的问题， 大数据问题不单单是我们常常说的互联网、多媒体等新的数据， 有很多的数据是企业的传统应用因为数据量的增长，现有的 IT 架构也慢慢地不能满足要求了。此外，比如数据量过于庞大，大数据的多样化格式，绝大部分大数据是“垃圾”以及存储和处理成本的昂贵等等，也同样会导致大数据的难以处理。这是就需要新性的技术手段：? 海量数据“

4、经济方案”-经济便宜的 X86 服务器? 海量数据“分而治之”-批量分布式并行计算 Hadoop? 海量数据“灵活多变”-实时分布式高吞吐高并发数据存取处理NoSQL? 海量数据“跨越鸿沟”-大数据超高速装载进数据库4 软硬一体优化集成的 Oracle 大数据综合解决方案在企业数据量不断攀升的同时，如何获取大数据中的有用价值成为企业有力决策的关键。作为包含从底层到顶层的供应商，Oracle提供面向大数据的软硬件集成解决方案。该方案分捕获、组织、分析、决策四大部分，为企业大数据分析集成一体化解决方案。随着交易型IT 过渡到交互型IT ，企业数据出现了爆炸性增长。社交媒体的兴起、数字传感器的大量应

5、用以及移动设备的大面积普及等因素导致各种海量数据的快速产生。此类多结构化的数据价值较低，但庞大的数据量却蕴含着巨大财富。针对大数据需求而专门设计的集成化系统，Oracle大数据机是一款集成设计的系统，旨在简化大数据项目的实施与管理。该数据机采用18 台 OracleSun服务器的全机架式配置，总共拥有864 GB 主内存、 216 核 CPU、 648 TB 原始磁盘存储空间，并在节点和其他Oracle集成化系统之间采用40 Gb/s 的 InfiniBand网络连接以及10 Gb/s 的以太网数据中心连接，可通过 InfiniBand网络连接多个机架进行横向升级扩展，使其能够获取、组织和分析

6、超级海量的数据。凭借在软硬件双方面的创新，Oracle商务智能云服务器实现极致数据分析性能，其亚秒级性能可以支持快速的数据分析，还能提供建模、规划、预测和预测性分析，同时使企业规划应用能够以更快的、更准确的规划周期在整个企业内扩展，可有效帮助企业加快业务决策，最大限度地挖掘大数据的商业价值。5 Oracle面向大数据的集成解决方案体系Oracle 数据集成解决方案用于在 SOA、 BI 和数据仓库环境中构建、部署和管理以实时数据为中心的架构，包含了 Oracle 数据集成的所有要素实时数据移动、转换、同步、数据质量、数据管理和数据服务能确保各个复杂系统的信息及时、准确、一致。5.1 Oracl

7、e Data Integrator企业版Oracle Data Integrator企业版是Oracle 数据集成解决方案的重要组成部分，提供了同类最佳的批量数据移动与转换技术，性能比传统ETL 高 10 倍，能够跨异构系统在源和目标间高效移动数据，提高性能的同时降低了数据集成的成本。此外，可热插拔的知识模块具有模块化、灵活性和可扩展性。5.2 Oracle GoldenGateOracle GoldenGate是 Oracle数据集成产品的新增组件，它提供了不影响系统处理功能的实时数据集成和持续可用性解决方案，使企业能够显着提高整个企业关键系统的可用性、可靠性和性能。具体来说，OracleG

8、oldenGate 提供异构环境间事务数据的实时、低影响的捕获、 路由、转换和交付， 拥有灵活的拓扑结构， 可以提供数据的单向复制、 双向复制、点对点复制、广播复制、集中复制以及多级复制。6 最佳选择6.1 Hadoop架构6.2 HDFS 概述Hadoop 分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。 但同时，它和其他的分布式文件系统的区别也是很明显的。 HDFS是一个高度容错性的系统，适合部署在廉价的机器上。 HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS放宽了一部分 POSIX 约束，来实现流式

9、读取文件系统数据的目的。 HDFS在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。6.3 Oracle NoSQL数据库6.4 Oracle NoSQL数据库主要特性·数据模型简单Key-Value 式的存储，其中key 由一级主要key 和二次次要key 组成由 Java 写成，支持基于 Java API 的 Put、 Delete 和 GET 操作·扩展性强支持自动地基于hash 函数的数据分片策略提供基于数据节点拓扑结构和访问延迟的智能控制，以提供最佳的数据访问性能·行为可预测性提供 ACID的事务性支持，并且支持基于全局和单个操作

10、的事务级别设置通过 B-tree 数据结构构成的Cache 层和高效的查询调度机制，提供可控的请求延时·高可用性没有单点故障提供内置且可配置的数据复制备份机制对单点或多点故障有很好的容错性通过跨数据中心的数据备份，提供数据的灾难恢复·简单的管理与维护除了命令行之外，还提供基于Web 的界面管理工具提供对系统及数据节点的控制控制可以查看系统的拓扑结构、系统状态参数、当前负载情况、请求延迟记录、内部事件及通知等信息7 大数据应用7.1详单查询·系统分为两层：服务层和数据层。·数据层：采用Oracle NoSQL 分布式数据库，对于实时详单，按天存储，通过有序文件存储高效压缩存储，减少磁盘空间占用。采用分布式数据库Oracle NoSQL 。·服务层：分为清单入库、历史清单导出、清单查询三个子模块。其中，清单入库模块负责从计费系统获取清单并加载到分布式数据库中； 历史清单导出模块负责把实时清单从分布式数据库导出到分布式文件系统中；清单查询模块负责对外提供清单查询功能。7.2大数据应用 网络优化目的：根据网络负载情况，优化3G 网络和WiFi 网络的使用，进一步增加数据服务收入。8总结大数据使我们可以更快地进行实验，对更多的线索展开探索。这将对社会进步的观念产生重要影响。