Oracle Big Data SQL全数据管理技术.ppt

OracleBigDataSQL全数据管理技术 殷致云evan yin 2016年10月 OracleConfidential Internal Restricted HighlyRestricted 1 OracleConfidential Internal Restricted HighlyRestricted 2 数据分析挑战 隔离的信息孤岛难以分析 数据分析挑战 不同的数据访问接口 4 数据分析挑战 没有能跨Oracle Hadoop和NoSQL的统一接口 客户想要什么 丰富 全面的SQL访问企业的所有数据 NoSQL 突破创新 融合的大数据解决方案 一条SQL可以访问所有数据源 Oracle Hadoop NoSQL Andmore Oracle大数据SQL 大规模并发SQL查询 横跨Oracle Hadoop和NoSQL OracleDatabase12c 卸载查询到Exadata存储服务器OffloadQuerytoExadataStorageServers 小数据集快速返回Smalldatasubsetquicklyreturned Hadoop NoSQL 卸载查询到数据节点OffloadQuerytoDataNodes SQL 数据子集datasubset SQL OracleBigDataSQL的用户 OracleConfidential Internal Restricted HighlyRestricted 9 OracleBigDataSQL提供的能力 关键功能特性 Confidential OracleInternal Restricted HighlyRestricted 10 BigDataSQL 企业级海量大数据管理 智能的外部表ExternalTables分布式数据存储的简单集成智能扫描SmartScan充分利用大数据平台的计算能力存储索引StorageIndexing自动减少I O 从根本上提高查询分析性能谓词过滤下移PredicatePush Down将分区修剪处理下移到大数据平台 Confidential OracleInternal Restricted HighlyRestricted 11 丰富的SQL 更强的灵活性 更多的数据源 12 元数据 延伸Oracle外部表 CREATETABLEmovielog clickVARCHAR2 4000 ORGANIZATIONEXTERNAL TYPEORACLE HIVEDEFAULTDIRECTORYDEFAULT DIRACCESSPARAMETERS com oracle bigdata tablenamelogscom oracle bigdata clustermycluster REJECTLIMITUNLIMITED 新型态的外部表ORACLE HIVE 使用hive元数据 ORACLE HDFS 指定元数据 大数据参数获取Hadoop集群远程Hive数据库 表DBMS HADOOPPackage用于自动导入 13 智能外部表ExternalTable OracleTable HDFSData 可定义 可获得 数据表名 自动发现Hive表的元数据metadata定义 Oracle数据类型 自动将数据从Hadooptypes转化成Oracle数据库类型 从任意的InputFormat自动转换 任意的查询并行度 在Hadoopcluster上并行执行 存储层 14 BigDataSQL Hadoop的另一个处理引擎 文件系统 HDFS NoSQL数据库 OracleNoSQLDB Hbase 资源管理 YARN cgroups 处理层 BigDataSQL 元数据存储 Hadoop上的智能扫描 优化性能 OracleConfidential Internal Restricted HighlyRestricted 15 DataNode Disk BigDataSQL服务 ExternalTableServices SmartScan Oracle服务位于上层 应用谓词过滤列投影 列过滤 半结构化数据解析 XML JSON Hadoop服务位于底层 贴近数据进行处理工作使用Hadoopclasses实现SchemaOnRead转换为Oracle数据格式 BigDataSQL数据流 Disks DataNode BigDataSQLAgent ExternalTableServices SmartScan RecordReader SerDe 10110010 10110010 10110010 1 2 3 从HDFS数据节点读取数据直接路径读取尽可能使用基于C编写的reader否则使用Hadoop原生的classes将数据翻译转换为Oracle数据格式对Oracle格式数据应用智能扫描SmartScan谓词过滤列投影语法解析JSON XML BigDataSQL位于任何数据的顶层 17 17 任何类型的文件 Hive元数据 BigDataSQL细胞解析 18 输出输入流 数据转换 BigDataSQL细胞解析 19 智能扫描 转换成Oracle文件快格式 OracleBigDataSQL存储索引 存储索引可以通过减少HDFS数据块的IO实现查询屠苏SQL查询中的列通过外部表定义映射到HDFS文件每个HDFS数据块中 所定义字段的最小和最大值保存在存储索引中 20 HDFS Field1 Field2 10011010104511091043100110451609104311455190912430130101045019092043 Field3 Fieldn HDFSBlock1 256MB HDFSBlock2 256MB Confidential OracleInternal Restricted HighlyRestricted 21 谓词下推 Oracle数据库将SQL查询语句的谓词条件发送到Hadoop层 包括绑定变量 用于数据过滤Parquet ORC文件格式的过滤Hive分区修剪HbaseSubscan再通过智能扫描SmartScan过滤出满足条件的行 BigDataSQL效能特征 22 减少IO的使用带来了综合性效能提升的效果 100TB 使用者查询 BigDataSQL安全特征 Hadoop安全 ACL s Sentry HDFS加密 动态加密 BigDataSQL安全特征 相同的数据安全模块应用于更广泛的数据存储先进的特性如 数据编辑 目前已经可以应用在不同数据源之间的结合Oracle安全层建构在现有Hadoop功能之上 Hadoop安全 ACL s Sentry HDFS加密 动态加密 Hive 分区裁剪在查询运行之前读取Hive目录跟裁剪分区12 2 利用Oracle数据库元数据优化分区裁剪目的 消除不必要的IO损耗存储索引维护元数据元素以标记文件块 减少不必要IO使用目的 消除不必要的IO损耗智能扫描最终过滤以确保只有被请求的数据元素会被传送到Oracle数据库目的 消除不必要的数据移动 BloomFiltering 布隆过滤器 联接转换成布隆过滤器并下推到Hadoop节点目的 连接优化和本地化谓词和ColumnProjection下推下推查询元素到文件如Parquet跟ORC目的 减少优化文件格式所产生不必的IO消耗安全应用Oracle数据库安全策略到非Oracle数据存储上目的 启动高效安全特性 25 BigDataSQL主要特征 OracleBigDataSQL能支持的平台 Version3 0 Confidential OracleInternal Restricted HighlyRestricted 26 BigDataSQL支持的平台 27 or 1 BigDataSQL运行在Oracle集成系统平台 Exadata运行Oracle数据库12 1 0 2以上版本 BDA运行CDH5 5以上版本智能扫描SmartScan支持所有的数据通过Infiniband网络提供极致性能BDA是专门为海量数据处理而优化的Hadoop部署方式 28 BigDataSQL 2 BigDataSQL运行在通用硬件平台12c 集成平台BDA 采用通用x86硬件运行Oracle数据库12 1 0 2以上版本 BDA运行CDH5 5以上版本利用OracleSQL进一步增强BDAHadoop平台的能力BDA是专门为海量数据处理而优化的Hadoop部署方式 29 BigDataSQL 3 BigDataSQL运行在通用硬件平台 支持Linux操作系统上的Oracle数据库12c 12 1 0 2以上 Cloudera CDH5 5以上 或者Hortonworks HDP2 3以上 的Hadoop利用OracleSQL增强Hadoop平台的能力激活Hadoop上长期保存的归档数据 缩短将数据转换为业务价值的时间 30 BigDataSQL 4 BigDataSQL运行在Oracle公有云 Linux操作系统上的Oracle数据库12c ClouderaHadoop利用OracleSQL增强Hadoop平台的能力激活Hadoop上长期保存的归档数据 缩短将数据转换为业务价值的时间 31 BigDataSQLCloudService 5 BigDataSQL运行在Oracle集