Oracle-Big-Data-SQL全数据管理技术

OracleBigDataSQL

全数据管理技术殷致云evan.yin@2016年10月12数据分析挑战隔离的信息孤岛难以分析数据分析挑战不同的数据访问接口4数据分析挑战没有能跨Oracle,Hadoop和NoSQL的统一接口客户想要什么丰富，全面的SQL访问企业的所有数据NoSQL突破创新：融合的大数据解决方案一条SQL可以访问所有数据源OracleHadoopBigDataSQLNoSQLAndmore…Oracle大数据SQL大规模并发SQL查询，横跨Oracle,Hadoop和NoSQLOracleDatabase12c卸载查询到Exadata存储服务器OffloadQuerytoExadataStorageServers小数据集快速返回SmalldatasubsetquicklyreturnedHadoop&NoSQL卸载查询到数据节点OffloadQuerytoDataNodesSQL数据子集datasubsetSQLOracle

BigDataSQL的用户9大数据分析服务研发、供应链、客户和消费者的数据集中化部署的数据科学组织提升客户体验、业务创新西班牙最大的零售银行，客户超过1300万收集来自不同接触渠道的多种信息，形成客户的统一视图网络威胁检测产品创新国际商业和技术

咨询公司，非/半结构化、运营和社交媒体大数据分析，探测网络入侵BDAExadataBDAExadataBDAExadataOracleBigDataSQL提供的能力关键功能特性10BigDataSQL:企业级海量大数据管理智能的外部表ExternalTables分布式数据存储的简单集成智能扫描SmartScan充分利用大数据平台的计算能力存储索引StorageIndexing自动减少I/O，从根本上提高查询分析性能谓词过滤下移PredicatePush-Down将分区修剪处理下移到大数据平台11丰富的SQL、更强的灵活性、更多的数据源12元数据:延伸Oracle外部表CREATETABLE

movielog

(

clickVARCHAR2(4000))ORGANIZATIONEXTERNAL(TYPEORACLE_HIVE

DEFAULTDIRECTORY

DEFAULT_DIRACCESSPARAMETERS(com.oracle.bigdata.tablenamelogscom.oracle.bigdata.clustermycluster))REJECTLIMITUNLIMITED;新型态的外部表ORACLE_HIVE(使用

hive元数据)ORACLE_HDFS(指定元数据)大数据参数获取Hadoop集群远程

Hive数据库/表DBMS_HADOOPPackage用于自动导入13智能外部表ExternalTableOracleTableHDFSData可定义:可获得:数据表名自动发现Hive表的元数据metadata定义Oracle数据类型自动将数据从Hadooptypes转化成Oracle数据库类型从任意的InputFormat自动转换任意的查询并行度在Hadoopcluster上并行执行

存储层14BigDataSQL:Hadoop

的另一个处理引擎文件系统

(HDFS)NoSQL数据库(OracleNoSQLDB,Hbase)资源管理(YARN,cgroups)处理层MapReduceandHiveSparkImpalaSearchBigDataSQL元数据存储Hadoop上的智能扫描:优化性能15DataNodeDiskBigDataSQL服务ExternalTableServicesSmartScan“Oracle服务位于上层”应用谓词过滤列投影（列过滤）半结构化数据解析（XML、JSON）“Hadoop服务位于底层”贴近数据进行处理工作使用Hadoopclasses实现SchemaOnRead转换为Oracle数据格式BigDataSQL数据流DisksDataNodeBigDataSQLAgentExternalTableServicesSmartScanRecordReaderSerDe101100101011001010110010123从HDFS数据节点读取数据直接路径读取尽可能使用基于C编写的reader否则使用Hadoop原生的classes将数据翻译转换为Oracle数据格式对Oracle格式数据应用智能扫描SmartScan谓词过滤列投影语法解析JSON/XMLBigDataSQL位于任何数据的顶层

1717任何类型的文件InputFormat创建分割/n/n/n/nRecordReader创建记录SerDe创建属性

BigDataSQL转换数据

&

智能扫描Hive元数据BigDataSQL细胞解析

18输出输入流数据转换Exadata存储服务器软件起源BigDataSQL细胞解析

19智能扫描输入输出流数据转换转换成Oracle文件快格式应用智能扫描及其他调优工具OracleBigDataSQL存储索引存储索引可以通过减少HDFS数据块的IO实现查询屠苏SQL查询中的列通过外部表定义映射到HDFS文件每个HDFS数据块中，所定义字段的最小和最大值保存在存储索引中20HDFSField1,Field2,10011010104511091043100110451609104311455190912430130101045019092043Field3,…,FieldnHDFSBlock1(256MB)HDFSBlock2(256MB)IndexB1–Movie_IDMin:1001Max:1609B2–Movie_IDMin:1909Max:13010Example:

查找MOVIE_ID为1109的所有打分✓✗21谓词下推DataNodeBigDataSQLAgentExternalTableServicesSmartScanDataNodeBigDataSQLAgentExternalTableServicesSmartScanSELECTticker,AVG(price)OVER(PARTITIONBYtickerORDERBYmnth)asavg_priceFROMstock_pricesWHEREmnth<:xANDmnth>:yANDstx_xchange=:zORDERBYmnthWHEREmnth<:xANDmnth>:yANDstx_xchange=:zSELECTticker,price,mnthWHEREmnth<:xANDmnth>:yANDstx_xchange=:zOracle数据库将SQL查询语句的谓词条件发送到Hadoop层（包括绑定变量）用于数据过滤Parquet/ORC文件格式的过滤Hive分区修剪HbaseSubscan再通过智能扫描SmartScan过滤出满足条件的行BigDataSQL效能特征

22减少IO的使用带来了综合性效能提升的效果100TB使用者查询分区裁剪10TB1存储索引1TB2谓词下推100GB3BigDataSQL安全特征

Hadoop安全ACL’s|Sentry|HDFS加密

|动态加密BigDataSQL安全特征

相同的数据安全模块应用于更广泛的数据存储先进的特性如:数据编辑,目前已经可以应用在不同数据源之间的结合Oracle安全层建构在现有

Hadoop功能之上Hadoop安全ACL’s|Sentry|HDFS加密

|动态加密(Hive)分区裁剪在查询运行之前读取

Hive目录跟裁剪分区12.2–利用Oracle数据库元数据优化分区裁剪目的:消除不必要的IO损耗存储索引维护元数据元素以标记文件块,减少不必要IO使用目的:消除不必要的IO损耗智能扫描最终过滤以确保只有被请求的数据元素会被传送到Oracle数据库目的:消除不必要的数据移动BloomFiltering(布隆过滤器)联接转换成布隆过滤器并下推到Hadoop节点目的:连接优化和本地化谓词和

ColumnProjection下推下推查询元素到文件如Parquet跟

ORC目的:减少优化文件格式所产生不必的IO消耗安全应用

Oracle数据库安全策略到非Oracle数据存储上目的:启动高效安全特性25BigDataSQL主要特征

OracleBigDataSQL能支持的平台Version3.026BigDataSQL支持的平台27XBBigDataSQLCloudServiceor1、BigDataSQL运行在Oracle集成系统平台Exadata运行Oracle数据库

以上

版本，BDA运行CDH5.5以上版本智能扫描SmartScan支持所有的数据通过Infiniband网络提供极致性能BDA是专门为海量数据处理而优化的Hadoop部署方式28BigDataSQL2、BigDataSQL运行在通用硬件平台12c+集成平台BDA采用通用x86硬件运行Oracle数据库

以上

版本，BDA运行CDH5.5以上版本利用OracleSQL进一步增强BDAHadoop平台的能力BDA是专门为海量数据处理而优化的Hadoop部署方式29BigDataSQL3、BigDataSQL运行在通用硬件平台支持Linux操作系统上的Oracle数据库12c（

以上

）+Cloudera（CDH5.5以上）或者Hortonworks（HDP2.3以上）的Hadoop利用OracleSQL增强Hadoop平台的能力激活Hadoop上长期保存的归档数据，缩短将数据转换为业务价值的时间30BigDataSQL4、BigDataSQL运行在Oracle公有云Linux操作系统上的Oracle数据库12c+ClouderaHadoop利用OracleSQL增强Hadoop平台的能力激活Hadoop上长期保存的归档数据，缩短将数据转换为业务价值的时间31XBBigDataSQLCloudService5、BigDataSQL运行在