EXADATA基础知识培训

单明祺Galvin.ShanO,ORACLE数据库云服务器技术揭密,提纲,Exadata架构设计原理Exadata硬件体系架构Exadata软件体系技术新一代数据库云平台特点和案例,问题1：随着系统规模增加，传统数据库架构瓶颈凸显,存储层：1）数据量不断增加，带来的IO瓶颈；2）随着数据长时间运行带来的数据分布不均匀，存在IO热点网络层：传输带宽不足，无法快速传输大量数据到服务器服务器层：接收过多数据进行处理，内存优势无法发挥,解决思路：减轻负载、加宽通道、提高并行,传统数据库架构解决思路：加宽通道、增加通道数量减少需要传送到服务器处理的数据量提高系统扩展能力增加系统并行处理,Exadata设计原则：存储层智能化、数据预处理能力,ExadataCell,Disk,Disk,ExadataCell,Exadatasoftware,Exadatasoftware,OracleDatabaseServers,问题2：多系统资源互相独立，无法共享有些资源过度，有些资源不足，由于生产环境动态变化，无法动态满足,DatabaseServers,StorageArrays,Exadata设计原则：资源共享和资源控制,34%ofI/Os,50%ofI/Os,16%ofI/Os,I/OResourceManagement,OracleDatabaseServers,Smartstorageoperations,Storageconsolidation(Transparenttodatabases),Highperformancestoragenetwork,Datacompression,问题3：复杂的数据库系统均衡化配置,“Theweakestlink”definesthethroughputEachbuildingblockisabalancedunitComponentstoconsider:CPU:QuantityandspeedHBA(HostBusAdapter):QuantityandspeedSwitchspeedController:QuantityandspeedDisk:Quantityandspeed,FC-Switch1,FC-Switch2,DiskArray1,DiskArray2,DiskArray3,DiskArray4,DiskArray5,DiskArray6,DiskArray7,DiskArray8,Eachmachinehas2GbHBAsAll8HBAscansustain8*200MB/s=1600MB/s,Eachswitchneedstosupport800MB/stoguaranteeatotalsystemthroughputof1600MB/s,Eachdiskarrayhasone2GbitcontrollerAll8diskarrayscansustain8*200MB/s=1600MB/s,Eachmachinehas2CPUsAllfourserversdriveabout2*200MB/s*4=1600MB/s,Exadata设计原则：平衡且优化配置,客户化系统无法达到最佳性能组件不平衡,错误配置，瓶颈Exadata端到端优化从磁盘到数据库传输是两倍的GB/sec磁盘，闪存，控制器，总线，HBA,网络，CPU等数据库从固件，驱动，操作系统，网络的优化多年的调优经验没有瓶颈将IT智慧转化成业务需求而不要设计，调优，维护，硬件配置,端到端优化,Optimized,问题4：系统的维护和扩容过程复杂,均衡化配置方法论,分区和HA规划,网络互联配置规划,数据库存储规划,Exadata设计原则：简化部署,消除了数据库系统部署的复杂性数月的配置、排错、调优当天即可完成部署预置的、经过测试的、可稳定运行的标准配置连接网线、电源线、加电即可用无需更改现有应用程序，youareExadatacertified即可获得极限性能,数月到数天,SunOracleDatabaseMachine:SystemArchitecture,SunOracleDatabaseMachine:5.3TBSunFireFlashCache,提纲,Exadata架构设计原理Exadata硬件体系架构Exadata软件体系技术新一代数据库云平台特点和案例,Exadata硬件架构,Exadata智能存储网格,14x高性能低成本存储服务器(2U),高性能,低成本,冗余,线性扩展,100TBHighSpeeddisk,或336TBHighCapacitydisk112Intelcoresinstorage5.3TBPCI闪存跨存储服务器的数据镜像保护Datamirroredacrossstorageservers,超级性能,Extentsidentified,I/Oissued,I/Oexecuted:10GBreturned,SQLprocessing:2MBreturned,Rowreturned,1,2,3,4,5,6,Exadata智能化存储处理过程,SELECTcustomer_idFROMordersWHEREorder_amount20000;,iDBcommandconstructedandsenttoExadatacells,SQLprocessinginExadata,2MBreturnedtoserver,ConsolidatedresultsetbuiltfromallExadatacells,Rowreturned,1,2,3,4,5,6,ExadataSoftwareArchitectureDetails,ExadataCell,/opt/oracle/cell/cellsrv/deploy/config,DatabaseServer,/etc/oracle/cell/network-config,RDBMSinstance,ASMinstance,dskm,diskmon,SGA,dskm,ASMLIBCELL,I/OProc,InfiniBandswitch,iDBProtocol,SGA,iDBProtocol,cellinit.ora,cellip.ora,ListlocalinterfaceIP,ListaccessibleExadatacells,bond0,cellsrv,RS,MS,CellCLI,CELLSRVADR,adrci,cellinit.ora,MSinternaldictionaryandCELLSRVinternalparametersandlocalinterfaceIP,cell_disk_config.xml,css,SmartFlashCache,ExadataCell,DiskStorageEntitiesandRelationships,CellDisk,GridDisk,GridDisk(coldpart),CellCLICREATEGRIDDISK.,OR,VisibletoASM,GridDisk(hotpart),LUN,CELLDISK,ASMdisk,Disk,GRIDDISK,LUN,SystemArea,DataStoragePartition,OthertenLUNs,FirsttwoLUNsonly,OR,InterleavedGridDisks,TheperformanceofGridDisk3andGridDisk4ismoreevenlybalanced,FastTracksSlowestTracksGridDisk4,GridDisk3FastestTracksSlowerTracks,SlowerTracksSlowestTracksGridDisk2,GridDisk1FastestTracksFastTracks,GridDisk1benefitsfromthehigherperformanceoutertracksofthedisk,50%,50%,50%,50%,FlashCacheandFlashGridDisks,384GBflashmemorypercellisusedtocreate16celldisks24GBeachFlash-basedcelldiskscanbeusedforSmartFlashcache默认设置下使用全部可用flash空间自动管理实现空间高效利用对OLTP与DW均可起到加速作用Flash-basedgriddisks可被看作额外的数据库存储空间使用需要精细的使用计划从而发挥其最大效能对频繁更新的写操作对象有明显帮助,DiskGroupOverview,Disk1,Disk2,Disk3,Disk4,Disk5,Disk6,File1,File2,File3,File4,Screenreaderhint:Thisslidecontainsadiagramthatisexplainedinthespeakernotes.,提纲,Exadata架构设计原理Exadata硬件体系架构Exadata软件体系技术整体架构和SmartScanASMEHCC和存储索引DBRM和IORM新一代数据库云平台特点和案例,30,自动存储管理ASM,大幅度简化数据库存储管理消除对专业存储管理产品的需求实现真正的按需增加容量提供最佳的I/O吞吐率卷管理系统文件管理系统可以有：镜像（基于文件作不同的镜像）条带化（对文件可指定不同的条带大小）动态平衡（可控）,ASM存储保护及负荷分担,均衡及镜像：ASM在AllocationUnit级别实现镜像,AU被均衡分布在各智能存储单元上(1AU=缺省4M块)高可用：主及镜像版本被分配到不同的硬件单元上自动恢复：在磁盘或存储单元失效时，自动执行再镜像过程透明性：磁盘或智能存储单元的损坏对数据库透明,DBFile#1,DBFile#2,ASM,可抵御磁盘及Cell单元的故障,32,ASM对数据的全面保护,采用Normal保护方式，任何一份数据会同时分布到两个不同FailGroup任何两个不同的FailGroup一定不来自同一个StorageCell如果需要增加数据保护，可以增加FailGroup数量实现数据更多重的保护,33,AutomaticStorageManagement,ASM和传统非ASM相比,Disks,LogicalVol,FileSystem,Files,Tablespace,Tables,DiskGroup,LogicalVol,FileSystem,FileNames,Tablespace,Tables,不使用ASM,使用ASM,网络存储(SAN,NAS,DAS),34,ASM磁盘群组,磁盘群组视为一个逻辑单位来管理将每个文件平均分散到所有的磁盘依照文件类型选择大范围的条带(Coarse-grain)分割或小范围的条带(fine-grain)分割管理磁盘群组而不是管理文件,DiskGroup,ASMInstance,35,磁盘群组镜像,在扩展（extent）层作完成镜像每个磁盘都混合主要扩展和镜像扩展外部冗余:依赖外部硬件镜像冗余,ASM不做冗余一般冗余:两路镜像高度冗余:三路镜像,36,磁盘组的动态数据平衡,当存储配置修改时，会自动动态数据平衡向新增的磁盘增加成比例的数据不需要手工调整I/O可支持在线存储升级,37,ASM动态数据平衡,AutomaticStorageManagementExtendsSAMEAllowsdynamiconlineStoragereconfigurationEfficientrelocationofdataduringrebalanceEliminatemanualI/Otuninginallstorageconfigurations,Exadata内部数据的分布,数据的分布只有在系统变更时才发生改变当新StorageCell添加时均衡仍然得以保持当硬件出故障时均衡仍然得以保持单块磁盘损坏/单个storagecell损坏都能忍受缺省分配单元AU_SIZE=4M，Strip_size=512K,Node2,Node3,Node1,Storagecell2,Storagecell1,Storagecell3,38,提纲,Exadata架构设计原理Exadata硬件体系架构Exadata软件体系技术整体架构和SmartScanASMEHCC和存储索引DBRM和IORM新一代数据库云平台特点和案例,ReducedWarehouseSizeBetterPerformance,ExadataHybridColumnarCompression,WarehouseCompression10 xaveragestoragesavings10 xscanI/OreductionOptimizedforqueryperformance,ArchivalCompression15xaveragestoragesavingsUpto50 xonsomedataSomeaccessoverheadForcoldorhistoricaldata,OptimizedforSpeed,CanmixcompressiontypesbypartitionforILM,OptimizedforSpace,ReclaimDisksKeepDataOnline,ExadataHybridColumnarCompressionArchitectureOverview,Acompressionunitisalogicalstructurespanningmultipledatabaseblocks.Eachrowisself-containedwithinacompressionunit.Dataorganizedbycolumnduringdataload.Eachcolumncompressedseparately.SmartScanissupported.Typically32k(4blocksx8kblocksize),CompressionUnit(CU),2010OracleCorporationProprietaryandConfidential,WarehouseCompressionBuiltonHybridColumnarCompression,10 xaveragestoragesavings100TBDatabasecompressesto10TBReclaim90TBofdiskspaceSpacefor9more100TBdatabases10 xaveragescanimprovement1,000IOPSreducedto100IOPS,100TB,ExadataStorageIndex,1ASMAU,1ASMDisk,1MB,StorageRegion,StorageIndexinMemory,MinB=3MaxB=8,MinB=1MaxB=5,RegionIndex,B:1/5,B:3/8,E:a/j,G:4/9,SELECT*FROMT1WHEREB2;,DBA,Onlyfirstblockcanmatch,提纲,Exadata架构设计原理Exadata硬件体系架构Exadata软件体系技术整体架构和SmartScanASMEHCC和存储索引DBRM和IORM新一代数据库云平台特点和案例,OLTPMoreresources,DSSuser,OLTPuser,Databaseresourcemanager,DSSLessresources,OracleDatabase,混合型数据库系统资源需求,管理混合事务的资源负载控制系统性能,资源计划,NIGHT_PLAN,DAY_PLAN,OracleEnterpriseManager:资源管理器,CPU_MTHvalues,1,2,3,4,5,6,7,MaximumUtilizationLimit,In11gRelease2,the“max_utilization_limit”directivelimitstheCPUconsumptionofanapplication,SpecifyminimumandmaximumCPUutilizationlimits,SpecifymaximumCPUutilizationlimitsonly,DBConsolidationPlan#1,DBConsolidationPlan#2,2010OracleCorporation,Max_utilization_limit25%50%-75%ProofPoints,GraphExplanation:Testresultsindicatingthemax_utilization_limitdirectivesetatnolimit,25%,50%,75%WorkloadDescription:AmixofOLTPandDSSqueriesandDMLsfromtheOracleFinancialsapplication,设置活动会话池,配置资源组切换,设置网络空闲时间,ResourceConsumerGroupMapping,ActivatingaResourcePlanforanInstance,I/OScheduling,theTraditionalWay,Report,OLTP,Report,Report,Report,Report,OLTP,OLTP,Report,Withtraditionalstorage,disksserviceI/OsinFIFOorder.I/Osarereorderedonlytoimprovediskefficiency.Youcannotinfluencetheirbehavior!,AburstofReportI/OswillbequeuedaheadofOLTPI/O.AndservicedaheadofOLTPI/Os!,2010OracleCorporationProprietaryandConfidential,I/OScheduling,theExadataWay,Report,OLTP,Report,Report,Report,Report,OLTP,OLTP,Report,I/OResourceManagercontrolsorderthatI/Osareissuedtodisk.IORMissuesenoughI/Ostokeepdisksbusyandefficient.I/Osarequeuedperdatabase,asnecessary,withinExadata.,UsesResourcePlantodeterminetheorderofI/OrequestsPreventsadatabasefromfloodingthedisk,I/OResourceManager,OLTP,OLTP,OLTP,ExadataStorageCell,ResourcePlan,提纲,Exadata架构设计原理Exadata硬件体系架构Exadata软件体系技术新一代数据库云平台特点和案例,58,随着业务发展要求，未来经分系统所需具备能力,支撑系统发展趋势,一体化、全网运营,企业级信息化平台,低成本运营,精细化专业化运营,不断扩展和融合跨域数据，形成企业级数据中心,形成服务化、标准化、低成本支撑能力,形成多租户、动态按需的支撑能力供应,BASS,BSS、MSS、OSS、VAS、IDC,与前台生产实时互动，形成闭环一体化、全网的运营支撑能力,59,通过云计算来符合经分未来发展要求的支撑平台,符合云计算特征的理想化支撑平台普适性：SharedDisk和SharedNothing并重虚拟化、资源池多租户管理、SLA、资源动态供给海量数据处理、高并行高实时性、高并发高扩展、高可靠,集群式数据库架构：SharedNothing和SharedDisk最佳OLTP和最佳OLAP应用,SharedDisk和SharedNothing是两种主要的数据库集群技术，各自都有自身特点,SharedDisk把数据传输到应用代码端,SharedNothing把应用代码移到数据端运行,当应用代码量很大（高并发）、相关数据量比较小时，SharedDisk更加适合这种典型的OLTP应用；主要特点：高并发、高可用性（由于数据共享，当节点故障可以透明切换到其他数据库节点运行作业）,当相关数据量很大（高并行）、而应用代码并发量很小时，SharedNothing更加适合这种典型的OLAP应用；主要特点：大数据量处理高并行、低并发、低可用性（由于数据非共享，当节点故障，其他节点要接管故障节点数据）,操作型系统与数据仓库的比较,分布式分片数据库最佳线性扩展能力,数据分片(Sharding)的原理就是将数据做水平切分，类似于hash分区的原理，通过应用架构解决访问路由和数据合并的问题。Sharding架构的优势在于，集群扩展能力很强，几乎可以做到线性扩展，而且整个集群的可用性也很高，部分节点故障，不会影响其他节点提供服务。Sharding原理简单，容易实现，是一种非常好的解决数据库扩展性的方案。但是Sharding对应用场景的要求很高，因为一旦使用数据分片架构，如果需要跨不同的节点做join，或者统计类型的操作，将会变得非常困难，应该尽量避免。所以说Sharding架构会损失部分关系型数据库的特性，比如join、数据全局性，从而使数据库退化为Key-Valuestore类型的存储。所以，并不是所有的应用都适合做Sharding，它可能会造成应用架构复杂或者限制系统的功能，这也是它的缺陷所在。,读写分离数据库架构最佳读取IO效率,读写分离架构应用也非常广泛，很多网站都采用cache+DB的读写分离架构，通过cache层来承载大量的读访问。Cache是一种广泛使用的Key-Valuecache，它不具备持久化存储的功能，所以它通常和数据库一起组成读写分离的架构，由数据库承载数据持久化存储的功能，而Memcached则用来承载大量的并发访问。通常的做法是：应用的读请求会首先访问Memcached，如果命中则返回，如果没有命中，则会去数据库中读取，并将数据加载到Memcached中。关于新增，修改和删除操作，一般采用lazyload的策略，即新增时只写入数据库，并不会马上更新Memcached，而是等到再次读取时才会加载到Memcached中，修改和删除操作也是更新数据库，然后将Memcached中的数据标记为失效，等待下次读取时再加载。Memcached支持数据分区，利用hash算法将数据分布到不同的服务器，组成一个分布式的cache集群。,Exadata数据库云特点2：混合型架构、混合事务处理兼备SharedNothing、SharedDisk、分片式数据库、读写分离数据库架构,InfiniBand交换网络,数据库服务池A,数据库服务池B,智能存储层(SharedNothing)存储资源池,数据库处理层(SharedDisk)数据库资源池,超高速并发网络层880Gb/s/机架,.,Exadata提供一种混合式的数据库架构,能够有效解决两者的冲突,吸取两种架构长处;既可以满足OLTP的高并发、高可用特点；又可以满足OLAP的大数据量处理要求；,具备良好的普适性架构:SharedNothingandSharedDisk,64,SunFire,SunFire,SunFire,高扩展,高可靠,OLTP,海量数据处理,SLA,资源虚拟化,架构优势,EXADATA-为所有的数据管理系统提供超级的性能,适用于数据仓库应用的最好的数据库服务器（BestforDataWarehousing）基于10 x压缩表的Smartscan基于内存数据的并行查询整体上比11.1版本快5倍适用于OLTP系统的最好的数据库服务器（BestforOLTP）唯一基于网格技术扩展的数据库Smartflashcache可达到20 x（1MIOPS）快的IOPS,或者节省20 x的磁盘对于归档数据可达到50 x的压缩率安全,容错适用于混合负载的最好的数据库服务器（BestforConsolidation）唯一的支持所有负载类型的databasemachine多个数据库,多个应用,多个用户环境都能提供可预测的响应时间,高扩展,架构优势,Exadata数据库云特点2：服务器资源池“大分小”和“小合大”，支持数据库云平台对应用的多样性需求,DataWarehouse,DataMart/VGOP,ESOP/DataMining,Free,DataWarehouse,DataMart/VGOP,ESOP/DataMining,Free,高扩展,高可靠,OLTP,海量数据处理,SLA,架构优势,资源虚拟化,Exadata数据库云特点2：服务器资源池通过动态资源池+动态服务，使云平台在多租户的动态管理变成可能,高扩展,高可靠,OLTP,海量数据处理,SLA,架构优势,资源虚拟化,Exadata数据库云特点3：存储资源池支持集中化平台存储的线性扩展和高可用性保护,高扩展,高可靠,OLTP,海量数据处理,SLA,架构优势,资源虚拟化,Exadata数据库云特点3：存储资源池Exadata内部数据的分布，实现存储SAME特性,数据的分布只有在系统变更时才发生改变当新StorageCell添加时均衡仍然得以保持当硬件出故障时均衡仍然得以保持单块磁盘损坏/单个storagecell损坏都能忍受缺省分配单元AU_SIZE=4M，Strip_size=512K,Node2,Node3,Node1,Storagecell2,Storagecell1,Storagecell3,69,高扩展,高可靠,OLTP,海量数据处理,SLA,架构优势,资源虚拟化,70,Exadata数据库云特点3：存储资源池数据动态重分布，消除I/O分布热点块，使得集中化平台可不断线性扩展,Storagecell2,Storagecell3,Storagecell1,Addnewstoragecell,数据自动分布，提供最高性能当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持,高扩展,高可靠,OLTP,海量数据处理,SLA,架构优势,资源虚拟化,Exadata数据库云特点4：多租户资源管理适合云平台对多租户的资源（CPU、内存、存储、IO等）调配和管理,高扩展,高可靠,OLTP,海量数据处理,架构优势,资源虚拟化,SLA,72,Exadata数据库云特点5：服务质量管理QoS实现云平台对多租户环境的动态服务质量监控和管理,Recommendation:NAPerformanceClasshasCPUBottleneck.Action:MoveServerfromServerPoolBackOfficetoSales.,SalesPool,SalesClients,BackOfficeClients,Resource(CPU),EMEA,NA,APAC,ResponseTimeObjectives,MostCritical,LeastCritical,BackOfficePool,Recommendation:EMEAPerformanceClasshasCPUBottleneck.Action:PromoteEMEAPerformanceClassfromLevel2toLevel0.,Recommendation:AllPerformanceObjectsbeingmet.Action:Noactionrequired.,高扩展,高可靠,OLTP,海量数据处理,架构优势,资源虚拟化,SLA,73,Exadata数据库云特点5：服务质量管理通过QoS监控和HealthMonitor保护云平台系统服务资源，实现问题隔离，防止出现多米诺骨牌效应,SalesPool,SalesClients,BackOfficeClients,MostCritical,LeastCritical,BackOfficePool,高扩展,高可靠,OLTP,海量数据处理,架构优势,资源虚拟化,SLA,Exadata数据库云特点6：智能化存储提供分布式、并行化存储预处理能力,高扩展,高可靠,OLTP,SLA,资源虚拟化,架构优势,海量数据处理,Exadata数据库云特点6：智能化存储存储层传送更少的数据-混合列压缩、存储索引、Infiniband,高扩展,高可靠,OLTP,SLA,资源虚拟化,架构优势,海量数据处理,76,Exadata数据库云特点6：智能化存储存储层传送更少的数据-混合列压缩、存储索引、Infiniband,1TB（压缩）,10TB的用户数据需要10TB的IO,100GB（分区修剪）,20GB（存储索引）,5GB（智能扫描）,在DatabaseMachine上实现亚秒级,数据减少10倍，扫描加快2000倍,高扩展,高可靠,OLTP,SLA,资源虚拟化,架构优势,海量数据处理,77,Exadata数据库云特点7：闪存技术解决磁盘随机I/O瓶颈,磁盘可存储大量数据但