Teradata数据仓库简介PPT课件

Agenda,关于TERADATATeradata数据库原理Teradata数据库架构Teradata数据库工作原理Teradata特性Teradata数据仓库构建基本概念常用工具介绍管理的一些约定,关于TERADATA,Teradata最初产生于1976年，由加州理工学院和花旗银行的高科技项目-创建一个能够分析10的12次方bytes数据的系统。,1Kilobyte=103=1000bytes1Megabyte=106=1,000,000bytes1Gigabyte=109=1,000,000,000bytes1Terabyte=1012=1,000,000,000,000bytes1Petabyte=1015=1,000,000,000,000,000bytes1Exabyte=1018=1,000,000,000,000,000,000bytes1Zetabyte=1021=1,000,000,000,000,000,000,000bytes1Yottabyte=1024=1,000,000,000,000,000,000,000,000bytes,关于TERADATA,Teradata是全球最大的专注于数据仓库、咨询服务及企业分析方案的提供商，凭借业界领先的数据库、数据仓库解决方案、性能卓越的可扩展平台以及全球2000多个大型数据仓库项目的客户成功经验，成就了公司在数据仓库领域的创新领导地位。,nicheplayers,visionaries,DATAllegro,Greenplum,Netezza,MySQL,Kognitio,SandTechnology,Sybase,Microsoft,IBM,Teradata,Oracle,leaders,challengers,asofSeptember2007,2007,2008,Microsoft-DATAllegro,nicheplayers,visionaries,leaders,challengers,asofDecember2008,Gartner评选Teradata为数据仓库领导厂商,4,Teradata数据库原理,Teradata数据库架构Teradata数据库工作原理Teradata特性,通信界面,存取模块单元AMP,分析引擎PE,网关,通道,单结点SMP,UNIX,PDE(并行数据库扩展环境),TCP/IP,封闭主机系统,信息传递层,磁盘阵列,Teradata数据库架构,BYNET信息传递网络,TERADATA的MPP架构,MPP系统与Teradata多结点同时工作数据库由各结点共同拥有,MPP(MassiveParallelProcessing)海量并行处理服务器：由多个SMP服务器通过一定的结点互联网络进行连接，协同工作，完成相同的任务。从用户的角度来看是一个系统！,TERADATA的MPP架构,高速并行处理的BYNET技术更适合复杂/即席查询通过硬件技术实现Teradata的多个子任务均衡并行,SMP处理器节点,光纤I/O连接,MPP数据高速交换层,BYNET,2,DAControllers,(w/Cache),BYNET,高性能磁盘阵列,DAControllers,(w/Cache),DAControllers,(w/Cache),DAControllers,(w/Cache),Memory,Memory,Memory,Memory,CLIQUE,Teradata并行处理架构,每个并行单元只管理自己的数据,AMP1的数据,AMP1,Teradata并行的机制,其他关系数据库“有条件的并行”,Teradata“无条件的并行”,时间,最终结果集,并行处理性能,线性扩展能力最大化的利用每个节点的资源可灵活配置,SharedNothingSoftware,MPP小结,TeradataMPP架构使用当前最快的CPU最好的扩展性使用shared-nothingMPP架构以达到线性扩展,Teradata数据仓库构建,基本概念常用工具介绍管理的一些约定,数据处理的演变,数据仓库（DataWarehouse，可简写为DW）,数据仓库是决策支持系统（DSS）和联机分析（OLAP）应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。,ATM,PeopleSoft,POS,Cognos,Access,BizObjects,TeradataRDBMS,ETL,ETL是Extraction-Transformation-Loading的缩写，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。,ETL,ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。,主索引是表中的一个或多个字段，用于确定数据的物理分布每个表的数据根据PI(主索引)平均分布在不同的AMP通过Hash算法实现数据自动分布无需数据重组、重新分区、数据分布管理可以是唯一或非唯一一个表不会有两个主索引主索引的选择，关系到能否很好的发挥Teradata数据库的优势-并行处理。,VAMP1VAMP2VAMP3VAMP4VAMPn,Table1Table2Table3,PrimaryIndex,TeradataParallelHashFunction,主索引（PrimaryIndex）,PI:cust_id,PI:cust_id,PI:acc_id,主键和主索引,AccessingviaaUniquePrimaryIndex,AMP1,AMP2,AMP3,AMP4,Cust,Name,Phone,UPI,BaseTable,Cust,Name,Phone,UPI,BaseTable,Cust,Name,Phone,UPI,BaseTable,Cust,Name,Phone,UPI,BaseTable,CREATETABLECustomer(CustINT,NameCHAR(10),PhoneCHAR(8)UNIQUEPRIMARYINDEX(Cust);,SELECT*FROMcustomerWHEREcust=45;,PE,BYNET,Cust,Name,Phone,CUSTOMERtable,37White555-444498Brown333-999974Smith555-666695Peters555-777727Jones222-888856Smith555-777745Adams444-666684Rice666-555549Smith111-666651Marsh888-222231Adams111-222262Black444-555512Young777-444477Jones777-666672Adams666-777740Smith222-3333,UPI,PK,RowDistributionUsingaUPI,AMP1,AMP2,AMP3,AMP4,7202,2,4/09,C,7402,3,4/16,C,7325,2,4/13,C,7225,2,4/15,C,7188,1,4/13,C,7384,1,4/12,C,7324,3,4/13,C,7103,1,4/10,C,Order,7415,1,4/13,C,ThePKcolumn(s)willoftenbeusedasaUPI.PIvaluesforOrder_Numberareknowntobeunique(itsaPK).TeradatawilldistributedifferentindexvaluesevenlyacrossAMPs.ResultingrowdistributionamongAMPsisuniform.,RowDistributionUsingaNUPI,Order,7225,2,4/15,C,7325,2,4/13,0,7415,1,4/13,C,7384,1,4/12,C,7324,3,4/13,0,7402,3,4/16,C,7103,1,4/10,C,AMP1,AMP2,AMP4,7202,2,4/09,C,7188,1,4/13,C,AMP3,Customer_NumbermaybethereferredaccesscolumnforORDERtable,thusagoodindexcandidate.ValuesforCustomer_Numberarenon-uniqueandthereforeaNUPI.RowswiththesamePIvaluedistributetothesameAMPcausingrowdistributiontobelessuniformorskewed.,RowDistributionUsingaHighlyNon-UniqueIndex,Order,ValuesforOrder_Statusarehighlynon-unique.Onlytwovaluesexist,soonlytwoMPswillbeusedinthistable.Thistablewillnotperformwellinparalleloperations.Highlynon-uniquecolumnsarepoorPIchoices.Thedegreeofuniquenessiscriticaltoefficiency.,PartitionedPrimaryIndex,4AMPswithOrdersTableDefinedwithNPPI,4AMPswithOrdersTableDefinedwithPPIonO_Date,SecondaryIndexes,Asecondaryindexisanalternatepathtotherowsofatable.Atablecanhavefrom0to32secondaryindexes.Secondaryindexes:Donotaffecttabledistribution.Addoverhead,bothintermsofdiskspaceandmaintenance.Maybeaddedordroppeddynamicallyasneeded.Arechosentoimprovetableperformance.,FullTableScans,SELECT*FROMcustomerWHERECust_PhoneLIKE524-;SELECT*FROMcustomerWHERECust_NameDavis;SELECT*FROMcustomerWHERECust_ID1000;,ExamplesofFull-TableScans:,Everyrowofthetablemustberead.AllAMPsscantheirportionofthetableinparallel.PrimaryIndexchoiceaffectsFTSperformance.Full-tablescanstypicallyoccurwheneither:TheindexcolumnsarenotusedinthequeryAnindexisusedinanon-equalitytestArangeofvaluesisspecifiedfortheprimaryindex,QuerySubmittingTools,BTEQBasicTeradataQueryutilityReportwritingandformattingfeaturesInteractiveandbatchqueriesImport/Exportacrossallplatforms,FastLoad,FastLoadCharacteristics,ASampleFastLoadScript,MultiLoad,MultiLoadLimitations,Nodataretrievalcapability.Concatenationofinputdatafilesisnotallowed.Hostwillnotprocessarithmeticfunctions.Hostwillnotprocessexponentiationoraggregates.CannotprocesstablesdefinedwithUSIs,ReferentialIntegrity,JoinIndexes,HashIndexes,orTriggers.ImporttasksrequireuseofPrimaryIndex.,BasicMultiLoadStatements,FastExport,AFastExportScript,其他常用工具,TeradataAdministratorTeradataSQLAssistantTeradataManagerTeradataOleLoad,管理中的一些约束,数据库和用户的管理数据库对象的管理数据库空间的管理,数据库和用户的管理,UserD,用户和数据库分别归属到两个用户下面。针对不同类型的对象，分别创建库，便于管理。最好创建一个专门用于存放临时表的库。,数据库对象的管理,对象名称的约束Prefix_subject_body_suffix_YYYYMMDD说明：Prefix是表明这个