大数据库原理(王珊)知识点整理

wordword18/23word目录TOC\o"1-3"\h\u10515四个根本概念 125881数据(Data) 114421数据库(Database,简称DB) 111425长期储存在计算机内、有组织的、可共享的大量数据的集合、 114833根本特征 130426数据库管理系统(DBMS) 126434数据定义功能 124466数据组织、存储和管理 17485数据操纵功能 19946数据库的事务管理和运行管理 124276数据库的建立和维护功能(实用程序) 18801其它功能 16011数据库系统(DBS) 1128931.1.2数据管理技术的产生和开展 11749数据管理 17942数据管理技术的开展过程 118133人工管理特点 110935文件系统特点 1101951.1.3数据库系统的特点 217958数据结构化 214954整体结构化 232599数据库中实现的是数据的真正结构化 223830数据的共享性高，冗余度低，易扩大、数据独立性高 218743数据独立性高 25096物理独立性 226884逻辑独立性 225301数据独立性是由DBMS的二级映像功能来保证的 232742数据由DBMS统一管理和控制 2264611.2.1两大类数据模型：概念模型、逻辑模型和物理模型 267591.2.2数据模型的组成要素：数据结构、数据操作、数据的完整性约束条件 35289数据的完整性约束条件: 3155411.2.7关系模型 319786关系数据模型的优缺点 3229861.3.1数据库系统模式的概念 312353型(Type)：对某一类数据的结构和属性的说明 321737值(Value)：是型的一个具体赋值 323290模式〔Schema〕 326655实例〔Instance〕 3123761.3.2数据库系统的三级模式结构 324483外模式[ExternalSchema]〔也称子模式或用户模式〕， 329969模式[Schema]〔也称逻辑模式〕 322852内模式[InternalSchema]〔也称存储模式〕 3214761.3.3数据库的二级映像功能与数据独立性 328749外模式/模式映像：保证数据的逻辑独立性 312392模式/内模式映象：保证数据的物理独立性 4167731.4数据库系统的组成 49616数据库管理员(DBA)职责： 4205352.1.1关系 413592域(Domain):是一组具有一样数据类型的值的集合 423651候选码(Candidatekey) 45997全码(All-key) 431618主码(Primarykey) 422485主属性 44243 417642.3.1关系的三类完整性约束 425918实体完整性和参照完整性： 423934用户定义的完整性： 4300262.3.2实体完整性:主码不为空 4156002.3.4用户定义的完整性 4181272.4.2专门的关系运算：选择、投影、连接、除 57409象集Zx：本质是一次选择运算和一次投影运算 515544悬浮元组 516010外连接 532405左外连接 529476右外连接 510194除：查找在被除数R中能够完全覆盖除数S的局部[的剩余值] 53563.1.2SQL的特点 516844 515730 526453 522745 596485.语言简洁，易学易用 5200183.3.1模式的定义与删除 53592CREATESCHEMA<模式名>AUTHORIZATION<用户名> 512068DROPSCHEMA<模式名><CASCADE|RESTRICT> 517381CASCADE(级联) 53982RESTRICT(限制) 5307853.3.2根本表的定义、删除与修改 524273CREATETABLE<表名>(<列名><数据类型>[<列级完整性约束条件>] 532279ALTERTABLE<表名> 518579DROPTABLE<表名>［RESTRICT|CASCADE]; 619626RESTRICT：删除表是有限制的。 616498CASCADE：删除该表没有限制。 694383.3.3索引的建立与删除 614468CREATE[UNIQUE][CLUSTER]INDEX<索引名> 6313013.4数据查询 616531字符匹配: 61508空值查询：ISNULL或ISNOTNULL![“IS〞不能用“=〞代替] 631860ORDERBY子句 622446聚集函数： 64592GROUPBY子句分组： 69545HAVING短语与WHERE子句的区别：![作用对象不同] 629459自身连接： 618337外连接与普通连接的区别: 720453子查询的限制:不能使用ORDERBY子句 79798不相关子查询： 74809相关子查询： 71723一、带有IN谓词的子查询：此为不相关子查询 79509二、带有比拟运算符的子查询 710001三、带有ANY〔SOME〕或ALL谓词的子查询 726113四、带有EXISTS谓词的子查询 716694.1.2安全标准简介：TCSEC标准、CC标准 7191194.2.2存取控制 851214.2.3自主存取控制方法 886484.2.4授权与回收 8311501、 WITHGRANTOPTION:指定：可以再授予；没有指定：不能传播；不允许循环授权 8294382、 GRANTALLPRIVILIGES 8138113、对属性列的授权时必须明确指出相应属性列名 827101、FROMUSERCASCADE; 系统收回直接或间接从USER处获得的权限 8301044.2.5数据库角色：是被命名的一组与数据库操作相关的权限，角色是权限的集合 8300804.2.6强制存取控制方法 8327484.3视图机制 970194.4审计〔Audit〕 9197355.2.1关系模型的参照完整性定义 9200425.3用户定义的完整性 9245765.4完整性约束命名子句 989906.2.42NF假如R∈1NF，且每一个非主属性完全函数依赖于码，如此R∈2NF。 1021656.2.53NF假如R∈3NF，如此每一个非主属性既不局部依赖于码也不传递依赖于码。 10179306.2.6BCX式〔BF〕每一个决定属性因素都包含码。 1060027.1.1数据库设计的特点,数据库建设的根本规律： 10194427.1.2数据库设计方法 1078657.1.3数据库设计的根本步骤 10220777.2.3数据字典：进展详细的数据收集和数据分析所获得的主要结果 10四个根本概念数据(Data)是数据库中存储的根本对象，数据库中的数据具有永久储存、有组织和可共享三个特点。数据(Data)的定义：描述事物的符号记录数据库(Database,简称DB)长期储存在计算机内、有组织的、可共享的大量数据的集合、根本特征数据按一定的数据模型组织、描述和储存、可为各种用户共享、冗余度较小数据独立性较高、易扩展、数据库管理系统(DBMS)数据定义功能提供数据定义语言(DDL)、定义数据库中的数据对象数据组织、存储和管理分类组织、存储和管理各种数据、确定组织数据的文件结构和存取方式实现数据之间的联系、提供多种存取方法提高存取效率数据操纵功能提供数据操纵语言(DML)、实现对数据库的根本操作(查询、插入、删除和修改)数据库的事务管理和运行管理数据库在建立、运行和维护时由DBMS统一管理和控制、保证数据的安全性、完整性、多用户对数据的并发使用、发生故障后的系统恢复数据库的建立和维护功能(实用程序)数据库初始数据装载转换、数据库转储、介质故障恢复、数据库的重组织、性能监视分析等其它功能DBMS与网络中其它软件系统的通信、两个DBMS系统的数据转换、异构数据库之间的互访和互操作、数据库系统(DBS)数据库、数据库管理系统〔与其开发工具〕、应用系统、数据库管理员(DBA)组成的储存、管理、处理和维护数据的系统。1.1.2数据管理技术的产生和开展数据管理定义：对数据进展分类、组织、编码、存储、检索和维护，是数据处理的中心问题数据管理技术的开展过程人工管理阶段(20世纪40年代中--50年代中)文件系统阶段(20世纪50年代末--60年代中)数据库系统阶段(20世纪60年代末--现在)人工管理特点数据的管理者：用户〔程序员〕，数据不保存数据面向的对象：某一应用程序数据的共享程度：无共享、冗余度极大数据的独立性：不独立，完全依赖于程序数据的结构化：无结构数据控制能力：应用程序自己控制文件系统特点数据的管理者：文件系统，数据可长期保存数据面向的对象：某一应用程序数据的共享程度：共享性差、冗余度大数据的结构化：记录内有结构,整体无结构数据的独立性：独立性差，数据的逻辑结构改变必须修改应用程序数据控制能力：应用程序自己控制1.1.3数据库系统的特点数据结构化整体数据的结构化是数据库的主要特征之一整体结构化不再仅仅针对某一个应用，而是面向全组织不仅数据内部结构化，整体是结构化的，数据之间具有联系数据库中实现的是数据的真正结构化数据的结构用数据模型描述，无需程序定义和解释、数据可以变长、数据的最小存取单位是数据项、数据的共享性高，冗余度低，易扩大、数据独立性高数据共享的好处是减少数据冗余，节约存储空间、防止数据之间的不相容性与不一致性、使系统易于扩大、数据独立性高物理独立性指用户的应用程序与存储在磁盘上的数据库中数据是相互独立的。当数据的物理存储改变了，应用程序不用改变。逻辑独立性指用户的应用程序与数据库的逻辑结构是相互独立的。数据的逻辑结构改变了，用户程序也可以不变。数据独立性是由DBMS的二级映像功能来保证的数据由DBMS统一管理和控制DBMS提供的数据控制功能(1)数据的安全性〔Security〕保护保护数据，以防止不合法的使用造成的数据的泄密和破坏。(2)数据的完整性〔Integrity〕检查将数据控制在有效的X围内，或保证数据之间满足一定的关系。(3)并发〔Concurrency〕控制对多用户的并发操作加以控制和协调，防止相互干扰而得到错误的结果。(4)数据库恢复〔Recovery〕将数据库从错误状态恢复到某一的正确状态。1.2.1两大类数据模型：概念模型、逻辑模型和物理模型数据模型应满足三方面要求：能比拟真实地模拟现实世界、容易为人所理解、便于在计算机上实现。 概念模型也称信息模型它是按用户的观点来对数据和信息建模，用于数据库设计。逻辑模型主要包括[网状模型、层次模型、(已淘汰)]关系模型和面向对象模型等，按计算机系统的观点对数据建模，用于DBMS实现。物理模型是对数据最底层的抽象描述数据在系统内部的表示方式、存取方法，在磁盘磁带上的存储方式和存取方法。1.2.2数据模型的组成要素：数据结构、数据操作、数据的完整性约束条件数据结构：描述数据库的组成对象，以与对象之间的联系是对系统静态特性的描述。数据操作：对数据库中各种对象(型)的实例(值)允许执行的操作与有关的操作规如此数据操作的类型：查询、更新(包括插入、删除、修改)数据的完整性约束条件:是一组完整性规如此的集合包括参照完整性，实体完整性、数据和用户自定义完整性。数据模型应该反映和规定其必须遵守的根本的和通用的完整性约束条件。例如在关系模型中，任何关系必须满足实体完整性和参照完整性两个不变性条件。1.2.7关系模型关系(Relation)：一个关系对应通常说的一X表。元组(Tuple)：表中的一行即为一个元组属性(Attribute)：表中的一列即为一个属性，给每一个属性起一个名称即属性名主码(Key)：表中的某个属性组，它可以唯一确定一个元组。域(Domain)：属性的取值X围。 分量：元组中的一个属性值。关系模式：对关系的描述，一般表示为关系名〔属性1，属性2，…，属性n〕数据操作是集合操作，操作对象和操作结果都是关系，即假如干元组的集合。关系数据模型的优缺点优点：建立在严格的数学概念的根底上、关系模型概念单一，实体与实体之间的联系都用关系表示、关系模型的存取路径对用户透明，具有更高的数据独立性更好的安全某某性、简化程序员的工作和数据库开发建立的工作。缺点：存取路径对用户透明导致查询效率往往不如非关系数据模型。1.3.1数据库系统模式的概念型(Type)：对某一类数据的结构和属性的说明值(Value)：是型的一个具体赋值模式〔Schema〕数据库逻辑结构和特征的描述、型的描述、反映数据的结构与其联系、模式相对稳定、实例〔Instance〕模式的一个具体值、反映数据库某一时刻的状态、同一个模式可以有很多实例、实例随数据库中的数据的更新而变动、1.3.2数据库系统的三级模式结构外模式[ExternalSchema]〔也称子模式或用户模式〕，数据库用户〔包括应用程序员和最终用户〕能够看见和使用的局部数据的逻辑结构和特征的描述，是数据库用户的数据视图，是与某一应用有关的数据的逻辑表示。一个数据库可以有多个外模式，每个用户只能看见和访问所对应的外模式中的数据。模式[Schema]〔也称逻辑模式〕数据库中全体数据的逻辑结构和特征的描述，是所有用户的公共数据视图，一个数据库只有一个模式。内模式[InternalSchema]〔也称存储模式〕数据物理结构和存储方式的描述，是数据在数据库内部的组织方式。一个数据库只有一个内模式。1.3.3数据库的二级映像功能与数据独立性模式：描述的是数据的全局逻辑结构外模式：描述的是数据的局部逻辑结构外模式/模式映像：保证数据的逻辑独立性当模式改变时，数据库管理员修改有关的外模式／模式映象，使外模式保持不变应用程 序是依据数据的外模式编写的，从而应用程序不必修改，保证了数据与程序的逻辑独立 性，简称数据的逻辑独立性。模式/内模式映象：保证数据的物理独立性定义了数据全局逻辑结构与存储结构之间的对应关系。当数据库的存储结构改变时，数据库管理员修改模式／内模式映象，使模式保持不变。 应用程序不受影响。保证了数据与程序的物理独立性，简称数据的物理独立性。这两层映像保证了数据库系统中的数据具有较高的逻辑独立性和物理独立性。1.4数据库系统的组成数据库、数据库管理系统〔与其开发工具〕、应用系统、数据库管理员〔DBA〕数据库管理员(DBA)职责：5.数据库的改良和重组2.1.1关系域(Domain):是一组具有一样数据类型的值的集合候选码(Candidatekey)假如关系中的某一属性组的值能唯一地标识一个元组，如此称该属性组为候选码全码(All-key)最极端的情况：关系模式的所有属性组是这个关系模式的候选码，称为全码〔All-key〕主码(Primarykey)假如一个关系有多个候选码，如此选定其中一个为主码〔Primarykey〕主属性候选码的诸属性称为主属性〔Primeattribute〕不包含在任何侯选码中的属性称为非主属性〔Non-Primeattribute〕或非码属性〔Non-keyattribute〕常用的关系操作查询：选择、投影、连接、除、并、交、差数据更新：插入、删除、修改![查询的表达能力是其中最主要的局部]选择、投影、并、差、笛卡尔积是5种根本操作关系操作的特点集合操作方式：操作的对象和结果都是集合，一次一集合的方式2.3.1关系的三类完整性约束实体完整性和参照完整性：称为关系的两个不变性，是关系模型必须满足的完整性约束条件，由关系系统自动支持用户定义的完整性：应用领域需要遵循的约束条件，表现了具体领域中的语义约束2.3.2实体完整性:主码不为空假如属性A是根本关系R的主属性，如此属性A不能取空值2.3.3参照完整性：外码要么为空要么为被参照表的主码值2.3.4用户定义的完整性关系模型应提供定义和检验这类完整性的机制，以便用统一的系统的方法处理它们，不 需要应用程序承当这一功能2.4.2专门的关系运算：选择、投影、连接、除象集Zx：本质是一次选择运算和一次投影运算给定一个关系R〔X，Z〕，X和Z为属性组。当t[X]=x时，x在R中的象集〔ImagesSet〕为：Zx={t[Z]|t∈R，t[X]=x}它表示R中属性组X上值为x的诸元组在Z上分量的集合。悬浮元组不存在公共属性上相等的元组外连接如果把舍弃的元组也保存在结果关系中，而在其他属性上填空值(Null)，这种连接 就叫做外连接〔OUTERJOIN〕。左外连接如果只把左边关系R中要舍弃的元组保存就叫做左外连接(LEFTOUTERJOIN)右外连接如果只把右边关系S中要舍弃的元组保存就叫做右外连接(RIGHTOUTERJOIN)。除：查找在被除数R中能够完全覆盖除数S的局部[的剩余值]设关系R÷S的结果为关系T，如此T包含所有[在R但不在S]中的属性与其值，且T的元组与S的元组的所有组合都在R中。3.1.2SQL的特点集数据定义语言〔DDL〕，数据操纵语言〔DML〕，数据控制语言〔DCL〕功能于一体。SQL只要提出“做什么〞，无须指明“怎么做〞。存取路径的选择以与SQL的操作过程由系统自动完成。操作对象、查找结果、一次插入、删除、更新操作的对象都可以是元组的集合。SQL是独立的语言，又是嵌入式语言。语言简洁，易学易用3.3.1模式的定义与删除CREATESCHEMA<模式名>AUTHORIZATION<用户名>[<表定义子句>|<视图定义子句>|<授权定义子句>];在CREATESCHEMA中可以承受CREATETABLE，CREATEVIEW和GRANT子句。定义模式实际上定义了一个命名空间在这个空间中可以定义该模式包含的数据库对象，例如根本表、视图、索引等。DROPSCHEMA<模式名><CASCADE|RESTRICT>CASCADE(级联)删除模式的同时把该模式中所有的数据库对象全部删除RESTRICT(限制)如果该模式中定义了下属的数据库对象〔表、视图等〕，如此拒绝该删除语句的执行。当该模式中没有任何下属的对象时才能执行。3.3.2根本表的定义、删除与修改CREATETABLE<表名>(<列名><数据类型>[<列级完整性约束条件>][,<列名><数据类型>[<列级完整性约束条件>]]……);ALTERTABLE<表名>[ADD<新列名><数据类型>[完整性约束]][DROP<完整性约束名>][ALTERCOLUMN<列名><数据类型>];DROPTABLE<表名>［RESTRICT|CASCADE];RESTRICT：删除表是有限制的。欲删除的根本表不能被其他表的约束所引用如果存在依赖该表的对象，如此此表不能被删除CASCADE：删除该表没有限制。在删除根本表的同时，相关的依赖对象一起删除3.3.3索引的建立与删除CREATE[UNIQUE][CLUSTER]INDEX<索引名>ON<表名>(<列名>[<次序>][,<列名>[<次序>]]…);采用B+树或HASH索引由RDBMS决定，索引是关系数据库内部实现技术，属于内模式CREATEINDEX语句定义索引时，可以定义索引是唯一索引、非唯一索引或聚簇索引、PRIMARYKEY、UNIQUE[每一个索引值对应唯一数据记录]、CLUSTER[一表一聚簇]、3.4数据查询SELECT[ALL|DISTINCT]<目标列表达式>[,<目标列表达式>]…FROM<表名或视图名>[,<表名或视图名>]…[WHERE<条件表达式>][GROUPBY<列名1>[HAVING<条件表达式>]][ORDERBY<列名2>[ASC|DESC]];消除取值重复的行:如果没有指定DISTINCT关键词，如此缺省为ALL字符匹配:[NOT]LIKE’<匹配串>’[ESCAPE’<换码字符>’]，匹配串为固定字符串。%[任意长度字符]，_[单个任意字符]，匹配串为含通配符的字符串。ESCAPE'\'表示“\〞为换码字符，使用换码字符将通配符转义为普通字符。空值查询：ISNULL或ISNOTNULL![“IS〞不能用“=〞代替]ORDERBY子句可以按一个或多个属性列排序，升序：ASC；降序：DESC；[缺省值为升序]当排序列含空值时ASC：排序列为空值的元组最后显示；DESC：排序列为空值的元组最先显示；聚集函数：计数:COUNT([DISTINCT|ALL]*); COUNT([DISTINCT|ALL]<列名>);计算总和：SUM([DISTINCT|ALL]<列名>) 计算平均值：AVG([DISTINCT|ALL]<列名>)最大最小值：MAX([DISTINCT|ALL]<列名>); MIN([DISTINCT|ALL]<列名>);GROUPBY子句分组：细化聚集函数的作用对象未对查询结果分组，聚集函数将作用于整个查询结果对查询结果分组后，聚集函数将分别作用于每个组作用对象是查询的中间结果表。按指定的一列或多列值分组，值相等的为一组。HAVING短语与WHERE子句的区别：![作用对象不同]WHERE子句作用于基表或视图，从中选择满足条件的元组HAVING短语作用于组，从中选择满足条件的组。自身连接：一个表与其自己进展连接，需要给表起别名以示区别由于所有属性名都是同名属性，因此必须使用别名前缀FROMCourseFIRST，CourseSECONDWHEREFIRST.Cpno=SECOND.o;外连接与普通连接的区别:普通连接操作只输出满足连接条件的元组外连接操作以指定表为连接主体，将主体表中不满足连接条件的元组一并输出SELECTStudent.Sno，Sname，Ssex，Sage，Sdept，o，GradeFROMStudent LEFTOUTJOIN SC ON (Student.Sno=SC.Sno);子查询的限制:不能使用ORDERBY子句不相关子查询：子查询的查询条件不依赖于父查询由里向外逐层处理。每个子查询在上一级查询处理前求解，它的结果用于建立其父查询的查找条件。相关子查询：子查询的查询条件依赖于父查询。首先取外层查询中表的一个元组，根据它与内层查询相关的属性值处理内层查询， 假如WHERE子句返回值为真，如此取此元组放入结果表，再取外层表的下一个元组，重复这一过程，直至外层表全部检查完为止。一、带有IN谓词的子查询：此为不相关子查询二、带有比拟运算符的子查询当能确切知道内层查询返回单值时，可用比拟运算符〔>，<，=，>=，<=，!=或<>〕。与ANY或ALL谓词配合使用![子查询一定要跟在比拟符之后]三、带有ANY〔SOME〕或ALL谓词的子查询ANY：任意一个值；ALL：所有值；1.RDBMS执行此查询时，首先处理子查询，找出满足条件的项构成一个集合四、带有EXISTS谓词的子查询1.EXISTS谓词子查询找到的提交存在量词∃带EXISTS谓词的子查询不返回任何数据，只产生逻辑真值〞true〞或逻辑假值〞false〞。假如内层查询结果非空，如此外层的WHERE子句返回真值假如内层查询结果为空，如此外层的WHERE子句返回假值由EXISTS引出的子查询，其目标列表达式通常都用*，因为带EXISTS的子查询只返回真值或假值，给出列名无实际意义。2.NOTEXISTS谓词子查询中找不到的提交假如内层查询结果非空，如此外层的WHERE子句返回假值假如内层查询结果为空，如此外层的WHERE子句返回真值所有带IN谓词、比拟运算符、ANY和ALL谓词的子查询都能用EXISTS子查询替换用EXISTS/NOTEXISTS实现全称量词(难点)SQL语言中没有全称量词∀〔Forall〕把带有全称量词的谓词转换为等价的带有存在量词的谓词：(∀x)P≡￢(∃x(￢P))4.1.2安全标准简介：TCSEC标准、CC标准TCSEC/TDI，从安全策略、责任、保证、文档四个方面来描述安全性级别划分的指标4.2.2存取控制存取控制机制由定义用户权限和合法权限检查两局部组成用户权限定义和合法权检查机制一起组成了DBMS的安全子系统4.2.3自主存取控制方法用户权限组成：数据对象、操作类型、定义存取权限称为授权4.2.4授权与回收GRANT语句的一般格式：GRANT<权限>[,<权限>]...[ON<对象类型><对象名>]TO<用户>[,<用户>]...[WITHGRANTOPTION];1、 WITHGRANTOPTION: 指定：可以再授予；没有指定：不能传播；不允许循环授权2、 GRANTALLPRIVILIGESONTABLESTUDENTTOPUBLIC; -将STUDENT表的所有权限授予所有用户对属性列的授权时必须明确指出相应属性列名REVOKE语句的一般格式为：REVOKE<权限>[,<权限>]...[ON<对象类型><对象名>]FROM<用户>[,<用户>]...;FROMUSERCASCADE; 系统收回直接或间接从USER处获得的权限2、 REVOKEALLPRIVILIGESONTABLESTUDENTFROMPUBLIC; -将STUDENT表的所有用户的所有权限收回CREATEUSER语句格式：CREATEUSER<username>[WITH][DBA|RESOURCE|CONNECT];DBA可CREATE[USER|SCHEMA|TABLE]+登录数据库查询数据和操纵RESOURCE可CREATETABLE+登录数据库查询数据和操纵CONNECT可登录数据库查询数据和操纵4.2.5数据库角色：是被命名的一组与数据库操作相关的权限，