数据库原理与应用（SQL Server）课件 Ch13 数据库完整性

《数据库原理与应用》第13章

数据库技术发展概述1第十三章内容提要数据库系统的特点及开源数据库32数据管理技术的发展趋势4数据库发展的三个阶段2数据库技术发展历史回顾1内容导学3学习目标熟悉数据库技术发展的历史了解数据库技术发展的阶段熟悉数据库发展的特点了解数据管理技术的发展趋势学习重点数据库技术发展的阶段数据库发展的特点数据管理技术的发展趋势思政导学4关键词：数据库发展的三个阶段，数据库发展的特点及发展趋势。内容要意：通过熟悉数据库发展的三个阶段展示出信息发展的历程，合理引出关系数据库的优势和劣势，一方面反映出数据表在表示和处理问题中的直观性和有效性，另一方面通过数据的指数增长性拓展非结构化数据表示的需求，引入人工智能、数据库安全等特性，拓展学生的视野，鼓励学生在学习中要勇于思考、积极创新、能够发现问题并解决问题。思政点播：通过数据库发展的阶段和特点，引入网络模型到关系模型转换中思维的拓展使学生能够在解决实际问题时打开思路。通过数据库技术的发展趋势以及目前存在的问题，引入人工智能、数据挖掘以及大数据管理等学科间的关系，引领学生对深度知识的高阶探索和有效获取。思政目标：对现阶段数据库技术及应用中存在的问题的引导，培养学生合理探索，深度分析问题的能力和抽象思维能力；让学生强化职业理想，明确历史责任。13.1数据库技术发展历史回顾数据库技术产生于20世纪60年代中期；以数据建模和数据库管理系统核心技术，为现在的大数据管理和分析奠定了基础；数据库技术是计算机科学技术中发展最快的领域之一，也是应用最广的技术之一，它已成为计算机信息系统与智能应用系统的核心技术和重要基础；模型拓展、架构解耦；多模数据库实现一库多用、利用统一框架支撑混合负载处理、运用AI实现管理自治，提升易用性、降低使用成本；充分利用新兴硬件、与云基础设施深度结合，增强功能、提升性能；利用隐私计算技术助力安全能力提升、区块链数据库辅助数据存证溯源，提升数据可信与安全。第十三章内容提要数据库发展的三个阶段2数据库系统的特点及开源数据库36数据管理技术的发展趋势4数据库技术发展历史回顾113.2数据库发展的三个阶段13.2.1第一代数据库系统13.2.2第二代数据库系统13.2.3新一代数据库系统13.2.1第一代数据库系统层次模型和网状模型都是格式化模型。它们从体系结构、数据库语言到数据存储管理均具有共同特征，是第一代数据库系统。第一代数据库系统有如下两类代表：（1）1969年由IBM公司研制的层次模型数据库管理系统IMS。（2）美国数据库系统语言研究会（CODASYL）下属的数据库任务组（DBTG）对数据库方法进行了系统的研究和探讨，提议的方法是基于网状结构的，是网状模型数据库系统的典型代表。13.2.1第一代数据库系统1.支持三级模式的体系结构保证了外模式与模式，模式与内模式之间具有的三级独立性和两层映射结构功能。2.用存取路径来表示数据之间的联系这是数据库系统和文件系统的主要区别之一。数据库不仅存储数据，而且存储数据之间的联系。数据之间的联系在层次和网状数据库系统中都是用存取路径来表示和实现的。13.2.1第一代数据库系统3.独立的数据定义语言层次数据库系统和网状数据库系统有独立的数据定义语言，用以描述数据库的三级模式以及相互映像。各个模式一经定义，就很难修改。4.导航的数据操作语言层次和网状数据库的数据查询和数据操作语言是一次一个记录的导航式的过程化语言。这类语言通常嵌入某一种高级语言，如COBOL、FORTRAN、C语言中。导航式数据操作语言的优点是按照预设的路径存取数据，效率高；缺点是编程繁琐应用程序的可移植性较差，数据的逻辑独立性也较差。13.2数据库发展的三个阶段13.2.1第一代数据库系统13.2.2第二代数据库系统13.2.3新一代数据库系统13.2.2第二代数据库系统支持关系数据模型的关系数据库系统是第二代数据库系统。1970年，IBM公司SanJose研究室的研究员EFCodd发表了题为《大型共享数据库数据的关系模型》论文，提出了数据库的关系模型，开创了数据库关系方法和关系数据理论的研究，为关系数据库技术奠定了理论基础。20世纪70年代是关系数据库理论研究和原型开发的时代。13.2.2第二代数据库系统经过大量高层次的研究和开发取得了以下主要成果：1.奠定了关系模型的理论基础2.研究了关系数据语言，包括关系代数、关系演算、SQL及OBE等3.研制了大量的关系数据库管理系统原型第二代关系数据库系统具有模型简单清晰、理论基础好、数据独立性强、数据库语言非过程化和标准化等特色。13.2数据库发展的三个阶段13.2.1第一代数据库系统13.2.2第二代数据库系统13.2.3新一代数据库系统13.2.3新一代数据库系统第一、二代数据库系统的数据模型虽然描述了现实世界数据的结构和一些重要的相互联系，但是仍不能捕捉和表达数据对象所具有的丰富而重要的语义。新一代数据库系统以更丰富多样的数据模型和数据管理功能为特征，满足广泛复杂的新应用的要求。新一代数据库技术的研究和发展导致了众多不同于第一、二代数据库的系统诞生，构成了当今数据库系统的大家族。13.2.3新一代数据库系统三个特征：1.支持数据管理、对象管理和知识管理第三代数据库系统没有统一的数据模型，要支持各种复杂的、非传统的数据模型，具有面向对象模型的基本特征，各种NoSQL或NewSQL数据库在逻辑或语义上都将复杂数据抽象为对象。2.保持或继承第二代数据库系统的技术3.对其他系统开发第十三章内容提要数据库系统的特点及开源数据库3数据库发展的三个阶段217数据管理技术的发展趋势4数据库技术发展历史回顾113.3数据库系统的特点及开源数据库13.3.1数据库系统的特点13.3.2开源数据库13.3.1数据库系统的特点对复杂对象的表示能力较差语义表达能力较弱缺乏灵活丰富的建模能力对文本、时间、空间、声音、图像和视频等数据类型的处理能力差1.面向对象数据模型用面向对象观点来描述现实世界实体（对象）的逻辑组织、对象间限制、联系等的模型。（1）现实世界中的任何事物都被建模为对象。每个对象具有一个唯一的对象标识（OID）。（2）对象是其状态和行为的封装，其中状态是对象属性值的集合，行为是变更对象状态的方法集合。（3）具有相同属性和方法的对象的全体构成了类，类中的对象称为类的实例。1.面向对象数据模型（4）类的属性的定义域也可以是类，从而构成了类的复合。类具有继承性，一个类可以继承另一个类的属性与方法，被继承类和继承类也称为超类和子类。类与类之间的复合与继承关系形成了一个有向无环图，称为类层次。（5）对象是被封装起来的，它的状态和行为在对象外部不可见，从外部只能通过对象显式定义的消息传递对对象进行操作。2.XML数据模型半结构化数据的XML数据模型。XML数据模型由表示XML文档的结点标记树、结点标记树之上的操作和语义约束组成。XML结点标记树中包括不同类型的结点。其中，文档结点是树的根结点，XML文档的根元素作为该文档结点的子结点；元素结点对应XML文档中的每个元素；子元素结点的排列顺序按照XML文档中对应标签的出现次序：属性结点对应元素相关的属性值，元素结点是它的每个属性结点的父结点；命名空间结点描述元素的命名空间字符串。结点标记树的操作主要包括树中子树的定位以及树和树之间的转换。2.XML数据模型XML数据管理的实现方式可以采用纯XML数据库系统的方式。纯XML数据库基于XML结点树模型，能够较自然地支持XML数据的管理。但是，纯XML数据库需要解决传统关系数据库管理所面临的各项问题，包括查询优化、并发、事务、索引等问题。目前，很多商业关系数据库通过扩展的关系代数来支持XML数据的管理。扩展的关系代数不仅仅包含传统的关系数据操作，而且支持XML数据特定的投影、选择、连接等运算。传统的查询优化机制也加以扩展来满足新的XML数据操作的要求。通过关系数据库查询引擎的内部扩展，XML数据管理能够更加有效地利用现有关系数据库成熟的查询技术。3.RDF数据模型3.RDF数据模型W3C提出了资源描述框架（ResourceDiSPriptionFramework，RDF），用它来描述和注解万维网中的资源并向计算机系统提供理解和交换数据的手段。RDF是一种用于描述Web资源的标记语言，其结构就是由（主语，谓词，宾语）构成的三元组）3.RDF数据模型RDF模型可以有如下的形式化描述。RDF三元组（RDFtriple）：给定一个URI集合R、空节点集合B，文字描述集合L，一个RDF三元组t是形如（s，p，o）的三元组，其中s∈R∪B，P∈R，o∈R∪B∪L。这里的s通常称为主语（subject）、资源（resource）或主体，p称为谓词（predicate）或属性（property），o称为宾语（object）、属性值（value）或客体。SPARQL（SimpleProtocolandRDFQueryLanguage）是W3C提出的RDF数据的查询标准语言，也是目前被广泛采用的一种RDF上的查询语言。4.NoSQL数据库和NewSQL数据库NoSQL（notonlySQL）是对不同于传统关系数据库的数据库管理系统的统称。这类系统中可能有部分数据使用SQL系统存储，同时也允许使用其他系统来存储数据。其数据存储可以不使用关系模式，也没有元数据，数据查询会避免连接操作，通常有很好的水平可扩展性。代表系统有MarkLogic、MongoDB、Cassandra、Redis等。NewSQL是一类关系数据库，目标是为联机事务处理（onlinetransactionprocessing，OLTP）提供类比NoSQL系统的可扩展性，同时维护传统数据库系统的ACID特性。4.NoSQL数据库和NewSQL数据库许多处理重要数据的企业级信息系统（例如，财务和订单处理系统）对于常规的关系数据库而言规模太大，但具有事务性和一致性要求。以前可供选择的方案基本是购买功能更强大的计算机，或开发可通过常规DBMS分发请求的定制中间件。NewSQL数据库即支持NoSQL数据库的在线可扩展性，又继承了以SQL为主要结构的关系数据模型的特点。13.3数据库系统的特点及开源数据库13.3.1数据库系统的特点13.3.2开源数据库13.3.2开源数据库开源数据库是数据库技术的主流发展趋势之一，根据系统特点和使用场景分为SQL/RDBMS、NoSQL/NewSQL数据库、嵌入式数据库（embeddeddatabase）等不同类别。1.开源数据库的特色（1）成本低。（2）安全性高（3）可测试性高（4）升级周期短13.3.2开源数据库开源数据库也存在一些不足。（1）门槛较高。用户对代码的理解要求更高。（2）产品化程度差异可能很大，有些开源数据库的产品形态还不够完整。（3）不同开发组的侧重各有不同，需求更多样化，如有的希望作为实验室研究，有的则可能需要用于自己的产品系统中。13.3.2开源数据库开源数据库注意事项。（1）获得系统的多方式选择。可以选择从源代码生成，也可能直接下载，使用执行码。（2）开放式团队特点。开源数据库通过开放式团队来维护，但受到人员流动的影响比较大。（3）在使用中还会遇到定制问题，也称客户化（customization）。1.开源SQL/RDBMS开源数据库分为三大类，即SQL/RDBMS、NoSQL/NewSQL和嵌入式。（1）开源SQL/RDBMSSQL/RDBMS是传统的关系数据库，这类数据库历史相对悠久，主要采用关系模式组织数据。代表系统有PostgreSQL.MySQL与MariaDB.Firebird和IngresIII等。2.开源NoSQL/NewSQL数据库NoSQL/NewSQL数据库是在云计算、大数据等技术背景下催生出来的新一类数据库，数据组织基于键值对，大表或宽表（bigtable/widetable）、文档或图等方式，下面简要介绍HBase，MongoDB.CouchDB.Neo4J四个开源系统。HBase是Apache公司Hadoop项目的子项目，主要参考了MapReduce并行处理框架，运行于Hadoop环境下，作业调度使用ZooKeeper。数据组织模式借鉴了大表模式，文档数据库。2.开源NoSQL/NewSQL数据库MongoDB是NoSQL数据库的代表之一，数据组织采用二进制JSON（BinaryJSON，BSON）的数据模式，存储和访问效率优于JSON.JSON/BSON格式基本都是按照DOM树来访问数据的。CouchDB也是一个文档数据库，它是Apache自己孵化的一个开源数据库，能够运行在不可靠的普通硬件集群，提供REST接口，开发者是DamienKatz。Neo4J是图数据库。这是NeoTechnology发布的Java开发的系统，数据组织使用图模式，对于多层JOIN操作的执行效率优于传统的关系数据库。3.开源嵌入式数据库第三类开源数据库是嵌入式数据库（EmbeddedDatabase）。嵌入式数据库都是小规模的数据库，功能精简、资源占用相对较少、执行效率高。在实际应用中主语言程序和嵌入式数据库一体化运行，一般都是通过调用级接口（call-levelinterface，CLI）实现主语言应用程序与数据库的交互操作，而不是以客户-服务器模式工作。3.开源嵌入式数据库SQLLite是目前比较流行的一个支持ACID特性的嵌入式数据库，以C语言库函数存在，它是DwayneRichardHipp主持的一个项目，支持C/C++、TCL、Java等语言，能够运行于Windows，Linux，UNIX等多种操作系统。BerkeleyDB是UCBerkeley开发的一款嵌入式数据库，后被Oracle收购。它支持XQuery，能够组织XML数据，按照访问XML数据的规范来访问数据。此外，还有其他类别的开源数据库，如内存数据库（MonetDB）、流数据库SparkStreaming）等。第十三章内容提要数据管理技术的发展趋势4数据库发展的三个阶段237数据库系统的特点及开源数据库3数据库技术发展历史回顾113.4数据管理技术的发展趋势13.4.1数据管理技术面临的挑战13.4.2数据管理技术的发展与展望13.4.1数据管理技术面临的挑战传统的分布式和并行数据库在可扩展性和可伸缩性方面明显不足。数据类型越来越多样和异构，从结构化数据扩展到文本、图形图像、音频、视频等多媒体数据。HTML、XML、网页等半结构化/非结构化数据，还有流数据、队列数据和程序数据。传统数据库对半结构化/非结构化数据的存储、管理和处理能力很有限。图形图像、视频音频等视觉数据的语义蕴含在流数据中，并且存在大量冗余和噪声。数据快速流入并要立即处理，数据的快变性、实时性。13.4.1数据管理技术面临的挑战数据处理和应用的领域已经从OLTP为代表的事务处理扩展到OLAP分析处理，从对数据仓库中结构化的海量历史数据的多维分析发展到对海量非结构化数据的复杂分析和深度挖掘。现有的分析挖掘算法缺乏可扩展性，缺乏对复杂异构数据的高效分析算法，缺乏大规模知识库的支持和应用，缺乏能被非技术领域专家理解的分析结果表达方法。对数据的组织、检索和分析都是基础性的挑战。13.4.1数据管理技术面临的挑战数据处理平台由单处理器平台向多核、大内存，集群，云计算平台转移。处理器已全面进入多核时代，在主频缓慢提高的同时，处理核心的密度不断增加。内存容量变得越来越大，成本却变得越来越低。非易失性内存、闪存等技术日益成熟。13.4数据管理技术的发展趋势13.4.1数据管理技术面临的挑战13.4.2数据管理技术的发展与展望13.4.2数据管理技术的发展与展望大数据给数据管理、数据处理和数据分析提出了全面挑战。支持海量数据管理的系统应具有高可扩展性（满足数据量增长的需要）高性能（满足数据读写的实时性和查询处理的高性能）容错性（保证分布系统的可用性）可伸缩性（按需