《数据库技术》课件（上）

第1章数据库技术概述了解数据库发展趋势了解数据库技术发展历程了解国产数据库的发展历程学习目标1.1数据库技术发展历程1.网络数据库模型阶段120世纪60年代末至70年代初，数据库系统起步阶段。由于随着计算机科学和信息技术的发展，人们开始意识到需要一种更有效地组织和管理数据的方法，数据库概念应运而生。为了解决数据组织和存储的问题，尝试寻找一种更有效的方式来管理大量数据。在这个阶段，主要采用的是网络数据库模型，数据以有向图的形式组织，代表性的数据库系统有CODASYL数据库管理系统。1.1数据库技术发展历程2.关系数据库模型阶段170年代初至90年代初，对于数据的组织和管理需要更为灵活和高效的解决方案，关系数据库模型提供了更符合实际需求的数据组织方式。解决了当下数据之间的关联和查询的问题，提供了更直观、规范的数据组织方式，并引入了关系代数和关系演算等理论。其代表性数据库系统包括Oracle、IBMDb2和MicrosoftSQLServer等关系数据库管理系统，关系数据库模型成为主流。1.1数据库技术发展历程3.商业化数据库系统阶段170年代中期至今，商业化数据库系统开始崭露头角。由于企业对于数据安全、稳定性和性能提出了更高要求，需要专业化、商业化的数据库系统来满足需求。为了解决企业级数据管理的问题，商业化数据库系统提供了更强大和稳定的数据管理解决方案。其中Oracle、IBM、Microsoft等公司推出了各自的商业化RDBMS产品，这些系统为企业提供了强大的数据管理解决方案。1.1数据库技术发展历程4.开源数据库系统阶段190年代末至今，开源文化的兴起以及对于成本的考量，促使开源数据库系统逐渐受到关注和应用。该阶段为了解决经济实惠的数据管理解决方案，为许多初创企业和项目提供了可行的数据管理选项。其中具有代表性数据库系统包括MySQL、PostgreSQL等开源数据库系统，为许多企业和项目提供了经济实惠的数据管理解决方案。1.1数据库技术发展历程5.NoSQL数据库阶段12000年代后期至今，随着大数据和分布式系统的兴起，传统关系数据库在处理大规模、高并发数据时遇到了挑战，需要更加灵活的数据存储方式。该阶段解决的是非结构化或半结构化数据的管理问题，为大规模、高并发数据场景提供了更灵活的数据存储选择。其中具有代表性数据库系统包括MongoDB、Cassandra等NoSQL数据库系统，采用文档型、列型、键值型等非关系型数据存储方式。1.1数据库技术发展历程6.NewSQL数据库阶段1近年来，由于传统关系数据库在大规模、高并发场景下的局限性，需要兼顾传统关系数据库的事务特性和NoSQL数据库的分布式特性。这个阶段需要解决的是传统关系数据库在大规模、高并发场景下的性能和扩展性问题。其中具有代表性数据库系统包括Spanner、CockroachDB等NewSQL数据库系统，试图兼顾传统关系数据库的事务特性和NoSQL数据库的分布式特性。1.1数据库技术发展历程赛迪顾问《核心数据库升级选型参考》列出中国市场数据库品牌与占有率1.2国产数据库的发展历程国产数据库的前世今生11.初期阶段在上世纪80年代末和90年代初，中国开始引进和研发数据库技术，希望借鉴国外先进经验，并满足快速发展的信息化需求。初期阶段主要解决数据库技术的引入和学习问题，提高数据管理和处理效率。有部分国际数据库系统开始在中国使用和研究，为后续自主研发奠定了基础。2.自主研发阶段随着中国信息技术产业的兴起，国内市场对数据库系统的需求逐渐增加，需要自主研发满足国内需求的数据库产品，提供本土化的技术支持和服务。在这一阶段，诸如达梦数据库、神通数据库等国产数据库产品相继问世，并在国内市场取得一定影响力。1.2国产数据库的发展历程国产数据库的前世今生13.开源数据库兴起在21世纪初，开源文化的影响和国内开源软件的兴起，促使国内开始关注开源数据库系统的研发和应用。对此提供开源的数据库系统，降低成本，增加灵活性，并促进开源社区的合作与创新。其中华为的OceanBase等开源数据库系统逐渐崭露头角，为中国开源数据库的发展奠定了基础。1.2国产数据库的发展历程国产数据库的前世今生14.创新发展阶段近年来，随着中国信息技术产业的快速发展和创新能力的提升，国产数据库系统开始注重技术突破和创新，以应对更复杂的应用场景需求。为此提高了数据库系统的性能、安全性和可靠性，适应大规模数据处理和云计算等新兴领域的需求。因此一些国产数据库系统在性能、安全性和可靠性方面取得了显著突破，如阿里巴巴的PolarDB等。1.2国产数据库的发展历程国产数据库的前世今生15.国际化竞争阶段部分中国国产数据库系统开始走向国际舞台，与国际知名数据库系统展开竞争，这是中国数据库技术发展的一个重要里程碑。为了提高国产数据库系统的国际竞争力，适应全球化的市场需求，并推动国内数据库技术的进一步创新和发展。中国国产数据库系统在国际市场上取得了一定的成绩，展示了中国在数据库技术领域的实力和潜力。1.2国产数据库的发展历程国产数据库的前世今生11.2国产数据库的发展历程1.2国产数据库的发展历程国产数据库产品特点及应用21.云数据库阿里云的RDS（关系型数据库服务）、腾讯云的CDB（云数据库MySQL版）等云数据库产品被广泛用于互联网应用、电子商务平台、企业信息化系统等场景，例如像淘宝、京东这样的电子商务平台。1.2国产数据库的发展历程国产数据库产品特点及应用22.分布式数据库华为的PolarDB、PingCAP的TiDB等分布式数据库产品在大数据处理、高并发应用、物联网等领域得到广泛应用。智能城市项目中，需要处理大量的传感器数据和设备状态信息，分布式数据库可以提供高可用性和横向扩展的能力。1.2国产数据库的发展历程国产数据库产品特点及应用23.内存数据库达梦数据库、南大通用数据库等公司开发的内存数据库产品在金融交易系统、实时数据分析等场景中应用广泛，例如，在证券交易所和银行的交易系统中，使用内存数据库可以实现高速的交易处理和实时的风险控制。1.2国产数据库的发展历程国产数据库产品特点及应用24.图数据库图灵数据库、咚咚云图数据库等产品用于社交网络分析、推荐系统、知识图谱构建等领域。例如，利用图数据库进行社交网络的关系分析，推荐系统的构建，以及研究用户行为模式等方面。1.2国产数据库的发展历程国产数据库产品特点及应用25.NoSQL数据库华为的HBase、阿里巴巴的TableStore等NoSQL数据库产品用于大规模数据存储、实时数据处理等场景。例如，通过NoSQL数据库进行大规模数据的存储和实时分析，支持企业的决策制定和业务发展。1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程达梦数据库产品介绍3达梦数据库管理系统的最新版本是8.0版本，简称DM8。DM8采用全新的体系架构，在保证大型通用的基础上，针对可靠性、高性能、海量数据处理和安全性做了大量的研发和改进工作，极大提升了达梦数据库产品的性能、可靠性、可扩展性，能同时兼顾OLTP和OLAP请求，从根本上提升了DM8产品的品质。1.2国产数据库的发展历程1.2国产数据库的发展历程调查报告数据显示，达梦数据库是企业使用率第一的中国数据库1.2国产数据库的发展历程93.9%的企业计划使用中国数据库，达梦成为企业未来最想使用的中国数据库云数据库及空间地理数据库11.云数据库数据库一直是应用开发中非常重要的一部分。从MySQL到亚马逊的RDS(关系型数据库服务，RelationalDatabaseService)，业界有很多数据库系统供开发者存储、查询和管理数据。随着海量计算的持续发展，给传统数据库带来了不少挑战，一方面是传统数据库不能满足互联网企业新需求，另一方面是传统数据库不能适应云计算技术新需求，云数据库的诞生为用户需求提供了更好的解决方案。1.3数据库发展趋势1.3数据库发展趋势云数据库结构示意图云数据库及空间地理数据库12.地理空间数据库空间数据（spatialdata）指带有空间坐标的数据，地理空间数据是空间数据的一种特殊类型，指带有地理坐标的数据，是地理实体的空间特征和属性特征的数字描述。地理空间数据库用于管理地理数据，包括地图、地理坐标、地形、地貌、气候、土地利用等，是一种专门用于存储、查询和分析地理空间数据的数据库系统。1.3数据库发展趋势数据仓库与联机分析处理技术2数据仓库（DataWarehouse）是一个用于集成、存储和管理企业各种数据的中心化存储系统，旨在支持企业的决策支持系统（DSS）、联机分析处理（On-LineAnalyticalProcessing，OLAP）以及数据挖掘等应用。与传统的数据库系统不同，数据仓库专注于将来自多个源头的数据集成到一个统一的数据模型中，以支持复杂的查询和分析。OLAP是基于数据仓库进行数据分析的一种技术，通过对多维信息以很多种可能的观察方式进行快速、稳定一致和交互性的存取，允许管理决策人对数据进行深入观察。1.3数据库发展趋势数据挖掘技术3数据挖掘是一种从大规模数据集中发现模式、关系、趋势和规律的过程。通过应用统计学、机器学习、人工智能和数据库系统等技术，数据挖掘可以帮助用户从海量数据中提取有价值的信息，并进行预测、分类、聚类、关联分析等任务。鉴于数据仓储技术的发展和大数据的增长，数据挖掘技术的采用在过去几十年中迅速加快，它通过将原始数据转化为有用的知识来助力公司发展。1.3数据库发展趋势数据挖掘技术31.关联规则关联规则是一种基于规则的方法，用于发现给定数据集中各变量之间的关系。这些方法常用于市场购物篮分析，使企业能够更好地了解不同产品之间的关系。了解顾客的消费习惯有助于企业制定更好的交叉销售策略，开发更出色的推荐引擎。1.3数据库发展趋势数据挖掘技术32.神经网络神经网络主要用于深度学习算法，通过节点层模拟人脑的互联性来处理训练数据。每个节点由输入、权重、偏差（或阈值）和输出组成。如果该输出值超过给定的阈值，它会“触发”或激活节点，并将数据传递到网络中的下一层。神经网络通过监督式学习来学习这个映射函数，并通过梯度下降过程根据损失函数进行调整。当损失函数等于或接近于零时，我们可以相信模型的准确度，从而得出正确答案。1.3数据库发展趋势数据挖掘技术33.决策树这种数据挖掘技术使用分类或回归方法，基于一系列决策对潜在的结果进行分类或预测。顾名思义，它使用树状可视化效果来表示这些决策的潜在结果。1.3数据库发展趋势数据挖掘技术34.K近邻算法(KNN)K近邻算法，又称KNN算法，是一种非参数算法，它根据数据点的邻近程度以及与其他可用数据的关联程度，对数据点进行分类。这个算法假设相似的数据点可以在彼此的附近找到。因此，它通常通过欧氏距离计算数据点之间的距离，然后根据出现频率最多的类别或平均值来分配类别。1.3数据库发展趋势大数据技术4大数据技术是一组用于存储、处理和分析大规模数据集的技术和工具。这些数据集通常包含结构化、半结构化和非结构化数据，且具有高速、多样和庞大的特点。大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。1.3数据库发展趋势第1章数据库技术概述小结本章主要介绍了数据库技术的发展历程、国产数据库的发展、数据库技术发展趋势等相关基础知识和基本概念。了解这些内容，有助于更好地学习、理解和掌握达梦数据库的相关技术及应用。第1章数据库技术概述思考与练习1.讨论题（1）使用数据库管理数据有哪些优点？（2）数据挖掘技术有哪些应用领域？（3）大数据技术和传统数据库技术有哪些异同？2.实训题通过网络搜索了解数据库技术的发展历程、主要应用及关键技术等知识。第2章数据库技术基础了解数据库系统的结构了解数据库系统的概念 了解数据库模型学习目标了解数据库系统组成掌握DM8数据库的安装与配置方法2.1数据库系统的概念 数据库系统（DataBaseSystem，简称DBS）是一种用于有效地组织、存储和管理数据的复杂计算机系统，通常由软件、数据库和数据管理员组成。它包含着多个组件和功能，旨在提供高效的数据管理和访问机制。它是一个实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质、处理对象和管理系统的集合体。2.1数据库系统的概念 数据1数据是数据库存储的基本单位，是描述事物的符号记录，是数据库研究和处理的对象。数据不单指数字，广义的理解认为数据的种类很多，例如文本、图形、图像、音频、视频等，用户的基本信息、网上的购物订单详情等都是数据。2.1数据库系统的概念 数据库2数据库是一个有组织的、结构化的数据集合，被存储在计算机系统中。是长期存储在计算机内、有组织的、可以共享的大量数据的集合。它可以包含一个或多个表，每个表由行和列组成，用于存储特定类型的数据。2.1数据库系统的概念 数据库管理系统3数据库管理系统（DBMS）：DBMS是数据库系统的核心组件，负责管理数据库的创建、维护、访问和控制，以保证数据的安全性和完整性。它提供了一个抽象层，使用户和应用程序能够以更高层次的角度操作数据，而不必关心底层的物理存储细节。2.2数据库模型 数据模型1数据模型定义了数据的组织和关系的方式。常见的数据模型包括关系型模型（用于关系数据库系统，如SQL数据库）、面向对象模型（用于面向对象数据库系统）和层次模型（用于层次数据库系统）等。2.2数据库模型 层次模型2层次数据库模型使用树形结构来表示数据之间的层次关系。每个数据记录都有一个父节点和零个或多个子节点。虽然层次数据库在某些场景下能够提供高效的层次结构表示，但由于其复杂性和难以扩展，逐渐被其他模型取代。2.2数据库模型 网状模型3网状模型（NetworkModel）是一种数据库模型，它是在层次模型的基础上发展而来的，相比于层次模型的树状结构，网状模型允许多个父节点指向同一个子节点，从而创建了更为复杂的关系。在网状模型中，数据被组织成节点的集合，每个节点都有一个唯一的标识符，称为记录标识符（recordidentifier）。节点之间的关系通过层级关系和连接关系来表达。层级关系表示父节点和子节点之间的关系，而连接关系则描述了不同节点之间的连接。2.2数据库模型 关系模型4关系数据库模型（RDBMS）是目前应用最广泛的数据库模型之一。它基于关系代数理论，使用表格（关系）表示数据，表格由行和列组成。关系型数据库系统使用SQL（StructuredQueryLanguage）进行数据操作，支持复杂的查询和事务处理。常见的关系数据库系统包括MySQL、Oracle、MicrosoftSQLServer等。2.3数据库系统的结构模式1模式是数据库中全体数据的逻辑结构和特征的描述，它主要关注数据的逻辑组织和结构，而不涉及具体的物理存储细节或数据值。模式为数据库用户提供了一个公共的数据视图，它描述了数据的概念记录类型、数据以及它们之间的关系，还包括数据间的语义约束。模式在逻辑层面上为数据库数据提供了视图，使得用户能够理解和操作数据。数据库的模式架构通常包括三个层次：内模式、概念模式和外模式。其中，内模式和外模式是数据库的两个不同层次，用于描述数据的组织和访问方式。2.3数据库系统的结构外模式2外模式，也称为视图模式或用户模式，它是数据库三级模式架构中最接近用户的层次。外模式是数据库用户能够看见和使用的局部数据的逻辑结构和特征的描述，是数据库用户的数据视图，是与某一应用有关的数据的逻辑表示。外模式是模式的子集，一个数据库可以有多个外模式。每个用户只能看见和访问所对应的外模式中的数据，数据库中的其余数据对他们是不可见的。这种方式保证了数据库的安全性。2.3数据库系统的结构内模式3内模式，也称为物理模式或存储模式，它描述了数据库在计算机存储器中的物理存储结构。内模式定义了数据的物理存储方式、存储位置、存储效率和数据完整性。它关注底层实现细节，如磁盘空间分配、索引结构和数据压缩等。内模式由数据库管理员（DatabaseAdministrator，简称DBA）管理，一般情况下，最终用户和开发人员不需要关心这个层次的信息。2.4数据库系统组成数据库1长期存储在计算机内的、有组织的、可共享的数据集合。数据库中的数据按一定的数学模型组织、描述和存储，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。2.4数据库系统组成硬件2硬件是数据库系统的基础，主要包括计算机硬件和通信硬件。计算机硬件方面，通常涉及服务器、存储设备以及网络设备等。其中，服务器负责处理用户提交的查询，对数据进行检索和更新，以及对数据库的管理。存储设备如硬盘、磁带、光盘等则用于存储数据。而网络设备如交换机、路由器等，则负责数据的传输。此外，服务器的核心部件如处理器和内存也起着至关重要的作用。2.4数据库系统组成软件3软件是数据库系统的核心，主要包括操作系统、数据库管理系统、主语言系统、应用程序软件以及用户数据库等。数据库管理系统是数据库的管理和控制中心，负责数据库的创建、维护、查询和更新等操作。应用程序软件则是基于数据库的应用程序，通过特定的语言与数据库进行交互，实现数据的处理和管理。此外，还有一些用于设计、开发、测试和维护数据库的软件工具，如数据库设计工具、数据库开发工具等。2.4数据库系统组成人员4数据库系统的人员组成包括多个层次和角色。其中，数据库管理员负责数据的存储、管理、备份、恢复和安全，涉及管理整个数据库的表、索引、文件、数据库连接等信息。程序员则负责编写和实现数据库应用程序，包括数据查询、事务管理、数据库备份恢复以及性能调优等工作。系统分析师需要了解数据库系统的各个方面，如数据库设计、性能、安全性、管理等。此外，架构师负责设计和构建数据库系统的体系结构、组件和服务，而开发人员则负责使用数据库系统，包括使用数据库开发语言、工具等进行设计和实现。2.4数据库系统组成数据库系统组成结构示意图2.4数据库系统组成2.4数据库系统组成数据库系统中各类人员的数据视图2.4数据库系统组成移动应用程序数据库结构示意图2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践2.5数据库技术基础实践第2章数据库技术基础小结本章主要介绍了数据库系统的基本概念以及数据库的模型、结构和基本组成，讲解了达梦数据库DM8的安装与配置方法，为后续学习做好基础知识和实验环境的准备。第2章数据库技术基础思考与练习1.讨论题（1）数据库管理员的主要工作内容有哪些？（2）常见的数据库管理系统有哪些？2.实训题通过网络搜索了解达梦数据库的相关知识。 第3章关系数据库学习目标理解关系数据库规范化理解关系的完整性理解关系数据库结构关系数据库结构1单一的数据结构----关系：现实世界的实体以及实体间的各种联系均用关系来表示。逻辑结构----二维表：从用户角度，关系模型中数据的逻辑结构是一张二维表。关系的完整性1函数依赖定义6.1设R(U)是一个属性集U上的关系模式，X和Y是U的子集。若对于R(U)的任意一个可能的关系r，r中不可能存在两个元组在X上的属性值相等，而在Y上的属性值不等，则称“X函数确定Y”或“Y函数依赖于X”，记作X→Y。关系的完整性13NF定义6.7设关系模式R<U,F>∈1NF,若R中不存在这样的码X、属性组Y及非主属性Z（Z⊇Y）,使得X→Y，Y→Z成立，Y↛X不成立，则称R<U,F>∈3NF。关系的完整性14NF定义6.10关系模式R<U,F>∈1NF，如果对于R的每个非平凡多值依赖X→→Y（Y⊈X），X都含有码，则R<U,F>∈4NF。4NF就是限制关系模式的属性之间不允许有非平凡且非函数依赖的多值依赖。4NF所允许的非平凡多值依赖实际上是函数依赖。如果一个关系模式是4NF，则必为BCNF。关系的完整性133.2.4数据依赖定义6.11对于满足一组函数依赖F的关系模式R<U,F>，其任何一个关系r，若函数依赖X→Y都成立（即r中任意两元组t、s，若t[X]=s[X]，则t[Y]=s[Y]），则称F逻辑蕴涵X→Y。关系的完整性1模式分解关系模式的规范化，其基本思想：学习目标理解关系数据库规范化理解关系的完整性理解关系数据库结构关系的完整性1实体完整性规则2.1实体完整性规则（EntityIntegrity）若属性A是基本关系R的主属性，则属性A不能取空值。空值就是“不知道”或“不存在”或“无意义”的值。关系的完整性1参照完整性关系间的引用,在关系模型中实体及实体间的联系都是用关系来描述的，自然存在着关系与关系间的引用。外码（ForeignKey）,设F是基本关系R的一个或一组属性，但不是关系R的码。如果F与基本关系S的主码Ks相对应，则称F是R的外码。基本关系R称为参照关系（ReferencingRelation），基本关系S称为被参照关系（ReferencedRelation）。关系的完整性1用户定义的完整性针对某一具体关系数据库的约束条件，反映某一具体应用所涉及的数据必须满足的语义要求。关系模型应提供定义和检验这类完整性的机制，以便用统一的系统的方法处理它们，而不需由应用程序承担这一功能。例:课程（课程号，课程名，学分），“课程号”属性必须取唯一值，非主属性“课程名”也不能取空值，“学分”属性只能取值{1，2，3，4}。关系的完整性1触发器触发器是与表有关的数据库对象，在满足定义条件时触发，并执行触发器中定义的语句集合。触发器的这种特性可以协助应用在数据库端确保数据的完整性。关系的完整性1关系操作关系操作是针对关系数据库管理系统（RDBMS）中存储的数据进行操作的过程。关系操作主要分为两类：查询操作和更新操作。查询操作包括但不限于以下几种：(1)选择操作（Selection）：选取满足特定条件的元组。(2)投影操作（Projec