第十一章-数据库管理系统PPT课件

数据库管理系统 王化雨 萨师煊王珊 数据库系统概论 第三版 第十一章 2020 4 16 山东师大信息管理学院王化雨 2 引言 本章进一步阐述DBMS的基本功能 系统结构及主要实现技术 使读者从宏观和总体的角度掌握DBMS 的基本概念和基本原理 更好的使用和维护DBMS 2020 4 16 山东师大信息管理学院王化雨 3 主要内容 DBMS概述DBMS的进程结构和多线索机制DBMS系统结构语言处理数据存取层缓冲区管理数据库物理组织小结 2020 4 16 山东师大信息管理学院王化雨 4 DBMS概述 概述DBMS的目标和基本功能 简述DBMS向下与操作系统的接口 向上为第四代应用开发环境提供的支持 简明DBMS在整个计算机系统中的地位和作用 2020 4 16 山东师大信息管理学院王化雨 5 DBMS概述 目标 DBMS是介于用户和操作系统之间的一组软件 实现对共享数据的有效组织 管理和存取 无论DBMS的功能和性能有多少差异 它均应满足的系统目标是 用户界面友好功能完备效率高结构清晰开放性 2020 4 16 山东师大信息管理学院王化雨 6 DBMS概述 基本功能 数据库定义数据存取数据库运行管理数据组织 存储和管理数据库的建立和维护其他功能 2020 4 16 山东师大信息管理学院王化雨 7 DBMS概述 DBMS和操作系统 从计算机软件系统的构成看 DBMS是建立在操作上的软件系统 是操作系统的用户 操作系统负责计算机系统的进程管理 作业管理 存储管理 设备管理 文件管理等 因此DBMS对共享数据的组织 管理和存取离不开操作系统的支持 DBMS遇到创建和撤销进程 进程通信 读写磁盘 分配内存等要求时必须请求操作系统的服务 例如 DBMS读取数据库中记录时就要调用操作系统读取磁盘块的操作 操作系统从磁盘取来的是一个物理块 对物理块的解释通常由DBMS来完成 2020 4 16 山东师大信息管理学院王化雨 8 DBMS概述 DBMS和操作系统 不同操作系统提供不同的服务方式 例如现代操作系统不仅提供进程管理 还进一步发展了线程的概念和技术 操作系统不同的服务方式 导致了DBMS在实现技术和实现方法上的不同 对于同一个操作系统 DBMS也可以有不同的实现选择 2020 4 16 山东师大信息管理学院王化雨 9 DBMS概述 DBMS和操作系统 在诸多影响DBMS性能的因素中 DBMS在操作系统上的运行方式尤为突出 例如DBMS进程结构方案的选择是DBMS实现中一个关键问题 它影响DBMS的整体设计思想和DBMS的性能 影响DBMS实现的难易程度 2020 4 16 山东师大信息管理学院王化雨 10 DBMS概述 DBMS和第四代应用开发环境 DBMS并不能全部解决数据管理的问题 它的设计目标也不是要解决所有问题 这些问题包括数据的存储 访问 处理和表示等 但DBMS确实应该而实际上也已经为解决这些问题奠定了基础 DBMS提供了丰富的数据管理的基本功能 以DBMS这些功能为核心 可以进一步开发工具软件 如报表书写 屏幕表格软件 菜单生成系统 图形显示系统等 从而构成了一组内部相互联系的DBMS家族 为用户提供了一个良好的第四代应用开发环境 这些软件系统拓广了数据库的应用领域 大大提高了应用开发的生产率 2020 4 16 山东师大信息管理学院王化雨 11 DBMS概述 DBMS和第四代应用开发环境 和操作系统 编译系统等系统软件相比 DBMS具有跨度大 功能多的特点 从最底层的外存管理 缓冲区管理 数据存取操作 语言翻译处理到最外层的用户接口 数据表示 开发环境的支持都是它要实现的功能 2020 4 16 山东师大信息管理学院王化雨 12 DBMS概述 DBMS和第四代应用开发环境 DBMS的实现 既要利用操作系统 编译系统和网络通信技术 又要突出自己的特点 并要保证数据处理和运行事务的高效率 这是一个复杂而综合的软件设计过程 2020 4 16 山东师大信息管理学院王化雨 13 练习题 P347习题十一1 2020 4 16 山东师大信息管理学院王化雨 14 主要内容 DBMS概述DBMS的进程结构和多线索机制DBMS系统结构语言处理数据存取层缓冲区管理数据库物理组织小结 2020 4 16 山东师大信息管理学院王化雨 15 DBMS的进程结构和多线索机制 实际应用中 DBMS以及应用程序都必须进入某个具体的操作系统环境 应用程序通过DBMS DBMS通过操作系统 与数据库中的数据打交道 应用程序 DBMS OS三者之间 有四种进程组织方案 2020 4 16 山东师大信息管理学院王化雨 16 DBMS的进程结构和多线索机制 N方案 DBMS与应用程序相融合 N个DB用户仅需N个进程 DBMS作为应用程序的子程序被连入应用程序中 成为应用程序的一部分 这种方案也叫连入式方案 2020 4 16 山东师大信息管理学院王化雨 17 DBMS的进程结构和多线索机制 2N方案 一个DBMS进程对应一个用户进程 每个用户进程均有一个DBMS进程为之服务 称这种DBMS进程为影子进程 有N个用户进程就要启动N个DBMS进程 共2N个进程 所以称为2N方案 2020 4 16 山东师大信息管理学院王化雨 18 DBMS的进程结构和多线索机制 N 1方案 一个DBMS进程对应所有用户进程 整个DBMS仅使用一个进程 该进程的行为类似于一个服务器 多个DB用户向Server发消息以申请数据库服务 Server要用自己的机制来调度这些申请 以支持一个多任务的数据库系统 由于N个用户仅需要一个DBMS进程 因此称为N 1方案 2020 4 16 山东师大信息管理学院王化雨 19 DBMS的进程结构和多线索机制 N M方案 M个DBMS进程对应N个用户进程 M N方案采用M个进程为N个用户进程提供服务 一般M N 提供服务 2020 4 16 山东师大信息管理学院王化雨 20 DBMS的进程结构和多线索机制 多线索DBMS的概念 线程的概念 数据库系统中线索 Thread 的概念来源于操作系统中线程 Thread 的概念 2020 4 16 山东师大信息管理学院王化雨 21 DBMS的进程结构和多线索机制 多线索DBMS的概念 线程的概念 随着多处理器系统以及并行计算技术的发展 进程概念被进一步细划为任务 Task 与线程 Thread 的概念 Task是申请资源的最小单位 而Thread是调度和运行的最小单位 2020 4 16 山东师大信息管理学院王化雨 22 DBMS的进程结构和多线索机制 多线索DBMS的概念 多线索DBMS 数据库系统中的线索概念借鉴了操作系统中线程的含义 整个DBMS可看作是一个Task 当有一个用户申请数据库服务时 Task分配至少一个Thread为之服务 多个Thread并行工作 共享资源 2020 4 16 山东师大信息管理学院王化雨 23 DBMS的进程结构和多线索机制 多线索DBMS的概念 多线索DBMS 一般地 DBMS中的线索是DBMS的一个执行流 服务于整个DBMS系统 或DBMS中的某个用户 DBMS服务器响应客户请求是通过为每个用户创建线索 而不是进程 来完成的 2020 4 16 山东师大信息管理学院王化雨 24 DBMS的进程结构和多线索机制 多线索DBMS的概念 线索与进程的比较 线索与进程可从下面4方面比较 线索比进程占用较少的资源线索调度比较灵活 可控制姓强线索切换开销较小线索间通信简便 2020 4 16 山东师大信息管理学院王化雨 25 练习题 P347习题十一2P347习题十一3P347习题十一4 2020 4 16 山东师大信息管理学院王化雨 26 主要内容 DBMS概述DBMS的进程结构和多线索机制DBMS系统结构语言处理数据存取层缓冲区管理数据库物理组织小结 2020 4 16 山东师大信息管理学院王化雨 27 DBMS系统结构 本章包括3部分内容 从程序功能的角度分析DBMS的模块构成用层次结构的观点介绍DBMS的系统结构用例子说明DBMS的运行过程 2020 4 16 山东师大信息管理学院王化雨 28 DBMS系统结构 DBMS程序模块的组成 不同的DBMS功能并不完全相同 但有一个大致架构 数据库定义数据库存取数据库运行处理数据组织 存储和管理数据库建立 维护和其他 2020 4 16 山东师大信息管理学院王化雨 29 DBMS系统结构 DBMS的层次结构 按处理对象的不同 从高级到低级 DBMS可分为 应用层语言翻译处理层数据存取层数据存储层操作系统层 当然它不属于DBMS了 2020 4 16 山东师大信息管理学院王化雨 30 DBMS系统结构 DBMS的运行过程示例 P330图11 8说明了DBMS的运行过程 2020 4 16 山东师大信息管理学院王化雨 31 练习题 P347习题十一5P347习题十一6 2020 4 16 山东师大信息管理学院王化雨 32 主要内容 DBMS概述DBMS的进程结构和多线索机制DBMS系统结构语言处理数据存取层缓冲区管理数据库物理组织小结 2020 4 16 山东师大信息管理学院王化雨 33 语言处理 语言翻译处理层的任务和工作步骤综述 目前的DBMS一般向用户提供多种形式的语言 如 交互式命令语言嵌入一个至多个主语言的嵌入式语言过程式语言这些语言都是直接由DBMS的语言翻译处理层来支持的 2020 4 16 山东师大信息管理学院王化雨 34 语言处理 语言翻译处理层的任务和工作步骤任务 DBMS的语言翻译处理层的任务就是把用户在各种方式下提交给DBMS的数据库语句转换成对DBMS内层可执行的基本存取模块的调用序列 2020 4 16 山东师大信息管理学院王化雨 35 语言处理 语言翻译处理层的任务和工作步骤工作步骤 数据库语言通常包括DDL DML DCL三部分 对它们的处理是不一样的 一般的 DDL的处理相对独立和简单 DML和DCL较为复杂 2020 4 16 山东师大信息管理学院王化雨 36 数据字典的部分示意图 RDBMS 返回 2020 4 16 山东师大信息管理学院王化雨 37 语言处理 解释方法 所谓解释执行方法就是 直到执行前 数据库DML语句都以原始字符串的形式保存 当执行到该语句时 才利用解释程序去完成对它的处理 查询分析 查询检查 查询优化 同时予以执行 2020 4 16 山东师大信息管理学院王化雨 38 语言处理 预编译方法 所谓预编译方法就是 在用户提交了DML语句之后 在运行之前对它进行翻译处理 保存产生好的可执行代码 当需要运行时 取出保存的可执行代码加以执行 2020 4 16 山东师大信息管理学院王化雨 39 练习题 P347习题十一7P347习题十一8P347习题十一9 2020 4 16 山东师大信息管理学院王化雨 40 主要内容 DBMS概述DBMS的进程结构和多线索机制DBMS系统结构语言处理数据存取层缓冲区管理数据库物理组织小结 2020 4 16 山东师大信息管理学院王化雨 41 数据存取层引言 数据存取层介于语言翻译处理层和数据存储层之间 它 向上 语言处理层 提供单元组接口 即导航式的一次一个元组的存取操作 向下 数据存储层 则以系统缓冲区的存储器接口作为实现基础 2020 4 16 山东师大信息管理学院王化雨 42 数据存取层引言 与上下层接口关系 语言处理层 元组 关系 视图等逻辑数据结构 数据存储层 存储记录 块 块组成的系统缓冲区 数据存取层 逻辑记录 逻辑块 逻辑存取路径 多元组接口 如SQL语句 单元组接口 存储器接口 2020 4 16 山东师大信息管理学院王化雨 43 提供一次一个元组的查找 插入 删除 修改等基本操作 提供元组查找所循的存取路径以及对存取路径的维护操作 如对索引记录的查找 插入 删除 修改 若索引采用B 树 则应提供B 树的建立 查找 插入 删除 修改等功能 对记录和存取路径的封锁 解锁操作 日志文件的登记和读取操作 其他辅助操作 如 扫描 合并 排序 其操作对象有关系 有序表 索引等 为完成上述功能 通常把数据存取层又划分为若干功能子系统加以实现 数据存取层引言 主要任务 44 数据存取层 数据存取层的系统结构 结构图 2020 4 16 山东师大信息管理学院王化雨 45 数据存取层 数据存取层的系统结构 包括的子系统和模块 记录存取在 事务管理子系统控制信息管理模块排序 合并子系统存取路径维护子系统封锁子系统 执行并发控制日志登记子系统 用以执行恢复任务这些子系统相互配合 紧密联系 构成了一个完整的数据存取系统 2020 4 16 山东师大信息管理学院王化雨 46 数据存取层 数据存取层的功能子系统 记录存取 事务管理子系统 数据存取层不涉及存储分配 存储结构及有关参数 只在数据的逻辑结构上操作 因而可把各种物理实现形态隐蔽起来 2020 4 16 山东师大信息管理学院王化雨 47 数据存取层 数据存取层的功能子系统 记录存取 事务管理子系统 记录存取子系统提供按某个属性值直接取一个元组和顺序取一个元组的存取原语 这种存取运算是按已选定的某个逻辑存取路径进行的 如某个数据文件或某一个索引 这类存取操作的例子有 在某个存取路径上按属性值找元组 FIND 按相对位置找元组 NEXT PRIOR FIRST LAST 给某关系增加一个元组 INSERT 从找到的元组中取某个属性值 GET 从某关系中删去一个元组 DELETE 把某修改完的元组写回关系中 REPLACE 2020 4 16 山东师大信息管理学院王化雨 48 数据存取层 数据存取层的功能子系统 记录存取 事务管理子系统 事务管理子系统提供定义和控制事务的操作 数据库中事务是并发控制和恢复的单位 事务管理的基本操作有 定义事务开始 BEGINTRANSACTION 事务提交 COMMIT 事务滚回 ROLLBACK 事务管理子系统提供的这些操作将登记进日志文件 2020 4 16 山东师大信息管理学院王化雨 49 数据存取层 数据存取层的功能子系统 日志登记子系统 日志登记子系统和事务管理子系统紧密配合 完成DBMS对事务和数据库的恢复任务 它把事务开始 滚回 提交 对元组的插入 删除 修改 对索引记录的插入 删除 修改等每一个操作作为一个日志记录存入日志文件中 当事务或系统软 硬件发生故障时利用日志文件执行恢复 与日志文件有关的主要操作有 写日志记录 WRITELOG 读日志记录 READLOG 扫描日志记录 SCANLOG 撤销尚未结束的事务 UNDO 重做已经结束的事务 REDO 2020 4 16 山东师大信息管理学院王化雨 50 数据存取层 数据存取层的功能子系统 控制信息管理模块 该模块利用专门的数据区 内存中 登记不同记录类型以及不同存取路径的说明信息 取自数据字典 和控制信息 这些信息是存取元组和管理事务的依据 它和事务管理 记录存取子系统一起保证事务的正常运行 该模块提供对数据字典中说明信息的读取 增加 删除和修改操作 2020 4 16 山东师大信息管理学院王化雨 51 数据存取层 数据存取层的功能子系统 排序 合并子系统 在语言翻译处理层中 描述性语言表达的集合级操作被转换成一系列的对数据存取层所提供的存取原语的调用 为了得到用户所要求的有序输出 为了加速关系运算 如自然连接 的中间步骤 为了提高效率 常常需要对关系元组重新排序 这一工作由排序 合并子系统来完成 2020 4 16 山东师大信息管理学院王化雨 52 数据存取层 数据存取层的功能子系统 排序 合并子系统 排序操作的若干主要用途有 输出有序结果删去重复值支持合并扫描的连接操作支持动态建立索引结构减少数据库的存取次数 2020 4 16 山东师大信息管理学院王化雨 53 数据存取层 数据存取层的功能子系统 排序 合并子系统 排序操作是记录存取子系统和存取路径维护子系统都要经常调用的操作 它对提高系统效率具有关键的作用 2020 4 16 山东师大信息管理学院王化雨 54 数据存取层 数据存取层的功能子系统 存取路径维护子系统 对数据执行插入 删除 修改操作的同时要对相应的存取路径进行维护 例如 用B 树索引作为存取路径 则对元组进行插入 删除 修改操作时要对该表上已建立的所有B 树索引进行动态维护 插入 删除相应的索引项 否则就会造成B 树索引与数据库表的不一致 当再通过B 树索引结构存取元组时便会造成操作失败或错误结果 2020 4 16 山东师大信息管理学院王化雨 55 数据存取层 数据存取层的功能子系统 封锁子系统 封锁子系统完成并发控制功能 有关内容已经讨论 这里只说明两点 在操作系统中也有并发控制问题 其实现并发控制的方法通常也采用封锁技术 DBMS封锁技术和操作系统的封锁技术相比 内容更加丰富 技术更加复杂 DBMS中封锁子系统设计的难点不仅在于技术复杂 而且在于其实现手段依赖于操作系统提供的环境 如封锁表的设计 由于封锁表必须能为多个进程共享 能动态建立和释放 因此封锁表的设计就随操作系统环境而异 它是封锁子系统设计的关键 2020 4 16 山东师大信息管理学院王化雨 56 数据存取层 数据存取层的功能子系统 封锁子系统 操作系统和数据库管理系统封锁技术的比较 2020 4 16 山东师大信息管理学院王化雨 57 练习题 P347习题十一10P347习题十一11P348习题十一12 2020 4 16 山东师大信息管理学院王化雨 58 主要内容 DBMS概述DBMS的进程结构和多线索机制DBMS系统结构语言处理数据存取层缓冲区管理数据库物理组织小结 2020 4 16 山东师大信息管理学院王化雨 59 缓冲区管理数据存储层 数据存取层的下面是数据存储层 简称存储层 存储层的主要功能是存储管理 包括缓冲区管理 内外层交换 外存管理等 其中缓冲区管理是最主要的 存储层向存取层提供的接口是由定长页面组成的系统缓冲区 2020 4 16 山东师大信息管理学院王化雨 60 原因有两方面 它把存储层以上各系统成分和实在的外存设备隔离 外存设备的变更不会影响其他系统成分 使DBMS具有设备独立性 二是提高存取效率 DBMS利用系统缓冲区滞留数据 当存取层需要读取数据时存储子系统首先到系统缓冲区中查找 只有当缓冲区中不存在该数据时才真正从外存读入该数据所在的页面 当存取层写回一元组到数据库中时 存储子系统并不把它立即写回外存 仅把该元组所在的缓冲区页面作一标志 表示可以释放 只有当该用户事务结束或缓冲区已需要调入新页时才按一定的淘汰策略把缓冲区中已有释放标志的页面写回外存 这样可以减少内外存交换的次数 提高存取效率 缓冲区管理系统缓冲区设立的原因 2020 4 16 山东师大信息管理学院王化雨 61 系统缓冲区可由内存或虚存组成 由于内存空间紧张 缓冲区的大小 缓冲区内存和虚存部分的比例要精心设计 针对不同的应用和环境按一定的模型进行调整 既不能让缓冲区占据太大的内存空间 也不能因其空间太小而频频缺页调页 造成 抖动 影响效率 缓冲区管理系统缓冲区的物理构成 2020 4 16 山东师大信息管理学院王化雨 62 缓冲区管理数据库缓冲区及上下接口 数据库 读 READBUF 读 OS 写 WRITEBUF 写 OS 2020 4 16 山东师大信息管理学院王化雨 63 缓冲区由控制信息和若干定长页面组成 缓冲区管理模块向上层提供的操作是缓冲区的读 READBUF 写 WRITEBUF 缓冲区内部的管理操作有 查找页 申请页 淘汰页 缓冲区管理调用操作系统的操作有 读 READ 写 WRITE 缓冲区管理提供的操作 2020 4 16 山东师大信息管理学院王化雨 64 缓冲区管理管理示意图 读操作 在缓冲区中查找页 READBUF 在缓冲区中申请一页 找到 按淘汰策略淘汰一页 从外存读入新页 有空页 无空页 YES NO 缓冲区管理中主要算法是淘汰算法和查找算法 操作系统中许多淘汰算法可以借鉴 如FIFO 先进先出 LRU 最近最小使用的先淘汰算法 以及它们的各种改进算法 查找算法用来确定所求的页是否在内存 可采用顺序扫描 折半查找 Hash查找算法等 2020 4 16 山东师大信息管理学院王化雨 65 练习题 P348习题十一13P348习题十一14P348习题十一15P348习题十一16P348习题十一17 2020 4 16 山东师大信息管理学院王化雨 66 主要内容 DBMS概述DBMS的进程结构和多线索机制DBMS系统结构语言处理数据存取层缓冲区管理数据库物理组织小结 2020 4 16 山东师大信息管理学院王化雨 67 从DBMS最外层语言翻译处理层开始逐步深入地讨论了数据存取层 数据存储层的系统结构 功能 任务以及实现技术 现在进入数据库本身 介绍数据库的物理组织 数据库物理组织引言 2020 4 16 山东师大信息管理学院王化雨 68 数据库是大量数据的有结构的综合性集合 如何将这样一个庞大的数据集合以最优的形式组织起来存放在外存上是一个非常重要的问题 这里所谓 优 包括两方面 存储效率高 节省存储空间存取效率高 速度快 代价小 数据库物理组织引言 2020 4 16 山东师大信息管理学院王化雨 69 数据库实现的基础是文件 对数据库的任何操作最终要转化为对文件的操作 在数据库物理组织中 最基本的问题是如何设计文件组织或者利用操作系统提供的基本文件组织方法 有关文件组织的基本方法和常用的文件组织形式已在数据结构课中介绍 这里只讨论如何利用基本的文件组织方法来实现数据库组织 数据库物理组织引言 2020 4 16 山东师大信息管理学院王化雨 70 数据库系统是文件系统的发展 文件系统中每个文件存储同质实体的数据 各文件是孤立的 没有体现实体之间的联系 数据库系统中数据的物理组织必须体现实体之间的联系 支持数据库的逻辑结构 各种数据模型 数据库物理组织引言 2020 4 16 山东师大信息管理学院王化雨 71 数据库中要存储四个方面的数据 数据描述 即数据外模式 模式 内模式数据本身数据之间的联系存取路径这四个方面的数据内容都要采用一定的文件组织方式组织 存储起来 数据库物理组织引言 2020 4 16 山东师大信息管理学院王化雨 72 有关数据的描述存储在数据库的数据字典中 数据字典的特点是数据量比较小 与数据本身比 使用频繁 因为任何数据库操作都要参照数据字典的内容 数据库物理组织 数据字典的组织 2020 4 16 山东师大信息管理学院王化雨 73 数据字典在网状 层次数据库中常常用一个特殊的文件来组织 所有关于数据的描述信息存放在一个文件中 例如HP3000计算机系统中IMAGE网状数据库的模式就是用一个称为 根文件 的特权文件来存放的 关系数据库中数据字典的组织通常与数据本身的组织相同 数据字典按不同的内容在逻辑上组织为若干个表 可简单地用顺序文件来组织 数据库物理组织 数据字典的组织 2020 4 16 山东师大信息管理学院王化雨 74 关于数据自身的组织 DBMS可以根据数据和处理的要求自己设计文件结构 也可以从操作系统提供的文件结构中选择合适的加以实现 操作系统常用的文件结构有 顺序文件 索引文件 索引顺序文件 HASH文件 杂凑文件 和B树类文件等 数据库物理组织 数据及数据联系的组织 2020 4 16 山东师大信息管理学院王化雨 75 数据库中数据组织与数据之间联系是紧密结合的 在数据的组织和存储中必须直接或间接 显式或隐含地体现数据之间的联系 这是数据库物理组织中主要考虑和设计的内容 数据库物理组织 数据及数据联系的组织 2020 4 16 山东师大信息管理学院王化雨 76 在网状和层次数据库中 常用邻接法和链接法实现数据之间的联系 对应到物理组织方式中 就要在操作系统已有的文件结构上实现数据库的存储组织和存取方法 例如IMS数据库中 操作系统提供的低级的存取方法有SAM ISAM VS