数据库管理系统-从基本原理到系统构建 课件全套 李国良 第1-16章 数据库概述-SQLite简介

第1章数据库概述数据库-概述1目录数据库-概述201数据库系统概述02数据库课程介绍03数据库发展简史04本章小结数据库的核心用途数据库是数据基础设施数据库是核心基础软件数据库已赋能千行百业数据库-概述3插入数据查询结果数据库在计算机系统中的位置理论Theory网络Network安全Security应用Application数据库Database编译器Compiler操作系统OS硬件Hardware数据库是计算机的核心基础软件之一向下发挥算力、向上支撑应用数据库-概述4数据库的基本概念数据（Data）数据库（Database，DB）数据库管理系统（Database

Management

System，DBMS）数据库系统（Database

System，DBS）数据库-概述5数据什么是数据？在现实生活，数据是可识别的抽象符号，即描述事物的符号记录。在计算机中，数据是所有能被计算机处理的符号的总称在数据库中，数据是数据库中存储的基本对象数据的种类:数字，例如1、2、3文本，例如张三、李四时间，例如2022年2月22日向量，例如图片或文本的表征图片，例如logo音频，例如电视语音…数据库-概述67数据类型分类结构化数据：关系数据（表）半结构化数据键值对Key-ValueXML、JSON图向量非结构化数据文本文档、电子邮件、图像、音频、视频数据库-概述关系数据Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（系别）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MACno（课程号）Cname（课程名）Cpno（先修课）Ccredit（学分）1数据库242数据结构与算法643操作系统234高等数学

45软件工程626程序设计

37数值分析42Sno（学号）Cno（课程号）Grade（成绩）202131072159820213107221872021310723192202131072357620213107247842021310725495数据库-概述8查询赵宇数据库课程成绩Student表查找赵宇学号Course表查找数据库课程号SC表查找成绩关系模型：二维表格（表）来表示数据表中的每一行代表一个记录（实体或元组）表中的每一列代表一个属性（字段）数据库什么是数据库？一组相互有关联的数据集合长期储存在计算机中的有组织的、可管理和可共享的数据集合数据库的基本特征数据按一定的数据模型组织、描述和储存支持数据的增删改查支持并发查询处理通用性和复制性数据库-概述9数据库系统什么是数据库系统？数据库系统是指由数据库管理系统和相关工具组成的软件系统，用于管理和操作大量数据一般包括数据库数据库管理系统开发工具、应用系统数据库管理员和终端用户什么是数据库管理系统？管理数据库的软件数据库-概述10数据库管理系统什么是数据库管理系统？定义1：用户（应用程序）与操作系统之间的数据库管理软件定义2：一个管理数据的大型复杂基础软件系统数据库管理系统的用途优雅查询和数据抽象高效组织和存储数据正确一致的并发更新低时延高吞吐的查询并行高效的有序执行可用性和高可靠保证安全可信的统一控制方便易用的用户接口数据库-概述11查询接口层查询接口层负责用户和数据库管理系统的交互SQL查询语言常见的查询接口JDBC（Javadatabaseconnectivity，JDBC）ODBC（opendatabaseconnectivity，ODBC）嵌入式SQL：将SQL语句嵌入到高级语言程序中，并在编译时对其进行解析和处理数据库-概述12数据库管理系统的主要功能数据定义功能提供数据定义语言（datadefinitionlanguage，DDL

）定义数据库中的数据对象（创建、删除、修改表/索引/视图）数据操纵功能提供数据操纵语言（datamanipulationlanguage，DML

）实现对数据库的基本操作（查询、插入、删除和修改数据）数据组织、存储、查询处理分类组织、存储和管理各种数据，确定组织数据的文件结构和存取方式数据库高效查询和执行数据库事务管理、故障恢复、备份恢复、安全处理数据库-概述13数据库管理系统概述查询处理层查询解析、查询重写查询优化（基数、代价估计、计划选择）查询执行层形成数据库语言语句的执行计划执行模型、执行算子

存储管理层在数据存储器中完成数据的增删改查操作数据组织、缓冲区管理、索引事务处理、并发控制、故障恢复安全管理负责数据库全生命周期的安全管理数据库-概述14数据库管理系统细化数据库-概述15查询解析逻辑优化（查询重写）物理优化代价估计统计信息火山模型编译执行物化模型并行执行向量化执行模型物理算子日志管理故障恢复并发控制页面组织缓冲区元数据索引入侵检测访问认证权限控制数据防护审计机制第三方安全测试查询处理层查询执行层存储管理层安全管理物理计划结果数据存取结果SQL查询结果数据库管理系统日志元数据（数据字典）统计信息索引页面数据页面……数据库数据库管理系统select,

,

sc.scorefromstudentass,courseasc,scwheres.sno=sc.snoando=oand=“赵宇”and=“数据库”SSCCσsname=“赵宇”⋈s.sno=sc.snoσcname=“数据库”⋈o=oρ,

,

sc.scorePage1Page2Page3Page4Page5Page6LogPage1Page4log缓存磁盘SQL查询计划数据库-概述16查询解析逻辑优化（查询重写）物理优化代价估计统计信息火山模型编译执行物化模型并行执行向量化执行模型物理算子日志管理故障恢复并发控制页面组织缓冲区元数据索引入侵检测访问认证权限控制数据防护审计机制第三方安全测试查询处理层查询执行层存储管理层安全管理物理计划结果数据存取结果SQL查询结果数据库管理系统日志元数据（数据字典）统计信息索引页面数据页面……数据库17数据库周围工具数据库-概述数据库内核数据访问中间件数据开发建模工具操作系统硬件平台数据同步工具数据集成工具监控运维系统备份恢复系统标准SQL及驱动元数据视图运行视图监控运维接口及工具集备份恢复接口及工具集数据同步接口数据导入导出工具西向（数据进的来出得去）：导入导出工具：数据离线迁移；同步工具：数据在线迁移；集成工具：数据导出到分析系统；北向（应用用得好）：数据访问中间件：业务访问数据库的通道；数据开发建模工具：建模、设计、开发、调试业务数据访问代码；东向（数据库运行得好）：监控运维系统：配置、告警、统计、巡检等；备份恢复系统：数据的备份与恢复；南向（数据库运行的基础平台）：操作系统：运行的软件平台；硬件平台：运行的硬件平台；18数据库生态数据库-概述SQL语法系统视图数据类型系统包驱动接口内核生态行业/安全准入认证第三方对接、兼容技术堆栈技术合作产品OM工具技术生态DBA社区高校合作培训与认证用户生态产业联盟合作伙伴品牌宣传商业生态内核生态：内核语法兼容性、JDBC/ODBC驱动/协议、安装部署工具、运维工具技术生态：建立数据库朋友圈，包括：操作系统、处理器、数据同步、数据集成、BI报表/数据分析/可视化、备份管理、数据治理、开发建模用户生态：培养用户使用习惯，扩大用户群，包括：培训认证体系、授权培训中心、学术界、用户组商业生态：核心是商业利益分享，包括：行业和应用、第三方专业服务、产业联盟、安全认证、ARM推荐等19多方向交叉融合创新数据库-概述编译器技术、LLVM（AOT、JIT编程库）编程语言技术优化器技术：CBO、ABO操作系统资源调度技术（NUMA-aware调度）SMP并行技术异构计算技术文件和存储管理技术（集群文件系统、分布式文件系统、分布式存储）SQL引擎执行引擎存储引擎硬件加速内存管理负载管理解析器优化器多核并行进程调度编译执行并行全并行执行高可靠可用通讯管理任务调度分布式分布式事务分布式协同分布式优化分布式通信并发管理分布式OLTP分布式OLAP事务处理介质优化文件管理芯片：X86、SSD、SCM、ARM64……操作系统/虚拟化：Linux、Windows、UVP、VMware……文件系统:LFS、ClusterFS、DFS并发事务处理分布式协同技术分布式事务、高精度时钟网络和通信（UB、RPC库）分布式优化技术向量执行目录数据库-概述2001数据库系统概述02数据库课程介绍03数据库发展简史04本章小结21第一章数据库基础数据库-概述22第二章关系代数数据库-概述关系模型关系数据库数据组织方式数据模型数据库数据组织方式关系数据结构关系操作关系完整性约束关系查询更新删除插入修改实体完整性参照完整性用户定义完整性关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑数据定义数据查询数据操纵数据定义23第三章数据库设计数据库-概述数据库设计核心步骤现实世界需求分析概念结构设计阶段逻辑结构设计阶段物理结构设计阶段数据库建设和维护数据模型概念数据模型实体-联系模型逻辑数据模型关系模型物理数据模型存储结构设计规范化设计理论和实现…规范化程度第一范式第二范式规范化实现关系模式的分解规范化设计理论函数依赖数据依赖的公理系统规范化设计判定理论基础提高24第四章SQL数据库-概述第五章存储管理层存储管理层根据查询执行层的操作指令，在数据存储器中完成数据的增删改查操作数据获取方法Access

method存储管理层组成事务管理并发控制故障恢复日志管理存储管理数据组织缓冲区索引管理数据库-概述25思想：数据页面的随机读写

日志的连续读写第五章存储管理层（续）数据组织与管理文件页面记录日志管理索引管理事务处理故障恢复并发控制数据库-概述26思想：高密度存储（格式、空闲空间、压缩）与快速读写27第六章事务处理数据库-概述事务ACIDAtomicity原子性

Undo

log回滚日志Durability持久性

Redo

log重做日志Consistency一致性

完整性约束+AID技术隔离级别脏读不可重复读幻读读未提交允许允许允许读已提交不允许允许允许可重复读不允许不允许允许可串行化不允许不允许不允许Isolation隔离性

隔离级别、并发控制（2PL、OCC、TO、MVCC）28第七章故障恢复数据库-概述数据库故障后如何恢复？事务故障：数据库事务因为资源冲突或者死锁等原因导致执行失败。系统崩溃：数据库自身或操作系统的故障导致数据库进程意外退出。

磁盘故障：数据因为磁盘（其他非易失性存储）损坏导致无法被读取。自然灾害：自然灾害对数据库系统所在的环境造成了彻底性破坏。自然灾害持久性执行失败了!事务故障原子性磁盘故障持久性系统崩溃原子性、持久性29第七章故障恢复数据库-概述问题类型出现频率对事务的影响解决方法无故障下事务回滚高原子性单机数据库恢复Undo日志redo日志事务故障较高原子性系统崩溃能重启中等原子性/持久性磁盘故障低持久性数据多副本系统崩溃不能重启低持久性一主多备（多机）持久性

高可用两地三中心自然灾害极低持久性异地容灾（多机）持久性

高可用异地双集群30第七章故障恢复数据库-概述

FORCE强制（事务提交强制刷盘）NO-FORCE非强制（事务提交非强制刷盘）NO-STEAL非窃取(执行期间不刷盘)无redo日志|无undo日志有redo日志|无undo日志STEAL窃取(执行期间可刷盘)无redo日志|有undo日志有redo日志|有undo日志脏页队列检查点线程刷新全部脏页数据页面文件页面更新线程日志线程日志页面文件当前刷新日志最大LSN：flushedLSN思想：原子性

日志回滚

执行中可刷盘；持久性

日志重做

提交不强制刷盘31第八章并发控制数据库-概述32第八章并发控制数据库-概述类别子类别可串行化读已提交可重复读解决幻读可恢复死锁饿死等待/回滚悲观锁2PL是读完即可释放共享锁是加谓词锁否是不能等待S2PL是是是是不能等待SS2PL是是是是不能等待时间戳时间戳是是是是否否可能回滚Thomas是是是是否否可能回滚乐观OCC是是是是是否可能重启多版本MVCC+锁是是是是是是不能等待MVCC+时间戳是是是是否否可能回滚MVCC+OCC是是是是是否可能重启33第九章索引数据库-概述第十章查询处理层查询处理层对数据库SQL语句进行查询解析查询处理和查询优化查询处理层组成查询解析查询重写视图转换逻辑优化物理优化代价估计数据库-概述34查询解析逻辑优化（查询重写）物理优化代价估计统计信息火山模型编译执行物化模型并行执行向量化执行模型物理算子日志管理故障恢复并发控制页面组织缓冲区元数据索引入侵检测访问认证权限控制数据防护审计机制第三方安全测试查询处理层查询执行层存储管理层安全管理物理计划结果数据存取结果SQL查询结果数据库管理系统日志元数据（数据字典）统计信息索引页面数据页面……数据库第十章查询处理层查询处理是指针对一条查询，从数据库中提取目标数据时对该查询进行的处理过程，包括：查询解析：将查询语句转化为容易被数据库执行的表达查询优化：为优化查询的执行计划而进行各种逻辑等价的转换查询执行：查询的实际执行数据库-概述35第十章查询处理层查询解析输入SQL查询，输出查询树词法分析：提取出SQL查询中的关键词、常量等成分语法分析：将词法分析提取的成分构建为一颗语法分析树语义分析：检查语法分析树的语义正确性，将其转化为基于关系代数的查询树数据库-概述36第十一章查询优化查询优化输入查询树，输出物理执行计划逻辑优化：依赖逻辑等价变换规则将关系代数表达式变换为更高执行效率的形式

代价估计：用来预测各执行计划的资源消耗大小物理优化：依赖代价估计器估计各执行计划的代价，选取代价最小的执行计划数据库-概述37第十二章查询执行查询执行输入为查询的执行计划，输出为查询结果计划编译：将查询的执行计划编译可执行的编程代码，甚至是机器码计划执行：执行计划编译的结果，与使用何种查询执行模型有关数据库-概述38Cno="1"

SC.Sno=Student.SnoSno,Sname,GradeSCStudent

SELECTSno,Sname,GradeFROMSC,StudentWHERESC.Sno=Student.SnoANDCno="1"39第十二章查询执行数据库-概述火山模型查询计划执行代码机器码物化模型编译执行输入输出向量化执行Pull-based拉取式Push-based推送式聚合投影谓词扫描调取数据数据元组数据元组数据元组调取数据调取数据数据集调取数据数据元组查询输出聚合投影谓词扫描数据元组数据元组数据元组数据集数据元组输出拉取式模型推送式模型第十三章安全管理层安全管理层保障数据的安全可靠访问认证（攻不破）权限控制（不越权）数据保护（看不懂）审计机制（赖不掉）安全测试（信得过）安全管理层组成数据库安全外围级安全管理访问级安全管理数据级安全管理数据库-概述40查询解析逻辑优化（查询重写）物理优化代价估计统计信息火山模型编译执行物化模型并行执行向量化执行模型物理算子日志管理故障恢复并发控制页面组织缓冲区元数据索引入侵检测访问认证权限控制数据防护审计机制第三方安全测试查询处理层查询执行层存储管理层安全管理物理计划结果数据存取结果SQL查询结果数据库管理系统日志元数据（数据字典）统计信息索引页面数据页面……数据库第十三章数据库安全外围级防御决定哪些用户可以访问数据库安全认证、防火墙、入侵检测访问级防御控制允许哪些用户有权访问某些数据或包含它的系统安全配置策略、访问控制、审计数据级防御预防和应对发生在数据库本身的安全隐患数据加密、隐私保护数据库-概述4142第十四章高级数据库技术数据库-概述大数据量超高并发分布式数据库分布式事务、分布式查询优化、分布式索引海量数据分析决策OLAP数据库列存、向量化、MPP、物化视图交易分析混合负载HTAP数据库行列混存、列存选择、行列混合优化器实时交易超低时延内存数据库行级组织、内存索引、内存并发控制云上弹性伸缩调度云原生数据库计算/缓存/存储解耦、日志即数据、多租新型硬件算力发挥新硬件数据库NUMA并发控制、GPU并行处理、NVM组织、RDMA分布协同、CXL共享缓存、FGPA压缩海量非结构化数据NoSQL数据库CAP、LSM-tree、多模处理智能时代数智融合AI原生数据库ABO(基数/重写/计划)、AI4DB、DB4AI43第十五章数据库案例GaussDB数据库-概述44第十六章数据库案例SQLite数据库-概述嵌入性既可以嵌入至应用程序，也可以嵌入至嵌入式设备移植性支持不同操作系统占用存储空间小实时性在规定时间内快速完成指定操作可靠性具有一定的自我维护机制，满足苛刻环境的需要45数据库课程范围数据库-概述原理演进系统应用数据模型、ER模型关系代数数据库范式SQL查询优化模型数据库事务处理原理SQL数据库设计索引、触发器、游标JDBC、ODBC性能调优运维存储引擎数据组织、缓冲区日志管理、元数据索引事务处理（ACID）Redo日志（D）Undo日志（A）并发控制（I）2PL、OCC、TO、MVCC查询优化重写、代价、计划选择、执行模型分布式数据库：2PC+PaxosOLAP：列存、向量化、LLVMHTAP：行列混存云原生：弹性、分层池化内存数据库新硬件数据库NoSQL与多模数据库AI原生数据库课程考核标准目标：基于给定框架，添加数据库系统各个模块，最终实现一个简单数据库系统考核：5个实验，每个20%数据组织事务与日志MVCC并发机制执行器

优化器LAB1数据组织（15+5）Meta信息管理页式记录管理记录存储和解析LAB2事务与日志（15+5）事务的提交和回滚日志组织和管理异常退出的自动恢复LAB3并发控制（15+5）MVCC

(WR

+

RW)

2PL

(WW)LAB4执行器（15+5）Scan算子(Seq…)Filter算子(Equal…)Join算子(Hash…)LAB5优化器（15+5）逻辑优化(谓词下推…)物理优化(Join选择…)数据库-概述46目录数据库-概述4701数据库系统概述02数据库课程介绍03数据库发展简史04本章小结数据管理的三个阶段人工管理文件系统管理数据库管理—

20世纪50年代中期20世纪50年代中期—

60年代中期20世纪60年代末—至今人工管理文件系统管理数据库管理应用背景满足科学计算满足科学计算和数据管理大规模数据管理硬件条件无直接存取存储设备磁盘、磁鼓大容量磁盘软件条件没有操作系统有文件系统数据库管理系统处理方式批处理联机实时处理、批处理联机实时处理、批处理、分布式处理实现方式通过卡带、卡片和磁带等计算机间接存取设备实现通过磁盘和磁鼓等计算机直接存取设备实现通过数据库管理系统与数据库进行交互以实现数据管理操作特点人力维护成本极高数据与应用程序深度绑定数据间缺乏组织和独立性数据无共享、冗余度极大人力维护成本很高数据文件与应用程序耦合数据共享性差、冗余度大难以支持多用户并发访问使用数据模型描述，无需应用程序定义，组织程度和共享程度高编程友好，无需关心数据库文件的物理操作和系统控制支持多用户并发访问数据库-概述48数据库发展史概览60s诞生70s兴起关系型数据库SQL语言80s发展OLTP90s分析OLAP00s大数据NoSQL10s

云演进云原生分布式20s

？？？事务处理图灵奖：JimGray关系代数图灵奖：EdgarCodd分布式一致性仲裁算法图灵奖：LeslieLamport数据库系统

图灵奖Mike.Stonebraker数据库概念图灵奖Charles

Bachman实体关系型面向对象型扩展NoSQLGoogleBigTableCouchDBMongoDBCassandraRedisNeo4JNewSQLGaussDB

Oceanbase

TIDBGoogleSpanner高可扩展ACID层次型数据库IBM网状型数据库CODASTY通常不支持事务及SQL，性能、容量、可扩展性突出：KV、文档、图云原生智能化分布式端边云软硬协同安全隐私多模处理智能管理云原生AuroraSnowflake大数据Hadoop、HiveSpark、Spark

SQL湖仓一体分析型TeradataCstore列式分析、向量化、内存分析、编译执行分析ORACLE关系模型关系型IBMDB2SAPSybaseInformixSQLSever互联网兴起SystemR（SQL）1st商用内存计算、HTAP、NVM、RDMAPostgreSQL

MySQL数据库-概述4950影响数据库发展的因素数据库-概述数据模型新型硬件计算模式架构演进新型应用软件技术SMP,

NUMARAM,

NVMRDMAGPU,

FPGASGX,TEE线下On

premise云Cloud

Serverless

端边云End-Edge-Cloud单机，单机主备，多主，集群，分布式关系，键值,文档,

Json，图，向量2PC+PaxosDB+LLVM大数据区块链

AIOLAPOLTPHTAP时序、流、AI安全隐私Optimization

Goal:throughput,consistency,latency,

faulttolerance,availability,elasticity,

security,privacy,robustness数据库模型：层次数据库和网状数据库在数据库发展的早期，有两类重要的数据库层次数据库（HierarchicalDatabase）和网状数据库（NetworkDatabase）层次数据库基于层次模型，以“树结构”来表示数据记录之间的联系网状数据库基于网状模型，以“图结构”来表示数据记录之间的联系数据库-概述51数据库模型：层次模型与层次数据库层次模型是数据库系统中最早出现的数据模型层次模型用树形结构来表示各类实体以及实体间的联系层次模型除根节点以外，其他结点有且只有一个父亲结点层次数据库系统的典型代表是IBM公司的IMS（InformationManagementSystem，IMS）数据库数据库-概述52数据库模型：网状模型和网状数据库网状模型是网状数据库的组织方式1964年，美国通用电气公司发布了世界上第一个网状数据库系统——IDS（IntegratedDataStorage，集成数据存储）网状模型：允许一个以上的结点无父亲一个结点可以有多于一个的父亲查理士·巴赫曼（CharlesW.Bachman）1973年获得图灵奖，以表彰他在数据库领域，尤其是网状数据库系统方面的杰出贡献。

数据库-概述53数据库模型：关系模型与关系数据库关系数据库关系数据库是表的集合：每个表有唯一的名字每个表可以有多个列每个列有唯一的名字表中的一行代表的是一系列值之间的联系，即表是关系的集合表的概念和数学上关系的概念密切相关，这正是关系数据库名称的由来常见的关系数据库Oracle

、MicrosoftSQLServer、IBMDB2、MySQL、GaussDB、SQLite关系数据库采用关系模型作为数据的组织方式Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MAStudent表数据库-概述54数据库模型：关系模型和关系数据库1970年，IBM公司的埃德加·科德（EdgarF.Codd）首次提出了关系模型的概念。之后，提出了关系代数和关系演算的概念1972年提出了关系的第一、第二、第三范式1974年提出了关系的巴斯科德范式1981年，ACM授予埃德加·科德图灵奖，以表彰他在关系数据库研究方面的杰出贡献。埃德加·科德数据库-概述55键值数据库以键值对格式存储数据的数据库，数据访问简单高效列族数据库数据列按访问关联性划分成不同族，一个族可视为关系表文档数据库以JSON等文档格式存取数据，避免应用中数据转换的代价图数据库以包含边、节点及属性的图结构来存储数据和建模关联信息向量数据库非结构化数据（文本、图片）转换的向量数据（embedding、vector）数据库-概述56vectorColumn-family数据库模型：NoSQL数据库类型模式灵活NoSQL数据库无需预先指定数据的模式，并支持混合数据类型数据库-概述57NoSQL

=

Not

only

SQL数据库模型：NoSQL数据库主要特点高可扩展摆脱关系模型约束，NoSQL简化提升了数据水平扩展能力高可用基于主主或主从集群模式，支持用户从不同数据节点查询数据主要类型NoSQL数据库产品（示例）键值数据库内存键值存储Redis,Memcached最终一致性键值存储Dynamo持久化键值存储LevelDB、RocksDB列族数据库Cassandra,Hbase,GoogleBigTable文档数据库MongoDB图数据库Neo4J向量数据库Milvus数据库-概述58数据库模型：常见的NoSQL数据库数据库各类应用：OLTP、OLAP与HTAP数据库OLTP:OnlineTransactionProcessing在线事务处理OLAP:

OnlineAnalyticalProcessing在线分析处理HTAP:

HybridTransactional/AnalyticalProcessing混合事务分析处理动机：处理业务交易数据OLTP每一条写入操作往往对应一条业务记录。动机：从日积月累的大量数据中做数据分析，挖掘数据的价值OLAP定期从OLTP经过ETL提取数据，用于数据分析。动机：需要对最新事务信息作出快速的分析，甚至需要在处理事务的同时对数据进行分析。HTAP是能够同时处理并发型事务与分析型查询的数据库技术。OLTPOLAPHTAP数据库-概述5960数据库各类应用数据库-概述管理信息系统事务处理系统决策支持系统应用场景访问接口数据集合游戏视频数据分析交易处理数据治理金融反欺诈SQLNoSQLObject…

……

…内存数据库NOSQL数据库关系数据库数据库仓库数据湖…

…订单管理仓库物流生产制造产生背景海量数据存储TB、PB级数据高可用应用需求电商、通信、金融应用分布式数据库高性能高可用高可扩展数据库-概述61数据库架构：分布式数据库云托管数据库系统特点：多个数据库实例总体为Shared

Everything结构优势：易于实现，完全兼容缺陷：本机存储容量冗余的数据副本高RTO，数据滞后网络瓶颈数据库-概述62数据库架构：云托管数据库63计算-存储分离架构优势:弹性

计算资源和存储资源可以独立调度。效率

Shared

Storage架构，缓解写放大问题。可用性节点级别的故障恢复，降低故障恢复时间。关键特性:计算-存储分离日志即数据库数据库-概述数据库架构：云原生数据库64计算-缓存-存储池化架构优势:效率

依赖于共享内存，提高数据读取速度。弹性

缓解不同存储节点向存储层读取重复数据的问题。弹性内存资源可以基于使用需求动态调度。关键特性:所有计算节点共享的远程共享内存区域，共享内存容量支持弹性调度数据库-概述数据库架构：云原生数据库核心区别：架构设计上的计算存储分离OLTP:注重事务处理，日志为核心OLAP:强调数据分析，分片为核心MasterStandbyR/WRCloudDB1.0：计算存储分离StandbyRShard1

MasterShard1

StandbyR/WRShard1

StandbyR传统数据库MasterMasterR/WR/WCloud

DB

2.0:三层池化、多写多读MasterR/WDistributed

Shared

Memory数据库-概述65数据库架构：云原生数据库关键技术：事务处理数据副本异步更新故障恢复分析处理中央处理器：并行计算、并发控制多核处理器：SMP架构：扁平化组织NUMA架构：分组组织协处理器：异构计算、复杂分析GPU：graphicsprocessingunit（图形处理器）FPGA：fieldprogrammablegatearray（现场可编程逻辑门阵列）存储介质：记录级数据组织NVM：non-volatilememory（非易失性内存）网络传输硬件：分布式缓存RDMA：remotedirectmemoryaccess（远程内存直接访问）66数据库-概述数据库与新硬件起源磁盘为主

内存为主磁盘数据库I/O效率低特点页面组织

记录组织悲观并发

乐观并发磁盘索引

内存索引查询执行

编译执行数据库-概述67数据库与新硬件：内存数据库“one-size-not-fits-all”

传统数据库上云，面临诸多挑战AI在数据、算法、新硬件的驱动下取得突破进展训练数据管理，提效率多种机器学习算法，库原生异构硬件，加速执行TPCHJOBTPCDSTPCCSysbenchSQLSmithCPUGPU需要根据应用自适应调整数据库配置“challenges

in

big

data”数据难划分，查询难优化实时数仓(速度；一致性)“issues

in

db

maintenance”人力或简单的运维工具难以支撑云上庞杂的运维任务68数据库+AI电商车企政企数据库-概述数据库-概述69智能数据库内部优化

逻辑查询重写执行代价估计

物理计划选择智能数据库执行器并行性能预测智能数据存储引擎学习型索引智能数据库外部优化

智能索引推荐

智能视图推荐智能数据划分自治数据库系统数据库+AI：AI4DB70优势在线推理:T+1T+0数据安全:ETLIn-DB资源利用率:冗余

一份数据统一数据、统一查询、数智融合数据库-概述数据库+AI：DB4AI71数据库+安全全密态数据库防篡改数据库智能访问控制安全隐私保护联邦数据查询数据库-概述目录数据库-概述7201数据库系统概述02数据库课程介绍03数据库发展简史04本章小结15234数据库是IT领域的核心基础软件之一，几乎所有的IT系统都需要使用数据库来组织、存储、操纵和管理业务数据数据库-概述73本章小结阐述数据、数据库、数据库管理系统和数据库系统的概念简述数据库管理系统的查询处理层、查询执行层、存储管理层和安全管理层介绍了数据库发展简史，阐述了新技术和新需求对数据库演化的影响总结了基于数据库的典型应用系统，并展望数据库的演变与发展第2章关系模型数据库系统—关系模型74本章知识框架数据库系统—关系模型75关系模型关系数据库数据组织方式数据模型数据库数据组织方式关系数据结构关系操作关系完整性约束关系查询更新删除插入修改实体完整性参照完整性用户定义完整性关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑数据定义数据查询数据操纵数据定义目录数据库系统—关系模型76关系模型关系数据库数据组织方式数据模型数据库数据组织方式关系数据结构关系操作关系完整性约束关系查询更新删除插入修改实体完整性参照完整性用户定义完整性关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑数据定义数据查询数据操纵数据定义关系数据库基本概念学生选课关系数据库示例包含三个Student、Course、SC三个表（关系）。数据库系统—关系模型77Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MACno（课程号）Cname（课程名）Cpno（先修课）Ccredit（学分）1数据库242数据结构与算法643操作系统234高等数学

45软件工程626程序设计

37数值分析42Sno（学号）Cno（课程号）Grade（成绩）202131072159820213107221872021310723192202131072357620213107247842021310725495Student表Course表SC表关系数据库基本概念（续）关系数据库关系数据库是表的集合：每个表有唯一的名字每个表可以有多个列每个列有唯一的名字表中的一行代表的是一系列值之间的联系，即表是关系的集合表的概念和数学上关系的概念密切相关，这正是关系数据库名称的由来常见的关系数据库Oracle

、MicrosoftSQLServer、IBMDB2、GaussDB、MySQL、SQLite关系数据库采用关系模型作为数据的组织方式数据库系统—关系模型78Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MAStudent表关系模型1970年，IBM公司的埃德加·科德（EdgarF.Codd）首次提出了关系模型的概念。随后，提出了关系代数和关系演算的概念1972年提出了关系的第一、第二、第三范式1974年提出了关系的巴斯科德范式1981年，ACM授予埃德加·科德图灵奖，以表彰他在关系数据库研究方面的杰出贡献。数据库系统—关系模型79埃德加·科德关系数据库基本概念（续）数据库系统—关系模型80关系模型的形象化类比程序设计语言数据类型变量值关系模型关系模式关系关系实例关系数据库基本概念（续）数据库系统—关系模型81关系模型术语一般表格的术语关系模式表头（表格列名的集合）关系名表名关系二维表元组行/记录属性列属性名列名属性值列值分量一条记录中的一个列值关系模型术语与日常生活术语对比关系数据库基本概念（续）数据库系统—关系模型82基本概念关系数据库是由表的集合构成，表在关系理论里面又称为关系每个表都有唯一的名字，称之为关系名表中的每一列则被称为属性表格中的每一行则被称为元组，即关系是元组的集合元组中一个属性值，在关系中称为分量

一个有n个属性的关系称为n元关系关系实际上就是一个二维表表格的每一行是一个元组表格的每一列是一个属性Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MAStudent表属性元组分量关系数据库基本概念（续）数据库系统—关系模型83

SnoSnameSgenderSageSdept2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MA关系数据库基本概念（续）数据库系统—关系模型84基本概念关系中每个属性都存在一个合法的取值集合，是该属性的域

例如，Student关系中的Sage属性，其每一个取值通常是大于或等于0的关系中每一个属性中的值都应该来自同一个域例如，Sage属性值应该是整数或者空值，不能出现日期数据或者其它类型的数据。Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MA关系数据库基本概念（续）数据库系统—关系模型85超键：如果某一属性或者某属性集合可以唯一地标识不同的元组，则称这样的属性或者属性集为超键。候选键：不含有多余属性的超键：一个超键去除任意一个属性就不再是超键了。Student关系的5个属性中，(Sno,

Sname)是一个超键，但不是候选键；Sno是候选键；如果Sname属性的取值是唯一的，则它也是候选键。候选键的各个属性称为主属性，不包含在任何侯选键中的属性称为非主属性。Student关系主属性是Sno。Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MA关系数据库基本概念（续）数据库系统—关系模型86在某些情况，需要同时使用两个或者两个以上的属性才能唯一标识不同的元组，这种由多个属性所构成的键称为复合键。例如，在SC关系中，如果只用Sno或者Cno属性都不能唯一地标识不同的元组，但如果同时使用Sno和Cno属性，则可以唯一地标识不同的元组，即可唯一地区分不同学生在不同课程上的成绩。SC关系中的Sno和Cno属性的组合是其复合键。Sno（学号）Cno（课程号）Grade（成绩）202131072159820213107221872021310723192202131072357620213107247842021310725495SC表复合键关系数据库基本概念（续）数据库系统—关系模型87一个关关系可能有一个或多个候选键，在定义关系数据库关系表的时候，一般选择一个最合适的候选键作为主键，主键的不同取值必须唯一标识不同的元组。例如，Student关系的5个属性中，Sno属性可以唯一地标识不同的学生，可以选择Sno作为Student关系的主键。Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MAStudent表关系数据库基本概念（续）数据库系统—关系模型88SC关系的Sno和Cno属性分别是Student和Course关系的主键，这种一个关系模式R1中的属性是另一个关系模式R2的主键，这样的属性在R1上称作参照R2的外键，即外键。Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MACno（课程号）Cname（课程名）Cpno（先修课）Ccredit（学分）1数据库242数据结构与算法643操作系统23Sno（学号）Cno（课程号）Grade（成绩）2021310721598202131072218720213107231922021310723576Student表Course表SC表89目录数据库系统—关系模型关系模型关系数据库数据组织方式数据模型数据库数据组织方式关系数据结构关系操作关系完整性约束关系查询更新删除插入修改实体完整性参照完整性用户定义完整性关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑数据定义数据查询数据操纵数据定义关系操作数据库系统—关系模型90基于关系模型，常见的关系操作主要包括了：查询操作（Query）和数据更新操作。数据更新包括了删除（Delete）、插入（Insert）和修改（Update）查询操作是关系操作的核心部分。关系操作可以通过关系运算进行表示。关系运算是埃德加·科德博士所提出的关系模型的一部分，本质上是一种形式化的关系查询语言，可以用于从数据库中查询数据。关系数据库语言数据库系统—关系模型91关系数据库语言包括了关系运算和SQL关系运算包含关系代数（relationalalgebra）关系代数是一种过程化查询语言，通过描述对关系的运算来表达查询、获取数据；关系演算则是非过程化查询语言，通过描述想要获取的数据的信息来获取数据（不需要给出运算过程）关系演算可以分为元组关系演算和域关系演算两种语言。为了方便用户查询处理关系数据，定义了结构化查询语言SQL

来操作处理关系数据关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑SQL、关系代数和关系演算都是在关系模型基础上用于表达数据操作的语言SQL是用户与关系数据库直接交互的途径SQL是一种介于关系代数和关系演算之间的语言，它和关系演算一样是非过程化语言关系代数是过程化的，是SQL的理论基础执行SQL需要通过关系代数

理论进行优化数据库系统—关系模型92关系运算和SQL的关系关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑目录数据库系统—关系模型93关系模型关系数据库数据组织方式数据模型数据库数据组织方式关系数据结构关系操作关系完整性约束关系查询更新删除插入修改实体完整性参照完整性用户定义完整性关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑数据定义数据查询数据操纵数据定义关系完整性约束现实世界中仍然有许多事物很难用现有的方法进行建模。因此，我们在信息世界中建模这些事物的时候，通常需要附加一定的约束。在关系模型中，有三类完整性约束：实体完整性约束（entityintegrityconstraint）参照完整性约束（referentialintegrityconstraint）用户定义完整性约束（user-definedintegrityconstraint）数据库系统—关系模型94常见的约束类型完整性约束实体完整性约束（主键约束）参照完整性约束（外键约束）用户定义完整性约束其它约束非空约束唯一约束域约束数据库系统—关系模型95常见的约束类型（续）三类完整性约束实体完整性和参照完整性关系模型必须满足的实体和参照完整性约束条件称为关系的两个不变性，应该由关系系统自动支持用户定义的完整性应用领域需要遵循的约束条件，体现了具体领域中的语义约束数据库系统—关系模型96实体完整性约束实体完整性约束规范设计的关系数据库中的每个元组都应该是唯一且可区分的。例如，在学生关系数据库中，不应该出现两个表示学生实体的相同元组，并且在学生关系数据库中的学生实体之间是可以相互区分的。实体完整性约束可以保证关系数据库的上述特性，实体完整性约束主要是通过在关系表中实施主键取值约束，来保证关系中的每个元组可以被唯一识别。数据库系统—关系模型97实体完整性约束（续）

数据库系统—关系模型98实体完整性约束（续）实体完整性约束示例数据库系统—关系模型99违反实体完整性约束规则（2）的SC关系表违反实体完整性约束规则（3）的SC关系表符合实体完整性约束的SC关系表

参照完整性约束实体完整性约束可以看做是实体集内部之间的约束，参照完整性约束更多地指代实体集之间关系的约束。例如，考虑下图中学校与学生之间一对多的“录取”关系一所学校可以录取多名学生，如果某一学生被某所学校录取，那么录取该学生的学校必须出现在学校实体集中。一个实体集中的属性取值参照另一个相关实体集。即，实体集之间存在相互引用、相互约束的情况。数据库系统—关系模型100参照完整性约束（续）参照完整性约束规则：（1）删除规则：如果一个实体E被另一个实体F引用，可以禁止删除该实体E。例如，某所学校录取了1000名学生，则不能将该学校删除；如果要删除该学校，则必须同时把隶属于该学校的1000名学生的信息也删除。（被参照实体后删除）（2）插入规则：如果一个实体F引用了另一个实体E，那么实体E必须存在数据库中。例如，某位学生被某所学校录取，那么该学校必须已经存在学校实体集中；否则，需要先将学校实体集中的信息存到数据库后，才能将该学生的信息插入到数据库中。（被参照实体先插入）数据库系统—关系模型101用户定义完整性约束用户定义完整性约束：用户定义完整性约束则是用户根据具体的数据库应用场景，设置的具体的约束条件，用户定义完整性约束可以反映数据的特殊语义要求。例如，在Student关系中，假设学校在录取学生的时候明确表明每位学生都必要有姓名和年龄信息，则Student关系中的Sname和Sage属性均不能取空值。数据库系统—关系模型102Student表Sno（学号）Sname（姓名）Sgender（性别）Sage（年龄）Sdept（所在系）2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MA其它约束非空约束（notnullconstraint）指关系中某一属性的取值不能为空值。例如，如果对Student关系中的Sage属性增加了非空约束，则在增加一个新的学生元组的时候，其Sage属性必须要有一个非空的取值，否则数据库系统将会报错。唯一约束（uniqueconstraint）指关系中某一属性的取值不能重复的约束。例如给Student关系中的Sdept属性加上唯一约束后，则表明学生的系别不能重复出现。唯一约束与主键约束都可以保证关系中某一属性的取值不会重复出现。不同的是，主键约束只能作用于一个关系中的一个属性且该属性的取值不能为空值，而唯一约束可以作用于一个关系中的多个属性，且该属性的取值可以为空值但不能重复。数据库系统—关系模型103其它约束（续）自增长约束（auto_incrementconstraint）指一个关系中的属性的取值自增长，例如一个元组的ID一般用于自增列数据库系统—关系模型104默认值约束（defaultconstraint）指一个关系中的属性的取值为默认值，例如默认值为NULL或者0检查约束（checkconstraint）指一个关系中的属性的取值必须满足一个指定条件的约束例如，在Student关系中，Sage属性的取值范围是大于等于0

目录数据库系统—关系模型105关系模型关系数据库数据组织方式数据模型数据库数据组织方式关系数据结构关系操作关系完整性约束关系查询更新删除插入修改实体完整性参照完整性用户定义完整性关系数据库语言关系运算关系代数语言关系演算语言域关系演算语言元组关系演算语言SQL理论支撑数据定义数据查询数据操纵数据定义关系运算关系运算是埃德加·科德博士所提出的关系模型的一部分，本质上是一种形式化的关系查询语言，可以用于从数据库中查询数据。

数据库系统—关系模型106关系运算关系运算是埃德加·科德博士所提出的关系模型的一部分，本质上是一种形式化的关系查询语言，可以用于从数据库中查询数据。查询计算机系的学生信息：数据库系统—关系模型107

关系代数关系代数定义了一个关系数据的运算的集合关系运算以一个或者两个关系为输入；输出一个新的关系作为运算结果。关系是一个以元组为元素的多重集合（multiset）-

可能包含重复元素关系代数运算本质上是对多重集合的运算数据库系统—关系模型108基本关系代数运算基本关系代数运算包括选择、投影、并、差、笛卡尔积和重命名。选择、投影、重命名为一元运算；并、差、笛卡尔积为二元运算。基本关系代数运算可以用来表达任何传统关系代数运算。数据库系统—关系模型109选择运算

数据库系统—关系模型110

选择运算【例2.1】查询计算机系所有学生的信息。查询结果为：数据库系统—关系模型111

SnoSnameSgenderSageSdept2021310721李博男17CS2021310722赵宇男19CS2021310723张敏女18CS选择运算【例2.2】查询计算机系年龄大于等于18的学生的信息，以及所有数学系的学生信息。查询结果为：数据库系统—关系模型112

SnoSnameSgenderSageSdept2021310722赵宇男19CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MA投影运算

数据库系统—关系模型113

投影运算【例2.3】查询计算机系所有学生的学号、姓名。查询结果为：数据库系统—关系模型114

SnoSname2021310721李博2021310722赵宇2021310723张敏并运算

数据库系统—关系模型115

并运算【例2.4】查询所有17或18岁学生的信息。查询结果为：数据库系统—关系模型116

SnoSnameSgenderSageSdept2021310721李博男17CS2021310723张敏女18CS2021310724王勇男18MA2021310725刘佳女17MA差运算

数据库系统—关系模型117

差运算【例2.5】查询计算机系中的未成年同学的信息。查询结果为：数据库系统—关系模型118

SnoSnameSgenderSageSdept2021310721李博男17CS

数据库系统—关系模型119

笛卡尔积运算笛卡尔积运算

数据库系统—关系模型120AB

CD

ABCDa1

x4

a1x4a2

y2

a1y2b3

a2x4

a2y2

b3x4

b3y2

重命名运算

数据库系统—关系模型121

重命名运算【例2.7】将学生选课表重命名为StudentCourse表，同时将Grade属性重命名为Score属性查询结果为：数据库系统—关系模型122

SnoCnoScore202131072159820213107221872021310723192202131072357620213107247842021310725495附加关系代数运算基本关系代数运算写出来的表达式比较冗长，因此定义了附加关系代数运算附加关系代数运算是由基本关系代数运算导出的运算，可以简化表达式附加关系代数运算和基本关系代数运算的表达能力相同数据库系统—关系模型123交运算

数据库系统—关系模型124

交运算【例2.8】查询计算机系年龄大于等于18的学生的信息：

查询结果为：数据库系统—关系模型125

SnoSnameSgenderSageSdept2021310722赵宇男19CS2021310723张敏女18CS连接运算

数据库系统—关系模型126

连接运算

数据库系统—关系模型127

Student.SnoStudent.SnameStudent.SgenderStudent.SageStudent.SdeptSC.SnoSC.CnoSC.Grade2021310721李博男17CS20213107215982021310722赵宇男19CS20213107221872021310723张敏女18CS20213107231922021310723张敏女18CS20213107235762021310724王勇男18MA20213107247842021310725刘佳女17MA2021310725495连接运算

数据库系统—关系模型128

SnoSnameSgenderSageSdeptCnoGrade2021310721李博男17CS5982021310722赵宇男19CS1872021310723张敏女18CS1922021310723张敏女18CS5762021310724王勇男18MA7842021310725刘佳女17MA495连接运算

数据库系统—关系模型129赋值运算

数据库系统—关系模型130

除运算

数据库系统—关系模型131

除运算【例2.13】除运算示例数据库系统—关系模型132AB

a1

a2

B

a3

1b1

2

Ab23a扩展关系代数运算基本关系代数运算代数和附加关系代数运算不能表达SQL中的某些运算扩展关系代数运算定义了使用基本关系代数运算和附加关系代数运算无法实现的运算数据库系统—关系模型133去重运算

数据库系统—关系模型134

SdeptCSMA广义投影运算

数据库系统—关系模型135

广义投影运算【例2.15】查询所有学生的学号，姓名，出生年份。查询结果为：数据库系统—关系模型136

SnoSname2021-Sage2021310721李博20042021310722赵宇20022021310723张敏20032021310724王勇20032021310725刘佳2004聚集运算

数据库系统—关系模型137

聚集运算

数据库系统—关系模型138聚集运算【例2.17】查询学生总人数，以及学生平均年龄。查询结果为：数据库系统—关系模型139

count(Sno)avg(Sage)517.8分组运算

数据库系统—关系模型140

分组运算

数据库系统—关系模型141分组运算【例2.19】查询所有选课学生的学号及平均分。查询结果为：数据库系统—关系模型142

Snoavg(Grade)202131072198202131072287202131072384202131072484202131072595分组运算【