《数据库技术与应用-基于sql server 2019与mongodb 》课件 第1章数据库基础知识

数据库原理及应用---基于SQLServer2019与MongoDB第1章数据库基础知识一、数据与信息、大数据二、数据管理技术的产生与发展三、数据库系统的组成四、数据库系统的体系结构五、数据库技术的研究领域一、数据与信息、大数据---数据与信息数据（Data）是是用于表示客观事物的未经加工的原始资料。数据有多种表现形式，可以是文本、图表、图形、图像、声音、语言、视频等。信息(Information)是具有特定意义的数据，是人类的一切生存活动和自然存在所传达出来的消息和知识。某大学学生档案中的一条学生数据：该数据各个字段的的语义为：根据语义阅读这条记录，可得到如下信息：(李明，20020452378，男，1982年8月，江西南昌，信息学院)学生姓名、学号、性别、出生年月、籍贯、院系李明是个大学生，1982年8月出生，江西南昌人，2002年考入信息学院一、数据与信息、大数据---数据与信息数据是信息的载体，是信息的表达形式；信息是数据所表达的有用含义。一、数据与信息、大数据---数据与信息数据的单位在计算机中，衡量数据大小的单位是字节（Byte），我们用大写字母B表示，依次还有KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，他们之间按照进率1024（210）来计算：1KB=1024B=210B1MB=1024KB=220B=1048576B1GB=1024MB=230B=1048576KB1TB=1024GB=240B=1048576MB1PB=1024TB=250B=1048576GB1EB=1024PB=260B=1048576TB……一、数据与信息、大数据---数据与信息数据的分类比较项目结构化数据半结构化数据非结构化数据数据模型二维表树、图无形成过程先有结构，再有数据先有数据，再有结构先有数据，再有结构形式数字、符号等文本图像声音等HTML文档等一、数据与信息、大数据---大数据（BigData）超大规模数据库（VeryLargeDatabase，VLDB）在20世纪70年代中出现的，是指数据库中管理的数据集有数百万条记录。海量数据（MassiveData）在21世纪初出现的词，用来描述更大的数据集以及更丰富的数据类型大数据（BigData）2008年9月，Science发表了一篇文章BigData：ScienceinthePetabyteEra，“大数据”这个词开始被广泛传播一、数据与信息、大数据---大数据（BigData）不同的研究机构基于不同的角度给出了不同的定义：高德纳（Gartner）咨询有限公司给出了这样的定义：“大数据”是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。全球著名的管理公司麦肯锡给出的定义是：一种规模大到在获取、存储、管理、分析方面极大超出了传统数据库软件工具能力范围的集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等特点。一、数据与信息、大数据---大数据（BigData）2015年8月31日，中华人民共和国在《促进大数据发展行动纲要》中指出：“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展成为对数量巨大、来源分散、格式多样的数据进行采集，存储和关联分析，从中发现新知识创、造新价值、提升新能力的新一代信息技术和服务业态。”《大数据白皮书2016》称：“大数据是新资源、新技术和新理念的混合体。从资源视角看，大数据是新资源，体现了一种全新的资源观；从技术视角看，大数据代表了新一代数据管理和分析技术；从理念的视角看，大数据打开了一种全新的思维角度。”一、数据与信息、大数据---大数据（BigData）IBM公司将大数据的特征归纳为5个V：Volume（容量大）:大数据的首要特征是容量大，而且在持续、急剧地增长Variety（多样性）:形式的多样性、来源的多样性Velocity（存取速度快）：1秒定律Value（低价值密度）：数据的价值与数据量并不成线性关系Veracity（真实性）：真实性指的是当数据的来源变得多样时，这些数据本身的可靠度、质量是否足够。一、数据与信息、大数据---大数据（BigData）比较项目传统数据大数据数据规模规模小，以MB，GB为处理单位规模大，以TB，PB为处理单位数据增大速度每小时，每天每分，每秒数据结构类型单一的结构化数据结构化、非结构化、半结构化数据数据来源集中的数据源分布式的数据源数据存储关系数据库管理系统分布式文件系统、NoSQL数据库模式与数据的关系现有模式，后有数据先有数据后有模式，且模式随着数据不断演变处理对象数据仅作为被处理对象作为被处理对象或者辅助资源来解决其他领域问题处理工具一种或少数几种处理工具不存在单一的处理工具二.数据管理技术的产生与发展---人工管理阶段时期：40年代中（1946年第一台计算机出现）--50年代中，大约10年时间产生的背景（计算机软硬件的特点）：应用需求：计算机主要用于科学计算软件水平：计算机没有操作系统硬件水平：外存只有卡片，纸带，磁带，无磁盘等直接存取存储设备

人工管理阶段特点1.数据不保存。计算机主要用于科学计算，数据量少，对于数据保存的需求尚不迫切，所以数据不保存。2.编写程序时要安排数据的物理存储。程序员除了编写程序，还要安排数据的物理存储。程序和数据混合一体，一旦数据的物理存储改变，就必须重新编程，程序员的工作量大而繁琐，程序难以维护。

应用程序１数据集１应用程序２数据集２应用程序ｎ数据集n...…...…人工管理阶段特点3.数据面向程序。每个程序都有属于自己的一组数据，程序和数据相互结合成为一体，互相依赖。各程序之间的数据不能共享，因此数据就会重复存储，冗余度大。二.数据管理技术的产生与发展----文件系统阶段时期50年代末--60年代中产生的背景应用需求：计算机不仅用于科学计算，还用于数据处理，随着数据量的增加，数据的存储、检索和维护成为迫切需要 硬件水平：有了磁盘、磁鼓等直接存储设备 软件水平：出现了高级语言和操作系统，有文件系统 文件系统阶段特点数据以文件的形式可以长期保存：数据可以以文件的形式长期保存在外存上，因此可以被多次反复使用，可以通过应用程序对文件进行查询、修改和插入操作。数据的物理结构和逻辑结构有了区别，但比较简单。程序员只需用文件名与数据打交道，不必关心数据的物理位置，可由文件系统提供的读写方法去读/写数据。文件形式多样化。为了方便数据的存储和查找，人们研究开发了许多文件类型，如索引文件、链式文件、顺序文件、倒排文件等。文件系统阶段特点数据和程序之间有了一定的独立性。文件系统在程序和数据之间进行存储转换。应用程序１文件１应用程序２文件2应用程序ｎ文件n文件系统...…...…文件系统阶段的缺点数据共享性差，冗余度大一个文件基本上对应于一个应用程序，即文件仍然是面向应用的，文件之间互相独立，缺乏联系。数据不一致这通常是由数据冗余造成的。相同的数据可以在不同的文件中出现，所以很容易出现数据不一致的情况。文件系统阶段的缺点数据独立性差文件系统的设计仍然基于特定的应用，一旦改变数据的逻辑结构，必须修改相应的应用程序。因此程序与数据之间的依赖关系并没有根本改变。数据间的联系弱文件与文件之间是独立的，文件之间的联系必须通过应用程序来构造。二.数据管理技术的产生与发展----数据库系统阶段时期60年代中期以来产生的背景应用背景：计算机应用于数据管理的需求急剧增加，出现了大规模数据管理的需求，文件系统已经无法满足和适应各种应用的需要 硬件水平：出现了大容量、快速存取的磁盘软件水平：有数据库管理系统 总之，计算机技术的发展，数据管理的迫切需求，共同促使人们研究一种新的数据管理技术---数据库技术 数据库系统阶段的特点1.数据是结构化的。数据库中的数据并不是杂乱无章的，而是按照一定的数据模型组织到数据库中，且面向所有的应用。数据库系统阶段的特点2.数据的共享性高，冗余度低。数据库中的一组数据可以为多个应用程序和多个用户共同使用。数据库系统阶段的特点3.数据独立性高。数据库中的数据与应用程序之间相互独立，即数据的逻辑结构，存储结构以及存取方式的改变都不影响应用程序。数据库系统阶段的特点4.数据由DBMS统一管理和控制。安全性控制：防止不合法使用数据库。合法用户操作有权限的数据，不合法的用户禁止访问。完整性控制：通过设置一些完整性规则的约束条件，确保数据库中数据的正确性、有效性和相容性。并发控制：系统可防止由于相互干扰而提供给用户不正确的数据，防止数据库受到破坏数据恢复：系统有能力将数据库从错误状态恢复到最近的正确状态二.数据管理技术的产生与发展----高级数据库系统阶段时期80年代以来产生的背景数据库技术在商业领域的巨大成功刺激了其他领域对数据库技术需求的迅速增长。二.数据管理技术的产生与发展----高级数据库系统阶段面向对象的数据库系统（OODB:ObjectOrientedDataBase）是面向对象的程序设计技术与数据库技术相结合的产物，是为了满足新的数据库应用需求而产生的新一代数据库系统。比较典型的面向对象数据库的代表是DB4O和Versant。二.数据管理技术的产生与发展----高级数据库系统阶段分布式数据库系统（DDBS:DistributedDataBaseSystem）是数据库在地理上分布在计算机网络的不同结点，而管理和控制又需要不同程度集中，在逻辑上属于同一系统的数据库系统。二.数据管理技术的产生与发展----高级数据库系统阶段多媒体数据库系统（MDBS,Multi-mediaDatabaseSystem）是数据库技术与多媒体技术相结合的产物。多媒体数据库技术正是研究并实现对多媒体数据的综合管理，即对多媒体对象的建模，对各种媒体数据的获取、存储、管理和查询。二.数据管理技术的产生与发展----高级数据库系统阶段数据仓库（DataWarehousing，DW）数据仓库是数据库技术结合数学与管理模型，可以提供对企事业数据的方便访问和强大的分析工具，从企事业数据中获得有较大价值的信息，指导企事业决策，发掘企事业的竞争优势，以提高企事业的运行效率。二.数据管理技术的产生与发展---高级数据库系统阶段并行数据库系统（ParallelDataBaseSystem，PDBS）是在大规模并行处理(MassivelyParallelProcessing，MPP)和集群并行计算环境的基础上建立的数据库系统。它利用并行计算技术使数个、数十甚至成百上千台计算机协同工作，实现并行数据管理和并行查询的功能，提供一个高性能、高可靠性、高扩展性的数据库管理系统，能够快速查询大量数据并处理大量的事务。并行数据库系统的目标是通过多个节点并行执行数据库任务，以提高整个数据库系统的性能。二.数据管理技术的产生与发展---新兴数据管理阶段时期21世纪以来产生的背景随着Web2.0、物联网和云计算的兴起，微博、社交网络、电子商务、生物工程等领域的不断发展，各领域的数据呈现爆炸式的增长和积累，并超越了相应数据仓库和数据处理资源的发展，传统的关系数据库显得力不从心。二.数据管理技术的产生与发展---新兴数据管理阶段NoSQL数据库NoSQL是指非关系型的、分布式的、不严格遵循ACID原则的一类分布式数据库管理系统。NoSQL有两种解释：一种是Non-Relational，即非关系数据库；另一种是NotOnlySQL，即数据管理技术不仅仅是SQL，也就是说NoSQL为数据管理提供了一种补充方案。目前第二种解释更为流行。二.数据管理技术的产生与发展----新兴数据管理阶段云数据库云数据库是指被优化或者部署到一个虚拟计算机环境中的数据库，具有按需付费、按需扩展、高可用性以及存储整合等优势。根据数据库类型一般分为关系型数据库和非关系型数据库（NoSQL数据库）。分类名称特点关系模型云数据库阿里云关系型数据库提供稳定可靠、可弹性伸缩的在线数据库服务亚马逊Redshift跨一个主节点和多个工作节点实施的分布式数据库非关系模型云数据库（NoSQL）云数据库MongoDB版基于分布式系统和高可靠存储引擎，采用高可用架构，提供容灾切换、故障迁移透明化、数据库在线扩容、备份回滚、性能优化等功能亚马逊DynamoDB特别适用于具有大容量读写操作的移动应用三.数据库系统的组成数据库系统主要由数据库、数据库管理系统、计算机系统（硬件和基本软件）、应用程序系统以及使用和维护数据库的用户（数据库管理员、应用设计人员、最终用户等）组成三.数据库系统的组成—数据库数据库（DB）是长期存储在计算机内、有组织、可共享的大量数据的集合。有组织可共享数据库三.数据库系统的组成—数据库管理系统数据库管理系统（DataBaseManagementSystem，DBMS）位于用户和操作系统之间，是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库。三.数据库系统的组成—数据库管理系统数据库管理系统过的功能数据库定义功能：DBMS提供相应的数据定义语言来定义数据库结构，它们刻画数据库的模式，并保存在数据字典中。数据字典是DBMS存储和管理数据的基本依据。数据操作功能:DBMS提供数据操作语言实现对数据库数据的查找、插入、修改和删除等基本操作。数据控制功能：DBMS提供数据控制功能，即数据库的安全性、完整性和并发性控制等，对数据库运行进行有效的控制和管理。数据的组织、管理和存储功能：DBMS可以对各种数据进行分类组，确定文件结构种类，存取方式和数据的组织分类，实现数据之间的联系，提高了存储空间的利用率和存储效率。数据通信功能:DBMS提供对处理数据的传输功能,实现用户程序与DBMS之间的通信。三.数据库系统的组成—数据库管理系统常见的数据库管理系统三.数据库系统的组成—计算机系统计算机硬件是存储数据库和运行数据库管理系统等数据库系统赖以生存的基础，包括主机、存储设备、I/O通道等，大型数据库系统一般都建立在计算机网络环境下。基本的软件主要是支持数据库管理系统的操作系统等系统软件，如数据库系统多采用网络操作系统、分布式操作系统等。高级语言编译系统与数据库要有相应的接口，以便开发数据库应用系统。三.数据库系统的组成—数据库应用开发工具及应用程序系统数据库的建立、使用、管理、维护等数据处理工作是不能单靠直接操作数据库管理系统来完成，数据库管理系统一般由数据库管理员操作，而一般用户则通过更直观的界面对数据库进行数据处理操作，这些操作则是通过DBMS和应用程序开发工具开发的数据库应用系统来完成的。三.数据库系统的组成—用户用户(User)是指管理、开发、使用数据库系统的所有人员，通常包括系统分析员、系统程序员、数据库管理员、应用程序员和终端用户。数据库管理员(DataBaseAdministrator，DBA)全面负责管理、监控、维护数据库系统的正常运行。系统分析员负责系统的需求分析、规范设计说明。他们必须和业务部门及各个用户以及数据库管理员结合，以决定数据库系统的具体组成。系统程序员负责设计数据库应用系统的程序模块，编写程序代码。应用程序员(ApplicationProgrammer)负责分析、设计、开发、维护数据库系统中运行的各种应用程序。终端用户(EndUser)在DBMS与应用程序支持下，通过终端系统或联机工作站与数据库进行交互操作四.数据库系统的体系结构数据库系统有严谨的体系结构，可以从多种不同的角度进行描述。从数据库管理系统的角度看，数据库系统通常采用三级模式结构，这是数据库系统内部的体系结构；从数据库最终用户的角度看，数据库系统的结构分为单用户结构、主从式结构、客户机/服务器结构、浏览器/服务器等结构,这就是数据库系统的外部体系结构。四.数据库系统的体系结构---三级模式结构目前世界上有大量的数据库系统在运行，其类型和规模相差很大，它们支持的数据模型、数据的存储格式以及基于的操作系统都不尽相同，但它们内部的体系结构却是大体相同，即都采用三级模式结构。数据库系统的三级模式结构是美国ANSI/X3/SPARC的数据库管理系统研究小组在1978年的报告提出的，即由外模式、概念模式（简称模式）和内模式以及2个映射（内模式---模式映射和模式---外模式映射）组成四.数据库系统的体系结构---三级模式结构外模式外模式又称子模式，是某个或某几个用户所看到的数据库的数据视图，由对用户数据文件的逻辑结构描述以及和全局视图中文件对应关系的描述组成。模式概念模式又称模式或逻辑模式，是由数据库设计者综合所有用户的数据，按照统一的观点构造的全局逻辑结构，是对数据库中全部数据的逻辑结构和特征的总体描述以及存储视图中文件对应关系的描述内模式内模式又称存储模式，由对存储视图中全体数据文件的存储结构的描述和对存储介质参数的描述组成，它描