ch11 数据库新技术

*第11章数据库新技术,国家“十三五”重点出版规划项目上海高校优秀教材奖获得者主编,数据库原理及应用与实践,主编贾铁军谷伟副主编俞小怡王冠万程编者戴春妮王坚,上海市高校精品课程上海高校优质在线课程,基于SQLServer2016（第3版立体化.新形态）,教学目标,教学目标掌握云数据库、分布式数据库的基本思想与技术分类、特点和优缺点。了解大数据环境下主动数据库、数据仓库理解数据挖掘的基本原理、体系结构及其与传统数据库的联系与区别。了解数据库新技术的发展趋势,重点,上海市高校精品课程国家十三五规划项目主编,11.1云数据库及分布式数据库,11.1.1传统数据库技术面临的挑战数据库技术已从层次、网状数据库、关系数据库系统，发展到以大数据、云数据、商务智能、移动混合和面向对象等为主要特征的数据库系统。现代数据库拥有三个基本特征：支持数据管理、对象管理、知识管理。随着数据库技术不断应用到新的领域，传统数据库技术面临以下挑战业务数据急剧增长、数据类型多样化一体化、安全性、数据操作新要求、数据库理解和知识获取。,上海市高校精品课程国家十三五规划项目主编,要点复习,11.1云数据库及分布式数据库,上海市高校精品课程国家十三五规划项目主编,基于云计算的洗衣服务信息管理系统。一款基于移动互联网的O2O（从线上到线下）洗衣服务产品，通过微信、APP等下单和计费，全天候上门服务。在春节的高峰期，流量增加了10-20倍，机器处理业务增加了三到四倍，因为采用云计算的负载均衡、云服务器、云数据库，工作人员只增加了一个。,案例11-1,11.1云数据库及分布式数据库,11.1.1云数据库技术随着对云计算的研究深入及其广泛的应用，云数据库成为新一代数据库的发展方向。云计算按照服务类型大致可以分为三类：基础设施即服务（InfrastructureasaService，IaaS）、平台即服务(PlatformasaService，PaaS)和软件即服务(SoftwareasaService，SaaS)。云数据库就是在软件即服务(SaaS)这一种新兴的共享基础架构，被广泛应用后发展起来的云计算技术.目前,云数据库已经成为数据库技术的未来发展方向。,上海市高校精品课程国家十三五规划项目主编,云计算(CloudComputing)是一种基于互联网的计算方式,通过这种方式提供共享的软硬件资源和信息,云数据库（CloudDB）是指被优化或部署到一个虚拟网络环境中的数据库,11.1云数据库及分布式数据库,云数据库的主要特性有以下五点：动态可扩展高可用性较低的使用代价易用性大规模并行处理,上海市高校精品课程国家十三五规划项目主编,云数据库是一个面向云计算的数据库资源管理平台，通过云计算方式整合现有大量位于Internet后台的数据库资源，为云计算应用的基础结构的数据库资源访问、发现、整合等提供解决方案。,11.1云数据库及分布式数据库,11.1.2分布式数据库概念数据按实际需要已在网络上分布存储,再采用集中式处理,会造成通信资源消耗大、可靠性弱、可扩充性差。于是集中式DB的“集中计算”概念向“分布计算”概念发展。分布式数据库系统(DistributedDatabaseSystem)是地理上分布在网络的不同结点，而逻辑上属于同一个系统的数据库系统。,上海市高校精品课程国家十三五规划项目主编,11.1.2分布式数据库系统的特点分布式数据库系统是在集中式数据库系统技术的基础上发展起来的,但不是简单地把集中式数据库分散地实现,是具有自己性质和特征的系统。物理分布性逻辑集中性站点内部的自治性站点间的协作性,11.1云数据库及分布式数据库,上海市高校精品课程国家十三五规划项目主编,11.1.2分布式数据库体系结构分布式数据库系统的体系结构是在原来集中式数据库系统的基础上增加了分布式处理功能。分布式数据库:D-DBMS由四部分组成。1.局部场地上的数据库管理系统(LocalDBMS)2.全局数据库管理系统(GlobalDBMS)3.全局数据字典(GlobalDataDirectory,GDD)4.通信管理(CommunicationManagement,CM),(1)分步式数据库是如何分类的？(2)分步式数据库有什么特点？,上海市高校精品课程国家十三五规划项目主编,讨论思考,11.1云数据库及分布式数据库,11.1.2分布式数据库体系结构分布式数据库系统的主要优势数据访问速度更快可扩展性更强并发访问量更高分布式数据库系统的主要劣势服务节点间的同步开销大，还要考虑在网上的通信代价。处于网络环境中,数据受到破坏和窃取以及丢失的可能性.异构DDBMS要在不同LDBMS的不同数据模型间进行转换，对异构的数据进行集成，导致其管理更加复杂。,上海市高校精品课程国家十三五规划项目主编,11.1云数据库及分布式数据库,11.2.1大数据概述大数据的特点可以用5V来表示：Volume（规模性）Velocity（高速性）Variety（多样性）Value（价值密度低）Veracity（真实性）,上海市高校精品课程国家十三五规划项目主编,11.2大数据及主动数据库,大数据是指所涉及的数据量规模巨大无法通过人/主流软件工具，在合理时间内获取、管理、处理、并整理成为帮助机构经营决策的信息。,11.2.1大数据概述大数据面临的挑战：由于分析手段限制，不能充分利用所有数据受限于分析能力而无法获取复杂问题的答案时限要求而不得不采用某项简单的建模技术没有足够时间运算，对模型精度进行妥协。,上海市高校精品课程国家十三五规划项目主编,11.2大数据及主动数据库,11.2.2主动数据库主动数据库的主要目标：提供对紧急情况及时反应的能力，同时提高数据库管理系统的模块化程度。主动数据库具有各种主动服务功能，并以一种统一且方便的机制来实现各种主动需求。,上海市高校精品课程国家十三五规划项目主编,11.2大数据及主动数据库,主动数据库是指在特殊情况下能够根据数据库的状态，主动、适时地作出反应，执行某些操作，向用户提供某些信息。传统数据库中，当用户数据存取时，只能通过执行相应的命令或应用程序实现。数据库本身不会根据其状态主动操作，是被动的。实际应用领域中，如集成制造系统，管理信息系统，办公自动化,11.2.2主动数据库主动数据库的构成一个主动数据库系统(ADBS)功能由一个传统数据库系统(DBS)和一个事件驱动的知识库(EB)以及相应的事件探测器(EM)组成。用公式表示是：ADBS=DBS+EB+EM主动数据库的系统模型当ECA(事件-条件-动作)规则规定的事件发生时，计算机就主动触发执行IFTHEN规则，即当条件满足时执行相应的动作，约束项规定执行规则动作的约束条件，并且接着逐个检查下个IFTHEN规则，直到执行完为止。,上海市高校精品课程国家十三五规划项目主编,11.2大数据及主动数据库,*ADBMS的实现途径,可采取的措施有:(1)在单处理器系统中，事件监测器操作控制下的一个高优先级进程，起到主动监视各种事件发生的作用。规则被分块时，可选择只针对某一规则进行监视以提高效率。(2)在多处理器系统中，可以独立由一个处理器来完成事件监视器的任务。(3)当系统执行到可能发生事件的地方，如执行更新语句之前或之后，都产生一个软中断，迫使转到事件监视器工作，以便核实该事件是否被指定在规则库中，若是则执行对应规则(立即执行或延迟执行)，否则返回。,11.2大数据及主动数据库,上海市高校精品课程国家十三五规划项目主编,*规则系统结构包括：事件检测器，监测事件信号、更新事件记录、将事件信号发送给规则管理器；规则管理器，接收信号、事件匹配、触发规则、规则调度；语言解释器，规则条件的评估，规则动作的执行。,例：销售系统，当某种商品售出时则触发三条规则：(1)R1：WHEN修改库存量(立即型)IF上午8点至下午7点THEN登记(2)R2：WHEN修改库存量(立即型)IF提货量100THEN打印出库单细目(3)R3：WHEN修改库存量(分离型)IF库存低于50THEN定货,11.2大数据及主动数据库,上海市高校精品课程国家十三五规划项目主编,11.3.1数据挖掘数据挖掘的概念数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含的，尚不完全被人们了解的、但又是潜在有用的信息和知识的过程。提取的知识表现为概念（Concepts）、规则（Rules）、规律模式约束等形式。,上海市高校精品课程国家十三五规划项目主编,11.3数据挖掘与数据仓库,11.3.1数据挖掘数据挖掘的任务(1)关联分析(associationanalysis)(2)聚类分析(clustering)(3)分类(classification)(4)预测(predication)(5)时序模式(time-seriespattern)(6)偏差分析(deviation),上海市高校精品课程国家十三五规划项目主编,11.3数据仓库与数据挖掘,数据挖掘系统的分类(1)根据挖掘的数据库类型分类(2)根据挖掘的知识类型分类(3)根据所用的技术分类(4)根据应用分类数据挖掘技术实施的步骤(1)数据集成(2)数据归约(3)挖掘(4)评价(5)表示,图10-7数据挖掘与其他学科的关联,视频,上海市高校精品课程国家十三五规划项目主编,11.3数据仓库与数据挖掘,数据挖掘的工具(1)基于规则和决策树的工具。(2)基于神经元网络的工具。(3)数据可视化方法。(4)模糊发现方法。(5)统计方法。(6)综合多种方法。数据挖掘所发现的知识最常见的有广义知识(Generalization)关联知识(Association)、分类知识(ClassificationClustering)、预测型知识(Prediction)、偏差型知识(Deviation)。,(1)数据仓库有什么特点？(2)数据挖掘有什么任务？,上海市高校精品课程国家十三五规划项目主编,11.3数据仓库与数据挖掘,讨论思考,11.3.2数据仓库数据仓库技术是基于信息系统业务发展的需要,在数据库系统技术基础上发展的,并逐步独立的一系列新的应用技术。最终目的是将企业范围内的全体数据集成到一个数据仓库中,用户可以方便地从中进行信息查询、产生报表和进行数据分析等。数据仓库的概念（特征）1）面向主题的2）集成的3）时变的4）非易失的,11.3数据仓库与数据挖掘,上海市高校精品课程国家十三五规划项目主编,数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。研究和解决从数据库中获取信息的问题。特征：面向主题、集成性、稳定性和时变性。,11.3数据仓库与数据挖掘,表11-1数据库数据与数据仓库数据对照,（联机分析处理）,上海市高校精品课程国家十三五规划项目主编,数据仓库的结构1）源数据2）装载管理器3）数据仓库管理器4）查询管理器5）详细数据6）轻度和高度汇总的数据7）归档/备份数据8）元数据9）终端用户访问工具,*数据仓库的设计在为数据仓库设计数据库过程中，必须了解数据将如何使用，用户常做哪些类型查询。数据库必须在可接受的性能限度内响应这些查询。数据仓库的组织设计必须以用户决策的需要来确定,即从用户决策的主观需求(主题)开始.数据库管理系统(DBMS)在选择一个DBMS时，必须考虑数据库中的并行性、执行性能、可缩放性、可用性和可管理性等这些问题。（1）数据库DBMS的要求（2）并行DBMS数据仓库的类型根据数据仓库管理的数据类型和所解决的企业问题范围,可分为种类型:企业数据仓库(EDW)、操作型数据库(ODS)和数据市集(DataMart)。数据仓库系统是具有综合企业数据，能够对大量企业数据进行快速和准确分析，辅助做出更好的商业决策的系统。,视频,上海市高校精品课程国家十三五规划项目主编,11.3数据仓库与数据挖掘,11.4.1多媒体数据库1.多媒体数据库概述多媒体数据库(MultimediaDatabaseSystem)是把组织在不同媒体上的数据一体化的系统，能直接管理数据、文本、图形、图象、视频、音频等多媒体数据的数据库。,11.4数据库其他新技术,(1)文件系统管理方式(2)扩充关系数据库的方式(3)面向对象数据库的方式,2.多媒体数据库系统特征,(1)能表示和处理多种媒体数据。(2)能反映和管理各种媒体数据的特性。(3)有效地操作各种媒体信息。(4)提供事务处理与版本管理功能。,3.多媒体数据模型,上海市高校精品课程国家十三五规划项目主编,4.多媒体数据库系统的体系结构,(1)组合式结构；(2)集中式结构(3)客户/服务器结构；(4)超媒体型结构,组合式结构图,集中式结构图,11.4数据库其他新技术,上海市高校精品课程国家十三五规划项目主编,5.多媒体数据库管理系统(1)物理存储视图(2)概念数据视图(3)过滤视图(4)用户视图(5)媒体对象和用户的物理位置多媒体内容的处理分为三大部分：内容获取、内容描述和内容操纵。面向对象数据库中虽能利用类层次表达复合多媒体对象之间的语义联系，但也不能满足建模的需求。此外，现有的面向对象DBS的查询机制、事务管理和并发控制及数据访问等，只能在一定程度上支持多媒体应用。,11.4数据库其他新技术,上海市高校精品课程国家十三五规划项目主编,11.4.2工程数据库1.工程数据库概述工程数据库是一种可存储和管理各种工程图形，并能为工程设计提供各种服务的数据库系统。适用于CAD/CAM、计算机集成制造(CIM)、地理信息处理和军事指挥、通信等工程应用领域。2.工程数据库的数据模型(1)扩充的关系数据模型(2)面向对象数据模型(3)语义数据模型,11.4数据库其他新技术,3.工程数据库系统特点(1)复杂对象的表达和处理。(2)复杂多样的数据存储和集中管理(3)变长数据实体的处理。(4)模式的动态修改和扩展。(5)数据库版本管理。(6)长事务及并发控制。,上海市高校精品课程国家十三五规划项目主编,11.4其他新型数据库,11.4.3并行数据库1.并行数据库概述并行数据库是在并行计算机上具有并行处理能力的数据库系统,是数据库技术与计算机并行处理技术相结合的产物.2.并行数据库系统的体系结构(1)共享内存结构；(2)共享磁盘结构；(3)无共享结构3.并行处理技术(1)查询间的并行；(2)查询内的并行；(3)操作内的并行4.并行数据库系统和分布式数据库系统的区别(1)应用目标不同；(2)实现方式不同；(3)各结点的地位不同,上海市高校精品课程国家十三五规划项目主编,11.4其他新型数据库,11.4.4空间数据库1.空间数据库概述空间数据库(SpatialDatabase)是以描述空间位置和点、线、面、体特征的位置数据(空间数据)和特征的属性数据(非空间数据)为对象的数据库。其数据模型和查询语言能支持空间数据类型和空间索引，并且提供空间查询和其他空间分析方法。2.空间数据库的特征(1)复杂性;(2)动态性;(3)无海量化;(4)算法不标准;(5)运算符不闭合3.空间数据的查询与索引(1)临近查询；(2)区域查询；(3)针对区域的交/并的查询4.空间数据库的应用(1)设计数据库；(2)地理数据库；,上海市高校精品课程国家十三五规划项目主编,11.4其他新型数据库,11.4.5移动数据库1.移动数据库概述移动数据库(MobileDatabase)是指在移动计算环境中的分布式数据库，其数据在物理上分散且在逻辑上集中，涉及数据库技术、分布式计算技术、移动通信技术等多个学科领域。2.移动数据库的特点(1)移动性与位置相关性；(2)频繁的断接性；(3)网络条件的多样性；(4)系统规模庞大；(5)系统的安全性和可靠性较差;(6)资源的有限性;(7)网络通信的非对称性3.移动数据库系统对数据管理的要求(1)可用性和可伸缩性；(2)移动性；(3)可串行性；(4)收敛性4.移动计算模型,移动计算环境包括移动主机和有线网络.移动主机通过被称为移动支持站点的主机与有线网络通信.每个移动支持站点管理其蜂窝(所覆盖的地理区域)内的移动主机.移动主机可在蜂窝间移动,这就需要有从一个移动支持站点到另一个移动支持站点的控制交接.,上海市高校精品课程国家十三五规划项目主编,11.4其他新型数据库,11.4.6微小型数据库1.微小型数据库系统微小型数据库系统(ASmall-footprintDBMS)是指只需很小的内存来支持的数据库系统内核。内存限制是决定微小型数据库系统特征的重要因素。微型数据库系统在两个方面与传统的数据库不同。一是微型数据库必须具有自调节和自适应能力。这就需要全部取消需要用户设置的系统参数，使它在没有程序员的情况下，具有自动调节的能力。二是随时保持与Web的连接，以快速、准确地获取Web上的大量信息。,上海市高校精品课程国家十三五规划项目主编,11.4其他新型数据库,11.4.7知识数据库系统知识数据库系统的功能是如何把由大量的事实、规则、概念组成的知识存储起来，进行管理，并向用户提供方便快速的检索、查询手段。知识数据库定义：知识、经验、规则和事实的集合。,上海市高校精品课程国家十三五规划项目主编,11.5数据库新技术应用发展趋势,(1)对XML的支持,XML(可扩展标记语言)标准日益成熟，并很快成为各种复杂的异构数据交换的核心技术和未来数据定义的标准格式。在XML数据查询处理研究中,存在下列焦点问题，如何定义完善的查询代数；如何将复杂、不确定的路径表达式转换为系统可识别的、明确的形式；XML数据信息统计和代价计算。,(2)聚焦商业智能,为应对日益加剧的商业竞争，企业不断增加内部IT及信息系统，使企业的商业数据成几何数量级不断递增，如何能够从这些海量数据中获取更多的信息，以便分析决策将数据转化为商业价值，就成为目前数据库厂商关注的焦点。,上海市高校精品课程国家十三五规划项目主编,(3)SOA架构,面向服务架构SOA(Service-orientedarchitecture)已经成为目前IT业内的一个大的发展趋势，最初