第7章 数据库与大数据

第7章数据库与大数据第7章数据库与大数据7.1数据库概述7.2关系数据库7.3常用数据库系统7.4数据库新发展7.5大数据及其技术7.1数据库概述7.1.1数据库的基本概念数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今五十年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库（DataBase，DB）是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。7.1.2数据管理技术的发展数据库发展阶段大致划分为如下几个阶段：人工管理阶段、文件系统阶段、数据库系统阶段、高级数据库阶段。1.人工管理阶段这个阶段由于还没有软件系统对数据进行管理，程序员在程序中不仅要规定数据的逻辑结构，还要设计其物理结构，包括存储结构、存取方法、输入输出方式等。2.文件系统阶段这一阶段的主要标志是计算机中有了专门管理数据库的软件——操作系统（文件管理）7.1.2数据管理技术的发展3.数据库系统阶段

60年代后，随着计算机在数据管理领域的普遍应用，人们对数据管理技术提出了更高的要求：希望面向企业或部门，以数据为中心组织数据，减少数据的冗余，提供更高的数据共享能力，同时要求程序和数据具有较高的独立性，当数据的逻辑结构改变时，不涉及数据的物理结构，也不影响应用程序，以降低应用程序研制与维护的费用。4.未来发展趋势随着信息管理内容的不断扩展，出现了丰富多样的数据模型，新技术也层出不穷7.1.3数据模型1.数据结构模型(1)数据结构。所谓数据结构是指数据的组织形式或数据之间的联系。如果用D表示数据，用R表示数据对象之间存在的关系集合，则将DS=(D，R)称为数据结构。(2)数据结构种类。数据结构又分为数据的逻辑结构和数据的物理结构。7.1.3数据模型2.层次、网状和关系数据库系统(1)层次结构模型。层次结构模型实质上是一种有根结点的定向有序树。按照层次模型建立的数据库系统称为层次模型数据库系统。(2)网状结构模型。按照网状数据结构建立的数据库系统称为网状数据库系统(3)关系结构模型。关系式数据结构把一些复杂的数据结构归结为简单的二元关系7.2关系数据库7.2.1关系数据库的设计原则在实现设计阶段，常常使用关系规范化理论来指导关系数据库设计。其基本思想为，每个关系都应该满足一定的规范，从而使关系模式设计合理，达到减少冗余，提高查询效率的目的。为了建立冗余较小、结构合理的数据库，将关系数据库中关系应满足的规范划分为若干等级，每一级称为一个“范式”。7.2.1关系数据库的设计原则1．第一范式（1NF）在任何一个关系数据库中，第一范式是对关系模型的基本要求，不满足第一范式的数据库就不是关系数据库。所谓第一范式是指数据库表的每一列都是不可再分割的基本数据项，同一列不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。7.2.1关系数据库的设计原则2．第二范式（2NF）第二范式是在第一范式的基础上建立起来的，即满足第二范式必须先满足第一范式。第二范式要求实体的属性完全依赖于主关键字。所谓“完全依赖”是指不能存在仅依赖主关键字一部分的属性，如果存在，那么这个属性和主关键字的这一部分应该分离出来形成一个新的实体，新实体与原实体之间是一对多的关系。7.2.1关系数据库的设计原则3．第三范式（3NF）满足第三范式必须先满足第二范式。也就是说，第三范式要求一个数据库表中不包含已在其他表中包含的非主关键字信息。简而言之，第三范式就是属性不依赖于其他非主属性。7.2.2关系数据库的设计步骤数据库设计包括六个主要步骤：1.需求分析：了解用户的数据需求、处理需求、安全性及完整性要求；2.概念设计：通过数据抽象，设计系统概念模型，一般为E-R模型；3.逻辑结构设计：设计系统的模式和外模式，对于关系模型主要是基本表和视图；4.物理结构设计：设计数据的存储结构和存取方法，如索引的设计；5.系统实施：组织数据入库、编制应用程序、试运行；6.运行维护：系统投入运行，长期的维护工作。7.2.3查询语言SQL1.结构化查询语言结构化查询语言(StructuredQueryLanguage)简称SQL，结构化查询语言是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式。7.2.3查询语言SQL

2.结构化查询语言结构结构化查询语言包含6个部分：（1）数据查询语言（DQL）（2）数据操作语言（DML）（3）事务处理语言（TPL）（4）数据控制语言（DCL）（5）数据定义语言（DDL）（6）指针控制语言（CCL）7.3常用数据库系统7.3.1OracleOracle数据库是一种大型数据库系统，一般应用于商业，政府部门，它的功能很强大，能够处理大批量的数据，在网络方面也用的非常多。Oracle数据库管理系统是一个以关系型和面向对象为中心管理数据的数据库管理软件系统，其在管理信息系统、企业数据处理、因特网及电子商务等领域有着非常广泛的应用。7.3.2DB2DB2主要应用于大型应用系统，具有较好的可伸缩性，可支持从大型机到单用户环境，应用于OS/2、Windows等平台下。DB2提供了高层次的数据利用性、完整性、安全性、可恢复性，以及小规模到大规模应用程序的执行能力，具有与平台无关的基本功能和SQL命令。它以拥有一个非常完备的查询优化器而著称，其外部连接改善了查询性能，并支持多任务并行查询。7.3.3InformixInformix在1980年成立，目的是为Unix等开放操作系统提供专业的关系型数据库产品。Informix第一个真正支持SQL语言的关系数据库产品是InformixSE（StandardEngine）。作为一个集成解决方案，它被定位为作为IBM在线事务处理（OLTP）旗舰级数据服务系统。IBM对Informix和DB2都有长远的规划，两个数据库产品互相吸取对方的技术优势。7.3.4Sybase1984年，MarkB.Hiffman和RobertEpstern创建了Sybase公司，并在1987年推出了Sybase数据库产品。Sybase数据库主要由三部分组成：(1)进行数据库管理和维护的一个联机的关系数据库管理系统SybaseSQLServer；(2)支持数据库应用系统的建立与开发的一组前端工具SybaseSQLToolset；(3)可把异构环境下其它厂商的应用软件和任何类型的数据连接在一起的接口SybaseOpenClient/OpenServer。7.3.5SQLServerSQLServer是一个关系数据库管理系统。它最初是由MicrosoftSybase和Ashton-Tate三家公司共同开发的，于1988年推出了第一个OS/2版本。SQLServer2005是一个全面的数据库平台，使用集成的商业智能(BI)工具提供了企业级的数据管理。SQLServer2005数据库引擎为关系型数据和结构化数据提供了更安全可靠的存储功能，可以构建和管理用于业务的高可用和高性能的数据应用程序。7.3.6ACCESS数据库Access是微软公司推出的基于Windows的桌面关系数据库管理系统，是Office系列应用软件之一。7.3.7VisualFoxPro数据库VisualFoxPro原名FoxBase，最初是由美国FoxSoftware公司于1988年推出的数据库产品，在DOS上运行，与xBase系列兼容。7.4数据库新发展7.4.1数据仓库1.定义数据仓库是决策支持系统（DSS）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。7.4.1数据仓库数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。数据仓库之父WilliamH.Inmon在1991年出版的“BuildingtheDataWarehouse”一书中所提出的定义。数据仓库（DataWarehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。2.数据库和数据仓库的区别（1）出发点不同（2）存储的数据不同（3）设计规则不同（4）提供的功能不同（5）基本元素不同（6）容量不同（7）服务对象不同7.4.2工程数据库1.定义工程数据库(EngineeringDataBase)是一种能存储和管理各种工程图形，并能为工程设计提供各种服务的数据库。工程数据库系统和传统数据库系统一样，包括工程数据库管理系统和工程数据库设计两方面的内容2.功能支持复杂多样的工程数据的存储和集成管理；支持复杂对象的表示和处理；支持变长结构数据实体的处理；支持多种工程应用程序；支持模式的动态修改和扩展；支持设计过程中多个不同数据库版本的存储和管理；支持工程长事务和嵌套事务的处理和恢复。7.4.3统计数据库1.定义统计数据(StatisticalDataBase)是人类对现实社会各行各业、科技教育、国情国力的大量调查数据。统计数据库是一种用来对统计数据进行存贮、统计、分析的数据库系统。2.特点第一，多维性是统计数据的第一个特点，也是最基本的特点。其次，统计数据是在一定时间期末产生大量数据，故入库时总是定时的大批量加载。第三，统计数据的时间属性是一个最基本的属性，任何统计量都离不开时间因素第四，随着用户对所关心问题的观察角度不同，统计数据查询出来后常有转置的要求。7.4.4空间数据库1.定义空间数据库(SpacialDataBase)指的是地理信息系统在计算机物理存储介质上存储的与应用相关的地理空间数据的总和，一般是以一系列特定结构的文件的形式组织在存储介质之上的。空间数据库的目的是利用数据库技术实现空间数据的有效存储、管理和检索，为各种空间数据库用户实用。7.4.4空间数据库2.空间数据库的特点（1）数据量庞大。（2）具有高可访问性。（3）空间数据模型复杂。（4）属性数据和空间数据联合管理。（5）应用范围广泛。7.4.5多媒体数据库1.定义多媒体数据库是数据库技术与多媒体技术结合的产物。多媒体数据库从本质上来说，要解决三个难题。第一是信息媒体的多样化。第二要解决多媒体数据集成或表现集成。第三是多媒体数据与人之间的交互性。7.4.5多媒体数据库2.特点（1）数据量大。（2）结构复杂。（3）时序性。（4）数据传输的连续性。3.功能（1）有效地表示各种媒体数据。（2）有效地处理各种媒体数据。（3）有效地操作各种媒体信息。（4）具备开放性。7.5大数据及其技术7.5.1大数据概述1.背景从1990年到2003年由法国、德国、日本、中国、英国和美国等国家20个研究所，2800多名科学家参加的人类基因组计划耗资13亿英镑，产生的DNA数据达200TB。人类基因组计划研究开创了大数据或海量数据处理（数据密集计算）科学研究方法的先河。2012年2月《纽约时报》的一篇专栏中所称，大数据时代已经降临。

2.定义根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件进行捕捉、管理和处理的数据集合。研究机构Gartner关于大数据的定义是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。3.大数据的特点大数据的4V特点是指数据量巨大（Volume）、数据类型多样（Variety）、数据流动快（Velocity）和数据潜在价值大（Value）。7.5.2大数据技术大数据技术有4个核心部分，它们是大数据采集与预处理、大数据存储与管理、大数据计算模式与系统及大数据分析与可视化。1.大数据采集与预处理在大数据的生命周期中，数据采集处于第一个环节。大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统和科学实验系统。对于不同的数据集，可能存在不同的结构和模式，如文件、XML树、关系表等表现为数据的异构性。对多个异构的数据集需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。人们针对管理信息系统中异构数据库集成技术、Web信息系统中的实体识别技术和DeepWeb集成技术、传感器网络数据融合技术已经进行了很多研究工作，取得了较大的进展，已经推出了多种数据清洗和质量控制工具。2.大数据存储与管理

按数据类型的不同，大数据的存储和管理可采用不同的技术路线，大致可以分为3类。

第一类主要面对的是大规模的结构化数据。针对这类大数据，通常采用新型数据库集群。它们通过列存储或行列混合存储及粗粒度索引等技术，结合MPP（MassiveParallelProcessing）架构高效的分布式计算模式，实现对PB量级数据的存储和管理。

第二类主要面对的是半结构化和非结构化数据。对此，基于Hadoop开源体系的系统平台更为擅长。它们通过对Hadoop生态体系的技术扩展和封装，实现对半结构化和非结构化数据的存储和管理。

第三类主要面对的是结构化和非结构化混合的大数据。对此，采用MPP并行数据库集群与Hadoop集群的混合来实现对EB量级数据的存储和管理。3.大数据计算模式与系统大数据计算模式就是根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型。大数据处理多样性的需求驱动了多种大数据计算模式出现。与这些计算模式相对应，出现了很多对应的大数据计算系统和工具。例如，大数据查询分析计算模式，其工具为HBase、Hive、Cassandra、Premel、Impala、Shark；批处理计算模式，其工具为MapReduce、Spark；流式计算模式，其工具为Scribe、Flume、Storm、S4、SparkStreaming；迭代计算模式，其工具为HaLoop、iMapReduce、Twister、Spark；图计算模式，其工具为Pregel、PowerGrapg、GraphX；内存计算模式，其工具为Dremel、Hana、Redis。4.大数据分析与可视化大数据分析是指对规模巨大的数据进行分析。一时间，数据仓库、数据安全、数据分析、数据挖掘等技术逐渐成为行业追捧的焦点。大数据分析包括6个方面：可视化分析、数据挖掘算法、预测性分析、语义引擎（从文档中智能提取信息）、数据质量与数据管理、及数据仓库与商业智能。7.5.3大数据平台框架1.大数据平台框架概述国家大数据战略，不仅要将大数据其作为战略资源，也要将其作为国家治理的创新手段。在统筹布局建设国家大数据平台的基础上，逐渐推动数据的统一、整合、开放和共享机制。大数据管理架构应该是“一个机制、两个体系和三个平台”的结构。大数据管理工作机制应包括数据共享与开放、工作协同、大数据科学决策、精准监管和公共服务机制等。两个体系指大数据的交换、共享、一致、整合和应用的安全保障和标准化工作。三个平台担负大数据集约化基础设施，网络资源、计算资源、存储资源、安全资源、集中管理、系统运维、大数据采集、处理、分析和应用。2.大数据统一平台框架大数据统一平台核心部分的总体框架如图7-2所示，其软件部分可分为：数据服务组件和运维管理，其中数据服务组件部分可分为三层：数据归集层、存储计算层和应用开发层。7.5.4大数据整合数据整合就是把在不同数据源收集、整理、清洗，转换后的数据加载到一个新的数据源，为数据消费者提供统一数据视图的数据集成方式。1.数据整合的必要性（1）数据和信息系统相对分散。（2）信息资源利用程度较低。（3）支持管理决策能力较弱。2.大数据整合方案（1）多个数据库整合。通过对各个数据源的数据交换格式进行一一映射，从而实现数据的流通与共享。对于有全局统一模式的多数据库系统，用户可以通过局部外模式访问本地库，通过建立局部概念模式、全局概念模式、全局外模式，用户可以访问集成系统中的其他数据库；对于联邦数据库系统，各局部数据库通过定义输入、输出模式，进行各联邦数据库系统之间的数据访问。基于异构数据源系统的数据整合有多种方式，所采用的体系结构也各不相同，但其最终目的是相同的，即实现数据的流通共享。（2）数据仓库整合。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。从数据仓库的建立过程来看，数据仓库是一种面向主题的整合方案，因此首先应该根据具体的主题进行建模，然后根据数据模型和需求从多个数据源加载数据。由于不同数据源的数据结构可能不同，因而在加载数据之前要进行数据转换和数据整合，使得加载的数据统一到需要的数据模型下，即根据匹配、留存等规则，实现多种数据类型的关联。

（3）中间件整合。中间件是位于用户与服务器之间的中介接口软件，是异构系统集成所需的黏结剂。现有的数据库中间件允许用户在异构数据库上调用SQL服务，解决异构数据库的互操作性问题。功能完善的数据库中间件，可以对用户屏蔽数据的分布地点、数据库管理平台、特殊的本地应用程序编程接口等差异。（4）Web服务整合。Web服务可理解为自包含的、模块化的应用程序，它可以在网络中被描述、发布、查找及调用；也可以把Web服务理解为是基于网络的、分布式的模块化组件，它执行特定的任务，遵守具体的技术规范，这些规范使得Web服务能与其他兼容的组件进行互操作。（5）主数据管理整合。主数据管理通过一组规则、流程、技术和解决方案，实现对企业数据一致性、完整性、相关性和精确性的有效管理，从而为所有企业相关用户提供准确一致的数据。主数据管理提供了一种方法，通过该