版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
11.1.1关系型数据库的特点
关系型数据库技术的主要特点:
(1)采用强存储模式技术;
(2)采用SQL技术标准定义和操作数据库,可以进行JOIN等复杂查询;
(3)采用事务处理保证数据一致性。SQL支持数据库CRUD操作的功能非常强大,是业界的标准用法。所以,对绝大多数应用来说关系型数据库都是最有效的解决方案,在数据存储方面占据不可动摇的地位。DB-Engines排行榜的前四位均为关系型数据库。由于受时代特征所限,关系型数据库技术初始设计是基于单机集中管理数据理念。随着信息化的快速发展,它也在服务器纵向(添加内存、硬盘或更强大的CPU)和横向(主从复制、集群和分片)扩展方面不断努力。
11.1.2数据下关系型数据库存在的问题随着互联网的发展,各种类型的大数据应用层出不穷:淘宝网每天产生超过30亿的店铺和商品浏览信息,8亿在线商品数,上千万的成交、收藏和评价数据,每天活跃数据量超过50TB;互联网应用在某些集中时间段的高并发问题,平均每秒点击量达到几十万次甚至更高。大数据下的需求是大量数据的存储、高并发下的快速读写和数据的多样化。
11.1.2数据下关系型数据库存在的问题关系型数据库在应对上述场景需求时出现的常见问题:
(1)扩展困难;
(2)大量数据的写入问题;
(3)读写慢;
(4)有限的容量;
(5)表结构的变更困难。为了解决大数据下的共性需求,只能由繁入简,放弃关系型数据库的优势,在数据模型及完整性、一致性方面做“减法”,而在迫切需要的新特性——可扩展性和高并发等方面做“加法”。于是,一种全新的数据库技术NoSQL应运而生。
11.2.1大数据4V特征研究机构Gartner给出的大数据定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的大数据定义:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,并具有:(1)海量(Volume)的数据规模;(2)快速(Velocity)的数据流转;(3)多样(Variety)的数据类型;(4)价值(Value)密度低。
11.2.2NoSQL定义“NoSQL”实际上是“NotOnlySQL”的缩写
NoSQL官网对NoSQL的最新定义是:主体符合非关系型、分布式、开放源码和具有横向扩展能力的下一代数据库。
11.2.3NoSQL技术介绍1.NoSQL特点
(1)采用弱存储模式技术;
(2)没有采用SQL技术标准定义和操作数据库;
(3)BASE特性;
(4)采用多机分布式技术。2.大数据下NoSQL技术的应对效果
(1)强扩展;
(2)大量数据的写入问题;
(3)读写速度;
(4)存储容量;
(5)表结构的变更。
11.2.3NoSQL技术介绍3.NoSQL技术的缺点
(1)各数据独立设计、无完整性约束,对于复杂业务场景支持较差;
(2)通用性差;
(3)不支持SQL;
(4)现有产品的不够成熟。4.NoSQL的数据一致性
分布式处理是NoSQL数据库技术的主要特点之一,而一致性、可用性和分区容忍性是分布式系统的三个核心需求。如果必须在三者间做出选择时,如何抉择呢?CAP理论、BASE和最终一致性是NoSQL技术存在的三大基石,将从技术上解决这一问题。
11.2.3NoSQL技术介绍4.NoSQL的数据一致性
1)CAP理论CAP理论是由EricBrewer教授提出的,在设计和部署分布式应用的时候,存在:一致性(Consistency)、可用性(Availability)、分区容忍性(PartitionTolerance)三个核心的系统需求,这个三个需求之间存在一定的特殊关系。CAP理论的核心是一个分布式系统不可能同时很好地满足CAP这三个核心需求,最多只能同时较好地满足两个。
11.2.3NoSQL技术介绍4.NoSQL的数据一致性
1)CAP理论关系型数据库关注的是一致性和可用性,所以可扩展性受限,满足CA原则。而大多数NoSQL系统都以水平扩展著称,倾向于坚持分区容忍性,根据其设计理念在一致性和可用性上进行选择。如果关注一致性,就需要处理因为系统不可用而导致的写操作失败的情况,满足CP原则,通常性能不是特别高。NoSQL数据库产品Redis和MongoDB都属于CP系统。如果关注可用性,就要承受系统的读操作可能不能精确地读取到写操作写入的最新值,满足AP原则,通常就要对一致性要求低一些。AP原则的数据库系统主要以实现最终一致性来确保可用性和分区容忍性。
11.2.3NoSQL技术介绍4.NoSQL的数据一致性
2)BASE基本可用(BasicallyAvailble):系统能够基本运行、一直提供服务。软状态(Soft-state):系统可以有一段时间不同步,而不是时时一致保持强一致性,只要最终数据一致即可。最终一致性(Eventualconsistency):系统需要在某一时刻后达到一致性要求。
BASE模型完全不同于ACID模型,它牺牲高一致性,获得可用性。例如对于网站评论功能而言,对比可用性和最新的评论是否被看到这样的强一致性,显然并不需要保证强一致性。
11.3.1键值存储模式关系型数据库适应性强,是通才,而NoSQL数据库则是解决某一方面问题或者某个特殊问题的专才。1.键值存储模式的存储结构1)键(Key)
键作为唯一标识符,确保一个键值结构中数据记录的唯一性。同时键的定义比较自由,例如“书:计算机:软件:数据库:9787111433038”。在同一类数据集合里键命名规则应统一。2)值(Value)
值是对应键的数据,通过键来获取。值由二进制大对象(BLOB)存储,可以存放任何类型的数据。与关系型数据库不同,键值无需预先定义数据类型。3)键值对(Key-Value)
键和值的组合形成键值对,键与值是一一对应关系。例如:“书:计算机:软件:数据库:9787111433038”只能指向“《数据库基础》”这个值。4)命名空间(NameSpace)
一类键值对数据构成的集合称为命名空间,以区分不同的数据集。命名空间类似于关系型数据库中的表,不过这张表只有两个字段(键和值)。
11.3.1键值存储模式2.键值数据存储的分类
键值数据库将数据存储于内存,数据容易丢失,无法持久性保存,所以是不能称为真正的数据库。于是,不同的键值数据库存储技术出现,根据数据的保存方式分三类。1)临时性是将所有数据都保存在内存中,保存和读取的速度非常快,但无法操作超出内存容量的数据,数据会丢失。如Memcached就是采用此类NoSQL产品。2)永久性将数据保存在硬盘上,因而数据不会丢失,但性能上还是有差距的。如ROMA、TokyoTyrant、Flare都是此类NoSQL产品。3)两者兼备这类数据库首先把数据保存在内存中,在满足特定条件的时候将数据写入到硬盘中。这样既确保了内存中数据的处理速度,又可以通过写入硬盘来保证数据的永久。如目前最流行的键值数据库Redis就是此类NoSQL产品。
11.3.1键值存储模式3.键值存储模式的优点(1)简单。最大的优势就是数据关系非常简单,存储结构只有键和值,而且键和值都可以采用自定义结构,适合存储多样性数据。(2)快速。以内存为主的设计思路,能提供非常快的查询速度,非常适合通过键对数据进行查询和修改等简单操作。更大容量更快速内存能够应对高并发访问的速度处理能力。(3)分布式处理。分布式处理可以把PB级别的大数据放到几百台PC服务器的内存里同时计算,具备了应对大数据的能力。4.键值存储模式的缺点(1)缺少约束,容易出错。(2)对值做查找功能弱。5.键值数据存储的应用场合适用于适合以键值对存储、数据变化快且数据库大小可预见(适合内存容量)的应用程序,常应用于股票价格、实时数据搜集、实时通讯、热门网页点击量等系统中。
11.3.2文档存储模式文档存储模式主要解决的不是高性能的并发读写,而是保证海量数据存储的同时,具有良好的查询性能和灵活的数据结构。以MongoDB产品为例介绍文档存储模式的存储结构及特点。1.文档存储模式的存储结构1)键值对(Key-Value)
由数据和格式组成。数据分键和值两部分,格式根据数据种类的不同而不同,如JSON、XML、BSON(BinaryJSON)等。MongoDB的键值对使用BSON组织数据,支持比JSON更多的基本数据类型。
键值对的形式是“键:值”。键一般用字符串表示,值可以是基本数据类型,也可以是数组或者文档等带结构的数据。
11.3.2文档存储模式2)文档(Document)
文档是由键值对构成的有序集。BSON格式的一个文档如下所示:{name:“lemo”,
基本数据类型age:12,
嵌入文档address:{city:"suzhou",country:"china",code:215000},scores:[{"name":"English","Grade:80},{"name":"Chinese","Grade:90}]}
数组类型,数组元素又是嵌入文档
11.3.2文档存储模式3)集合(Collection)
集合是由若干文档构成的对象。一个集合对应的文档应该具有相关性。每个文档的主键_id值在同一集合中必须唯一,它是集合中标识该文档的唯一标识符。在文档数据库中,为了便于操作,每个集合都有一个集合名称,用以标识该集合。4)数据库(Database)
文档数据库中包含若干集合,在对数据操作之前,必须指定数据库名。一台服务器上允许多个数据库并存。
11.3.2文档存储模式2.文档存储模式的优点(1)无表结构。不需要定义表结构,减少了变更表结构所需要的开销。不必关心表结构和程序设计之间的一致性,只需保证程序正确即可。(2)灵活的数据结构。文档中键值对的键值支持内嵌文档和数组,数据组织灵活,适合多样性数据的存储。(3)查询语言强大。几乎可以实现类似关系型数据库单表查询的绝大部分功能,并且像关系型数据库那样支持索引以进行高速处理。(4)便于扩展。可以在多台服务器之间分散数据,便于海量数据的存储。
11.3.2文档存储模式3.文档存储模式的缺点(1)缺少约束。去约束去规则化,追求了效率,自然有所牺牲。依靠代码保证数据完整性和一致性。(2)不支持事务和JOIN查询。集合之间没有关联,不支持JOIN,但为了存储关联关系可以把必要的数据以嵌入文档的形式存储到文档中。4.文档数据存储的应用场合
针对文档数据存储的特点,它适用于需要存储海量数据、多样性数据、支持动态查询并且对数据库有性能要求的场合。文档存储模式的典型产品有MongoDB和CouchDB。
11.3.3列族存储模式列族存储模式是为大数据而生。关系型数据库是以行为基本单位的磁盘记录方式,列族存储模式(也以Table为存储结构)以列作为磁盘记录方式,数据按列存储在不同数据块中,还可以进一步将多个关系紧密的列并为一个小组作为列族,放在一起存储。擅长以列为单位读取数据。列族存储模式擅长大数据处理,特别是PB、EB级别的大数据存储和从几千台到几万台级别的服务器分布式存储管理,体现了更好的可扩展性和高可用性。列族存储模式的典型产品有HBase和Cassandra。
11.3.4图存储模式图存储模式中的“图”,不是指“图片”,而是数学图论中的“图”。因此,其存储结构的基本要素是节点、边和描述节点、边的属性,以存储图形关系。图存储模式可以存储并处理现实中实体间复杂的关联关系,特定于图论的应用,例如互联网社交关系、交通地图、生物研究。通过对节点与节点关系的深入分析,可以发现有价值的数据规律,运用于规则推理等方面。图存储模式的典型产品是Neo科技公司的Neo4j。
11.4.1MongoDB安装与配置MongoDB的安装包可以从它的官网()下载获得。MongoDB有收费的企业版(EnterpriseEdition)和免费的社区版(CommunityEdition)两个版本。安装完成后,在D:\MongoDB\data\bin路径下看到一系列可执行文件,其中mongod.exe是MongoDB最核心的服务器端数据库管理软件,Mongo.exe是客户端Shell运行支持程序,为用户提供了交互式操作数据库统一界面。首先设置MongoDB环境,然后启动MongoDB服务。
具体命令见教材Shell不直观,可以采用类似于SQLServer的SSMS的可视化管理工具(如Robomongo),使得交互式操作更加容易。
11.4.2MongoDB数据类型虽然MongoDB无需定义数据存储结构,无需明确文档数据类型,但也存在数据类型的概念,由程序员通过代码进行控制,MongoDB本身不做类型检查和出错提示。MongoDB的文档使用类似于JSON的BSON组织数据。JSON是一种简单的表示数据的方式,只包含6种数据类型(Null、布尔、数字、字符串、数组及对象),而BSON还提供日期、32位数字、64位数字等类型。下面对MongoDB中的主要数据类型做一简要说明。(1)Null:用于表示空值或不存在的字段。如:{x:null}。(2)Undefined:未定义。如:{x:undefined}。(3)布尔类型(Boolean):布尔类型只有两种值,true和false。(4)32位整数(32-bitinteger):Shell不支持此类型,默认会转换成64位浮点数。(5)64位整数(64-bitinteger):Shell不支持此类型,默认会转换成64位浮点数。(6)64位浮点数(Double):Shell中仅支持这种类型的数。可以使用NumberInt()或NumberLong()方法将浮点数转为32位或64位整数。
11.4.2MongoDB数据类型(7)字符串类型(String):使用UTF-8编码的字符表示。如:{x:"HelloWorld"}。(8)日期(Date):从标准纪元开始的毫秒数。如:{date:newDate()}。(9)符号(Symbol):Shell不支持此类型,将自动转换成字符串。(10)正则表达式(RegularExpression):文档中可以包含正则表达式,遵循JavaScript的语法。正则表达式主要用在查询文档时作为限定条件。(11)数组(Array):值的集合或者列表,与JavaSript中的数组表示相同。如:{x:["Shoes","Women","Pumps"]}
。(12)内嵌文档(EmbeddedDocuments):文档可以作为文档中某个Key的Value。文档总大小被限制为16MB。(13)ObjectId:对象id是用于唯一标识一个文档的ID。在MongoDB存储文档时,必须有一个"_id"键,这个键可以是任何类型,默认是ObjectId。(14)JavaScript:MongoDB的文档中可以包括JavaScript代码。如:{x:function(){/*这里是一段JavaScript代码*/}}。
11.4.3电商案例的数据模型设计方案电商网站实现多功能商品目录系统,该系统不仅要求数据库能够存储海量数据,还能够基于特定属性做类似于关系型数据库的商品及该商品不同系列的检索。因此,MongoDB成为不二选择,原因如下。(1)文档灵活性:每个MongoDB文档都可以将数据存储为丰富的BSON结构。这就使得MongoDB对于存储任何对象都非常理想,可以应对每个商品都有若干系列的庞大目录,实现数据多样性的存储设计。(2)动态的模式:每个文档中的BSON结构可以随时进行调整,保证了需要修改时数据的灵活性以及易重构性。在MongoDB中,这些多重模式可以存储于一个单一的集合中。(3)有表现力的查询语言:具备基于文档属性进行各类查询的能力。下面分析存储商品和商品系列信息所需要的数据模型。
11.4.3电商案例的数据模型设计方案1.商品数据模型的设计方案
下面的文档描述集合goodsinfo中一种商品的基本属性信息:{
也可设计为["Shoes","Women","Pumps"]的数组形式
_id:"30671",//人工指定_id键值department:"Shoes",category:"Shoes/Women/Pumps",brand:"CalvinKlein",title:"EveningPlatformPumps",description:"Perfectforacasualnightoutoraformalevent.",price:298//假设价格与不同系列无关}不同商品的基本属性不完全相同时,MongoDB支持动态模式,文档中的键值对可以随时调整,不完全相同的文档可共存于一个集合中。
11.4.3电商案例的数据模型设计方案2.商品系列数据模型的三种设计方案
(1)在单一文档中存储一种商品以及它所有的系列信息。
其优点是能够在单一查询中检索一种商品以及其所有系列,而缺点是可能造成无限制的文档增长(仅受文档最大长度制约)。下面文档描述集合goodinfo_detail中一种商品及其不同商品系列的信息:{
_id:“30671”,//
mainitemID
……//同前price:298,
style:[{size:34,color:"red"},
{size:35,color:"black"}]//
键值是数组,数组元素是文档}
11.4.3电商案例的数据模型设计方案2.商品系列数据模型的三种设计方案
(2)创建一个能够关联到主商品且独立于主商品数据模型的商品系列数据模型。下面文档描述集合variation中一种商品的不同商品系列的信息:{_id:"93284847362823",
itemId:"30671",//参照商品数据模型的“_id”size:34,color:"red"……}
11.4.3电商案例的数据模型设计方案2.商品系列数据模型的三种设计方案
(3)在商品系列数据模型中用数组来刻画不同系列的键值,甚至可以分别从商品系列的属性和辅助属性出发,分两个类别刻画该系列的不同属性的键值。下面文档描述集合variation_doc中一种商品的不同商品系列的信息:{_id:"93284847362823",
itemId:"30671",//参照商品数据模型的“_id”attrs:{size:34,color:"red"…},//键值是内嵌文档sattrs:{width:8.0,heelHeight:5.0,…}}后两种设计方案将商品系列数据模型作为独立数据模型,既支持在目录中展示主商品而且当用户请求一个更详细的产品时也支持对每个系列的快速查询,同时也可以保证商品以及系列文档的长度是一个可预测大小。但是去约束化的MongoDB数据库无法保证其“itemId”键值与主商品数据模型中对应键值保持一致,只能通过程序手段控制。
11.5.1数据库的基本操作1.创建自定义数据库语法:usedatabase_name2.统计某数据库信息语法:db.stats()3.删除数据库语法:db.dropDatabase()4.查看现有数据库语法:showdbs
说明:新建的数据库,无法显示出来。只有创建集合插入文档后,才可显示。5.查看当前数据库下的集合名称语法:db.getCollectionNames()若要获悉更多关于数据库的操作命令,可用db.help()方法显示所有命令。
11.5.2插入文档MongoDB可以向一个已经存在或者当前不存在的集合中插入文档。语法:db.collection_name.insert(documemtorarrayofdocuments)说明:(1)collection_name是集合名,insert是插入文档的操作命令。(2)可以插入一条文档或以数组数据类型插入多条文档。(3)如果集合名不存在,则第一次插入文档时自动创建该集合。即无需预先创建集合。(4)插入一条文档,会自动生成一个_id值,也可自行指定,但在同一集合中必须唯一。(5)键名不能重复,它在一条文档中起唯一作用,且键名是区分大小写的。
11.5.2插入文档例11.3插入一条描述商品基本信息的简单文档到集合goodsinfo。db.goodsinfo.insert({_id:"30671",//自行指定“_id”键值,没有使用自动生成department:"Shoes",category:"Shoes/Women/Pumps",brand:"CalvinKlein",title:"EveningPlatformPumps",description:"Perfectforacasualnightoutoraformalevent.",price:298//假设价格与不同系列无关})例11.4~例11.6见教材
11.5.3查询文档
在MongoDB数据库中建立集合并插入文档后,可以用各种查询文档命令查看数据。
语法:db.collection_name.find(query,projection)说明:(1)query为查询条件(操作符见表11.2),省略该参数则返回所有数据,query查询条件支持正则表达式。(2)projection用于指定需要返回的字段,省略该参数则返回所有字段。例11.7查询variation集合中所有文档。db.variation.find()//未指定条件,返回所有数据
11.5.3查询文档例11.8查询variation集合中_id值是"93284847362823"的所有文档。db.variation.find({_id:"93284847362823"})若要指定返回字段,则使用projection参数。db.variation.find({_id:"93284847362823"},{size:1,colord:1//1表示返回该列,0表示不返回该列})//只返回size和color两列
例11.9~例11.13见教材
11.5.4修改文档MongoDB可以按照指定的查询条件,修改集合中已存在的文档。语法:db.collection_name.update(<query>,<update>,multi:<boolean>)说明:(1)query为修改的查询条件。(2)update为修改对象文档,含操作符功能的使用。(3)multi为可选参数,默认值是false,表示只修改符合条件的第一条文档;如果为true,表示修改符合条件的所有文档。例11.14修改简单文档的键值。db.goodinfo_detail.update({_id:"30671"//类似于SQLUpdate的where},{$set:{price:300}//类似于SQLUpdate的set})
11.5.5删除文档MongoDB可以按照指定的查询条件,删除集合中已存在的文档。语法:db.collection_name.remove(<query>,justOne:<boolean>)说明:(1)query为删除文档的条件。(2)justOne为可选参数,默认值是false,表示删除符合条件的所有文档;如果为true,表示删除符合条件的第一条文档。例11.16删除集合中的所有文档。db.goodsinfo.remove({})说明:若要删除整个集合,可以用db.goodsinfo.drop()方法,它将集合和相关的索引一起删除。例11.17删除集合中“_id”键值是“30671”的文档。db.goodsinfo.remove({_id:"30671"})
11.5.6索引默认情况下,在建立集合的同时,MongoDB自动为集合的“_id”键建立唯一索引。1.建立索引语法:db.collection_name.createIndex({<key>:<n>,<key>:<n>,……},{unique:<boolean>})说明:(1)key是键名,可以为一个或多个键名建立索引。n=1表示升序,n=-1表示降
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 酒精原料粉碎工客户关系管理强化考核试卷含答案
- 固体化妆品制造工安全文明评优考核试卷含答案
- 罐头杀菌工岗位适应能力知识考核试卷含答案
- 剑麻制品工冲突管理能力考核试卷含答案
- 2026年首钢工学院高职单招笔试综合素质历年参考题库含答案解析
- 2026年阜阳科技职业学院高职单招笔试职业技能测验历年参考题库含答案解析
- 高空作业机械维修工安全宣传评优考核试卷含答案
- 2026年重庆青年职业技术学院高职单招笔试综合素质历年参考题库含答案解析
- 氮化钛涂层工安全防护模拟考核试卷含答案
- 2026年重庆工程职业技术学院高职单招笔试语文历年参考题库含答案解析
- GB/T 30134-2025冷库管理规范
- 装配车间月度工作总结
- 中职数学集合说课
- 学习通《科研诚信与学术规范》课后及考试答案
- 湖北省孝感市孝南区2024-2025学年七年级上学期期中地理试题(含答案)
- 国家职业技术技能标准 4-02-01-01 轨道列车司机(动车组司机)人社厅发2019121号
- 金融计量学:时间序列分析视角(第四版) 课件 Lecture 5-平稳金融时间序列 ARMA模型
- 缙云山植物学野外实习报告2
- 三高科普知识讲座
- 工会会计账务处理智能系统
- UNet模型改进及其在医学图像分割上的研究综述
评论
0/150
提交评论