键值对数据库综述

键值对数据库综述与典型KV数据库介绍一、键值数据库概述键值数据库是一种非关系数据库，它使用简单的键值方法来存储数据。键值数据库将数据存储为键值对集合，其中键作为唯一标识符。键和值都可以是从简单对象到复杂复合对象的任何内容。键值数据库是高度可分区的，并且允许以其他类型的数据库无法实现的规模进行水平扩展。Key-Value键值对数据模型实际上是一个映射，即key是查找每条数据地址的唯一关键字，value是该数据实际存储的内容。例如键值对：（“20091234”,“张三”），其key：“20091234”是该数据的唯一入口，而value：“张三”是该数据实际存储的内容.Key-Value数据模型典型的是采用哈希函数实现关键字到值的映射,查询时，基于key的hash值直接定位到数据所在的点，实现快速查询,并支持大数据量和高并发查询。二、基本原理从API的角度来看，键值数据库是最简单的NoSQL数据库。客户端可以根据键查询值，设置键所对应的值，或从数据库中删除键。“值”只是数据库存储的一块数据而已，它并不关心也无需知道其中的内容；应用程序负责理解所存数据的含义。由于键值数据库总是通过主键访问，所以它们一般性能较高，且易于扩展。基本上所有的编程语言都带有应用在内存中的键值对存储。C++STL的映射容器（mapcontainer）和Java的HashMap以及Python的字典类型都是键值对存储。键值对存储通常都有如下接口：Get(key):获取之前存储于某标示符“key”之下的一些数据，或者“key”下没有数据时报错。Set(key,value):将“value”存储到存储空间中某标示符“key”下，使得我们可以通过调用相同的“key”来访问它。如果“key”下已经有了一些数据，旧的数据将被替换。Delete(key):删除存储在“key”下的数据。三、基本特性键值数据库具有以下几个特性：容错性可扩展性有效性四、读写方式分析已有key-value数据库,其读写方式可分为面向磁盘的读写方式和面向内存的读写方式两种.后者适合于不要求存储海量的数据但需要对特定的数据进行高速并发访问的场景.采用哪一种读写方式,通常由数据量的大小和对访问速度的要求决定的。1)面向磁盘的读写方式通常情况下,NoSQL系统中都存储着海量的数据,且无法全部维持在内存中,所以一般都采用面向磁盘的读写方式,下图描述了NoSQL系统中采用的典型的面向磁盘读写的一般过程。图4-1面向磁盘的读写过程通常,当写入数据时,数据首先会被写到一个内存结构中,系统返回写入成功.当内存中的数据达到指定大小或存放超过指定时限时,会被批量写入磁盘.当需要读取数据时,首先访问内存结构,如果未命中则需要访问磁盘上的实例化文件.当系统发生意外宕机时,内存结构中的数据将丢失,因此,一般采用日志的方式来帮助进行数据恢复.为了进一步提高写入效率和并发能力,许多系统都采用了Append的方式,即将修改和删除操作都追加写到文件末尾,而读数据时利用时间戳过滤掉旧信息,返回给用户最新版本的数据.因此,数据库需要进行定期的数据合并,将过期的冗余数据删除。2）面向内存的读写方式内存数据库将所有数据存放在内存中。每次访问记录时，无需将数据从磁盘读到内存中，避免了磁盘操作造成的延迟。在几十年前，由于内存容量的限制，在数据库中，内存只能充当磁盘的缓存。但随着存储技术的迅猛发展，单台机器的内存容量不断增长。目前，高端的服务器已经能提供几太字节的内存容量。这使得将所有数据存在内存中成为可能。磁盘读写操作不再是性能瓶颈后，数据库系统由IO受限（IO-bound）转向CPU受限（CPU-bound）。图6-1Memcached的基本原理Memcached作为高速运行的分布式缓存服务器，具有以下的特点。协议简单基于libevent的事件处理内置内存存储方式memcached不互相通信的分布式许多语言都实现了连接memcached的客户端，其中以Perl、PHP为主。仅仅memcached网站上列出的有：Perl、PHP、Python、Ruby、C#、C/C++、Lua等等。除此之外，Memcached用户十分广泛，如LiveJournal、Wikipedia、Flickr、Bebo、Twitter、Typepad、Yellowbot、Youtube、WordP等等。（三）LevelDB简介LevelDB是google实现后现已开源的高效持久化的KV数据库，对于随机写有着对于随机写有着良好的性能，适用于查询少、写入多的系统。在billion数量级下LevelDBLevelDB仍保持着高速的响应，这主要由于它采用了LSM算法，对索引变更先延时暂时保存，达到一定程度在统一处理，在通过合并更新至硬盘，减少系统的开销。LevelDB具有以下特点：(1)LevelDB将大部分数据存储在磁盘上，减轻内存负担提高响应速度；(2)插入记录时键值默认按照字典顺序存储，也可自定义排函数；(3)提供了基本操作接口，可以批量也单独执行，可移植性好；(4)自动使用Snappy压缩数据，全景的snapshot(快照)使读写分离，保持数据在读操作时的一致性。（四）RocksDB简介RocksDB是一个来自facebook的可嵌入式的支持持久化的key-value存储系统，也可作为C/S模式下的存储数据库，但主要目的还是嵌入式。RocksDB基于LevelDB构建，因此实际上是LevelDB的优化。下面是RocksDB对LevelDB的优化：1)增加了columnfamily，这样有利于多个不相关的数据集存储在同一个db中，因为不同columnfamily的数据是存储在不同的sst和memtable中，所以一定程度上起到了隔离的作用。2)采用了多线程同时进行compaction的方法，优化了compact的速度。3)增加了mergeoperator，优化了modify的效率。4)将flush和compaction分开不同的线程池，能有效的加快flush，防止stall。5)增加了对writeaheadlog(WAL)的特殊管理机制，这样就能方便管理WAL文件，因为WAL是binlog文件。五、参考资料ImplementingaKey-ValueStore–Part1:Whatarekey-valuestores,andwhyimplementone?：/2012/11/07/implementing-a-key-value-store-part-1-what-are-key-value-stores-and-why-implement-one/CSDN博客-键值存储：/l740450789/article/details/46459053NoSQL：键值数据库：/qq_39384184/article/details/83048857什么是键值数据库：/cn/nosql/key-value/Redis真的那么好用吗：/articles/20181020002.htmlMongoDB、Hbase、Redis等NoSQL优劣势、应用场景：/articles/20181020003.htmlMemcached教程：/memcached/memcached-tutorial.htmlMemcached官网：/RocksDB介绍：/weixin_36145588/article/detail