内存数据库[]（PPT） .ppt

2019/12/19,1,内存数据库,技术讨论,2019/12/19,2,内存数据库技术,内存数据库概述内存数据库应用内存数据库功能比较传统数据库内存数据库产品附录,2019/12/19,3,内存数据库概述,内存数据库：顾名思义就是将数据放在内存中直接操作的数据库。数据缓存、快速算法、并行操作高性能，高速的内存读写速度多为主拷贝，辅助主数据库,2019/12/19,4,内存数据库应用,电信行业-实时查询证券行业-证券交易金融行业-网上银行实时应用系统,2019/12/19,5,内存数据库功能,数据管理，包括定义、存储、维护等数据操作，如查询、存取、完整性检查事务管理，包括调度与并发控制等对存取的控制和安全性检验具有数据库的可靠性恢复机制,2019/12/19,6,比较传统数据库（一）,内存数据库数据缓存、快速算法、并行操作优化,2019/12/19,7,比较传统数据库（二）,为什么内存数据库快?数据访问的成本主存和磁盘的地址映射内存优化的索引结构查询优化日志和恢复,2019/12/19,8,比较传统数据库（三）,2019/12/19,9,内存数据库产品（一）,应用级共享内存技术专用程序开发、不支持关系性sql、不支持事务等。专业级内存数据库应用模式简单、不提供esql、c/s架构支持较差等。通用级的内存数据库应用广泛、成熟，提供esol开发效率高等。,2019/12/19,10,内存数据库产品（二）,商业：（通用级内存数据库）oracletimestenaltibaseextremedb（实时与嵌入式数据库）开源：（实时与嵌入式数据库）fastdb开源：（分布缓存系统,基于memcache和berkeleydb开发，key/value操作）memcachedbdbcachedtbstore（非开源）其他：内存表传统数据库提供的内存表,如：sqlite、mysql临时表和内存表,2019/12/19,11,oracletimesten（一）,oracletimesten实时数据管理软件由三个基于内存中数据库、数据复制和高速缓存技术的产品组成。、内存优化的关系数据库；、支持服务器间的实时数据复制，以获得高可用性和负载共享；、应用程序层中的oracle数据创建实时、可更新的高速缓存。,2019/12/19,12,oracletimesten（二）,内存数据库timesten与基于磁盘的rdbms架构比较：,2019/12/19,13,oracletimesten（三）,timesten模型-包括replication和cacheconnect：,2019/12/19,14,altibase（一）,altibase是一个在事务优先的环境中提供高性能和高可用性的软件解决方案。altibase支持客户端/服务器架构或嵌入式架构。altibase产品已经走向混合型数据库。,2019/12/19,15,altibase（二）,altibase产品,2019/12/19,16,altibase（三）,altibase数据库的体系结构如下图所示：,2019/12/19,17,altibase（四）,altibase复制技术架构,2019/12/19,18,extremedb（一）,实时与嵌入式数据库系统开销少速度达到微秒级完全驻留在主内存中，不使用文件系统（包括内存盘）数据管理量在32bit下能达到20g提供c/c+的library方便程序开发sql（extremesql）支持日志（extremelog）支持高可用性（extremeha）支持,2019/12/19,19,extremedb（二）,系统架构：,extremedb运行时环境：,2019/12/19,20,extremedb（三）,extremedb开发环境：,extremesql操作概述：,2019/12/19,21,extremedb（四）,extremedb日志管理：,extremedbkernelmodel数据直接访问：,2019/12/19,22,extremedb（五）,extremedb高可用性设计：,2019/12/19,23,fastdb,数据库文件被影射到虚拟内存空间,假定整个数据库存在于ram中不支持c/s架构提供c+接口操作数据支持一种语法和sql非常类似的查询语言支持事务在线备份以及系统崩溃后的自动恢复,2019/12/19,24,memcachedb,前端memcached分布式缓存服务器后端berkeleydb的持久化存储，异步主辅复制机制超高性能读写速度不支持内存对象的遍历操作，不支持复杂的查询操作，以key-value模式访问数据具备了事务恢复能力、持久化能力和分布式复制能力相关技术介绍：memcache_engine,2019/12/19,25,memcachedb架构图,2019/12/19,26,memcachedb多线程模式,2019/12/19,27,dbcached,dbcached基于memcached和nmdb的分布式key-value数据库内存缓存系统qdbm或berkeleydb作为后端数据库dbcached=memcached+持久化存储管理器+nmdb客户端接口。以key-value模式访问数据相关技术介绍memcached是一款高性能的，分布式的内存对象缓存系统。nmdb是一款多协议网络数据库(dbm类)管理器，它由内存缓存和磁盘存储两部分构成，使用qdbm或berkeleydb作为后端数据库。qdbm是管理数据库的例程库，读写速度比berkeleydb要快。,2019/12/19,28,dbcached架构图,2019/12/19,29,memcachedb和dbcached区别,memcache服务器池故障转移导致的数据丢失，dbcached则会请求后端的nmdb取回数据。memcachedb只使用了memcached的协议和网络层，抛弃了memcached的内存管理部分，而使用berkeleydb数据库自身的缓存来实现，是围绕berkeleydb进行开发的。dbcached的设计方向是发挥memcached的内存缓存性能优势，使之成为一个具有“故障转移”、“数据持久化存储”、“多服务器同时读写”的高并发内存缓存系统，它是围绕memcached进行开发的。,2019/12/19,30,tbstore,高性能、分布式的cache系统基于berkeleydb缺点是新增服务器大部分cache内容失效非开源，缺乏参考资料,2019/12/19,31,内存表,优点：利用传统数据库提供的接口，开发方便。缺点：数据没有恢复机制，需要自行实现；受数据库锁限制，在大量并发时性能比较差。,2019/12/19,32,附录(1)-memcached概述,memcached是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。工作机制：通过在内存中开辟一块区域来维持一个大的hash表来加快页面访问速度，和数据库是独立的。但是目前主要用来缓存数据库的数据。允许多个server通过网络形成一个大的hash，用户不必关心数据存放在哪，只调用相关接口就可。存放在内存的数据通过lru算法进行淘汰出内存。同时可以通过删除和设置失效时间来淘汰存放在内存的数据。,2019/12/19,33,附录(2)-berkeleydb概述,berkeleydb是由sleepycatsoftware开发的轻量级嵌入式数据库，它不仅适用于嵌入式系统，而且可以直接连接到应用程序内部，和应用程序运行在同一地址空间。传统的数据库一般作为独立服务器工作，而berkeleydb是软件开发库，开发者将它嵌入到应用程序中，应用程序本身就是一个服务器，而只是利用嵌入式数据库开发来实现定制的数据库逻辑，避免了与应用服务器进程间通信的开销，因此berkeleydb具有较高的运行效率，适用于资源受限的嵌入式系统。一般而言，berkeleydb数据库系统可以大致分为五个子系统。1、存取管理子系统（accessmethods）该子系统为创建和访问数据库文件提供基本的支持。在没有事务管理的情况下，该子系统中的模块可单独使用，为应用程序提供快速高效的数据存取服务。2、内存池管理子系统（memorypool）该子系统就是berkeleydb所使用的通用共享内存缓冲区，该子系统可以被应用程序单独使用。3、事务子系统（transaction）该子系统为berkekeydb提供事务管理功能，保证操作的原则性、一致性和孤立性。事务子系统适