Altibase电信级内存数据库介绍.ppt

Altibase主存数据库产品介绍 韩国Altibase公司南开创元信息技术有限公司顾鸿翔Email guhongxiang g 一 主存数据库技术简介二 Altibase主存数据库特色 目录 一 主存数据库技术简介 IT市场的需求主存数据库概念技术发展历程主存数据库和磁盘数据库的比较主存数据库应用的必要性和可行性应用领域 主存数据库概念 主存数据库 MMDB MainMemoryDatabase 是将所有数据存于物理内存 因此能够不需要访问磁盘直接访问数据 从而获得极高的存取速度和极强的并发访问能力的数据库系统 主存数据库与传统的基于磁盘的数据库系统 DRDB Disk ResidentDatabase 的重大区别在于数据的存储介质和针对物理内存而特别设计的数据储存结构的存取机制 一般存取速度的增加在10至1000倍左右 主存数据库定义 主存数据库和磁盘数据库的区别 主存数据库技术发展历程 从上个世纪60年代末到80年代初 在这个时期中 出现了主存数据库的雏形 1969年IBM公司研制了世界上最早的数据库管理系统 基于层次模型的数据库管理系统IMS 并作为商品化软件投入市场 在设计IMS时 IBM考虑到基于内存的数据管理方法 相应推出了IMS VSFastPath FastPath是一个支持内存驻留数据的商业化数据库 但它同时也可以很好地支持磁盘驻留数据 在这个产品中体现了主存数据库的主要设计思想 也就是将需要频繁访问 要求高响应速度的数据直接存放在物理内存中访问和管理 在这个阶段中 包括网状数据库 关系数据库等其他各种数据库技术也都逐渐成型 雏形期 主存数据库技术发展历程 1984年 DJDeWitt等人发表了 主存数据库系统的实现技术 一文 第一次提出了MainMemoryDatabase 主存数据库 的概念预言当时异常昂贵的计算机主存价格一定会下降 用户有可能将大容量的数据库全部保存在主存中提出了AVL树 哈希算法 主存数据库恢复机制等主存数据库技术的关键理论 为主存数据库的发展指出了明确的方向1984年 DJDeWitt等人提出使用非易逝内存或预提交和成组提交技术作为主存数据库的提交处理方案 使用指针实现主存数据库的存取访问 1985年 IBM推出了IBM370上运行的OBE主存数据库1986年 RBHagman提出了使用检查点技术实现主存数据库的恢复机制 威斯康星大学提出了按区双向锁定模式解决主存数据库中的并发控制问题 并设计出MM DBMS主存数据库 贝尔实验室推出了DALI主存数据库模型 1987年 ACMSIGMOD会议中提出了以堆文件 HEAPFILE 作为主存数据库的数据存储结构 SouthernMethodist大学设计出MARS主存数据库模型 1988年普林斯顿大学设计出TPK主存数据库 1990年普林斯顿大学又设计出SystemM主存数据库 技术理论成熟期 主存数据库技术发展历程 随着互联网的发展 越来越多的网络应用系统需要能够支持大用户量并发访问 高响应速度的的数据库系统 主存数据库市场成熟半导体技术快速发展 半导体内存大规模生产 动态随机存取存储器 DRAM 的容量越来越大 而价格越来越低 这无疑为计算机内存的不断扩大提供了硬件基础 使得主存数据库的技术可行性逐步成熟1994年美国OSE公司推出了第一个商业化的 开始实际应用的主存数据库产品Polyhedra1998年德国SoftwareAG推出了TaminoDatabase 1999年日本UBIT会社开发出XDB主存数据库产品 韩国Altibase推出Altibase2000年奥地利的QuiLogic公司推出了SQL IMDB2001年美国McObject推出eXtremeDB 加拿大Empress公司推出EmpressDB 产品发展期和市场成长期 主存数据库技术发展历程 几种主存技术应用的比较 第一代 用户定制的主存数据库 通过应用程序来管理内存和数据 主要目的 提高性能 不支持SQL语句 不提供本地存储 没有数据库恢复技术性能好但很难维护和在别的应用中不能使用 应用在实时领域比如工厂自动化生产 第二代 简单功能的主存数据库 能够快速处理简单的查询支持部分的SQL语句和简单的恢复技术主要目的是能够快速处理大量事务针对简单事务处理领域 尤其是交换机 移动通信等 第三代 通用的主存数据库 针对传统的商业关系型数据库领域 能够提供更高的性能 通用性以及稳定性 提供不同的接口来处理复杂的SQL语句和满足不同的应用领域可以应用在计费 电子商务 在线安全领域 几乎包括磁盘数据库的所有应用领域 主存数据库和磁盘数据库的比较 磁盘数据库 主存数据库 主存数据库应用的必要性 高速聚集的海量信息 快速增长的用户群 互联网的快速发展 需要新型数据库管理系统 主存数据库管理系统 极高的数据存取速度 极强的并发访问能力 满足大量并发访问 快速处理海量信息 磁盘数据库管理系统 数据库系统处理能力不足 信息服务遇到瓶颈 信息管理系统 技术要求 主存数据库应用的可行性 半导体内存大规模生产 动态随机存取存储器 DRAM 的容量越来越大 而价格越来越低 这无疑为计算机内存的不断扩大提供了硬件基础 使得主存数据库的经济可行性逐步成熟 经济可行性 技术可行性 64bit芯片的普及 系统最大寻址空间决定了数据库容量 主存 32bit 最大4GB寻址空间64bit 几乎无限的寻址空间高稳定性操作系统出现UNIX等操作系统发展到近年来已经非常稳定 可以承受的住几个月 甚至一年的不停的运转 这样的可靠性能大大减少了数据库系统的风险 主存数据库应用模式 嵌入式系统模式 航空航天系统 大型IP路由系统 电信通信交换系统 主存数据库 API 卫星通讯系统 实时嵌入式操作系统 应用1 API 应用2 API 应用n 应用n 嵌入式系统 智能交通控制系统 主存数据库应用模式 混合模式 冷数据 80 热数据 20 主存数据库和磁盘数据库混合使用成为可以承担高速事务处理的关系型数据库 大型应用系统中 80 的访问是针对DBMS中20 的数据进行的 主存数据库应用领域 混合模式应用 电子商务领域 电子商务网络运营商 实时行情显示 网上银行 网上证券交易系统 航空订票系统 国际贸易互联网谈判交易系统等大型的电子商务平台 通信领域通信计费营帐系统 预付费业务 前台营业处理 实时网络管理系统 CTI技术 WAP服务器 智能网络服务 增值服务系统 多样化的网络终端服务系统 为便携电脑 手机 携带终端 游戏机 网络电视等网络终端提供互联网服务 实时系统领域控制系统与自动化工程 电信通信 网络通信 航空航天 雷达信号处理 智能交通管理 实时GIS系统 铁道工程 POS销售终端 医疗仪器 车载信息系统 瘦客户机等 嵌入式系统模式应用 主存数据库电信应用领域 二 Altibase主存数据库产品介绍 Altibase主存数据库AltibaseDBMS服务器特色Altibase与商用磁盘数据库比较AltibaseDBMS复制功能AltibaseDBMS产品构成Altibase应用领域 Altibase主存数据库 目前世界上最先进的主存数据库AltibaseCo Ltd成立与1999年11月 先后与韩国电子通讯研究院和美国CONSOCIOInc 合作目前已应用于韩国80 的电信厂商和运营商 包括韩国电信 Samsung 问题 Altibase的增强 10倍之上的性能提高强健的稳定性和可维护性对于实时处理系统没有额外的负担通过复制技术实现容错服务使用工业化的标准 ANSISQL 使开发更容易灵活的架构来反映用户不同的需求 磁盘DBMS的局限性能上的不满意对整个系统过重的负担 由于应用的局限性造成的不通用开发以及维护非常困难系统可用性 灵活性和效率方面的降低 磁盘DBMS 用户定制 实时系统领域 实时系统 Altibase主存数据库的物理结构 检查点操作 同步内存和磁盘数据文件中的数据Loganchor 储存磁盘数据文件和日志文件的相关信息磁盘数据文件 Loganchor和日志文件保障了在事务失败 系统故障 媒体故障时可对数据库进行完全恢复 Altibase数据库内存领域 32K 217 Page的集合 DataPage CatalogPage Local Process orSharedMemory 数据库系统信息的储存位置储存数据库产生的详细信息储存除自己之外数据页列表及使用信息启动及停止时数据库全面检查及维护变更信息 储存实数据的储存位置由PageHeader和PageBody构成PageHeader 维护相互之间列表的连接信息和类型 以自身页码构成PageBody 为了储存实数据分割成多个slotSlot 储存实数据的最终储存位置 Altibase主存数据库最大容量32BitO S 可扩展到217Page64BitO S 可扩展到249Page LocalorSharedMemory均能自动扩展 Altibase主存数据库内存结构 AltibaseDBMS产品构架 AltibaseProductArchitecture DataReplication Client ServerApplications Tools Real TimeApplicationPgms PhysicalMemory UnlimitedDatabaseSizewith64bit DiskStructures CatalogPage DataPage ProcessorSharedMemory Altibase TablesandIndices IPC UNIXDOMAIN TCP IP E SQL CLI ODBC JDBC Datafiles Loganchor Logfiles HotTables 100 SmallsizedDB AltibaseDBMSApp 单独使用Altibase 将全部数据和管理驻留在内存中 针对需要高速处理的应用领域CTIorHLR实时处理系统自动化处理 智能交通 独立AltibaseDBMSServer ColdTables 80 HotTables 20 DiskDBMS Oracle Informix Sybase DB2 如何与磁盘数据库联用 HotTables GatheringReal timeData SharedTables etc StoringColdTables HistoryData etc AltibaseDBMSServer ReferenceSite V Altibase适用方案 选择时间消耗较大的的已有应用程序 转换成Altibase的应用程序为了优化内存大小 把应用程序使用的数据从Oracle提取 载入到Altibase根据需要把在Altibase变更的数据反映到Oracle数据提取 载入 应用程序执行等一系列DB工作过程自动化处理 DataMigration DiskBasedRDBMS Migration Import Performance hungryAPs Altibase Export DiskBasedRDBMS Sync HotTransactionApp ReferenceSite V Altibase适用方案 注意事项 为了使用Altibase 首先要进行datasizing 必须确保内存可以容纳所有的数据和应用程序运行开销 Client Server AltibaseDBMS组成部分 AltibaseDBMS服务器特色 AltibaseDBMSServerFeature 综合了主存数据库领域目前已知的最先进的技术 存储管理 用MVCC MultiVersionConcurrencyControl 实现并发控制使事务之间的冲突最小化 记录的读 写操作中不使用Lock和Latch实现死锁检测保存点 Implicit Explicit Fuzzy Ping pong检查点支持动态 共享内存数据库结构 数据库在运行时可以自动扩展支持T Tree 部分B Tree R Tree为了系统的多样性 在内存中或者磁盘上支持多种数据文件的格式数据文件和日志文件可以在不同的目录数据文件可以由多个文件组成 支持完整的SQL92标准 查询处理 AltibaseDBMS服务器特色 多种内建函数 基于WAL WriteAheadLogging 的日志检查点脏页写到磁盘上 调整日志信息 自动删除日志存档 管理当前处理的事务的信息 在线备份恢复的范围 事务失败 系统故障 媒体故障 日志 恢复 聚合 数字 字符 日期 转换 其它 Decode等 嵌套查询没有限制表join没有限制用Hint调节查询执行计划 扩展DDL查询优化 CBO RBO 增强支持复杂查询支持分等级查询 应用开发环境 提供标准CLI ODBC JDBC 提供EmbeddedSQL 预编译程序 类似于OraclePro C C 原来使用Oracle的开发者很容易适应 可以降低开发和维护成本 减少开发周期 支持多线程客户端支持存储过程支持本地存储过程 NativeStoredProcedure 嵌入式架构的替代功能 支持XA接口 负载平衡R Tree OpenGIS标准 提供各种工具Sql交互工具 dbadmin audit shmutil 等等 AltibaseDBMS服务器特色 Altibasevs DiskDBMS MemoryCopyOverhead 硬盘RDBMS的application不能直接访问数据库内存缓存中的特定记录 所以把记录拷贝到内存进行操作 但Altibase的所有的数据都存在于内存 所以直接访问特定记录 BufferManagementOverhead 硬盘RDBMS把数据读到内存缓存中使用时 需要内存缓存往硬盘写oldpages和变更数据状态的工作 DBMS Engine Run TimeDatabase Altibase MemoryCopyOverhead SearchTranslationOverhead BufferMgmtOverhead ExcessFeaturesOverhead AltibaseMainMemoryRDBMS DiskbasedRDBMS CatalogPage DataPage Disk OptimizedRDBMSEngine ApplicationPrograms ProcessorSharedMemory Altibasevs DiskDBMS PhysicalMemory Database Tables Indices BackupDB Datafile1 Logfilen DBS LOGS PhysicalMemory Buffer Database Datafiles Controlfiles Redofiles 访问内存最佳的索引结构 使用T Tree 数据查询算法本身就很简单 减少CPUTime占有率 减少系统的负荷 数据caching没有多余的数据拷贝 DiskI O 减少了系统负荷 Recovery时只发生必需的 最少I O Log Logfile1 Loganchor Altibasevs DiskDBMS 内存管理 硬盘DBMS的查询最佳算法的基本在于减少硬盘I O次数硬盘DBMS不能排除数据存在于硬盘的假设 所以使用了假设数据存在于硬盘的最坏 worstcase 情况的算法Altibase的所有数据都存在于主存中 所以不需要考虑数据存在于硬盘的最坏情况 只需使用最佳的算法访问数据 假设数据存在于磁盘 复杂的查询算法 增加CPUTime 数据常驻主存 简单的查询算法 减少CPUTime 已有基于硬盘的DBMS AltibaseMainMemoryDBMS Altibasevs DiskDBMS 索引算法 B treeIndex T treeIndex 无需把逻辑地址变换成物理地址 直接指向相当于入口的纪录的内存地址 逻辑地址变换成物理地址的工作 包含的数据页相当于入口的记录 基于硬盘的DBMS AltibaseMainMemoryDBMS Altibasevs DiskDBMS 索引日志 Altibase一般不做对索引的日志 所以日志的量很少 检查点算法 表面看起来只把脏页存储到磁盘备份数据区 其实为了对在线事务处理施加最小的影响 使用了Ping pong 模糊检查点方法 因为所有数据都在内存中 所以读取数据时没有相关索引的I O 提高了更新和删除操作的速度 Altibasevs DiskDBMS 不间断服务构成方法 Altibasevs DiskDBMS 总结 测试部门 TaiwanChunghwaTelecom测试结果 TelecommunicationLaboratoriesBU8PSTeam 测试实验室环境 SUNE4500 2GBmainmemory 2CPUs SUNOS5 8 Access100 000recordswhichincludeNumberandChartype 测试实验室结果 Altibase与商用磁盘数据库性能比较 测试环境 Server sunE 450memory 4GBCPU 2 400Mz测试部门 韩国Altibase公司和韩国三星电子比较产品 AltibaseDBMS和DiskBasedDBMS测试工具 TPC B TPC HBenchmark性能标准 TPS TransactionPerSecond 每秒事务处理量 性能比较 简单查询性能测试 数据量 TPS TPC B 测试结果 Altibase处理能力比磁盘数据库快10倍以上 数据量 TPS TPC B 测试结果 使用NSP使得Altibase的处理能力有进一步的提升 2 5倍 性能比较 简单查询性能测试 NSP 性能比较 TPC H测试 TPC HTest是反映现代复杂商务情况的国际DBMS性能测试基准测试适用于无法预测数据和频繁变化的网络环境的DBMS的基准由22个复杂的SQL语句构成 什么叫TPC HTest 1 测试结果 Altibase的复杂查询处理能力比磁盘数据库有整体的提高 TPC H性能测试 AltibaseVSDiskDBMS Demonstratesmultipleaspectsofaserver sabilitytoprocessqueriesinordertogiveanswerstocriticalbusinessquestionsofreal world EvaluatesaDBMS sabilitytoprocessunexpecteddataandapplytonetworkenvironmentswithfrequentchange Consistsof22ofcomplexSQLstatements AboutTPC HTest 复制的必要性 AltibaseDBMS复制特色 高可用性 当系统发生故障时 可以立即访问down掉的数据存储的复制体 靠分配工作量到多个节点保证可伸缩性 可能是故障点 可用性 1 pn p down机的可能性 例如 如果p 5 有复制的数据库系统的可用性增加到99 75 会发生瓶颈 降低系统响应时间 限制系统吞吐量 负载平衡 增强性能 数据库产品的复制方式 1 在一个应用程序中执行复制 当服务器性能降低和发生故障时很难保持数据库的一致性 2 通过传送查询语句执行复制 负载平衡效率低 难以验证数据冲突3 通过传送执行计划执行复制 数据传输的增加大大增加了通信量 4 通过转换日志为查询语句执行复制 转换和查询处理的成本很高 5 通过将发送的日志转换为执行计划执行复制 需要转换成本 但是能够提高复制的性能 6 像服务器恢复一样发送日志 执行复制 速度快 但是不能实现active active模式 AltibaseDBMS复制特色 实现复制的方法 基于日志的复制 Altibase复制技术采用了读取储存事务内容的日志文件 并发给从复制服务器的同步方式 所以不会影响在主复制服务器进行的事物 只发生线程读取日志文件和创建事务并发送的负荷 所以只要CPU资源允许几乎没有性能下降 AltibaseDBMS复制特色 复制特性 拓扑结构 支持点 点的复制 通过支持N向复制提供星型架构的复制拓扑结构 提高系统的容错 容灾能力提供系统的负载均衡能力 基于日志在数据库日志的基础上实现复制 使服务器的负荷最小化复制时保持standalone性能的90 以上 表级的复制可以复制整个数据库中的表的一部分 提高操作效率实时复制支持实时事务处理的实时复制 简化实时服务的实现提高可用性 当系统发生故障时 可以立即访问down掉的数据存储的复制体 这样可以实现系统服务的连续性 高稳定性检测服务器的故障和网络错误并进行适当的错误处理 通过复制恢复保持数据的一致性 现在 在30多个站点的150多个系统中正在运行着Altibase的复制系统 Altibase复制特色 线程结构 与服务同步 减少处理开销 包括管理器 发送器 接收器线程 使占用的内部资源最小化 复制的内部结构 Point To PointReplication ServerA TableA Altibase ServerB Altibase ServerC Altibase TableA XLOG TableA XLOG TableA Insert Update DeleteTransaction TableA TableA WhyServerBdoesnotsendXLOGtransmittedfromServerAtoServerC BecauseinfiniteloopcanoccurifTableAwasreplicatedbetweenServerAandServerC TableA Altibase ServerB Altibase ServerC Altibase TableA XLOG TableA TableA TableA XLOG ServerA TableA Insert Update DeleteTransaction SolutionusingN WayReplication IfTableAisreplicatedamongServerA B CServerA Active ServerB Standby ServerA Active ServerC Standby Altibase复制技术 如何使用Altibase复制技术 Altibase的DB复制接口与SQL是相同的结构 简单 容易使用 运营系统时 可以随意控制复制的Create Start Stop 所以容易运营及管理系统和服务 设计时尽可能的考虑到了客户的复制运营及管理的容易性 通过基于DB服务器功能的划分很容易提供可伸缩性 AltibaseDBMS1 当前 AltibaseDBMS2 当前 很容易通过添加AltibaseDBMS服务器来扩展服务来解决服务的retrieval负载增加的问题 很容易解决复制的数据冲突问题 发生Insert Update Delete数据事务 表n AltibaseDBMS1 当前 表B 表A Active Active复制 Active Active复制 可扩展系统 AltibaseReplication配置方案 基于DBMS的功能划分 分别管理共享表 将共享表按业务特性分类来配置灵活的系统 共享表 被大多数应用频繁访问的表 也就是热表 HotTable AltibaseReplication配置方案 基于业务的功能划分 Primary StandbyArchitecture Altibase Altibase ApplicationProgram Replication PrimaryServer StandbyServer Altibase Altibase PrimaryServer StandbyServer Altibase Altibase PrimaryServer StandbyServer Sync Replication Active ActiveArchitecture ApplicationProgram ApplicationProgram 如何使用Altibase复制技术 Primary MultiStandbyArchitecture Altibase Altibase PrimaryServer StandbyServer Altibase Altibase PrimaryServerFailure StandbyServer Primary MultiStandbyArchitectureusingPropagatorServer Altibase StandbyServer Altibase StandbyServer 如何使用Altibase复制技术 Replication Replication ApplicationProgram ApplicationProgram Replication 数据库复制 主