虚谷DBMS介绍 PPT课件

1 国产大型通用数据库管理系统 虚谷DBMS 成都欧冠信息技术有限责任公司 2 3 提纲 公司简介 产品展示 项目案例 前沿技术 新技术演示 4 公司简介 成都欧冠信息技术有限责任公司 ChengduOngoingInformationTechnologyCo Ltd 是国内领先的基础软件公司 公司专业从事数据库管理系统的研发 是国家数据库管理系统技术标准制定参与单位之一 是国家级信息安全产业技术创新联盟理事成员单位 公司开发的数据库已在政府 国防及工业等领域广泛应用 涵盖了军队 国安 公安 检察 法院 司法 全国政协 中科院 核动力院 国家计生委 医疗卫生等部门和单位 近年来 公司产品被列为成都市科技支撑计划重点项目 四川省十九个高新技术产业重大关键技术 四川省 十二五 战略性新兴产品 公司位于四川省成都市 现有员工150多人 已形成包括研究员 博士 硕士在内的管理 研发和营销团队 经过近10年的发展 公司在创新能力 技术研发 经营管理等方面积累了丰富的经验 我们有信心 有能力打造一款具有完全自主知识产权能和国外主流数据库产品抗衡的中国自己的大型数据库 为我国国防和经济建设提供强有力的信息安全保障 5 2002年 吸纳了中国在数据库方面的顶尖人才 投入巨资并在各级政府支持下开始数据库技术研究和虚谷数据库产品研制 2005年 成功开发出国产虚谷数据库V1 0版本 2006年 虚谷数据库获得国家版权局颁发的软件著作权 2007年 完成产品化工作 全新的虚谷数据库V2 0正式推向市场 四川省科技厅将虚谷DBMS列为四川省重大科技产品 虚谷数据库2 0版正式应用于中国科学院成都分院健康管理系统 系统运行稳定 性能达到设计要求 获得客户高度评价 虚谷数据库与金蝶 东方通中间件实现了产品融合 发展历程 6 2008年 虚谷数据库3 0版本在北京通过中国人民解放军软件评测认证中心的测试 并为军队定制了一款军用数据库 珠峰可信五号 军用数据库 虚谷数据库3 0在成都军区 四川省公安厅 中国核动力研究设计院成功应用 2009年 虚谷数据库被四川省列为 能改变行业格局的重大战略产品 参加国家重大专项 核高基 项目申报答辩 是五家入选参加数据库专项测试产品之一 虚谷数据库获得国家 创新基金 项目支持 发展历程 7 发展历程 2010年 中标全国示范项目 四川省政法委 六网合一 项目 该项目总投资2个亿 被列为四川省十九个高新技术产业重大关键技术项目 2011年 虚谷数据库被列入四川省 十二五 战略性新兴产品 虚谷数据库6 0发布 实现同时兼容T SQL和PL SQL语言风格的一体化SQL引擎 2012年 虚谷数据库成功服务全国 两会 即将发布虚谷云数据库 8 公司产品 虚谷数据库 基于标准数据库理论研发 系统架构技术先进 国际领先的无限制级行级锁 稳定 高效的多级内存管理系统 系统功能扩展性强 在资源调度和查询优化机制上达到国际先进水平部分指标超过了国外主流产品的性能 珠峰可信五号 军用数据库 公司与成都军区强强联合推出 虚谷军用可信数据库具有很多安全特色 系统功能扩展性强 已经通过了全军软件测评中心的评测 在成都军区国防潜力数据管理 军事敏感数据管理 通信监控管理等系统应用 取得了显著的军事经济效果 虚谷云数据库 全球首款 国际领先 完全自主知识产权 分布式存储 并行计算 性能高效 多副本容错 数据安全 可靠 弹性扩展 动态伸缩 随需而变 成本低廉 稳定高效 易管理 9 企业文化 为我国国防和经济建设提供一款领跑全球的中国自己的安全数据库 发挥每个员工的主动性 积极性 创造性 让每个员工都能站在国家和民族利益的高度有担当 有责任 敢于在国外主流数据库产品面前亮剑 敢于有置之死地而后生的拼搏精神 舍 计较 自私 攀比 急功近利得 和谐 健康 快乐 富有 迎来 万紫千红国产数据库的春天历经 千辛万苦 千难万险 千山万水 10 合作伙伴 11 软件版权 12 软件登记证 13 ISO9001认证 14 15 提纲 公司简介 产品展示 项目案例 前沿技术 新技术演示 16 产品特点 3 高安全 虚谷DBMS 8 跨平台 4 高性能 5 高稳定 1 功能丰富 2 接口齐全 7 易管理 6 易使用 技术特点 海量数据管理 B1级的安全体系 独创无限制级行级锁 多版本的封锁策略 SQL92符合度达到99 技工模型 多级内存隔离技术 虚拟机技术 执行节点动态组装技术 虚拟路径映射 数据刀片技术 SQL引擎 存储过程引擎一体化技术 17 功能说明 容灾容错 Tablespace管理 模式管理 表分区管理 各种表管理 索引管理 触发器管理 视图管理 同义词管理 DB连接管理 Package管理 Procedure管理 Function管理 序列值管理 自定义JOB管理 用户 安全权限管理 拉式同步 单表同步 全库同步 权限 双机高可用集群 物理备份 逻辑备份 联机归档 18 基本技术指标 支持大数据量 实现TB到PB级数据量管理 单台服务器最大同时在线连接数达到10000个 一个安装实例中可以创建32768个用户数据库 一个用户数据库允许创建多达32768个表空间 一个表空间可包含32768个文件 一个数据库内允许创建多达20亿个表 一个表中的字段数最大可达2048个 一个唯索引表或簇集表允许容纳21亿条记录 一个常规表对记录数无限制 一个常规记录的最大长度可达64K字节 一个表中允许同时存在多个大对象字段 各大对象字段的数据尺度皆可达2G 一个表可分成2048个分区表 每个分区允许包含512个子分区表 实现完全行级封锁 不因封锁对象数增加而提高封锁级别 最低事务隔离级别为读已提交 19 高性能 并发请求事务处理能力达到10000次 分钟 在华为RH2280机架服务器上 数据插入能力更是达到12000条 秒 RH2280 4GRAM 2个4核2 33GHzCPU 2个SAS盘做RAID0 NTFS文件系统 WindowsServer2003EnterpriseSP2 技术特点 1 单线程管理所有连接 2 线程池 任务池 会话 事务与线程的动态绑定 3 SQL引擎采用执行节点动态组装技术 几乎为C语言级执行速度 4 采用基于事务号的多版本与行级锁想结合的策略 无需加锁 即可实现无阻塞的读 并且保证永不脏读 5 独创的锁管理策略 虚谷DBMS实现了无限制级行级锁功能 并且不随锁定行数的增加而升级锁级别 20 高安全 1 三权分治 2 四级权限 3 传输加密 4 存储加密 5 强制访问控制 B1级安全 21 高稳定 1 支持双机高可用集群 HA 保证用户业务永不中断 2 完善的备份 恢复功能 支持多种备份方式 a 物理联机热备份 b 物理冷备份 c 逻辑导入 导出库 d 逻辑导入 导出表 联机热备功能 不用中断服务也可实现物理级备份 3 自动备份计划功能 虚谷数据库已经在全国政协 国家计生委 四川省政法委 中国科学院 成都军区 四川省公安厅 四川省科技厅 四川省监狱管理局 成都市政府 核动力研究院等部门得到应用 最长的已平稳运行四年以上 未出现过任何故障 22 特色技术 单线程管理所有网络连接请求动态伸缩的线程池与任务池相结合的调度方案技工模型与吸管策略想结合的处理方式世界领先的无限制级行级锁技术 基于事务号的多版本与行级锁的并发控制方案 独特的锁管理策略 极少使用系统级资源 多种多级别内存管理器与松散内存释放策略相结合的内存管理系统一体化的存贮过程运行环境与SQL引擎环境 存贮过程引擎使用虚拟机技术支持T SQL与PL SQL存储过程互调用数据库路径与操作系统路径相映射数据刀片技术 23 虚谷DBMS系统架构 SQL92标准99 PL SQL结构化语法 24 单线程管理所有网络连接请求 主要设计与技术点说明 网络侦听线程 将网络请求与会话环境绑定形成请求任务 服务线程3 服务线程1 任务池 任务对象 带加工说明的工件 请求任务1 服务线程2 将网络请求与会话环境绑定形成请求任务 请求任务2 其它任务3 线程池 任务线程与任务及事务环境绑定并完成任务处理 任务 加工车间 返回结果 会话池 创建 消亡 绑定 25 主要设计与技术点说明 动态伸缩的线程池与任务池相结合的调度方案技工模型与吸管策略想结合的处理方式 主要设计与技术点说明 网络请求任务 日志写盘线程 任务池 线程池 网络请求任务 请求任务 优先级1 其它任务 请求任务 优先级2 其它任务 子任务1 优先级3 子任务2 请求被分析规划后形成的查询任务 批处理任务及其它系统内部任务 大任务分裂出来的子任务 PUT PUT PUT PUT PUT GET 绑定 进入处理阶段 线程管理器 保持适当的工作线程个数 创建 消亡 子任务N Buffer维护线程 工作线程1 工作线程2 26 世界领先的无限制级行级锁技术 基于事务号的多版本与行级锁的并发控制方案 主要设计与技术点说明 事务号 前像指针 记录1 数据块 事务号 前像指针 记录1前像1 事务号 前像指针 记录1前像2 回滚段或重做日志 由运行配置文件决定 事务号为最后更改记录的事务ID 可用于测试记录可见性 前像用于提供适当的记录版本并用于支持事务回滚 当记录被修改并未提交时 其它事务可通过读取前像达到既不脏读又不阻塞事务的效果 解释 优势 无附加的存贮开销 永远无脏读且多数情况下读不被阻塞 保证严格的可见性要求 命令甚至事务一旦开始 其数据视图即固定 不受其它事务更改的影响 无论事务锁定多少行 都不会增加锁资源的消耗 对多行的解锁极为快速 27 独特的锁管理策略 极少使用系统级资源在应用层实现封锁管理 锁元主要消耗应用层内存资源 不消耗系统级资源系统级锁资源的需求量仅为工作线程数 少数几个用于各种管理器 如 会话池管理器 任务管理器 Buffer管理器 线程池管理器 的封锁数因工作线程数很少且与并发访问数无太多关系 因此 大量并发请求不会增加对封锁的需求因系统提供无限制的行级封锁 而行级封锁实际并不开销锁资源 故任务执行过程中的封锁多为对表等对象的共享式封锁 封锁冲突通常较小 且由于粒度大 故开销的锁量较小 这将有利于提高锁管理的速度并有利于死锁检测与之匹配的任务调度策略偏重处于事务中的任务 有效减少事务级长锁的持有量 更进一步减少了锁表中活跃的锁元 主要设计与技术点说明 28 主要设计与技术点说明 Netmemory Session1 Transactionmemory Session2 Transactionmemory Catalogmemory Table1struct Priavatememory Proc1struct Priavatememory Task1struct Priavatememory ThreadWorkmemory perthread Submemory L1 Submomey L2 内存分配 管理系统 堆式内存管理器 链式内存管理器 片式内存管理器 操作系统内存管理接口 29 一体化的存贮过程运行环境与SQL引擎环境 存贮过程引擎使用虚拟机技术 主要设计与技术点说明 常量区 代码区 变量栈 调用栈 异常栈 参数区 局部变量区 运算区 包全局变量区 IP SP BP FP EP ADJSP2 3 LOAD1 ICONST10 ADDI STO1 SQL引擎 统一调用界面 直接存取虚拟机变量 虚拟机 语法解析 任务规划 计划执行 结果输出 30 同时支持PL SQL与TSQL风格的存贮过程语句 主要设计与技术点说明 网络侦听线程 PL SQL T SQL CreateFunctionproc1 iinteger returnintegerASBeginreturnproc2 i Endproc1 PL SQL存贮过程 T SQL存贮过程 CreateFunctionproc2 iinteger returnintegerdeclare jinetgerset j 2if i 1return j proc2 i 1 elsereturn j 2 i PL SQL对TSQL的调用 内部处理过程 31 资源非平均分配与资源自适应运用策略以排序为例 主要设计与技术点说明 全局排序区 排序任务1 得到足够内存可迅速完成排序 此内存区被任务1占用 排序任务2 得到足够内存可迅速完成排序 此内存区被任务2占用 排序任务3 得不到足够内存 任务3占用 虚文件 32 数据库路径与操作系统路径相映射 支持大量数据文件快速搬移 主要设计与技术点说明 C data space1 dbf C data space1 dbf table1 table2 data space1 dbfC data space1 dbf data space2 dbfC data space2 dbf 映射 data space1 dbf data space2 dbf 未搬移文件前 C data space1 dbf D data space1 dbf table1 table2 data space1 dbfC data space1 dbf data space2 dbfD data space2 dbf 映射 搬移文件后 Tablespace Tablespace data space1 dbf data space2 dbf 33 即插即用式数据类型扩展方式 数据刀片技术 主要设计与技术点说明 数据类型 操作符 函数Catalog 数据类型速查表 操作符速查表 函数速查表 编译器 任务规划器 查找 系统内建数据类型 函数 操作符 数据类型 函数 操作符插件 DLL文件 内建类型 函数 操作符加载器 插件加载与转换器 34 与主流数据库比较 35 虚谷DBMS管理器XGManager 36 虚谷DBMS安全管理XGSecurity 37 虚谷DBMS审计管理XGAuditor 38 虚谷DBMS查询分析器XGSql 39 虚谷DBMS性能监控器XGMonitor 40 虚谷DBMS数据迁移工具 41 虚谷DBMS联机帮助 42 提纲 公司简介 产品展示 项目案例 前沿技术 新技术演示 43 案例一 全国政协提案管理系统 原全国政协提案管理系统使用JAVA语言开发前台操作界面 用ORACLE数据库做后台数据处理 全部业务逻辑编写在存储过程中 该项目主要使用的技术 A 所有业务逻辑全部在存储过程中执行 表单处理 数据集返回等等 采用procedure的优势在于脚本在数据库服务端执行 处理快 响应快 B 使用了oracle的全文检索功能 该项目中使用到该功能主要是对提案的对比 找出相似的委员提案 项目移植难点 1 业务逻辑复杂 表结构和存储过程多 378个存储过程和函数 30多个触发器 47个object类型 涉及数十万行代码 2 系统中用到很多ORACLE特有的系统包 函数 3 用到了全文检索功能 44 案例一 全国政协提案管理系统 虚谷数据库解决方案 1 不改变该项目的逻辑设计 2 全部兼容oracle的存储过程 3 增加oracle特有的系统包DBMS SQL DBMS SCHEDULER DBMS LOB 4 增加全文检索功能 实现CTX DOC包 项目亮点 1 在一些统计处理上 虚谷数据库执行速度远远高于oracle 2 完全兼容ORACLE的PL SQL语法 存储过程基本无改动迁移 3 各种支持包的实现 充分说明虚谷数据库的可扩展性非常强 4 虚谷CTX DOC系统包的实现 展现了成都欧冠公司的技术实力 45 案例一 全国政协提案管理系统 46 案例二 政法委六网合一 四川省政法委六网合一项目总共投资2亿 在这个项目中 虚谷数据库与北京托尔思公司的WCM内容管理平台一起 承担起维护省 市政法系统133个网站内容的后台管理任务 该系统运行在IBM的AIX6平台下 目前运行平稳 项目亮点 1 无缝对接 北京托尔思公司的WCM内容管理平台是一套基于标准JDBC接口开发的成熟网站内容管理系统 其支持的数据库类型原本只有ORACLE SQLSERVER DB2等国际主流DBMS 在这个项目中 代码基本没改动 他们只增加了一个虚谷DBMS的连接入口 整个系统就正常的运转起来了 2 系统运行在IBM的AIX6平台下 47 案例二 政法委六网合一 48 案例三 成都市高新区政府IT服务质量评价系统 49 用户案例 50 用户案例 51 提纲 公司简介 产品展示 项目案例 前沿技术 4 新技术演示 52 云架构 一种商业模型分布式运算按需获取资源一种服务 虚谷云数据库 云计算是一种商业计算模型 它将计算任务分布在大量计算机构成的资源池上 使用户能够按需获取计算能力 存储空间和信息服务 53 云数据库需求 云时代对数据库的需求海量数据处理 对类似搜索引擎和电信运营商级别的经验及分析系统这样大型应用 需要能够处理PB级的数据 同时应对百万级的流量 大规模集群管理 分布式应用可以更加简单地部署 应用和管理 低延迟读写速度 快速响应速度能够极大地提高用户的满意度 建设及运营成本 云计算应用的基本要求是希望在硬件成本 软件成本及人力成本方面都将有大幅度的降低 传统关系型数据库的劣势高并发读写速度慢支撑的容量有限扩展性差建设和运维成本高 54 虚谷云数据库的驱动力 业务需求的拉动 希望解决资源利用率 计算能力不足和成本的问题 技术发展的推动 软 硬件技术的发展推动了IT创新的商业价值 技术发展 55 虚谷云数据库解决的问题 56 网络管理层 Storage数据存储管理机组 Master主控机组 Work工作机组 JDBC ODBC ADO Catalog管理 节点管理 全局锁管理 TaskTracker跟踪 处理 权限管理 Tablet存储 更改 Tablet扫描 Tablet副本同步 Tablet迁移 复制 故障判断 处理 客户请求处理 任务规划 执行 分布式事务管理 虚谷云数据库系统结构 用户应用层 负载迁移 控制 57 虚谷云数据库特点 1 超大规模 2 价格低廉 4 高稳定 6 易管理 3 高扩展 5 高效率 XG云数据库 技术特点 多达60000节点管理能力廉价服务器组建云库节点动态伸缩数据副本容错节点同构可互换分布式存储 运算基于SSH的自举功能 58 虚谷云数据库特色技术 中央服务器组织模式控制流和数据流分流节点动态加入数据分散存储数据副本方式容错分布式运算带流量控制的网络通讯协议 59 中央服务器模式 为何要采用这个模式 整个云系统中 有大量的节点动态加入和退出 如果采用完全对等的 无中心的模式 那么如何将WorkServer和StorageServer的更新信息通知到系统中的每一个节点 会是设计的一个难点 而这也将在一定程度上影响系统的扩展性 优势 MasterServer负责管理整个云数据库系统中的所有元数据 增加新的WorkServer和StorageServer是一件十分容易的事情 WorkServer和StorageServer只需要注册到MasterServer上即可 各WorkServer和StorageServer之间无任何关系 瓶颈 大量处理工作流和信息流都流经此处 MasterServer极易成为整个系统的性能 安全瓶颈 60 1 控制信息流和数据信息流分流 2 MasterServer节点采取双机容错方式构建 3 MasterServer支持动态扩容功能 4 控制整个云数据库内Catalog元数据的规模 降低数据传输量 中央服务器模式 61 节点动态加入 1 新节点安装SSH协议 并入网络 2 通过管理工具 把其添加到配置表中 3 管理工具使用SSH协议检测 初始化该节点 4 MasterServer向云中其他节点发送节点增加消息 5 云中各节点同步刷新各自的活动节点表 M W S W S W W S S 中心交换网 W S S 62 数据分布式存储 Tablet分片存储 在虚谷云数据库中 最低的管理单位是Tablet存储片 每一个Tablet片存储8MB数据 表数据分散存储在不同StorageServer上的多个Tablet存储片中 多副本存储 每个Tablet都有多个存储副本 默认为两份 分别存储在不同的StorageServer上 对于每一个Tablet 必须将所有的副本全部写入成功 才视为成功写入 存储容错机制 如果相关的副本出现丢失或不可恢复等状况 MasterServer会自动将该副本复制到其他StorageServer上 从而确保副本保持一定的个数 无表空间管理层 在虚谷云数据库中 已经取消了通用数据库的表空间管理层 所有的存储空间都由系统自动管理 用户不再能指定数据文件的存放位置 采取副本的优势 存取安全 读取高效 成本低廉 63 数据分布式存储 存储节点错误处理机制 Node N Master主 Master备 节点变化Msg Node2 Node4 NodeN 1 S 复制数据 完成转移 副本转主本 更新本机活动节点表 64 分布式运算 分布式并行运算充分调用云内的计算资源 快速响应用户请求 任务追踪模块追踪检测任务执行情况 65 带流量控制的安全UDP网络协议 UDP通讯协议 RPC通道 RFC通道 RNT通道 数据完整性校验 数据流量控制 数据查询 函数调用流 通知信息 存储迁移 控制流 DML操作 UNIX LINUX等操作系统 如何解决连接问题 采用UDP协议 如何解决数据完整问题 大量数据在网上传输的时候 如何有效利用系统内存 数据分片发送 接收 66 系统状态监测 定时同步机制 各节点每3秒进行一次心跳握手