9《金税三期工程关键技术验证报告》V1.0.doc

金税三期工程关键技术验证报告金税三期工程关键技术验证报告 V1 0V1 0 电子文档 税务信息化建设现状评估报告税务信息化建设现状评估报告 编 写 人金税三期工程总体规划设计与工程管理咨询项目组 审 核 人金税三期工程办架构组 批 准 人金税三期工程办 密 级内部文档 提交时间 2010 2 11 文档编号 JSSQGCZTGH 12 金税三期工程总体规划设计与工程管理咨询项目组金税三期工程总体规划设计与工程管理咨询项目组 20102010 年年 2 2 月月 修订记录 版本版本章节章节修改内容修改内容修改人修改人修改时间修改时间 V1 0 文档创建总体规划设计项目组 目目录录 第第 1 章章 概述概述 5 1 1 读者 5 1 2 目的 5 1 3 参考资料 5 1 4 术语及缩写 6 第第 2 章章 评估方法评估方法 7 第第 3 章章 评估过程组织评估过程组织 9 3 1 电子表单 9 3 1 1 评估内容 9 3 1 2 评估分析 15 3 1 3 过程产出物 22 3 1 4 评估结论及建议 22 3 2 内存数据库 23 3 2 1 评估内容 23 3 2 2 评估分析 26 3 2 3 过程产出物 28 3 2 4 评估结论及建议 28 3 3 数据集成技术 30 3 3 1 评估内容 30 3 3 2 评估分析 33 3 3 3 过程产出物 43 3 3 4 评估结论及建议 43 3 4 工作流 44 3 4 1 评估内容 44 3 4 2 评估分析 49 3 4 3 过程产物 63 3 4 4 评估结论及建议 63 3 5 规则引擎 65 3 5 1 评估内容 66 3 5 2 评估分析 68 3 5 3 过程产物 70 3 5 4 评估结论及建议 70 3 6 XML 数据库 71 3 6 1 评估内容 71 3 6 2 评估分析 73 3 6 3 过程产物 77 3 6 4 评估结论及建议 77 3 7 ESB 中间件 77 3 7 1 评估内容 78 3 7 2 评估分析 80 3 7 3 过程产物 84 3 7 4 评估结论及建议 84 第第 1 章章 概述概述 在项目总体架构过程中总会遇到某些需要解决的技术问题 这些问题可以 是现有项目中遇到的已知问题 也可能是在规划的过程中 由于总体架构的变 化带来新的技术要求所引发的问题 在得到有效解决以前将会继续存在 为解 决这些已知或可预知的问题 通过采用某些关键技术点来达到目的 但关键技术点能否真正有效的解决以上的问题 是否适合新项目中的应用 它们的稳定性 性能 灵活性和扩展性等是否符合本项目的需求 都需要进行 评估论证 识别出其中可能存在的技术风险 本文档包括可能会应用到金税三期项目中的关键技术点内容 对关键技术 进行评估的方法 以及记录评估论证过程和最终的技术评估结论 1 1 读者读者 国家税务总局各级领导 金税三期工程管理办公室 金税三期总体规划设计项目组 甲乙双方成员 国家税务总局指定的外部专家 神州数码信息系统有限公司金税三期工程总体规划设计项目领导小组 其他 由国家税务总局 PMO 指定 1 2 目的目的 技术评估论证的目的 1 识别关键技术应用于金税三期项目中可能存在的风险 2 评估关键技术应用于金税三期项目的可行性 适用性 3 筛选出关键技术具有代表性的产品 1 3 参考资料参考资料 金税三期工程关键技术验证方案 金三征管系统原型性能测试方案 金税三期工程业务需求说明书 金税三期工程技术基础架构设计方案 技术架构分册 金税三期工程应用架构蓝图设计方案 V1 0 开普智能表单 UCAPFormPro4 1 2 白皮书 东方易维 BizFocus 业务中间件产品技术白皮书 全球最快的内存数据库技术介绍 TimesTen Haley Rule Service Scalability Report 第三方测试报告 Oracle OPA for Tax SynchroFLOW 产品白皮书 10 OSB 白皮书 1 4 术语术语及缩写及缩写 国家税务总局 国税总局 或 总局 金税三期工程 简称 金税三期 金税三期工程总体架构规划设计项目 以下简称 本项目 金税三期工程关键技术验证报告 以下简称 本文 CTAIS 是税务信息化建设的总体目标 即 中国税收管理信息系统 简 称为 金税工程 英文缩写为 CTAIS SAT 国家税务总局的英文缩写 SOA SOA 面向服务的体系结构 service orientedarchitecture SOA 是一个系统软件组件模型 WFMC 国际工作流管理联盟 Workflow Management Coalition WfMC XML 可扩展标记语言 Extensible Markup Language ESB 企业服务总线 ESB Enterprise Service Bus 第第 2 章章 评估方法评估方法 技术评估主要利用推演和论证的方式来进行验证 针对典型业务场景 的非功能性需求进行分解或归纳 然后将其对应到各类关键技术点 结合 具体的非功能性指标要求利用工业指标 参考案例以及技术原理等形式来 论证各类技术的合理性和可用性 技术评估验证的主要过程如下 根据选取的典型业务场景确定其整体的非功能性需求 例如性能要 求 可靠性要求 灵活性要求等 根据应用架构设计思路对典型业务场景进行技术拆分 识别出其中 的各类关键技术环节以及在当前场景下各环节关注的重点指标特性 选取各类关键技术具有代表性的三家产品 包括国内和国外的产品 通过收集这些产品技术资料 并按照关键技术的验证指标对这些 资料进行初步分析整理 根据初步分析整理的结果与各产品厂商进行技术交流 了解产品的 实现原理及相关特性 从多个层次多个角度了解和评估该产品与关 键技术验证指标的满足度 对得出的指标要求及相关产品特性进行评估分析 以及就该产品能 否应用于金三项目并解决现在所遇到的问题进行评估分析 根据指 标特点的不同选取相应的评估方法 例如独立第三方的评测数据对 比 同等规模的项目案例对比以及技术性原理的论证等 最终给出 每一类技术的满足程度 根据评估分析结论给出相应的评估建议 第第 3 章章 评估过程组织评估过程组织 3 1 电子表单电子表单 越来越多的用户在使用信息系统时发现 日常最大量面对的信息不是纯粹 的结构化数据或非结构化文档 而是需要处理大量介于二者之间的表单及文档 信息 作为人机沟通的主要工具 表单和文档不仅正逐渐成为用户自身业务系 统的核心 也是自身业务流程和后台系统与客户 合作伙伴 供应商间信息对 接的公共接口 因此 这就需要一个更好地信息处理方式支持自动地将基于表 单和基于文档的信息应用于现有的业务流程整合 并安全地实现与其他系统间 的信息共享和脱机访问 为了解决现实应用中大量存在的介于结构化数据与非结构化文档之间的信 息处理 国内外软件公司推出了一种新的软件产品 电子表单 什么叫电子表单呢 电子表单就是通过采用可视化的设计工具 Designer 所见即所得的设计 方式制作可仿真纸面效果的 Web 表单 通过后台的服务器引擎发布 解释 合 并 接收 处理和验证表单信息 实现各种基于电子表单的信息发布和办事需 要 主要针对政府及企业用户大量的信息采集 申报 流转和监控需要 通过 可视化的设计工具 Designer 所见即所得的设计方式 制作仿真纸面效果的 电子表单 自定义表单处理流程 规划表单数据映射关系 通过服务器管理界 面按照组织和应用特征来集中管理表单的存取 存储 版本 分发 权限 安 全控制 应用系统通过调用服务接口来发布 解释 合并 接收 处理和验证 表单模板及数据 驱动表单工作流程 完成处理和监控电子表单在组织内外运 行的全过程管理和表单信息的入库管理 3 1 1 评估内容评估内容 3 1 1 1 应用场景应用场景 电子表单的应用场景主要分以下几种情况 1 面向以数据 文档为中心的交易型应用 作为数据采集工具进行业务 数据的采集 包括数据录入 调查问卷等 能够进行数据校验 字段 级权限控制 可以是面向税务系统操作人员的内网应用 也可以是面 向纳税人的互联网应用 2 作为文书流转过程中的数据载体 进行数据展示 流转过程的数据填 报等 3 作为数据报表工具展示业务操作结果及分析结果 把以上的几种应用场景按照业务域进行划分 业务场景分为以下几类 3 1 1 2 技术原理技术原理 3 1 1 2 1 应用架构应用架构 3 1 1 2 2 电子表单结构电子表单结构 表现层 高度仿真传统纸面表单 样式 逻辑层 自动提取以往填报的信 息 填写数据可进行校 验和计算 安全层 可设定不同对象处理不 同字段 支持加密传输 和数字签名 签章 数据层 实现填写信息直接入 库 支持XML格式实现 数据交换 3 1 1 3 技术指标技术指标 验证 特性 验证指标指标说明 指标要 求 权重 在给定计算环境下所能够 支撑的表单实例 以及表 单加载到客户端的性能表 现 验证表单服务器在给定的计算环境 下能够处理的表单实例数量 以及 每一表单模板加载到用户端的平均 时间 并发数 达到 7000 同 时每次 响应时 间不超 过 1 秒 10 电子表单对客户端的要求 硬 软件 插件 验证表单对客户端的软 硬件方面 的要求 8 性能 数据提交保存机制 数据 验证表单进行数据提交的性能开销 并发数 达到 10 提交的性能如何保证提交环节不会对整个交易造成 性能延迟 7000 同 时每次 响应时 间不超 过 1 秒 对集群的支持及集群时的 性能表现 验证在应用规模扩大时系统负载能 力性线扩展的能力 10 可靠 性 保证表单数据的安全和防 抵赖 验证表单保证数据安全所采取的保 障措施 防止数据被篡改 防止数 据提交用户抵赖 8 数据输入 出的方便性 验证在表单中录入数据的方便性 能否支持通过键盘操作快速完成数 据输入 9 对条形码 二维码的支持 验证电子表单是否支持条形码 二 维码 提供数据的快速输入功能 6 表单完成各类规则校验和 页面逻辑控制满足不同的 应用场景 验证表单完成各类规则校验和页面 逻辑控制 9 表单样式的定义能力 验证表单的样式定义是否能满足各 类业务的样式需求 9 灵活 性 对在线 离线填写的支持程 度 如何操作 提供表单离线填写功能 用户可以 下载表单模板 通过离线填写工具 填写表单 并提交数据 7 与应用的集成能力 验证表单同各类应用系统的集成的 工作量 9 扩展 性 与权限系统的集成能力 验证表单与各类第三方权限系统的 集成机制和适应度 9 开放 性 对操作系统的支持及中间 件的支持 5 可维 护性 管理的便捷性 相关管理工具 开发 部署 运行监 控 及管理的便捷性 7 原型测试中申报场景对响应时间指标提出的要求 指标指标指标要求指标要求 响应时间 平均响应时间参考值 秒 提交过程 3 5 秒 平均响应时间参考值 秒 3 5 秒 峰值响应时间参考值 秒 10 秒 以下数据按 2009 年国税业务量进行估算 未来的增长率按每年 10 估算 综合地税的估算可以按照国税的两倍来计算 单位单位 征管操作征管操作 人员数量人员数量 内部交易内部交易 笔数笔数 每秒 每秒 纳税人数纳税人数 互联网报税 互联网报税 纳税服务平台纳税服务平台 交易笔数交易笔数 每秒 每秒 合计合计 交易笔数交易笔数 每秒 每秒 全国 国税 200 000 估算 4000 1500 万 按 照小规模查账 征收和一般纳 税人之和估算 7000 估算 11000 6 个试 点单位 50 000 估算 1000 200 万1000 估算 2000 如果网上申报场景应用电子表单技术 纳税服务平台的并发数按 7000 进 行计算 大厅申报假如也采用电子表单技术 但大厅系统是部署在省局 所以 征管操作人员的并发数不计算在内 申报对电子表单的并发数要求仍然按照 7000 计算 其中电子表单的加载时间不大于 1 秒 表单数据提交的时间不大于 1 秒 期间每次表单与后台的交互时间也不超过 1 秒计算 所以要求电子表单在并发电子表单在并发 数达到数达到 7000 同时每次响应时间不超过同时每次响应时间不超过 1 秒秒的情况下所需要的硬件配置 3 1 2 评估评估分析分析 关键技术的评估论证我们基于以下方法和原则进行 关键技术作为一些相 似技术或产品的总称 它是虚的 抽象的技术概念 这一概念之下的产品除基 本原理相同外 其它方面的功能可能千差万别 仅从名词上是无法衡量这一技 术本身的优劣性 稳定性 灵活性 可扩展性以及应用于金三项目的适用性等 特点 所以我们通过选择该关键技术的典型的 具有代表性的 主流的产品来 作为技术评估的对象 我们预先制定出关键技术的指标及要求 以及它们需要 被满足的优先级 然后逐个衡量入选产品在这些指标上的满足度 最终给出该 关键技术的整体水平以及是否适合应用于金税三期项目中 在对前期收集到的表单技术资料进行初步分析和筛选之后 我们选定了以 下三种产品作为最终评估的对象 UCAPFormPro 开普互联公司在国内率先开发出该表单系统 以表单 应用为核心特征的新一代智能表单应用平台产品 主要针对政府及企 业用户大量的信息采集 申报 流转和监控需要 通过可视化的设计 工具 Designer 所见即所得的设计方式 制作仿真纸面效果的电子 表单 自定义表单处理流程 规划表单数据映射关系 通过服务器端 引擎 FormProServer 发布 解释 合并 接收 处理和验证表单数据 驱动表单工作流程 完成处理和监控电子表单在组织内外运行的全过 程管理和表单信息的入库管理 BizFocuseForm 东方易维推出的电子表单系统是一套纯 java 嵌入式电 子表单系统 它基于业内最新的 AJAX 技术实现了纯 Web 无控件可视 化表单编辑 Adobe 电子表单系统 AdobeLiveCycleDesigner 是一款点按 point and click 图形表单设计工具 它简化了表单设计的创建过程 以便以 AdobePDF 表单形式分发 表单接收者可以在线填写表单 提交数据并 将其打印出来 或用 AdobeReader 打印出表单手工填写 以下是三种产品对应的指标特性满足情况二维表 3 1 2 1 UCAPFormPro 电子表单电子表单 特序指标结果备注 性号 1在给定计算环境下所 能够支撑的表单实例 以及表单加载到客户 端的性能表现 不满足100 个并发的情况下平均响应时间 转换模板 3 949 秒 提交数据 0 878 秒 加载表单及数据 4 575 秒 2数据提交保存机制 数据提交的性能如何 一般满 足 内置数据映射引擎 支持表单数据与数据库 结构的映射 可是以通过映射从数据库中加 载数据 也可以通过映射把数据从表单加载 到数据库 数据提交性能见第 1 行 性 能 3电子表单对客户端的 要求 硬 软件 插件 满足操作系统 Windows2000 XP VISTA Win7 浏览器 IE6 0 以上 浏览器客户端 支持无插件的 html 模式 支持 ocx 插件模式 如需进行数字签名需要 ocx 插件 4对集群的支持及集群 时的性能表现 满足支持表单服务器与应用服务器的分开部署 支持表单服务器的集群 可 靠 性5 如何保证表单数据的 安全和防抵赖 满足支持口令和证书方式加密保存和传输 在线 离线电子签名 在线 离线电子签章 电子签名和电子签章可加盖于指定字段 经签名和签章后的内容不可篡改 可作为证 据保留 并可追溯历史记录 6数据输入 出的方便性满足支持 tab 和回车键的键盘录入灵 活 性 7 对条形码 二维码的 支持 满足支持条形码 支持二维码 417 格式 数据量最大支持 4K 字节 中文字 2K 但实际使用时达不到 4K 的数据量 8 表单完成各类规则校 验和页面逻辑控制满 足不同的应用场景 满足支持数据字段本身合法性校验 支持数据字段间规则和页面逻辑控制 支持加载到客户端的多个表间数据的规则及 逻辑校验 内置 18 种函数 支持自定义函数 9 表单样式的定义能力 满足提供表单设计工具 提供常用的电子表格模板 支持发布和预览多种格式的表单 HTML XHTML WML DHTML PDF 可视化操作环境 简单拖拽完成复杂表单制作 完全仿真纸张效果 20 种基础组件 支持自定义组件包括 静态 文本 输入框 密码框 列表框 单选框 按钮 图形 图像域等 26 种扩展组件 对于表单中常见的输入项 如 身份证号码 电话号码 邮政区号 E mail 地址 出生日期等 也可以定义一些组合控件 如 包含姓名 电话 E mail 单位 住址的组合控件 10 对在线 离线填写的支 持程度 如何操作 满足1 保存成 xml 再提交 验签数据还保存 2 预先在离线表单中填写好地址 直接 按地址提交 11 与应用的集成能力 满足提供 JAVA API 开发接口及 SOAP API 供 各类应用系统的调用 主要提供 webservice ejb 两种方式 扩 展 性 12 与权限系统的集成能 力 满足支持按照不同部门 不同用户 不同角色授 于不同的操作权限 支持多级权限状态设置 支持自段级权限 开 放 性 13对操作系统及中间件 的支持 满足操作系统 WindowsServer2000 2003 Linux Unix 数据库 Orcale8i 9i Sqlserver2000 2005 Mysql4 1 以上 JDK 1 4 2 以上 应用服务器 Jboss4 0 5 Weblogic8 1SP4 WebSphere 6 0 TongWeb4 6 4 8 KingdeeApusic5 1 6 0 兼 容 性 14该产品与其它产品或 系统的技术上的兼容 性 是否存在技术上 的相互冲突 满足支持 html 方式和 ocx 方式两种客户端 15相关管理工具 开发 部署 运行监控 及管 理的便捷性 满足开发设计 表单设计器 流程设计器 映射 设计器 运行 表单服务器 安全服务器 文档库服 务器 流程服务器 数据映射引擎 可 维 护 性 16支持表单应用热部署满足支持表单实例的缓存和修改后自动加载 注 以上性能测试都是基于以下硬件环境 服务器设备 PC AMD64x2DualCoreProcessor4200 2 20GHz 960MB 内存 硬盘 7200 转 8M 操作系统 WindowsXPsp3 软件环境 Jboss4 0 5 jdk1 5 0 15 网络环境 LAN 100M 客户端 PC WindowsXPsp3 IE8 3 1 2 2 BizFocuseForm 电子表单电子表单 特性序号指标结果备注 1在给定计算环境下所能够 支撑的表单实例 以及表 单加载到客户端的性能表 现 不满足表单加载时间不超过 1 秒下的最大 并发数 17 2电子表单对客户端的要求 硬 软件 插件 满足支持两个版本的客户端 Html 和 Flash Flex 前者不需要任何插件 后者需要 Flash 播放器 Flash 播 放器基本上是浏览器的标准配置 性能 3数据提交保存机制 数据 提交的性能如何 一般满 足 数据通过 Ajax 方式异步提交 4 对集群的支持及集群时的 性能表现 满足支持集群 可靠 性 5如何保证表单数据的安全 和防抵赖 不满足暂不支持数字签名及验签 只提供 接口 6 数据输入 出的方便性 满足支持 XML 等多种数据导入导出机 制 支持 tab 键进行数据快速录入 7 对条形码 二维码的支持 不满足条形码 二维码暂不支持 系统控件是可扩展的 可以根据需 要扩展控件类型 8 表单完成各类规则校验和 页面逻辑控制满足不同的 应用场景 满足支持标准校验 基于正则表达是的 校验 基于公式的校验 基于脚本 的校验和基于自定义业务逻辑的校 验 校验可以在前台或后台执行 灵活 性 9 表单样式的定义能力 满足提供基于 IE 的表单设计器 1 提供表单基础控件 2 复杂的控件 树 组织结构 3 容器控制 节 重复节 4 Office 风格的表格 5 流布局和绝对定位 10对在线 离线填写的支持程 度 如何操作 不满足暂不支持离线 11 与应用的集成能力 满足1 具有开放的接口 支持调用后 台服务 包括 Java 服务 WebService 等 2 支持多种后台持久化机制 与 不同的数据存储机制集成 3 具备 API 接口 能够访问表单 定义 表单实例等信息 与其 他应用集成 扩展 性 12 与权限系统的集成能力 满足1 支持灵活的权限定义方式 可 以通过用户 角色 会话变量 表 单域等多种变量 基于公式进行权 限计算 2 授权单位可以到一个控件 一 个容器 或表单 开放 性 13对操作系统及中间件的支 持 满足1 支持所有主流的操作系统 2 支持所有符合标准的 J2EE 应 用服务器 兼容 性 14该产品与其它产品或系统 的技术上的兼容性 是否 存在技术上的相互冲突 满足前端客户端为基于 html 和 flash 标 准技术 与其它系统兼容在客户端 上 15相关管理工具 开发 部署 运行监控 及管理的便捷性 满足支持开发 部署 监控 调整的全 生命周期管理 可维 护性 16支持表单应用热部署满足部署表单的时候 不需要重启服务 器 性能测试环境 服务器 PC 奔 4 2 0G 内存 2G 带宽 100M 局域网 操作系统 windows2003Server 数据库 Oracle10g 应用服务器 Tomcat6 0 测试的表单界面 3 1 2 3 AdobeLifeCycle 电子表单电子表单 暂时没有该产品的相关资料及应用案例资料 该产品在国内应用很少 3 1 3 过程产出物过程产出物 金税三期关键技术评估指标表 开普互联电子表单系统测试报告 东方易维 电子表单技术白皮书 性能 3 1 4 评估结论及建议评估结论及建议 从总体来看 电子表单产品有以下优势 1 提供仿真纸面效果的电子表单 2 具有快速 便捷的开发工具 便于进行快速的应用开发 适应表单 位的样式快速变化 3 减少信息管理成本 4 组织内外发生基于表单流转的应用 5 分布式和分级式信息采集和报送 从产品来看 开普互联和东方易维的产品代表目前国内主流的电子表单技 术 其中东方易维的产品除了对数字签名 条形码 二维码以及离线操作不支 持以外 其它功能基本上都满足评估指标中的相关要求 它支持两种方式的客 户端 html 和 flash flex 不需要另外安装厂商自行开发的客户端插件 更容 易兼容其它客户端技术 相比东方易维的产品 开普互联的产品对功能的支持比较完整 包括对数 字签名和签章 对条形码和二维码以及离线操作的支持使得在适应金税三期业 务需要时更具有灵活性 它支持两种方式的客户端 html和ocx插件的方式 在 普通的表单应用中可以直接使用html客户端 如需要进行数字签名 条形码二 维码和离线操作等功能时 则需要客户端安装了ocx插件 该技术也是比较普遍 的客户端插件技术 该产品一个突出的特点是应用案例比较多 且很多都是应 用于政府行业 包括澳门民政总署一站式综合服务管理系统 农业部的 金农 工程 科技部 国防科工委等等 从功能的成熟度来看还是比较稳定 但这些 系统的应用规模跟金税三期的全国大集中规模不可同日而语 在考虑到电子表单应用于申报场景之中 其中最需要优选被满足的是性能 指标 而真正影响表单性能及并发数的是 CPU 的处理能力 从以上两家厂商提 供的性能测试报告情况来看 目前主流的电子表单产品在申报表单加载到客户 端不超过 1 秒的情况下 一个双核的 P4CPU 最大支持并发数在 10 30 之间 如果按照性能指标中要求的 7000 个并发 则必须达到 300 个 CPU 规模的硬件 配置以上 对硬件资源的需求相当大 因此不太适合在申报这种高并发的业务 场景中应用 可以考虑一些并发性不高的业务场景 具体业务场景需要再进一 步的确认 建议在网上申报业务中不采用电子表单技术产品 可以采用 jsp 方式替代 其在电子表单方面的需求 3 2 内存数据库内存数据库 内存数据库 顾名思义就是将数据放在内存中直接操作的数据库 是主要 支持实时事务的技术 其本质特征是其 主拷贝 或 工作版本 常驻内存 即活动 事务只与实时内存数据库的内存拷贝打交道 显然 它要求较大的内存量 但 并不要求任何时刻整个数据库都能存放在内存 即内存数据库系统还是要处理 I O 操作 实时内存数据库的设计打破传统磁盘数据库的设计观念 考虑内存直 接快速存取的特点 以 CPU 和内存空间的高效利用为目标来重新设计开发各种 策略与算法 技术 方法及机制 3 2 1 评估内容评估内容 3 2 1 1 应用场景应用场景 从该技术本身的特性来看内存数据库的应用场景如下 应用需要对数据的低时延和高吞吐量的访问 同时需要数据源能够提 供数据库的 ACID 特性 加载到内存数据库中的数据会被频繁地重复访问 应用的交易特点是单个交易时间很短但是要同时处理大量的交易 应用对高可用性有非常高的要求 传统的 HA 方式难以满足要求 内存数据库本身以简化操作和提高性能作为主要设计目标 由于全部 数据库都存放在内存中 内存的特点导致不能自动实现水平扩展性 应用需要配合内存数据库的特点进行设计 比如使用应用数据分区来 实现水平扩展性 3 2 1 2 技术原理技术原理 内存数据库技术特性 所有数据存于物理内存 采用关系型数据模型 针对物理内存而特别设计优化的数据存储结构与算法 多进程 多线程共享数据存储 DataStore 标准 APIs ODBC JDBC SQL92 部署于应用服务器 可以与磁盘数据库结合使用 3 2 1 3 技术指标技术指标 特序指标指标说明指标要求权重 性号 1并发插入 更新 删除 查询的性能表现 验证在大并发的场景中 内存 数据库的插入及数据更新性能 9 2最大并发用户数验证内存数据库支持最大并发 用户数 5 3能够管理及支持的最大 内存数 验证内存数据库能够管理及支 持的最大内存 6 4与磁盘数据库的结合能 力及性能表现 验证内存数据库与磁盘数据库 进行混合使用时的结合能力及 性能表现 9 5数据复制时的性能表现 及机制 形式 验证内存数据库在节点之间进 行数据复制时的性能 机制 9 性 能 6数据从磁盘加载到内存 的性能表现 验证内存数据库在启动时数据 从磁盘加载到内存时的性能表 现 5 7对集群的支持及集群时 的性能表现 验证内存数据库对集群的支持8 8事务处理机制验证事务处理的成熟度10 9 异常处理及异常恢复机 制 断电保护 验证在系统发生异常时的处理 机制 以及其后的异常恢复机 制 10 10数据缓存组的运行模式 查询 可更新 可老化 8 11数据备份机制9 可 靠 性 12在内存数据库与磁盘数 据库之间的数据刷新机 制 7 扩 展 13 对 SQL 标准的支持 对 SQL 标准的支持 SQL 语 法 存储过程 函数 触发器 10 等与已有的磁盘数据库 SQL 标准有何异同 性 14 对传统应用架构有何影 响 已有磁盘数据库应用移植到内 存数据库上 对应用本身所产 生的影响 移植的工作量 10 开 放 性 15对操作系统的支持验证内存数据库对操作系统的 支持 5 可 维 护 性 16相关管理工具及管理的 便捷性 7 3 2 2 评估评估分析分析 关键技术的评估论证我们基于以下方法和原则进行 关键技术作为一些相 似技术或产品的总称 它是虚的 抽象的技术概念 这一概念之下的产品除基 本原理相同外 其它方面的功能可能千差万别 仅从名词上是无法衡量这一技 术本身的优劣性 稳定性 灵活性 可扩展性以及应用于金三项目的适用性等 特点 所以我们通过选择该关键技术的典型的 具有代表性的 主流的产品作 为技术评估的对象 我们预先制定出关键技术的指标及要求 以及它们需要被 满足的优先级 然后逐个衡量入选产品在这些指标上的满足度 最终给出该关 键技术的整体水平以及是否适合应用于金税三期项目中 在对前期收集到的表单技术资料进行初步分析和筛选之后 我们重点选定 OracleTimesTen 产品作为最终评估的对象 TimesTen 产品 特性序号指标结果备注 性能1并发插入 更新 删除 查询的性能 表现 满足提供微秒级的响应时间 与 磁盘数据库的响应速度存在 与磁盘数据库性能的对比数量级的差别 2支持最大并发用户数满足单个 DataStore 支持 2047 3能够管理及支持的最大内存数满足64 位版本基本没有限制 主 要受可用物理内存限制 4与磁盘数据库的结合能力及性能表现满足支持读或写方式与 Oracle 数 据库同步数据 性能主要受 Oracle 数据库限制 5数据复制时的性能表现及机制 形式满足Active standby 或 active active 多级 表级或 data store 级复制 同步与异步数据传送 故障自动恢复 冲突检测与解除 每两个节点互为主备 主备 节点间进行异步复制基本不 影响性能 同步复制会影响 响应时间 6数据从磁盘加载到内存的性能表现满足取决于磁盘系统的性能 7 对集群的支持及集群时的性能表现 满足支技基于内存共享的方式及 互为主备的方式提升内存数 据处理性能 8 事务处理机制 满足支持 ACID 数据在内存中发 生变化时以阻塞或非阻塞的 方式写入 checkpoint 文件和 log 9 异常处理及异常恢复机制 断电保护 满足从磁盘的 checkpoint 文件和 log 恢复 可靠 性 10数据缓存组的运行模式 查询 可更新 可老化 满足支持 11数据备份机制满足有专用备份和恢复工具 12 在内存数据库与磁盘数据库之间的数 据刷新机制 满足只读缓存组通过数据库内的 trigger 记录变化数据 管理 进程利用数据同步 可更新缓存组根据书签同步 数据 13 对 SQL 标准的支持 不满足支持标准 SQL99 但与已有 的 oracle11g 数据库语法会 有所差别 导致部分语法不 通用 扩展 性 14 对传统应用架构有何影响 满足应用需要考虑具体部署方式 工作量取决于选择的 API 如果是 J2EE 架构 采用 jdbc 方式访问只需要在部署 时选择不同的驱动 开放 性 15对操作系统的支持满足支持目前主流的各种操作系 统 可维 护性 16相关管理工具及管理的便捷性满足管理工作量小 有工具可以 集成到 EnterpriseManager 也有命 令行工具用于管理 3 2 3 过程产出物过程产出物 金税三期关键技术评估指标表 3 2 4 评估结论及建议评估结论及建议 内存数据技术对实时业务系统可以带来以下价值 为上层的应用提供稳定和高性能的支撑平台 为业务处理过程提供完整的事务支持 为快速变化的业务数据提供容易使用的访问接口 为数据管理提供标准化的平台 内存数据库属于关系型数据库 它的产生从本质上来说并不是与现有的磁 盘数据库进行竞争 磁盘数据库主要是解决业务系统中海量数据存储的问题 而内存数据库主要是解决对性能要求比较高的业务 它把数据都保存在内存中 利用内存快速寻址实现对内存数据库中的数据进行快速存取 以提高数据库的 整体性能 与磁盘数据库进行互补 TimesTen 均满足内存数据库的指标特性要求 产品采用双节点互为主备 的部署方式 保证数据库的吞吐能力同时保证数据安全和故障自动接管 同时 更新到内存数据库中的数据在磁盘上会保留映像 通过 checkpoint 和 log 文件 的方式保证系统在出现异常或断电后 不会发生数据丢失 该产品从数据安全 性能 管理 故障处理 与磁盘数据库的结合都有一套比较完整的解决策略 能够解决项目实施或运行过程中出现的相关问题 但是 内存数据库也存在如下问题 1 内存数据库与磁盘数据库之间数据同步的唯一索引问题 在混合使用内存数据库和磁盘数据库的时候 我们知道内存数据库 中的数据只是磁盘数据库中的一部分 因此当新数据写入到内存数据库中 时能够保证内存中的数据是主键及唯一索引 这时应用会返回执行已经成 功 但该数据经过一定的延时后才会同步到磁盘数据库 在这个过程将可 能会出现主键冲突或唯一索引的问题导致数据同步不成功 因为应用本身 是无法保证自身生成主键或唯一索引字段对应的值是唯一的 一旦发生这 种事情就是非常难处理的 2 大规模使用内存数据库会导致数据架构 应用架构的复杂性 每个内存数据库节点的内存数毕竟有限 因此只能选择加载海量数 据中的一部分 同时该技术只有当需要查询或访问的数据在本节点中才会 有比较大的性能优势 如果需要访问的数据在其它节点中或在磁盘数据库 上 它将丧失掉自身的性能优势 那么以何种维度 方式来分割这些数据 并把它加载到不同的节点成为一个比较复杂的事情 因为必须考虑分割后 的内存数据库及应用系统的扩展性 容错性等特性 同时因为人为的对这 些数据进行了逻辑上的切分及加载 导致后期的管理运维非常麻烦 3 与磁盘数据库 SQL 语法存在不一致 TimesTen 虽然支持 SQL99 标准 但是它与原来的 oracle 数据库语 法还是有些区别 那么在进行系统设计时必须考虑到两种数据库的 不一致性而增加系统应用架构的复杂度 复杂度的增加势必带来性 能 稳定性的风险 4 该产品目前主要应用于电信行业 在其它行业的应用案例比较少 同类的产品也基本是应用于电信行业 TimesTen 在数据存取方面与传统的磁盘数据库相比是具有明显的优势 但是我们在考虑把一个新技术应用于新项目中时 除了要考虑是否解决了原来 的问题以外 还要进一步考虑它是否会带来一些新的问题和麻烦 这种新问题 是不是致命的或解决起来比较棘手的 基于以上分析 全部使用内存数据库作 为应用与磁盘数据库之间的数据更新或查询的缓冲会有一定的技术风险 可以 考虑使用它作为只读缓存 来缓存变化不频繁的数据 对性能的开销非常少 而数据更新操作还是在磁盘数据库上执行 建议在进行充分的测试及论证之后再确定是否在项目中使用内存数据库 3 3 数据集成技术数据集成技术 针对数据集成技术的技术评估主要围绕 Oracle 公司的 GoldenGate 进行 本文档主要描述 GoldenGate10 4 19 本版的部分功能及性能测试活动 并对 测试结果加以分析 给出明确的测试结论 通过对该文档的阅读 可以了解到 GoldenGate 的实际测试过程 了解到测试用例的执行情况以及缺陷等内容 3 3 1 评估内容评估内容 本次测试主要 GoldenGate 软件在以下应用场景下的功能和性能 包括 1 GoldenGate 在多字段 超过 32 列 大表同步测试 1 有 无主键数据 DML 同步测试 2 GoldenGate 在运行中的网络带宽占用 1 无数据压缩情况 2 有数据压缩情况 3 GoldenGate 在两种同步方案中的功能应用 1 双向复制 2 一对多复制 4 GoldenGate 管理及监控界面使用测试 1 开发工具 2 监控工具 本次测试使用的 GoldenGate 版本为 10 4 0 19 3 3 1 1 应用场景应用场景 在实际 GoldenGate 应用场景中主要有以下几种方式 示意图如下 在税务业务场景中需要一种是双主 双向复制 另一种是一对多的数据分发 方式 3 3 1 2 技术原理技术原理 GoldenGate 数据同步备份软件是一种基于数据库日志的数据复制产品 可 以利用极少的系统开支 实时复制数据库 改善数据可用性 GoldenGate 数据同步备份软件可以在数据移植 在线维护等场合应用 以 减少或消除数据库的停机时间 同时 它还可用于数据容灾 负载均衡 数据 集中 数据分布等应用中 GoldenGate 数据同步备份软件可确保在这些工作进 行时 源系统的正常事务处理得以继续进行 功能上不受影响 GoldenGate 数据同步备份软件采用全局数据同步软件平台解决方案 保证 了对企业关键任务交易数据持续性的访问 提供了对业务持续性的高度支持 GoldenGate 数据同步备份软件是 一次性投资的平台 解决方案 它为整个企 业提供的不仅是技术适应能力包括速度 流量和多样性 而且还提高企业投资 收益 这些都是保证业务持续的关键因素 作为一种软件方案 GoldenGate 数据同步备份软件可以采用非常灵活的方 式加以配置 包括双向复制和多层次的数据复制 特别是其在双向数据复制领 域的技术先进性 可以满足用户在本地或广域网络环境中的各种复杂复制需求 本机数据改变捕捉 做为一个基于日志的同步解决方案 对源系统和网络的影响 减少到最低 GoldenGate 数据同步备份软件双向数据复制解决方案特点包括 面对日趋复杂的计算机环境的极好的适应性 使得其能够在目前流行的各 种数据平台间传输数据 支持实时的双向数据复制特性大大提高了业务系统的可用性和效率 利用 GoldenGate 数据同步备份软件的数据复制功能 产生类似于生产系 统的模拟环境 可以直接用于应用程序的测试和开发 目标系统可以被访问 在实时复制的过程中 目标数据库一直处于活动状 态 可以访问和进行生产系统的各种服务 对源系统的影响非常小 GoldenGate 数据同步备份软件的复制操作集中 于对数据的改变 因此将对源数据库系统 源操作系统和网络的影响最小化 实时准确的复制 GoldenGate 数据同步备份软件非常快速 在源数据库 系统一个交易开始时就开始复制 保证了目标系统和源系统的一致性 GoldenGate 数据同步备份软件在源数据库一端严格地遵守读一致性模式 在目 标数据库一端 保证操作次序和会话上下文的一致 完善的灾难恢复方案 GoldenGate 数据同步备份软件不仅提供了人为操 作错误产生数据不一致 数据的复制队列丢失 数据需要完全同步等情况下的 处理方案 还特别提供了诸如网络故障导致工作停工 集群主节点停机 集群 双节点停机 数据库单实例宕机 数据库双实例宕机等特定情况的解决方案 保证系统高可用性 GoldenGate 数据同步备份软件除了承担灾备系统中 的双向数据复制功能 尚可用于系统移植项目 帮助用户将大批数据复制到某 个距离内的同种或异种平台上 并在必要时升级数据库版本 GoldenGate 数据同步备份软件还提供了灵活的应用方案 基于其先进 灵活的技术架构 不仅能够支持单向 双向数据复制 也支持如下几种数据复 制方式 广播复制 集中复制 级联复制等应用 3 3 2 评估分析评估分析 3 3 2 1 测试环境测试环境 源和目标数据库部署在两台独立的物理机上 源库与目标库都为 Oracle 数据库 数据库表同构 且在源库上启用数据库归档 具体软硬件配置情况如下表所示 用途用途硬件配置硬件配置软件配置软件配置说明说明 源库 虚拟机 CPU Intel R Xeon R E74402 40GHz 4 Memory 4GB Harddisk 250G OS WindowsServer200332 bit DB Oracle10 2 OracleGoldenGate10 4 OracleGoldenGateDirector OracleWeblogic10 1 3 用于测试网络 带宽占用 数 据同步方案和 运维监控 目标库 CPU Intel R Xeon R 51201 87GHz 4 Memory 3 25GB Harddisk 250G OS WindowsServer200332 bit DB Oracle10 2 App OracleGoldenGate10 4 用于测试网络 带宽占用 数 据同步方案和 运维监控 源库 虚拟机 CPU Intel R Xeon R E74402 40GHz 4 Memory 4GB Harddisk 134G OS WindowsServer200332 bit DB Oracle10 2 OracleGoldenGate10 4 用于测试同步 大于 32 列的 表 目 标库 CPU Intel R Xeon TM OS WindowsServer200332 bit 用于测试同步 大于 32 列的 2 80GHz 2 Memory 2 0GB Harddisk 130G DB Oracle10 2 OracleGoldenGate10 4 表 3 3 2 2 测试过程及结果测试过程及结果 3 3 2 2 1Column 数量大于数量大于 32 的表的数据同步的表的数据同步 对于 Column 数量超过 32 的数据库表的测试包括两种情况 1 表存在 primarykey 2 表没有 primarykey 检验目标包括 超过 32 列的有主键数据表和无主键数据库表是否能够正确 同步 两者的数据复制性能差异 3 3 2 2 1 1 测试方法测试方法 在源库上分别建立两张数据库表 DJ NSRXX KZ DJ NSRXX KZ NOPK 这 两张表分别有 146 个 column 且所包含的列完全相同 DJ NSRXX KZ 的主键为 NSRDZDAH 字段 DJ NSRXX KZ NOPK 无主键 在目标库上建立与源表同构的两张数据库表 分别对两张源表执行 insert50000 条记录 根据 cyrs 字段过滤条件 update28134 条记录 根据 cyrs 字段过滤条件 delete28134 条记录的操作 采用 datapump 方式将数据变更同步到目标库 同步完成后 比较源表和目标表的数 据以验证数据同步的正确性 通过查询数据表记录数 查看 GoldenGate 的 report 以及观测数据库进程 抽取进程和复制进程对系统资源的占用情况 来 计算数据抽取和复制所花费的时间 重复执行以上测试过程 检查两次测试的 结果是否一致 为了测试 GoldenGate 对源库和目标库的影响 在不运行抽取和复制任务的 情况下 在源库和目标库上重复执行上述 DML 操作 记录 sql 的执行时间 源 库和目标库对系统资源的占用情况 3 3 2 2 1 2 测试结果测试结果 对于有主键 无主键的表 源表的所有 insert update delete 操作均能正 确同步到目标表 同步时间的监测结果如下表所示 Insert50000 条记录 时间 秒 CPU 占用率 数 据 表 类 型 执 行 轮 次 源表 执行 sql 源表 抽取 trail 文件 抽取 复制 源表 抽取 进程 平均 占用 源表 抽取 进程 最大 占用 trail 文件 抽取 进程 平均 占用 trail 文件 抽取 进程 最大 占用 源库 平均 占用 源库 最大 占用 复制 进程 平均 占用 复制 进程 最大 占用 目标 库平 均占 用 目标 库最 大占 用 12 1320647 1512 142613171321有 主 键 2 2 112263 101713 102413181320 11 1226628 18385 2014181329无 主 键 22 1024601016236 2014181320 Update28134 条记录 时间 秒 CPU 占用率 数 据 表 类 型 执 行 轮 次 源表 执行 sql 源表 抽取 trail 文件 抽取 复制 源表 抽取 进程 平均 占用 源表 抽取 进程 最大 占用 trail 文件 抽取 进程 平均 占用 trail 文件