方法论知识管理域领域知识库商业分析解决方案用友ae高性能

1、Yonyou Network Technology Co., Ltd. 用友AE高性能解决方案 性能优化及数据仓库应用 用友软件股份有限公司 姓名 2012年月日 Yonyou Network Technology Co., Ltd. 目录 系统性能的关键性及其诊断 用友AE高性能解决方案 用友AE技术介绍 用友AE测试报告及成功案例 Yonyou Network Technology Co., Ltd. 信息系统面临的性能挑战 并发操作用户越来越多 数据量越来越大 除日常交易及查询外综合分析与决策处理越来越多 除水平产品外客户化开发越来越多 管控体系 财务管 控体系 战略管 控体系 资金管

2、控体系 预算管 控体系 风险管 控体系 人力资 源管控 体系 信息管 控体系 绩效管 控体系 Yonyou Network Technology Co., Ltd. 性能问题的前因后果 产品缺陷 产品设计时只能针对最常用场景进 行优化，无法全面考虑到不同用户 的不同应用场景； 无法预先屏蔽各种难于意料的用户 操作行为。 管理缺陷 系统日常维护工作繁琐容易出现 纰漏 效率优化工作对综合技能要求较 高，且耗时耗力 架构缺陷 架构设计没有综合考虑不同应用对 系统的不同要求，功能混合，难于 针对性优化 需求增长 业务并发量越来越大 交易数据量越来越大 分析类业务操作复杂，难于评估， 系统无法满足综合管

3、理的要求 系统不好用 系统不可用！ Yonyou Network Technology Co., Ltd. 性能问题的解决方案 产品自身完善 智能性能诊断工具 架构改进 引入新技术 使用NC提供的 NMC可以快速定位 系统性能问题 用友AE可将原混合架构分离为互 不影响的OLTP和OLAP系统 AE使用新的列式存储技术可减少 对系统资源的耗费，大幅提升查 询分析的性能 提高研发人员技 术能力，完善产 品生产过程管理 Yonyou Network Technology Co., Ltd. 目录 系统性能的关键性及其诊断 用友AE高性能解决方案 用友AE技术介绍 用友AE测试报告及成功案例 Yon

4、you Network Technology Co., Ltd. UFIDA RDI 管理端 目标 端 源端 初始化处 理器 增量同步 进程1 增量同步 进程x 日志挖掘 处理器 消息队列 管理器 元数据管 理 任务管理 AE列式数 据库引擎 交易数据 库 用友 AE （Analysis Engine）体系架构 Real Time Analytic Processing(RTAP) BAP 流程管 理中心 分析事 件管理 中心 什么是用友AE？ Yonyou Network Technology Co., Ltd. AE应用场景(一)优化传统应用的性能 多维报表日常查询图形化报表日常业务 中间

5、件 分析型数据库(加速50X) UFIDA-RDI（实现实时数据同步） 管理软件操作数据 OLTP 增量数据 动态SQL路由 动态路由自动区分SQL， 无需改动原系统，实现 性能大幅度提升 无需购置昂贵的硬件设 备，普通PCserver架构 即可实现性能的飞跃 Yonyou Network Technology Co., Ltd. AE应用场景(二)构建面向主题的分析仓库 BI决策分析 分析模型引擎（MDX2SQL） 分析型数据库加速50X UFIDA-RDI（实现实时数据同步） 管理软件操作数据 其它管理 软件数据 非结构化 数据 查询报表 OLTP OLAPOLAP 多维分析智能查询图形化

6、报表地图个性化的仪表盘 数据挖掘 Yonyou Network Technology Co., Ltd. 基于AE的高性能系统架构部署图 查询分离 数据冗余备份 高效分析 Yonyou Network Technology Co., Ltd. 目录 系统性能的关键性及其诊断 用友AE高性能解决方案 用友AE技术介绍 用友AE测试报告及成功案例 Yonyou Network Technology Co., Ltd. AE核心技术介绍 实时数据同步技术，高效可靠复制分发数据 RDI（Real-time Data Integration） SQL路由技术，应用层分发查询压力 SQL Router 列

7、存储及访问技术 智能索引技术 列压缩技术 高效并行计算技术 列式存储技术 Yonyou Network Technology Co., Ltd. 基于数据库日志的增量数据捕捉，不影响生 产系统性能 基于用友消息中间件的转发，确保传输数据 的安全可靠 交易型数据源 开源数据库 搜索引擎 分析型引擎 DW ODS ETL UF-RDI DW ETL RDI（Real-time Data Integration） 该产品能使多个数据源之间保持近似实时的同步 让分析技术真正的融入到日常业务过程中 Yonyou Network Technology Co., Ltd. AE-SQL路由 NC系统 同步

8、数据 扩展 数据 RDI 事件触发器 NC SQL路由技术 默认访问路径 匹配SQL 访问路径 SQL匹配 规则文件 使用SQL路由将 NC系统中的查询 操作进行分离 Yonyou Network Technology Co., Ltd. AE列式数据库引擎 Yonyou Network Technology Co., Ltd. 为何引入列式存储技术？ 传统行存储导致大量无效 I/O 行存储方式设计思想是以事务处理为主，存储结构异常复杂。由于 page 结构和 MVCC （多版本并发控制）等原因，每个 page 必须读到内存中，导致每 次查询必须读取大量无用数据。这种数据存储方式造成磁盘 I/

9、O 是主要的性能限制 因素。虽然磁盘成本在不断下降，数据传输效率并没有根本的改变。因此在处理的数 据量不大时往往影响不大，但在处理海量数据时, 性能下降问题就会突现出来。 传统索引不适于海量数据 传统行存数据库索引需要手工设定，对应用不完全透明，随场景和需求的变 化需要不断调整，人工维护成本很高。并且占用存储空间很大，甚至高于数据本身， 造成查询效率的下降。 数据装载速度慢 因为维护日志，索引需要重新创建或维护，需要维护统计信息等操作，装载 速度变的很糟糕。 列式存储最适合OLAP应用场景 Yonyou Network Technology Co., Ltd. 列存储及其高效IO访问方式 行存

10、储结构下每 次IO访问的的数据块里 真正需要的数据只占很 少一部分 数据总是以block或page为单位来存取的 数据分析总是针对少数字段大量数据做查询 少量IO就能得到需要 的全部数据 传统行式数据库传统行式数据库 c 5 c 4 c 3 c 2 c 1 c 9 c 8 c 7 c 6 r1 r2 r3 r4 r5 列式数据库列式数据库 c 5 c 4 c 3 c 2 c 1 c 9 c 8 c 7 c 6 r1 r2 r3 r4 r5 Yonyou Network Technology Co., Ltd. 智能索引技术 数据即索引 因为列存储，所 以能够方便的在 数据包头进行列 统计信息的

11、存储 Yonyou Network Technology Co., Ltd. 智能索引为SQL选择更快捷的访问方式 Yonyou Network Technology Co., Ltd. 智能索引系统自动创建，无需维护，节省存储空间 Yonyou Network Technology Co., Ltd. 列存储压缩技术 AE基于列存储技术提供自动的用户透明的多种压缩算法，根据数据的特点自 动选择一种或多种压缩算法来压缩数据，压缩比可以达到10：1-40：1 一方面大幅降低数据仓 库对存储空间的要求， 另一方面执行查询时在 磁盘 I/O 和 Cache I/O 上都大幅降低，从 而大幅提高执行效

12、率， AE在某些场景下的运算 性能比传统数据库快 100 倍以上。 CPU平均处理带宽3.6GB/秒 （约7000万行/秒/核） I/O平均处理带宽300MB/秒 Yonyou Network Technology Co., Ltd. 列访问并行更高效 双向并行计算，充 分发挥当前系统多 核多线程优势 Yonyou Network Technology Co., Ltd. AE核心价值（1）分离查询优化性能 将造成系统性能瓶颈的查询分析操作从系统中隔离出来，从而保障原业 务系统性能及稳定性 分析业务 及自定义 查询等 ERP应用 不再出现月末出报告 期间，系统性能严重 下降，简单的制单操 作都

13、慢的情况 Yonyou Network Technology Co., Ltd. AE核心价值（2）优化性能减少硬件投资 VS PcServer+AE 小型机+传统数据库 列式技术利用普通PC服务器即可在 OLAP领域实现传统行式数据库需在昂 贵的硬件设备上才能达到的优化效果 Yonyou Network Technology Co., Ltd. AE核心价值（3）降低运维成本 无需去费心的优化复杂的代码（我们的动态sql路由技术） 不用雇佣高水平的DBA去维护索引（智能索引技术） 不需要担心错误的执行计划导致的问题（基于block的统计信息） 新投资 维护 IT费用 来自Gartner的数据

14、让我们明白 运维成本才是最大的成本支出 使用AE有效降低运维成本 Yonyou Network Technology Co., Ltd. 目录 系统性能的关键性及其诊断 用友AE高性能解决方案 用友AE技术介绍 用友AE测试报告及成功案例 Yonyou Network Technology Co., Ltd. 基于多层嵌套视 图的参照查询。 平均耗时250秒， 返回5000条 基于多层嵌套视 图的数据检索。 查询平均耗时200 秒，返回1条 基于多层嵌套视 图的数据检索。 查询平均耗时200 秒，返回1条 实际优化案例1 Yonyou Network Technology Co., Ltd.

15、实现主要步骤 必要的测试，在必要的测试，在AE中同步相关数中同步相关数 据，并配置据，并配置RDI任务，必要时添加任务，必要时添加 拦截器拦截器 ，处理实时，处理实时ETL 通过通过NMC定位性能瓶颈、或者通过定位性能瓶颈、或者通过 SQL查找问题查找问题 部署部署NC SQL路由，并配路由，并配 置置SQL路由匹配规则文件路由匹配规则文件 未来将支持未来将支持SQL改写功能改写功能 测试及上线测试及上线 select inst_id,sid,serial#,event,sql_id,last_call_et from gv$session where username is not null

16、 and status=ACTIVE order by last_call_et desc select * from gv$sql where sql_id=？ insert= call insertupdate_stf1(); update= call insertupdate_stf1(); delete= call delete_stf1(); #bw #select v_stf3.csaleid Yonyou Network Technology Co., Ltd. 505ms 280833ms 数百倍效率提升 Yonyou Network Technology Co., Ltd. sql期间AE (优化前) ORACLE (优化前） 数据结果 Sql(1)查一个月10.52 秒60秒 均为1437行 查七个月29.17秒20分钟以上 均为9400行 查2010全年至今40.15秒未测试完成 18145行 Sql(2)查一个月35.21 秒228秒 均为 236行 查七个月46.15秒20分钟以上 均为1468行 查2010全年至今26.58秒未测试完成 2801行 Sql(3)查一个月82.2秒87.906秒 均为126485行 查七个月132.27秒20分钟以上 均为7