利用数据网关实现跨库查询

1、利用数据网关实现跨库查询一个案例多维分析工具生产库OLAP服务器OLAP服务的弊端消耗存储空间举个例子总共10个维度每个维度有100个不同取值可能的组合：(100+1)简化为：100 = 10OLAP服务的弊端消耗存储空间建设成本高浪费系统资源实时性差缺乏灵活性分析能力不足替换方案多维分析工具生产库数据仓库扩容多维分析工具生产库数据仓库不断扩容多维分析工具生产库数据仓库HotWarmCold数据分层?数据网关HotWarmCold可编程数据网关润乾集算器多维分析工具生产库历史库历史库SQL接口集算器集算器数据网关原理JDBC标 准接 口路由脚本生产库历史库标准SQL本地执行数据网关路由脚本示例

2、为什么需要可编程？SQL方言SQL翻译SQL翻译标准SQL数据网关价值数据网关集算器在前台应用和后台数 据源之间形成数据计算网关解耦多维分析前台和后台解耦和单一接口为前台多维分析工具 提供简单的单一SQL 接口统一视图为多种多个前端工具提供数 据源，保持数据一致封装封装数据结构细节，后台改变不影响前台复杂架构支持后台数据库异构、 分库等复杂架构轻量级数据集市标准接口集算器提供标准SQL和JDBC、ODBC、HTTP接口列式存储列式有序压缩存储，性能优 异SPLSPL语言创新数据处理语言SPL，提升 数据计算开发和执行效率数据压缩压缩存储，快速解压，减小 在硬盘上占用的空间，读取 更快速。集算器

3、组表维字段有序数据按照键值有序存放，常用条件过滤计算不依赖索引也能保证 高性能。复合数据类型主子表同维对齐，支持集合数据类型。数据修改支持数据修改，提供回滚机制SQL性能优化语法优化多维分析工具推拽会产生性能不高的SQL，例如直接在明细查询的SQL外面加上一层count来统计结果 总条数select count(1) from (select f1,f2,f3,f4f30 from table1 where f1=1 and 1=1 )集算器自动优化策略：select count(1) from (select f1 from table1 where f1=1)算法优化select top

4、10 f1,f2 from table1 order by f1集算器采用小结果集比较的方式实现，无须大排序， 只遍历一边数据即可得到需要的结果并行查询集算器支持并行查询select /*+ parallel (4) */ * from ORDERS where AMOUNT100集算器集群敏捷集群节点服务器是独立进程，复制之后即可运 行，横向扩展更敏捷。可根据并发量、数 据量快速增减节点数量。高可用性集群具备容错机制，在节点失效时继续完成 计算任务。高性能大并发访问分给多机处理，负载均衡；单个 大任务拆分成小任务，多机并行计算。案例效果案例环境说明核心业务系统，AS400批量业务处理，48节点GP集群 多维分析前端，某多维分析工具路由规则集算器将高频热点数据前置： 最近三天和最近十二个月月末最 后一天数据性能表现50并发，热数据查询响应时间5秒高频热点高频热点数据前置，冷数据后置， 同时实现跨冷热数据查询钻取明细统计数据前置，明细数据后置，同 时实现钻取明细应用场景复杂业务查询在多个独立业务系统之间实现复杂的数 据计算路由规则，提升性能的同时保证 全量查询数据分层存储数据分层存储，高频热点数据前置，冷 数据