数据库技术支撑电信行业大应用

二、OLAPMPP2MPPMassivelyParallelProcessing)：大规模并行处理系统，系统由许多松耦SharedNothing

2 … … 4InternetInternet千兆、万兆PC及的支如冗电源BIGDATA的推动-数 3 6SQL92的支必须支SQL99一些特性（BI过ACID的变化和数据的强一致（简化的Readcommitted:集群层面的MVCCRedo、undo问题ABvsredolog

CAP否可3选2CAP其实是完全可用集群出现拓扑变化时，CAP才介CAP要求须取舍：MPP数据 line,然后同步、修复失败的节点。4并行计算的效率取决于数据分布特征和SQL算Hash并不是所有的算法都能很好的线性扩Selectcount（distinctx）OLAP正确评估分布式执行计划的成本是执行器的问8SelectSelectb.c3,sum(a.c5)froma,bwherea.c1=b.c2and….groupbyb.c3orderby

Aggregation

Aggregation

AggregationA(p1)join

A(p2)join

A(p3)join …

节点

节点

节点9Selectb.c3,sum(a.c5)fromSelectb.c3,sum(a.c5)froma,bwherea.c7=b.c2and….groupbyb.c3orderby节点

节点

Aggregationjoin

Aggregationjoin

Aggregationjoin节点节点

节点节点

使用pipeling单>300GB/单>300GB/小多>500GB/小集>2TB/小

在不同CPUs

并行数据在磁并行数据在磁盘聚关扫GroupbyLike查询…扫关聚扫关扫关聚管道操bybyA&ABGroupby A&ParallelParallelABSMPSMPFinal节点 节点

节点Scan

Scan

Scan

Scan

Scan

Scan同时可使用：计算能力>1千个核，I/O10GB/s SharedNothingMPPScaleup

Scaleout是文件块（HDFS，DFS）数据Hash 起因：数据按切片分布，选择hashkey问题（KVstore比较明SharedSharedSharedSharedOracle

GBasePBPB百TB百TB千亿行多表ROLAP ROLAPTB支撑能力-TB级别的CUBE实时钻 百TB百TB电信行业大数据，主 数据规模大、关联查询复杂、即席查询 面的问题

大规模MPP

传统数据

经分综分（信监测）账单详单日志查询分析20100点100TB–·80节·PB级数据·经分系运营客户名业务类集群规10+2节12+2节8+1节2+1节2+123+1节24+2节18+2节18+2节4+1节4+1节18+1节 业务数据（高价值密度结构化数据

（低价值密度数据 列…… 高价值密度数据（结构化数数据集数据集数据集

数据模低价值密度数据（结构化、非结构化、半结构数据模数据实时流数批量数 结构化高价值数非结构半结构结构设日流日日详URL类别 分词信信信业务类数 通信类数 互联网数 日志类数 二、OLAPMPPGBase8aMPPGBase8aMPPCluster是在GBase8a列数据库基础上开发的，基于现代云计算MPP理念和sharednothing架构的并行处理数据库集群。以其独特的扁平架构，高扩展高可高扩展高可GBASEMPPGBASESharedNothing+MPP列GBase8aMPPCluster

ftp,nfs GBase8aMPP … ：区别于传统行…

Col

Col

ColCol

ColCol

ColCol

Col Col Col 自的优劣势，列架构 的突出优大大降低高压缩底 灵容易并 的突出缺DML的效率Select＊

2121212

… …

…… … … … …

… ……… … … …… GBase8aMPPCluster：自适应压压缩比可达到1:5至1:20甚至更，远远高于行节省50%-90%的空间，大 GBase8aMPP 字段1字段234510,…… GBase8aMPPCluster：SQL优化策对于MPP，传统优化几乎不可传统细粒度index、传统MPP数据库一般采用新的优化策略和技粗粒度、稀疏索引、投基于知识＋CBO的SQL优化过滤数据而不是寻找数据即索需要考虑网络I/O成本、单节点性能、分布式执行计关键大表关复杂函 GBase8aMPPCluster：高可用机

数据2个副 引

为流量经营、四网协同分析提供低成本大数据以及高性能系统方 数据处理

实时

数

数据装载

询询

据缓

GBase8aMPPCluster4节点集群 10节点GBase10节点GBase8aMPPCluster列 对比小型机GBase8a用户价设备利用利用率没有空转的服务提高设备成32CoreCPU2410万元*12共120万节约 二、OLAPMPP 集群架构：MPP+Shared2、支持标准SQL92

3、高性能多节点并行计算；对SQL进行语法优化和执行优化；分布式执行引擎GCluster服务

4、支持事务（ACID）采用两阶段提交分布式事务：保障多节点数据间的完整性；保障多节点数据间的一致性；1、开发接口JDBC/ODBC/ADO.NETC/C++API。

系统

5、运行日志保留mysql日志；增加事务日志；集群运行日志8、管理工具集支持mysql 工具导入、导出工具。

GCWare服务集群管理

6、高可用提供三副本，保障数据及服务的可用性；可靠性：99.99%7、可扩展性采用Shared-nothing架构；便于系统 与横向扩展RDB性能特系统支持并发用户大于64,000单节点 容量达到1.5TB级别单节点TPMC值高于64节点集群TPMC值高于TB级别两表使用索引的连接查询结果在千行级别时，响应时间为秒级TB级别单表索引查询返回结果集为100行级别时，响应时间为10毫秒级 NodeNodeNodeNodeNode分布式事务管理器分布式引擎TX：事务Tp：集群分TX：事务Tp：集群分布表Tr：集 集 表事集群分布表事务 样例SQL：insertintotable 样例SQL：insertintotable ③山东数据的安④向安全组1和安全组2上节点数样例SQL：insertintotablevalues(10,‘’，’何七①应用发出数据②Gcluster据分布策略 数据的安全组 BC-售后售后理理统计分日常业计总B2B终端批发的线上RDB6应用部署、负时段2000用户并发应用共243个表，最大单表容量已达万，日增