白皮书-神通xcluster集群件

11产品简 目录产品功 目录基本功 管理工 产品架 技术特 扩 负载均 高可靠 元数据 管理终 实验验 运行环 硬件要 服务说 7.2服务内 7.57.2服务内 7.5本地化服 7.3服务方 7.6提供解决方案协同服 7.4响应时 7.7服务团 神通xCluster集群件是神舟通用数据技术（简称“神舟通用公司”）以多年大型通用数据库领域的研发实力为基础，集深厚的航天信息化建设经验，集成多项先进技术，为满足航天、、金融、电信、电力等行业的海量数据分析统计应用需求而打造的数据库分布式计算集群。是国家“核高基”重大专项、国863计划在基础所取得的一项重要成果。神通xCluster集群件的研发得到了国家发改委、国家科技部、工信部、国防科工委以及中国航天科技公司的大力支持，在国产相关领域居于领先水平。依托神通数据库、神通KSTORE以及神通xCluster集群件的产品研发，公司先后获得了8项相关技术发明专利。神通xCluster集群件兼容神通数据库和神通KSTORE产品，支持标准的SQL语句，提供标准的ODBC和JDBC数 同时具有高效的查询处理性能。系统功能完善，性能稳定，配置简单、灵活，在TPCBENCH-MARKH测试中表 针对海量数据随着业务增长而无限扩大的特点，神通xCluster集群件提供集群的 1 在数据库中，而是在需要的时候根据视图定义计算出来。视图限制表的行列2执行时所能干扰的程度。级别越扰越少，并发程度越低；级别越低，干扰越多，3数据迁移的主要功能是进行神通xCluster集群件与其它各种异构数据源（如各种关系数据库系统、文本计划提示功能为应用开发提供一种用以控制生成计划的方式。基于代价的优化器在绝大多数最优的应用发可以过计提示hint）生更的划以应对能要。一个神通xCluster集群件可以创建多个逻辑数据库，不同的逻辑数据库之间相互独立，相当于多个集群神通xCluster集群件提供了扩展功能，当集群的负载增加可能超出其承受能力时，可以通过添加节神通xCluster集群件提供了对数据对象的均衡负载功能，以数据表为操作单位，调整表在各数据库节点Web管理工具是为数据库管理员提供的图形化管理工具。能对神通xCluster集群件上的数据库对象（如表、4经过处理以后再将结果返回给ISQLPLUS显示给用户。5个节点的状态和cpu负载、数据负载以及网络负载等信息。6图6所示。7丰富的数据分布方群件的数据分布方案，可以使数据能力呈稳定线性增长而不会影响系统性能。结合神通数据库或神通循环分布到若干节点（Roundrobin）仅存在于单节点（SingleCREATECREATETABLEREGION(R_REGIONKEYINTEGERNOTCHAR(25)NOTVARCHAR(152)NOT8CREATETABLECREATETABLEORDERS( INTEGERNOT INTEGERNOTNULL, CHAR(1)NOTNULL, FLOAT8NOTNULL, DATENOTNULL,O_ORDERPRIORITYCHAR(15)NOTNULL, CHAR(15)NOTNULL, INTEGERNOTNULL, VARCHAR(79)NOTPARTITIONINGKEYO_ORDERKEYONALLBUCKETS4;9高速数据COPYxClusterxCluster瞬时数据导入速度可达370M/s。高效的查询处制的进行扩展，并在一定范围内随着节点的扩展，性能基本呈线性增长。神通xCluster集群件特别适用于分析型应用，成本$5385.82的神通xCluster集群件集群系统QphH@100GB为1997.45。ClusterServerClusterServer会相应的先做合并排序（MERGESORT）操作--ORDERS表采用HASH分布4个节SELECTCOUNT(*)FROMQueryStepStep------1TMPTT1_1，以接收后续操作中可能送到本节点的中间结果2CREATETABLE"TMPTT1_1"("XCOL1"INT)NOLOGGINGSelectSELECTCOUNT(*)AS"XCOL1"FROM"ORDERS"使用临时使用临时表接收 送来的中间结果并发的执行第二次 操作，并返给集群；注意：此时是对个点的结果做和操作，因此需要将 操作变为了SM。删除临时表SelectSELECTSUM("XCOL1")AS"EXPRESSION1"FROMDrop:--LINEITEM表采用HASH区4GROUPORDER

SUM(L_TY)ASSUM_QTY,SUM(L_EXTENDEDPRICE)ASSUM_BASE_PRICE,SUM(L_EXTENDEDPRICE*(1-L_DISCOUNT))ASSUM_DISC_PRICE,SUM(L_EXTENDEDPRICE*(1-L_DISCOUNT)*(1+L_TAX))ASSUM_CHARGE,AVG(L_TY)ASAVG_QTY,AVG(L_EXTENDEDPRICE)ASAVG_PRICE,AVG(L_DISCOUNT)ASAVG_DISC,COUNT(*)ASCOUNT_ORDERL_SHIPDATE<=DATE'1998-12-01'-INTERVAL'120DAY'Query创建临时创建临时表TMPTT1_1，以接收后续操作中可能发送到本节点的中间结果四个节点并行做查询，因为函数的存在，在汇聚了各个节点的结果后需要做二次操作Step0c1avg均值，则各个节点需要返回各自c1sumcount。CREATETABLE"TMPTT1_1"("XCOL1"CHAR(1),"XCOL2"CHAR(1),"XCOL3"DOUBLEPRECISION,"XCOL4"DOUBLEPRECISION,"XCOL5"DOUBLEPRECISION,"XCOL6"DOUBLEPRECISION,"XCOL7"DOUBLEPRECISION,"XCOL8"BIGINT,"XCOL9"DOUBLEPRECISION,"XCOL10"BIGINT,"XCOL11"DOUBLEPRECISION,"XCOL12"BIGINT,"XCOL13"INT)NOLOGGING指定）TMPTT_1。步的汇聚操作，如：sum1+sum2+sum3+sum4=sum，(sum1+sum2+sum3+sum4count1+count2+count3+count4avg将最终结果返回给用户，删指定）TMPTT_1。步的汇聚操作，如：sum1+sum2+sum3+sum4=sum，(sum1+sum2+sum3+sum4count1+count2+count3+count4avg将最终结果返回给用户，删除临时表TMPTT1_1StepSelectSELECT"XCOL1"AS"L_RETURNFLAG","XCOL2"AS"L_LINESTATUS",SUM("XCOL3")AS"SUM_QTY",SUM("XCOL4")AS"SUM_BASE_PRICE",SUM("XCOL5")AS"SUM_DISC_PRICE",SUM("XCOL6")AS"SUM_CHARGE",(SUM("XCOL7")/SUM("XCOL8"))AS"AVG_QTY",(SUM("XCOL9")/SUM("XCOL10"))AS"AVG_PRICE",(SUM("XCOL11")/SUM("XCOL12"))AS"AVG_DISC",SUM("XCOL13")AS"COUNT_ORDER"FROM"TMPTT1_1"groupby"XCOL1","XCOL2","XCOL1","XCOL2"--ORDERSLINEITEMHASH分区，分布到相同4个节点SELECTL_RETURNFLAG,L_LINESTATUSFROMORDERS,LINEITEMWHEREO_ORDERKEY=StepSelectSELECT"LINEITEM"."L_RETURNFLAG"AS"L_RETURNFLAG","LINEITEM"."L_LINESTATUS"AS"L_LINESTATUS"FROM"ORDERS"INNERJOIN"LINEITEM"ON("ORDERS"."O_ORDERKEY"="LINEITEM"."L_ORDERKEY")扩xCluster集群件提供了扩展功能，可以通过添加节点数据库来提升集群性能，而不需要停止应用业务。如图7所示。神通xCluster集群件采用Share-Nothing的集群架构，因此对数据节点的扩展个数没有限制。神通图 性能，从而影响集群的整体性能。神通xCluster集群件提供了对HASH分布数据对象的均衡负载功能，以数据表现有的应用业务负载总量为：759748747。这些负载被均匀分布在两个节点上：SN1负载23、SN2负载24。随着业务增长，其中两种业务（两张表）的负载大幅增加：第一类业务（表1）负载710，第二类业务（2）510SN2，SN2载过重，此时可以调整第二类业务的分布进行负载均衡。调整后第二类业务将分布在SN1、SN2个节点的负载为：SN1：23+10=33、SN2：24+10=34。现有的应用业务负载总量为：759748747。这些负载被均匀分布在两个节点上：SN123、SN224812，7+12，但是此时SN1、SN2的负载都已经过重。此时可以先扩展，在进行负载均衡调整。调整后第六类和第七类SN3：SN1：977=23、SN2：75+4824、1212248ClusterServer9神通xCluster行管理，实现扩展等重要功能；数据分布管理模块依靠元数据库中记录的信息进行数据的分发和；在具，对集群进行管理和监测。也可以像使用ISQL神通数据库管理系统和神通KSTORE产品一样，通过数据库节神通xCluster集群件的数据库节点兼容神通数据库管理系统和神通KSTORE产品，并支持嵌套神通xCluster集数据库节点是集群务数据的实际存放位置和集群的主要计算能力，集群的数据能力和查询处理能力随着数据库节点的增多而增强。神通xCluster集群件对各个数据库节点的性能没有任何要求，但是显而易见的，性的数据分布和负载均衡避免。因此一个典型的高性能/高扩展性神通xCluster集群件部署方案里，各数据库节为验证该高性能/高扩展性方案的有效性，使用该方案部署了一个基于神通数据库7.0企业版的集群，见图11。9台联想R525G3机架式服务器，使用QuidwayS3328TP-SI(AC)交换机互联。服务器安装64位操作系统RedHatLinuxServer6.17.0xClusterV3.06×1TBSATA为了更真实的模拟和验证集群在实际业务应用中的高性能/高扩展性，采用中国山东综合结算系统的实际数据作为验证源数据。主数据表TEST包含112个属性，需7个月的话单数据，数据量为2737GB。测试用例为该结算系统最常用的5种查询。在单个联想R525 G3机架式服务器节点分别使用神通数据库7.0企业版和ORACLE对7个月的数据测试5种最常用的业务查询，然后把这7个月的数据分布在8个节点的集群上再次测试5种查询。如表1所示。8*Server6.1Server6.1Server6.1ORACLE基于神通数据库7.0企业版和xCluster集群V3.08节点集群查询执行时间单位：秒selectcount(*)fromfromtestwherestart_time<to_date('2010-01-0200:00:00','yyyy-mm-ddhh24:mi:ss')andhplmn1='452';selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-01-0400:00:00'andstart_time>='2010-01-03selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-01-0200:00:00'andstart_time>='2010-01-0100:00:00'andhplmn1='452';selectsum(charge1),sum(charge2),sum(charge3)fromtestwherehplmn2=451andhplmn3=5139; 显著提高，平均加速比为1：7.14。如图12所示。12：性能集群验证4.5.2源数据总量为22.03TB。8*Server6.1Server6.1神通数据库7.0企业版和神通xClusterV3.08 selectcount(*)fromfromtestwherestart_timeto_date('2010-01-0200:00:00','yyyy-mm-ddandhplmn1=selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-0400:00:00'andstart_time>='2010-01-selectsum(charge1),sum(charge2),sum(charge3)fromtestwherestart_time<'2010-01-0200:00:00'andstart_time>='2010-01-0100:00:00'andselectsum(charge1),sum(charge2),sum(charge3)fromtestwherehplmn2=451andhplmn3= 明显降低，平均查询效率比接近1：1。处理器类型：PentiumIII处