QCUBIC产品快速入门

QCUBIC产品快速入门

快立方内存数据库

北京快立方科技有限公司

2019年10月

contentsQcubic

01QCUBIC产品介绍04QCUBIC补丁升级

02QCUBIC安装05QCUBIC数据导入导出

03QCUBIC启动与关闭06QCUBIC复制

07QCUBIC备份恢复08QCUBIC日常管理

高性能数据库专家

Qcubic

01Qcubic

产品介绍

高性能数据库专家

快立方内存数据库

Qcubic

Qcubic内存数据库，是依靠内存来存储数据的数据库管理系统，具备更极致的读写速度，性能比磁盘数据库有数量级提升,

满足高性能、低时延的新一代应用系统需求。

内存计算

传统计算

高性能数据库专家

技术特点■高性

Qcubic

DataLoading测试结果CPU:Intel(R)Xeon(R)CPU

E5620@2.40GHz(16EA)

DISK:LocalDisk

OS:CentOS7

DatabaseVersion:Oracle18/

QcubicV5

TestTool:

BenchmarkSQL()

DataWarehouse:10GB

DiskMemory

IDatabasetmpC

Oracle18483

QcubicV5

511

QcubicV5内存库

6426

同样硬件配置下，内存库事务处理性能是ORACLE10倍以上，数据加载性能是ORACLE4倍以上

高性能数据/

技术特点■高并发

Qcubic

＞对用户的请求响应由多进程模式改为

多线程模式，并可线程复用，提高响

应速度

＞基于内存响应处理

＞支持NUMA架构，充分利用服务器架

构优势

＞支持MVCC多版本并发控制

＞数据库支持多活，可对应用负载均衡

实际应用案例中观察到16CorePCServer单节点最大支持3000+并发连接

高性能数据库专家

Qcubic

快速10

g

技术特点-低延时0@

IPC直连

毫秒甚至微秒级别的实时响应

勺存响应

高性能数据库专家

产品基本架构

Qcubic

产品架构支持多种接口

•VisualBasic,PowerBuilderWRAD(Rapid

ODBCApplicationDevelopment)开发环境访问Qcubic时使用

噜VA环境开发应用程序时使用

JDBC

•WAS上构建ConnectionPoolH］；：

SQLCLI•基于c语言的Qcubic的低水准API

Embedded

Client•CC++的嵌入式l'书三接口

SQL

开发

环境OLEDriver.JCOM的接口，可以访问系型、阶梯型等所有类型的

PHPInterface•通过标准ODBC驱动,在PHP使用ODBC函数连接Qcubic

ADO.NET•jWindows.NetFramework访问数据库中的数据的共同编码接口

•XA机构是在X/Openk定义的用户分化二"；.「PrcpurcH

XAInterface

Commit的两阶段提交(2-PhaseCommit)

•HiANSISQL92EntryLevel和SQL1999corelevel

SQL

Server•IlinLSQLPlan的优化

开发Stored•F基卜ANSISQL标准的StoredProcedmc和Stored

环境ProcedureFunction

&Function•Procedure内部的DynamicSQL/DDL

局性能数据库专家

部署方式(3)

Qcubic

Active(RW)-Active(RW)Active-Standby

Service

ServiceServiceServiceService

lI

CUBIC

GeminiGeminiQ

ActiveStandby

ActiveActiveActiveHot

Standby

-负载分担业务压力-负载分担业务压力-只在特定的复制节点进行数据变更，不

-发生故障时通过Application的切换，-发生故障时通过的切换,存在数据冲突的可能

最小化服务停止而■间Application

最小化服务停止时间

-可以在所有节点进行数据变更（需根据-发生故障时通过Application的切换，

项目制定架构和策略）最小化服务停止时间

高性能数据库专家

复制技术◎

Qcubic

>通过并发处理，提供高速复制性能

>保证多个节点的数据一致性

-通过拥有相同数据的备库，降低downtime

>基于TCP/IPNetwork的无距离限制的数据复制方

安全-服务器故障恢复后提供数据全同步方法

Multi-threadTCP/IPMulti-thread-通过实时数据同步，提高数据一致性

0a-通过并发处理，提供高速复制性能

数据查询/变更数据杳询/变申-简化Redolog进行传送，减小网络通信赛用

性能

-提供多种复制相关性能视图

一

实时复制维•可同步或异步进行

持相同数据

•Gemini模块化实现，无需额外赛用

传送Transaction

©成本•Table单位执行复制，提高资源使用效率

•基于TCP/IP网络进行复制，系统构建赛用低

传送Transaction©

Network

高性能数据库专家

数据持久化

Qcubic

＞为了恢复，将所有的DML日志

Transaction都记录到LogBuffer

＞根据设置，将LogBuffer的日

MemoryMemoryTableSpace

Layer志记录到磁盘上

＞为了保证数据库的持续性和对

已经Commit的事务的安全

保障，事务的处理使用

DiskWAL(WriteAhead

Layer

Logging),

》日志文件数量到达设置的数量

或时间到达设置的周期后，会

将内存中变更的数据通过

checkpoint写入到磁盘数据文

件来减少故障恢复时间。

高性能数据库专笏

备份和恢复(*)

Qcubic

>根据系统的目的和数据的性质，决定备份方案和备份周期

>提供在线备份，离线备份和通过工具的备份等多种备份方式

-定义:通过使用以表为单位的备

份工具iloader仅对个别表的

范围内容快照(snapshot)进行备份

■可恢复时间点：只可恢复到执

行iloade口的时间点

数据库单位备份(Database-LevelBackup):数据库

DBMS内的所有数据文件都进行备份

■定义:以archive-mode模式运

Online作时可通过自动化脚本或

表空间单位备伽Tablespace-LevelBacku表空间p):备份特DBA手工对全部DB或表空

Backup间为单位进行备份

定内存或磁盘表空间的所有数据

■可恢复时间点:可恢复到故障发

生之前的时间点

变更数据份/网搬据阴阳矍翻腑脚量备■定义:通过复制功能进行备份，

通过网络把事务的日志发给

对端DB来备份数据

■可恢复时间点：可根据备节点

存储的数据进行恢复

高性能数据库专家

分布式架构(B

Qcubic

Qcubic分布式版本数据库产品，具有灵活水平扩展，统一管理，支持分布式事务等功能特性，解决了传

统的单机版数据库在业务扩展时只能进行分库操作，不能分

表，也不能支持跨库业务的问题。

App____________________________________________________________

Node•实现ciinetSideSharding所需要的Client

Library

•提供了和已有ODBC一样的API接口，可以最大限度减少代码改正量

Node•管理DataNode及Sharding的相关信息

•实现QueryAnalyzing功能

•实现ServerSideSharding功能

•提供数据重新分配功能

Data

Node

•用于储存被分散的数据节点

•可以最大支持1024个数据节点高性能数据库专家

02Qcubic安装Qcubic

高性能数据库专家

IQCUBIC配置要求

B

Qcubic

CPUCPU2.5GHz16Core以上

需要基于实际数据量进行评估

MEMORY（实际数据量60%，预留40%

例：实际数据使用100G的时候包含预留空间，建议物理内存160G左右）

LinuxRedhatEnterpriseServer6.5以上最新内核发布版本或2.6.32-

OS358.el6.x8664以上版本

NETWORK1GB以上的带宽，建议使用10G带宽业务IP和复制IP网卡分离

高性能数据库专家

建议使用SANStroage/SSD（EXT4文件系统）

Disk用于CheckpointImage（数据文件）保存的领域需要屋里内存*2以上容量

RedoLOG领域建议最小50G以上

一般情况不需要更改，建议更改以下参数：共享内存，semaphore,File

内核参数Cache,网给参数

Gcc4.1.2以上

GCC/JavaGlib2.12以上

Java1.4以上

高性能数据库专家

1.即时生效：

#echo51232000512512>/proc/sys/kernel/sem

#echo4294967296>/proc/sys/kernel/shmall

内核2.永久生效：

/etc/sysctl.conf文件下增力「如下内容kernel.shmall=4294967296kemel.sem=250统配置修改

32000100128为使永久生效，执行命令sysctl-p参数确认，执行命令ipcs-1

/etc/security/limits.conf文件下增加如下内容

softnofile65536(

*hardnofile65536

*softnprocunlimited

Ulimit*hardnprocunlimited

重新登录用户后配置生效，可通过uHmit-a进行确认注：CentOS6及以上版本中nproc

设置还需要修改如了5件B

*vi/etc/security/limits.d/90-nproc.conf

.Qcubic

♦内核参数：vm.swappiness设置为30以下

vm.min_free_kbytes设置为10485760以上

♦关闭超线程

♦关闭THP:/etc/default/grub修改或增加如下行

其他建议GRUB_CMDLINE_LINUX=4tcrashkernel=autord.lvm.lv=rootvg/lvrootrd.lvm.lv=

rootvg/lv-swaptransparent_hugepage=nevernuma_balancing=0€t确认方法：cat

/sys/kemel/mm/transparent_hugepage/enabled

IQCUBIC存储规划0

Qcubic

目录示例大小说明

软件安装，系统监控，运维脚

软件安装/home/qcubic20G

本

MEMMAXDBSIZE*1.4倍

数据文件1/qcubic_datal根据实际数据量配置

冗余率

MEMMAXDBSIZE*1.4倍

数据文件2/qcubic_data2根据实际数据量配置

冗余率

日志文件/qcubic_log100G数据库运行日志

归档日志，根据实际业务量配

归档日志文件/qcubic_archlog48G*天数*1.4倍冗余率

置，默认未启用

高性能数据库专家

IQCUBIC创建操作系统用户

Qcubic

•创建名为qcubic用户

#useraddqcubic

#passwdqcubic

Changingpasswordforuserqcubic.

Newpassword:

Retypenewpassword:

passwd:allauthenticationtokensupdatedsuccessfully.

•赋予权限

#chownqcubic:qcubic/qcubic_datal

#chownqcubic:qcubic/qcubic_datal

#chownqcubic:qcubic/qcubic_log

#chownqcubic:qcubic/qcubic_archlog

高性能数据库专家

IQCUBIC软件安装

Qcubic

1./home/qcubic目录下，解压Qcubic软件安装包

#tar-zxvfqcubic-server-.0-LINUX-X86-64bit.tgz

2.配置环境变量

修改s/.bash_profile文件，增加如下内容，并通过source^/.bash_profile是当前用户立即生效

exportQCUBIC_HOME=$HOME/qcubic_home

exportQCUBIC_DATA=$HOME/qcubic_data

exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib:/usr/lib:$QCUBIC_HOME/lib

exportPATH=$QCUBIC_HOME/bin:$PATH

exportCLASSPATH=$QCUBlC_HOME/lib/Qcubic.jar:$JAVA_HOME/lib:./

3.添加Iicense

$QCUBIC_DATA/conf下增力口license文件，license请联系supporl@qcubic.c（）m获取

4.修改数据库配置文件

修改$QCUBIC_DATA/conf/perties.con邙跟文件的存放路径

MEM_DB_DIR=/qcubic_datal

MEM_DB_DIR=/qcubic_（lata2

DEFAULT_D1SK_DB_D1R=/qcubic_datal

CONTROL_DIR=/qcubicJog

CONTROL_DIR=/qcubicjog

CONTROL_DIR=/qcubicjog

LOG_DIR=/qcubicjog

ARCHIVE_DlR=/qcubic_archlog

高性能数据库专家

IQCUBIC创建数据库

Qcubic

-通过提供的脚本工具完成数据库的创建工作。

#qcreatedbgbkutfl6

Copyright2010BeijingQCUBICTechnologiesCo.,Ltd.AllRightsReserved.

QcubicClientQueryutility.ReleaseVersion.0

-通过SYSDBA访问仓ij建

#qs-assysdba

qSQL>startupprocess;

qSQL>createdatabasememdbINITSIZE=10Mnoarchivelogcharactersetgbknational

charactersetutfl6;

高性能数据库专家

03Qcubic

启动与关闭

高性能数据库专家

IQCUBIC数据库启停@

Qcubic

,以sysdba权限连接qsql,默认管理员用户sys,密码manager

qsql-usys-pmanager—assysdba

•启动数据库

qSQL(sysdba)>startup

•停止数据库

qSQL(sysdba)>shutdown[normal/immediate/abort]

高性能数据库专家

04Qcubic

补丁升级Qcubic

高性能数据库专家

IQcubic补丁升级⑥

Qcubic

1.将要更新的软件安装包解压到不是现在使用的数据库路径下，如〜/pkg目录

#tar-zxvfqcubic-server-.1-LINUX-X86-64bit.tgz

2.停止数据库

3.用解压的qcubic_home目录覆盖原数据库目录

cp-rqcubic_home$QCUBIC_HOME

4.启动数据库

提醒：

-如果$QCLBICHOME/bin下的脚本文件有修改过，请在覆盖前备份好文件，覆盖后再恢复这些文件。

-如果更新的版本与先版本的版本号前3位（5.0.0）不一致，请先联系qcubic工程师确认，可能无法直接升级，需要

备份所有数据库数据并进行重建库操作。

高性能数据库专家

05Qcubic

数据导入导出Qcubic

高性能数据库专家

IQCUBIC数据导入导出方法-qloader

Qcubic

Qloader将表中数据以文本文件的形式储存，表结构以结构信息的形式形成格式文件/适用于对单个表数据

的导入导出。

m'I1.

.导出一

-先创建格式文件

#qloaderformout-sservername-uusername-ppassword-Ttable”ime-ifintfile

-通过格式文件进行数据的导出

#qloaderout-sserve门1ame-uusesame-ppassword-iformfile-dbackupfile

导入:

高性能数据库专家

#qloaderin-sservemame-uusemame-ppassword-fTfonnfile-dbackiiDfile

IQCUBIC数据导入导出方法-qexportl。

Qcubic

qexport可以对数据库的所有对象类型及数据进行导入导出，将数据库对象的创建信息以SQL脚本的形式进

行储存，将数据以文本格式进行存储。并且自动生成脚本文件，方便再新的数据库进行数据库对象的创建和

所有表的数据的导入导出。

执行方法：

1.在文件系统剩余空间充裕的路径下创建文件夹

#mkdirqexport_xxx

#cdqexport_xxx

2.执行qexport,按提示输入Host,User,Password等

#qexport

高性能数据库专家

3.在qexport_xxx目录下生成大量文件，在下面说明

IQCUBIC数据导入导出方法-qexport2。

Qcubic

SHELL脚本文件及执行顺序

1.数据导出：

runilout.sh:导出数据脚本