Sybase IQ Multiplex 16.0集群搭建.doc

Sybase IQ Multiplex集群配置SAP Sybase IQ Multiplex 是一种可高度伸缩的共享磁盘网格技术，允许通过连接到共享数据源的独立数据处理节点进行并发的数据装载和查询。IQ Multiplex 技术具有以下优点：(1)性能 - IQ Multiplex 采用标准 IQ 服务器引擎，提供可靠的查询和装载性能。(2)所有权总成本低IQ Multiplex 采用标准的低成本硬件和操作系统。(3)设置和配置简单、灵活IQ Multiplex 可借助SQL接口或通过 Sybase Control Center GUI 轻松进行配置。(4)可伸缩性IQ Multiplex 可扩展至大量节点以支持数以万计的用户，当节点添加至Multiplex 时几乎不会降低数据装载和查询性能。(5)高可用性任何节点出现故障都不会妨碍其它节点上的查询作业。SAP Sybase IQ Multiplex 采用混合聚簇体系结构，同时涉及共享存储和本地存储。共享存储用于分布式查询处理所需永久 IQ 数据和共享临时数据。本地存储用于目录元数据、临时数据和事务日志。每台服务器都具有其自己的临时存储库和目录存储库。所有服务器共用共享 IQ 存储库和共享临时存储库。Sybase IQ 集群体系结构如下图： 下面以两节点为例，介绍如何配置和实现IQ集群。（一）环境准备1. 整体架构本项目配置了2台Linux服务器来搭建IQ集群，即共2个节点，配置如下：全宽4路节点，每台4颗E7-4820 V2 8c 2.0Ghz CPU，256GB内存，2块300GB硬盘，2*10GE 以太网口；2个56Gb Infiniband接口，Linux操作系统2台2. 前期准备首先在2台Linux服务器上安装Sybase IQ 16.0软件，两个节点的环境如下：SFTJ1：135.0.0.141 “协调节点”SFTJ2：135.0.0.142 “写节点”在磁盘阵列上分别给两台Linux服务器划分如下逻辑卷：Linux服务器1（SFTJ1）卷名:db_share_sys_100_01;大小:100GB;属性:共享卷卷名:db_share_temp_200_01;大小:200GB;属性:共享卷卷名:db_share_user_500_01;大小:500GB;属性:共享卷卷名:db_temp_local_100_01;大小:100GB;属性:非共享卷Linux服务器2（SFTJ2）卷名:db_share_sys_100_01;大小:100GB;属性:共享卷卷名:db_share_temp_200_01;大小:200GB;属性:共享卷卷名:db_share_user_500_01;大小:500GB;属性:共享卷卷名:db_temp_local_100_02;大小:100GB;属性:非共享卷 三个共享裸设备 (用于IQ Main Store存储设备，采用PV，不建议采用LV): 1. /dev/sde 100G, 映射为/dev/raw/raw1，用作IQ_Main_Store 2. /dev/sdb 500G, 映射为/dev/raw/raw2，用作IQ_User_Store 3. /dev/sdd 200G, 映射为/dev/raw/raw3，用作IQ_Shared_Store 两个独享裸设备（每台机器1 个，用于IQ Temp Store 存储设备） 1. SFTJ1 本地裸设备：/dev/sdf 100G,映射为/dev/raw/raw10 2. SFTJ2 本地裸设备：/dev/sdf 100G,映射为/dev/raw/raw20 注意：IQ Multiplex 安装前对于存储的规划是最重要的一项准备工作，IQ Temp Store 中的设备是节点自己本地存储上的裸设备，IQ Main Store 和Shared Store 中的设备必须是各节点可以读写的裸设备，并且裸设备的设备名要完全相同,建议在数据量较大的时候采用多个裸设备链接以便于利用存储的并发性提高效率。（二）建裸设备1coordinator节点（SFTJ1）#cd /etc/udev/rules.d#vi 60-raw.rules -按实际环境添加如下内容(其中集群中只有用于建本地临时表空间的是本地磁盘，其他的都需要是共享的磁盘)ACTION=add,KERNEL=sde,RUN+=/bin/raw /dev/raw/raw1 %NACTION=add,KERNEL=sdb,RUN+=/bin/raw /dev/raw/raw2 %NACTION=add,KERNEL=sdd,RUN+=/bin/raw /dev/raw/raw3 %NACTION=add,KERNEL=sdf,RUN+=/bin/raw /dev/raw/raw10 %NKERNEL=raw1, OWNER=sybaseIQ, GROUP=sybase, MODE=660KERNEL=raw2, OWNER=sybaseIQ, GROUP=sybase, MODE=660KERNEL=raw3, OWNER=sybaseIQ, GROUP=sybase, MODE=660KERNEL=raw10, OWNER=sybaseIQ, GROUP=sybase, MODE=660#start_udev #raw -qa -查看裸设备情况2辅助节点（SFTJ2）#cd /etc/udev/rules.d#vi 60-raw.rules -按实际环境添加如下内容(其中集群中只有用于建本地临时表空间的是本地磁盘，其他的都需要是共享的磁盘)ACTION=add,KERNEL=sde,RUN+=/bin/raw /dev/raw/raw1 %NACTION=add,KERNEL=sdb,RUN+=/bin/raw /dev/raw/raw2 %NACTION=add,KERNEL=sdd,RUN+=/bin/raw /dev/raw/raw3 %NACTION=add,KERNEL=sdf,RUN+=/bin/raw /dev/raw/raw20 %NKERNEL=raw1, OWNER=sybaseIQ, GROUP=sybase, MODE=660KERNEL=raw2, OWNER=sybaseIQ, GROUP=sybase, MODE=660KERNEL=raw3, OWNER=sybaseIQ, GROUP=sybase, MODE=660KERNEL=raw20, OWNER=sybaseIQ, GROUP=sybase, MODE=660#start_udev #raw -qa -查看裸设备情况3创建符号链接在两个节点服务器上面分别创建目录mkdir -p /IQData/SFTJ创建符号链接在SFTJ1和SFTJ2上用root用户分别执行（IQ Catalog DB在/IQData/SFTJ下）ln -s /dev/raw/raw1 /IQData/SFTJ/SYS_MAIN_FILE01.iqln -s /dev/raw/raw2 /IQData/SFTJ/USER_MAIN_FILE01.iqln -s /dev/raw/raw3 /IQData/SFTJ/Shared_Temp_FILE01.iq在SFTJ1上执行ln -s /dev/raw/raw10 /IQData/SFTJ/SYS_TEMP_FILE01.iqtmp在SFTJ2上执行：ln -s /dev/raw/raw20 /IQData/SFTJ/SYS_TEMP_FILE02.iqtmp（三）创建Simplex IQ Server1启动utility服务在coordinator上操作启动utility服务#su - syb_iq $start_iq -ch 1024 -iqmc 4000 -iqtc 4000 -n utility_db -加上缓存参数，以防止在200G的裸设备上建不了库2创建建库脚本创建数据的脚本createdb.sqlCREATE DATABASE /IQData/SFTJ/SFTJ.dbCASE RESPECTACCENT IGNOREBLANK PADDING ONJCONNECT ONPAGE SIZE 4096IQ PAGE SIZE 131072COLLATION UTF8IQ PATH /IQData/SFTJ/SYS_MAIN_FILE01.iqTEMPORARY PATH /IQData/SFTJ/SYS_TEMP_FILE01.iqtmpLOG ON SFTJ.logMESSAGE PATH SFTJ.iqmsg3 . 创建数据库执行createdb.sql 脚本，创建db数据库 dbisql -c uid=DBA;pwd=sql;dbn=utility_db;eng=utility -nogui createdb.sql4创建参数文件在/IQData/SFTJ/下创建SFTJ.cfg参数文件（需要根据机器配置进行调整）-n SFTJ1-x tcpipport=6638-cl 256m-ch 2048m -gc 20 -gd DBA -gl all -gm 300 -gr 5000-gp 4096-ti 4400 -tl 700 -iqpartition 64-iqgovern 100-iqmt 1840 -iqmc 5120-iqtc 71685 . 启动SFTJ库 以sybaseIQ用户登录操作系统，然后执行： cd /IQData/SFTJstart_iq SFTJ.cfg -n SFTJ1 -x tcpiphost=SFTJ1;port=6638 SFTJ.db（四）创建IQ集群在创建了IQ Simplex Server之后，启动agent服务（$IQDIR15bin64S99SybaseIQAgent15）,就可以使用相应的命令把其转换为IQ Multiplex。下面是具体的步骤：（1）确认SFTJ1机器上的以如下方式启动SFTJ数据库 start_iq SFTJ.cfg -n SFTJ1 -x tcpiphost=SFTJ1;port=6638 SFTJ.db（2）使用dbisql用DBA用户连接到SFTJ1上，执行如下命令 CREATE MULTIPLEX SERVER SFTJ2 DATABASE /IQData/SFTJ/SFTJ.db HOST SFTJ2 PORT 6638 ROLE WRITER STATUS INCLUDED注意：当执行完上面的语句后，SFTJ1机器上的iq server会自动shutdown （3）启动SFTJ1机器上的协调节点SFTJ1start_iq SFTJ.cfg -n SFTJ1 -x tcpiphost= SFTJ1;port=6638 SFTJ.db（4）在SFTJ2机器上将SFTJ2上的iq server的Catalog DB备份到SFTJ1的相应目录中，命令如下： dbbackup -y -d -c uid=DBA;pwd=sql;links=tcpip;eng= SFTJ1 /IQData/db（5）在SFTJ2机器的相应目录下，删除.log文件（如果有的话） （6）在SFTJ2机器的应目录下，重新生成log文件 cd /IQData/SFTJdblog -r -t SFTJ.log SFTJ.db（7）在SFTJ2机器上的/IQData/SFTJ目录下创建SFTJ.cfg参数文件（需要根据机器配置进行调整）-n SFTJ2-x tcpipport=IQDBPORT-cl 256m-ch 2048m -gc 20 -gd DBA -gl all -gm 300 -gr 5000-gp 4096-ti 4400 -tl 700 -iqpartition 64-iqgovern 100-iqmt 1840 -iqmc 5120-iqtc 7168（8）启动SFTJ2机器上的iq serverStart_iq STARTDIR /IQData/SFTJ SFTJ.cfg n SFTJ2 x “tcpiphost=SFTJ2;port=6638” SFTJ.db（9）连接到SFTJ2机器上的写节点，执行如下命令为IQ_SYSTEM_TEMP临时存储空间增加db files(必须执行这一步，否则由于SFTJ2没有IQ_SYSTEM_TEMP而不能进行操作！)ALTER DBSPACE IQ_SYSTEM_TEMP ADD FILE IQ_SYSTEM_TEMP_FILE02 /IQData/SFTJ/SYS_TEMP_FILE02.iqtmp（10）连接到SFTJ1机器上的协调节点上，执行如下命令增加共享存储空间并修改状态，否则将无法进行分布式计算（IQ 15.6的PlexQ）ALTER DBSPACE IQ_SHARED_TEMP ADD FILE IQ_SHARED_TEMP1 /IQData/SFTJ/Shared_Temp_FILE01.iqtmp;ALTER DBSPACE IQ_SHARED_TEMP ALTER FILE IQ_SHARED_TEMP1 READWRITE（11）连接到IQ Multiplex的协调节点(node1机器上dbnode1)，执行如下存储过程校验集群配置：sp_iqmpxvalidate如果返回“No errors detected”，表式集群配置正常。到此，一个两节点的IQ Multiplex创建完成！（五）设置IQ集群在进行了前3步骤之后，我们已经创建了一个两节点的集群。需要注意的是，不建议在系统的IQ_SYSTEM_MAIN创建