Greenplum_安装指南Linux(GP官方教材)_相当经典适用.doc

Greenplum安装(Linux版)2008年12月Copyright 2008 Greenplum版权保留所有的权利目录第1章配置要求与环境设置11.1Greenplum数据引擎的基本架构11.2硬件配置要求11.3系统环境设置21.3.1Linux操作系统级参数21.3.2用户及其主目录31.3.3网络配置31.3.4磁盘阵列及文件系统61.3.5客户端安全7第2章Linux环境安装指南82.1总体安装步骤82.2在Master主机安装Greenplum Database92.3在Master主机配置92.4在区段服务器安装Greenplum数据库112.4.1对区段服务器逐台安装112.4.2通过Master主机安装区段服务器122.5Greenplum系统初始化152.5.1初始化前同步系统时钟152.5.2初始化准备工作162.5.3进行初始化19第3章Greenplum的起停操作21第4章Greenplum测试224.1数据加载测试情况224.1.1外部表建立语句224.1.2Sales表建立语句224.1.3Sales数据加载测试22i第1章 配置要求与环境设置1.1 Greenplum数据引擎的基本架构Greenplum数据引擎由Master主机和Segment主机组成，如下图所示：Segment主机负责存储和存取用户数据，根据用户数据量可以达到几十台。根据Segment主机CPU的内核数量，数据的存储和存取又分为和内核数量相等的若干Segment。Segment主机之间，以及与Master主机之间通信，通过千兆Ethernet组成的InterConnect连接，同一Segment主机上通信端口被分配给不同的Segment，Segment使用分配的通信子网与其它Segment主机进行通信。1.2 硬件配置要求Greenplum配置，要求至少有如下配置：一台Master主机、两台Segment主机、一个千兆光纤Ethernet交换机、一个百兆Ethernet交换机，如下图所示：具体到Master主机和Segment主机的配置可以参考Dell的配置，如下：Greenplum基于Dell服务器的配置1Master主机一台或两台Dell 2950每台Dell 29502x 4 core 32 GB Mem2Segment主机两套以上Dell 2950+MD10002.1每台Dell 29502x 4 core 32 GB Mem2.2每台MD1000每Segment磁盘空间8.79 TB每Segment用户数据空间2.93 TB磁盘大小（数量）300GB (x15)磁盘转速15Krpm3一台千兆以太网交换机1.3 系统环境设置系统环境的设置，主要包括以下几个方面：l Linux操作系统级参数l 用户及其主目录l 网络配置l 磁盘阵列及文件系统l 客户端安全1.3.1 Linux操作系统级参数要调整的Linux操作系统能够级参数并不很多，主要是可能影响到Greenplum的打开文件、网络传输性能的参数，主要集中在两个配置文件中。这些参数调整完成后，需要重新启动系统（建议全部调整完成后启动一次）。l Greenplum每台Master和Segment主机/etc/sysctl.conf中的下列参数kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_max_syn_backlog=4096 dev_max_backlog=10000vm.overcommit_memory=2l Greenplum每台Master和Segment主机/etc/security/limits.conf中的如下参数：* soft nofile 65536 * hard nofile 65536 * soft nproc 131072* hard nproc 1310721.3.2 用户及其主目录在每台Master和Segment主机上，包括两个组用户（gpadmin、gpmon）和两个用户（gpadmin、gpmon）groupadd gpadmingroupadd gpmonuseradd -g gpadmin -m -d /export/home/gpadmin -s /bin/bash gpadminuseradd -g gpmon -m -d /export/home/gpmon -s /bin/bash gpmongpadmin作为后续Greenplum运行的主要组/用户，以root用户安装的程序目录、建立的数据目录等，都需要把Owner移交给Greenplum。例如：chown -R gpadmin:gpadmin /data/* /usr/local/greenplum-db*1.3.3 网络配置Greenplum作为一种MPP架构的数据仓库平台，其网络至少有两部分组成：一个是各个Master主机、Segment主机之间在进行数据库处理时内部的通信网络，Greenplum采用基于千兆光纤Ethernet的InterConnect解决方案；另一个是终端业务用户访问Greenplum时和Greenplum之间的通信网络，采用公司的百兆局域网即可。如下图所示，三台由两个双核CPU、12个硬盘、4个千兆光纤Ethernet端口（Master主机多两个百兆Ethernet口）的服务器组成的Greenplum平台：注意：其中的网卡名称、IP地址仅作为示例，具体案例中请根据客户整体的网络规划确定。对于上图示例中的配置，对于Greenplum各个主机的网络配置可以用下表所示的配置，在规划自己的安装前可以参考。MasterSegment 1Segment 2对外NICnge0:1e1000g0:1e1000g0:1对外Hostrlmdwrlsdw1rlsdw2对外IP90993对外Net MaskNIC 0nge0e1000g0e1000g0Host Name1mdw-1sdw1-1sdw2-1IP 1909293Net MaskNIC 1nge1e1000g1e1000g1Host Name2mdw-2sdw1-2sdw2-2IP2909293Net MaskNIC 2e1000g0e1000g2e1000g2Host Name3mdw-3sdw1-3sdw2-3IP3909293Net MaskNIC 3e1000g1e1000g3e1000g3Host Name4mdw-4sdw1-4sdw2-4IP4909293Net Mask注：后续的安装手册中，基于此示例进行说明。1.3.4 磁盘阵列及文件系统磁盘阵列在数据库服务器中，通常按照用途分为两个部分：一部分是操作系统和Greenplum软件安装的空间，另一部分是存放数据库数据的空间，数据库数据空间对应的磁盘部分，Greenplum数据库空间还可考虑镜像，通常挂在操作系统空间的目录下。Greenplum的目录架构通常包括如下几个主要部分：安装环境准备Master环境Segment环境用户主目录/export/home/gpadmin/export/home/gpadmin用户主目录/export/home/gpmon/export/home/gpmon目录程序目录/usr/local/greenplum-db-/usr/local/greenplum-db（链接）/usr/local/greenplum-db-配置文件目录/data/gpdb_master/config/data/gpdb_master/config数据目录/data/gpdb_master/gp-1（数据字典）/data/gpdb_p1, /data/gpdb_p2, /data/gpdb_m1, /data/gpdb_m2, 对于各个主机的每一个磁盘，要在配置前整理好磁盘id和目录的对应关系。在操作系统一级，建立好磁盘间的镜像关系、目录等，如下边的示例（是Solaris的ZFS中的命令，Linux中要采用类似命令进行）：zpool create -f data mirror c0t0d0 c1t0d0 mirror c0t1d0 c1t1d0 mirror c0t2d0 c1t2d0 mirror c0t3d0 c1t3d0 mirror c0t5d0 c1t5d0 mirror c0t6d0 c1t6d0 mirror c0t7d0 c1t7d0 mirror c4t1d0 c5t1d0 mirror c4t2d0 c5t2d0 mirror c4t3d0 c5t3d0 mirror c4t4d0 c1t4d0 mirror c4t5d0 c5t5d0 mirror c4t6d0 c5t6d0 mirror c4t7d0 c5t7d0 mirror c6t0d0 c7t0d0 mirror c6t1d0 c7t1d0 mirror c6t2d0 c7t2d0 mirror c6t3d0 c7t3d0 mirror c6t4d0 c7t4d0 mirror c6t5d0 c7t5d0 mirror c6t6d0 c7t6d0 mirror c6t7d0 c7t7d0 spare c4t0d0 c0t4d0zfs create data/gpzfs set mountpoint=/usr/local/greenplum-db- data/gpzfs create data/gpdb_p1zfs create data/gpdb_p2zfs create data/gpdb_p3zfs create data/gpdb_p4zfs create data/gpdb_m1zfs create data/gpdb_m2zfs create data/gpdb_m3zfs create data/gpdb_m4注意：完成后，不要忘记修改这些目录的Owner。1.3.5 客户端安全操作系统的防火墙设置等，主要是有可能影响到客户端访问Greenplum的Master主机的设置。注意：除了操作系统级的设置，在Greenplum安装成功后，在Greenplum的Master主机上，有/data/master/gp-1/pg_hba.conf文件，也控制客户端访问Greenplum Master主机的权限。第2章 Linux环境安装指南所有的安装最好以root身份登录进行，在安装完成后，对相应的目录等进行chown及chmod操作。2.1 总体安装步骤l 准备Master主机、各Segment主机的操作系统环境l 在Master主机安装Greenplum Database（参见1.5）一、 运行Installer二、 指定Greenplum用户三、 配置环境变量四、 在Master主机上创建数据目录五、 建立Trusted Host Environmentl 在Master主机配置一、 调整OS参数二、 指定Greenplum用户三、 指定Greenplum Group (optional)四、 改变Greenplum安装所有者五、 配置环境变量六、 在Master主机上创建数据目录l 在每一区段服务器安装Greenplum Database；一、 设定OS调整参数二、 建立Trusted Host环境三、 复制Greenplum软件到区段服务器“Segment Host”四、 在区段服务器上建立数据存储区域五、 同步系统时钟l Greenplum系统初始化l 后续步骤一、 客户端连接授权（参见“Administrator Guide”）二、 创建数据库并加载数据（参见“Administrator Guide”）2.2 在Master主机安装Greenplum Databasel 运行Installer；通过拖拽将安装程序greenplum-db--RHEL4-i386.bin复制到CentOS-5.2的/tmp目录下；解压缩安装文件：unzip /tmp/ greenplum-db--RHEL4-i386.zip安装Greenplum软件：/bin/bash greenplum-db--RHEL4-i386.bin，按照提示运行安装；l 指定Greenplum用户；（安装Demo版跳过）l 配置环境变量；（安装Demo版跳过）l 在Master主机上创建数据目录；（安装Demo版跳过）l 建立Trusted Host Environment（安装Demo版跳过）2.3 在Master主机配置l 调整OS参数在Greenplum的每台主机/etc/sysctl.conf中设定如下参数并重新启动：kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 64000 100 512net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_max_syn_backlog=4096 dev_max_backlog=10000vm.overcommit_memory=2在Greenplum的每一台主机/etc/security/limits.conf中设置如下参数：* soft nofile 65536 * hard nofile 65536 * soft nproc 131072* hard nproc 131072l 指定Greenplum用户# useradd gpadmin# passwd gpadmin# New password: # Retype new password: l 指定Greenplum Group (可选)# groupadd gpadmin# usermod -g gpadmin gp_adminl 改变Greenplum安装所有者# chown -R gpadmin /usr/local/greenplum-db# chgrp -R gpadmin /usr/local/greenplum-dbl 配置环境变量在/etc/profile中增加：source /usr/local/greenplum-db/greenplum_path.shl 在Master主机上创建数据目录# mkdir /data1/gpdb_p1# chown gpadmin /data1/gpdb_p1# chgrp gpadmin /data1/gpdb_p12.4 在区段服务器安装Greenplum数据库在区段服务器上安装Greenplum数据库，有两种方法，一种是采用和安装Master主机一样的方法（注意建立数据库数据目录的参数不同），这种方法对区段服务器逐台安装。另一种方法是用Greenplum提供的gpssh命令，通过Master主机一次性安装。在这种情况下，事先要准备好各台Greenplum的操作系统，包括系统环境变量和网络等。由于Greenplum本身的安装很简单，在区段服务器不多情况下，两种方法差别不大。2.4.1 对区段服务器逐台安装同Master主机的安装方法，但建立数据存储区域时，要注意配置和镜像。l 在区段服务器上建立数据存储区域1) 建立数据存储区目录：mkdir /data/gpdb_p1chown -R gpadmin: gpadmin /data/gpdb_p1chgrp -R gpadmin: gpadmin /data/gpdb_p12) （可选项）如果部署镜像区段服务器，建立镜像区段存储区： mkdir /data/gpdb_m1chown -R gpadmin: gpadmin /data/gpdb_m1chgrp -R gpadmin: gpadmin /data/gpdb_m12.4.2 通过Master主机安装区段服务器l 设定OS调整参数（同Master主机的设置）l 建立Trusted Host环境一、 用root用户进行SSH Key交换1) 创建Host清单文件列出所有Master主服务器、Master备份服务器、区段服务器的主机名。要求：n 一行一名；n 不能空格；n 不能空行。2) 执行Source文件n 登录或切换成root用户；n 执行# source /usr/local/greenplum-db/greenplum_path.sh3) 利用建立的Host清单文件，执行：# gpssh-exkeys -f /home/gpadmin/all_hosts_file4) 当出现下列提示时，输入root口令：*Enter password for roothostname: 二、 为各个区段服务器建立Greenplum用户1) 创建区段Host清单文件列出所有区段服务器的主机名。要求：n 一行一名；n 不能空格；n 不能空行。2) 用gpssh建立各区段服务器的gpadmin用户： n 执行# gpssh -f single_seg_hosts_file /usr/sbin/useradd gpadmin -d /home/gpadmin -s /bin/bash3) 用gpssh建立设定各区段服务器gpadmin用户的密码：# gpssh -f single_seg_hosts_file echo gpadmin_password | passwd gpadmin -stdin4) 用gpssh验证各区段服务器gpadmin用户建立正常：# gpssh -f single_seg_hosts_file echo gpadmin_password | passwd gpadmin -stdin三、 用gpadmin用户和全部主机清单文件，进行SSH Key交换方法同用root用户的操作，l 复制Greenplum软件到区段服务器“Segment Host”1) 在Master主机创建安装Greenplum数据库的tar文件：# su -# cd /usr/local# gtar -cvf /home/gpadmin/gp.tar greenplum-db-2) 用gpscp命令将安装文件复制到各个区段服务器，例如：# source /usr/local/greenplum-db/greenplum_path.sh# gpscp -f /home/gpadmin/single_seg_hosts_file /home/gpadmin/gp.tar =:/usr/local3) 启动gpssh会话，例如：# gpssh -f /home/gpadmin/single_seg_hosts_file4) 在gpssh命令行下，解压tar文件，将解压后的文件放到按章目录下，例如：= gtar -directory /usr/local -xvf /usr/local/gp.tar5) 确认Greenplum数据库目录设定在合适的地方 (Master主机上的环境变量$GPHOME)，例如：= ls /usr/local/greenplum-db-6) 建立greenplum-db当前版本目录的连接，例如：= ln -s /usr/local/greenplum-db- /usr/local/greenplum-db7) 修改Greenplum数据库安装目录的所有者为gpadmin用户或组，例如：= chown -R gpadmin /usr/local/greenplum-db= chgrp -R gpadmin /usr/local/greenplum-db8) 删除tar文件，例如：= rm /usr/local/gp.tar9) 继续下一项工作，“在区段服务器建立数据存储区”l 在区段服务器上建立数据存储区域3) 在gpssh命令的交互模式中，建立或者选择主区段存储区的目录，目录必须有足够空间、目录的所有者必须是gpadmin用户，例如（在用root登录的gpssh命令交互模式中）： = mkdir /data14) 改变目录的所有者为gpadmin用户或者组，例如：= chown -R gpadmin /data1= chgrp -R gpadmin /data15) （可选项）如果部署镜像区段服务器，建立或选择一个目录作为镜像区段存储区，该目录的要求和建立方法同基本区段存储区，例如：= mkdir /data2= chown -R gpadmin /data2= chgrp -R gpadmin /data26) 退出gpssh交互模式：= exit2.5 Greenplum系统初始化在进行初始化前，要确保系统两两间每个子网通信都是正常的。2.5.1 初始化前同步系统时钟l 建立区段主机文件gpinitsystem命令需要为每一区段服务器的每一网卡对应的区段主机名建立一个列表文件/home/gpadmin/seg_hosts_file。1) 建立文件，例如包含：sdw1-1sdw1-2sdw2-1sdw2-22) 用chown和chgrp修改所有者$ gpssh -f seg_hosts_file -v ntpdl 同步系统时钟在Master主机上执行，要确认已经建立好区段主机文件清单。1) 检查各区段服务器的系统时钟是否同步：$ gpssh -f seg_hosts_file -v date2) 同步各服务器的时钟（需要NTP系统进程）：$ gpssh -f seg_hosts_file -v ntpd2.5.2 初始化准备工作准备工作包括建立配置文件和进行性能检查。 建立Greenplum数据库配置文件$GPHOME/docs/cli_help/gp_init_config_example中包含Greenplum数据库配置文件的例子，可以复制后进行能够修改。Greenplum需要至少一个Master和2个区段主机。注意：区段服务器的每一区段都要有相应数量的目录，一定要正确。配置文件内容示例如下：ARRAY_NAME=GreenplumMACHINE_LIST_FILE=/home/gpadmin/seg_hosts_fileSEG_PREFIX=gpPORT_BASE=50000declare -a DATA_DIRECTORY=(/data1/gpdb_p1 /data1/gpdb_p2 /data1/gpdb_p3 /data1/gpdb_p4 /data1/gpdb_m1 /data1/gpdb_m2 /data1/gpdb_m3 /data1/gpdb_m4)MASTER_HOSTNAME=mdw1MASTER_DIRECTORY=/data1/gpdb_p1MASTER_PORT=5432如果配置有镜像区段，该文件中还要包含有镜像区段的配置。 磁盘性能测试在Master主机上以gpadmin执行测试命令：gpcheckperf -d /data/gpdb_p1 -d /data/gpdb_p2 -d /data/gpdb_p3 -d /data/gpdb_p4 -S 32GB -r ds -D -v -f /data/gpdb_master/config/hosts-setup/data/gpdb_master/config/hosts-setup内容同/home/gpadmin/seg_hosts_file。 网络性能测试测试在Master主机上按照子网顺序进行，每一子网（或称每一网段）建立一个主机清单文件。采用千兆交换机，对第一网段的Master主机和Segment主机的每两个主机之间进行双向同步测试。即：/data/gpdb_master/config/host_net0的内容如下：mdw-1sdw1-1mdw-1sdw2-1sdw1-1sdw2-1测试命令会选取第一个到第二个、第三个到第四个i、第五个到第六个主机进行先单向在反向（参数-r n），或者双向同时测试（参数-r N）。测试命令：gpcheckperf -d /data/gpdb_p1 -r N -f /data/gpdb_master/config/host_net0测试结果样板：= RESULT=Netperf bisection bandwidth testmdw-1 - sdw1-1 = 34.580000mdw-1 - sdw2-1 = 78.350000sdw1-1 - sdw2-1 = 34.970000sdw1-1 - mdw-1 = 66.060000sdw2-1 - mdw-1 = 47.040000sdw2-1 - sdw1-1 = 66.070000Summary:sum = 327.07 MB/secmin = 34.58 MB/secmax = 78.35 MB/secavg = 54.51 MB/secmedian = 66.06 MB/secWarning connection between mdw-1 and sdw1-1 is no goodWarning connection between sdw1-1 and sdw2-1 is no goodWarning connection between sdw1-1 and mdw-1 is no goodWarning connection between sdw2-1 and mdw-1 is no goodWarning connection between sdw2-1 and sdw1-1 is no go