RHEL5上Greenplum现场.doc

与ORACLE安装，尤其是RAC安装相比，GREENPLUM的安装，应该说是极其简单的。大致的过程可以分成四大部分。1、准备硬件2、准备操作系统3、安装GP软件4、初始化系统。硬件环境的准备（如果只是构建测试平台，不考虑性能，这部分内容可以忽略） 首先就是硬件准备。GREENPLUM本身只能运行X86架构的服务器上。因此甭管是普通的PC机还是PC SERVER，甚至是虚拟机都可以运行GREENPLUM。唯一的差别就是效率。按照官方文档的说法，主要是针对生产环境，构造一个标准的GREENPLUM系统需要三台PC服务器。根据实际使用经验，这些服务器至少应该是XEON以上的CPU，MASTER节点需要16GB内存，如果使用千兆网卡构建内联环境，至少5块千兆网卡，其中四块千兆网卡用来构建系统的INTERCONNECT，一块用来作为连接系统的PUBLIC网卡。当然如果有条件的话，内联可以用万兆网卡或者IB，效率会更高。MASTER的存储没有什么特殊要求。 SEGMENT节点需要32G内存。如果使用千兆网卡构建内联环境，至少4块千兆网卡，不需要外联网卡。数据存储可以使用PC SERVER内置硬盘，也可以使用外置存储阵列方式（取决于成本和性能的平衡），总数据量不超过可用存储的70%既可。 总体而言，与专用设备和系统相比，构建GREENPLUM的生产环境的硬件成本是很低廉的。 操作系统的准备 支持GREENPLUM运行的操作系统平台主要包括LINUX（REDHAT 5.4 or later/CENTOS 5.4 or later/SUSE 10.2 or later) 32bit/64bit，solaris x86 64bit，以及MAC OS 64bit。这里主要介绍LINUX平台的设置，其它平台大同小异。 首先在每台PC SERVER上安装LINUX操作系统，然后设置内核参数，这决定了GREENPLUM可以获取多少资源使用。官方文档给出的内核参数配置如下 编辑/etc/sysctl.conf文件 net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 1 kernel.core_uses_pid = 1 net.ipv4.tcp_syncookies = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.sem = 250 64000 100 512 kernel.shmmax = 500000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 64000 100 512 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_max_syn_backlog=4096 dev_max_backlog=10000 vm.overcommit_memory=2 net.ipv4.conf.all.arp_filter = 1 对于练习环境来说，这个配置是没有问题的。但是在生产环境中，整个系统中有大量SEGMENT实例和镜像实例时，这样的配置可能导致无法启动服务。所以，请加大kernel.sem = 250 64000 100 512中最后一位的配置，比如把512改成1024,2048这样的值。另外，可以加大共享内存相关的配置，比如kernel.shmmax和kernel.shmall。完成编辑之后，以root身份执行命令sysctl -p或者重启系统，使其配置生效。 修改内核参数后，向/etc/security/limits.conf中添加如下配置 * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 由于数据仓库属于IO敏感性应用，为了提高系统效率，生产环境中，我们应该在LINUX内核上修改IO调度的算法。以root身份编辑/boot/grub/menu.lst，添加一行 elevator=deadline，但是不要修改failsafe的定义，重启系统(必须)，再以root身份执行命令cat /sys/block/*/queue/scheduler，输出的每行应该含有有deadline， 比如noop anticipatory deadline cfq 然后应该设置磁盘预读，优化磁盘IO效率。以root身份编辑/etc/rc.d/rc.local，添加类这样的内容blockdev -setra 16384 /dev/sd*，重启系统。使用命令blockdev -getra /dev/sd* 可以验证设置。 接下来配置域名解析，可以定义DNS，也可以在每台服务器上定义/etc/hosts，每块网卡要有一个名字，比如 localhost loghost 38 mdw-ext1 #eth0 on master node. Use IP sensible for LAN 50 mdw-sp #iDRAC - Shared Management port on master node 50 mdw-cm #eth0 - Shared with management port 50 mdw-1 mdw #eth4 on master node 50mdw-2 #eth5 on master node 40 smdw-ext1 #eth0 on standby master node. IP sensible for LAN 51 smdw-sp #iDRAC - Shared Management port on master node 51 smdw-cm #eth0 - Shared with management port 51 smdw-1 smdw #eth4 on standby master node 51 smdw-2 #eth5 on standby master node sdw1-sp #iDRAC - Shared Management port on master node sdw1-cm #eth0 - Shared with management port sdw1-1 sdw1 #eth2 on first segment node sdw1-2 #eth3 on first segment node sdw2-sp #iDRAC - Shared Management port on master node sdw2-cm #eth0 - Shared with management port sdw2-1 sdw2 #eth2 on second data node sdw2-2 #eth3 on second segment node 安装所需要的文件系统。GREENPLUM只能使用文件系统存放数据，不支持裸设备。出于性能考虑，EMC官方建议在LINUX上使用XFS文件系统，SOLARIS上使用ZFS文件系统。如果是练习环境则无所谓，只要相应操作系统可以支持的文件系统即可。对于LINUX来说,SUSE的安装介质上就带有XFS文件系统。REHL 6.0以下/CENTOS 6.0以下版本则需要到相关网站单独下载XFS文件系统安装。64bit: rpm -ivh kmod-xfs-0.4-2.x86_64.rpm rpm -ivh xfsprogs-2.9.4-1.el5.centos.x86_64.rpm 32bit: rpm -ivh kmod-xfs-0.4-2.i686.rpm rpm -ivh xfsprogs-2.9.4-1.el5.centos.i386.rpm 先用fdisk -l查看要格式化的设备，然后使用命令mkfs -t xfs /dev/sdc，创建mount点，比如mkdir -p /data/vol1 为了保证系统重启后，可以自动mount磁盘，以root身份编辑/etc/fstab，添加条目 device file /data xfs logbufs=8,noatime,nodiratime 1 1 也可以每次系统启动，自己用命令mount /data/vol1进行mount。 为了保证每个服务器的时间同步，可以在master服务器上设置NTP服务。在master上，以root身份编辑/etc/ntp.conf # server server NTP SERVER IP ADDRESS enable auth monitor driftfile /var/lib/ntp/drift/ntp.drift logfile /var/log/ntp statsdir /var/lib/ntp/ntpstats filegen peerstats file peerstats type day enable filegen loopstats file loopstats type day enable filegen clockstats file clockstats type day enable keys /etc/ntp.keys trustedkey 0 requestkey 0 controlkey 0 确保所有用户可以读取这个文件 chmod 744 /etc/ntp.conf touch /var/lib/ntp/drift/ntp.drift 最终以root用户启动NTP服务 chkconfig -levels 2345 ntpd on /etc/init.d/ntp start 在segment节点上编辑/etc/ntp.conf，添加类似内容 server 50 server 51 同样要确保所有用户可以读取它 chmod 644 /etc/ntp.conf 最终以root身份启动ntp服务 chkconfig -levels 2345 ntpd on /etc/init.d/ntp start 接下来就可以进行GP软件安装了。首先去下载安装包，安装包可以从上获得，不是很大，大约50MB。这个网站在国内不是很好访问，所以如果哪位有网盘共享出来，我愿意给大家share安装包。最新的软件包是4.1版，这个版本不但修复了GP的一些bug，而且提供了一些重要的新特性，比如，关联更新和删除不再必须使用数据分布键做条件，极大提升了业务类型操作的性能等等。下载的版本和生产环境一模一样，只是软性license，这一点与oracle一样，所以大家可以放心使用，没有限制，只是没 有官方支持和服务罢了。 完成安装包下载之后，上传安装包到master节点的目录，以root身份用unzip解压，比如unzip greenplum-db-4.1.0-build-3-RHEL5-x86_64.zip，得到一个文件greenplum-db-4.1.0-build-2-RHEL5-x86_64.bin，接下来执行它./greenplum-db-4.1.0-build-2-RHEL5-x86_64.bin系统会提示接受协议，提示默认安装目录，是否新建目录等等。所以只需要按提示yes，回车，或者输入安装路径就可以了。这样就完成了软件的安装。以此类推，每个节点都可以这样安装软件，每个节点再创建一个gpadmin的用户，把软件的安装目录所属从root改成gpadmin，最后建立各个节点间gpadmin用户的ssh等效性就可以了。但是如果遇到大规模节点部署，这样做效率就非常差。所以，我们利用master装好的软件首先建立各个节点间root用户的ssh等效性。这可以使用gpssh-exkeys这个工具完成。首先编辑一个文本文件，比如称为all_hosts。在这个文件中，每台主机网卡的名字占一行，比如mdw1sdw1-1sdw1-2sdw2-1sdw2-2sdw3-1sdw3-1.然后，进入安装目录,GP的默认安装目录是/usr/local/greenplum-db（这是安装目录的link)，用命令source greenplum_path.sh设置环境变量。这样可以在任意目录使用greenplum的工具和命令。然后执行 gpssh-exkeys -f all_hosts，系统提示每台主机的root密码，这样就建立各个机器间root用户的等效性，以后跨机器以root身份通过ssh执行系统命令不再需要密码了。再编辑一个文件称作all_hosts1,每个主机一个名字，占一行接下来在每个节点上创建gpadmin用户，这可以使用gpssh完成用命令gpssh -f all_hosts1，系统出现提示符=在这个提示符下执行的命令会连接到每台all_hosts文件中指定的主机上进行执行。比如创建用户组和用户= groupadd -g 3030 gpadminmdwsdw1sdw2=useradd -u 3030 -g gpadmin -d /home/gpadmin -s /bin/bash -m gpadminmdwsdw1sdw2=passwd gpadmin.执行exit，退出所有连接。切换到gpadmin用户，再次执行gpssh-exkeys -f all_hosts，建立所有机器间gpadmin用户的等效性。改变软件安装目录的所有权限到gpadminchown -R gpadmin:gpadmin /usr/local/greenplum-db-4.1.0然后vi建立一个文件，比如all_segments,这个文件中含有所有segment主机的名称。比如sdw1sdw2.每个主机名要占用一行。再建立一个all_seg,这个文件中每个段主机的网卡名要占用一行。在master上，对已经安装的文件打包tar -cvf /home/gpadmin/gp.tar greenplum-db-4.1.0执行如下命令，把打好包的安装包拷贝到每个segment节点。gpscp -f all_segments /home/gpadmin/gp.tar =:/usr/local执行命令gpssh -f all_segments在所有segment服务器上解包= tar -directory /usr/local -xvf /usr/local/gp.tar在所有segment服务器上为安装包创建link= ln -s /usr/local/greenplum-db-4.1.0 /usr/local/greenplum-db在所有segment服务器上改变greenplum的所属到gpadmin= chown -R gpadmin:gpadmin /usr/local/greenplum-db在所有segment服务器上删除gp.tar= rm /usr/local/gp.tar至此，完成所有服务器上的软件部署工作。接下来要进行数据库服务的初始化工作。首先要创建数据目录。在master节点上，创建数据目录mkdir -p /data/vol1/master，改变它的读写权限到gpadminchown -R gpadmin:gpadmin /data/vol1/master.在所有segment上创建数据目录,以root身份gpssh -f all_segments= mkdir -p /data/vol1/gpdb.= chown -R gpadmin:gpadmin /data/vol1/gpdb.编辑系统初始化的参数文件，这个文件的编辑可以使用模版，模板文件在安装目录的/usr/local/greenplum-db/docs/cli_help/,gp_init_config_example。里面的内容如下ARRAY_NAME=Greenplum 服务名称，随便起名，符合系统规范即可MACHINE_LIST_FILE=/home/gpadmin/al