greenplum安装文档-v1.docx

大纲本教程主要是讲解GP分布式数据库的部署相关准备及过程，以及在部署中遇到过的问题解决方案描述。第一章 准备工作1. 准备文件：虚拟机三个主机：CentOS release 6.5 (Final)GP安装包：greenplum-db--build-1-RHEL5-x86_64.bin初始化文件：gpinitsystem_config2. 这里GP部署是在虚拟机上实现的，一共三台虚拟机。虚拟机之间要实现通信是一个非常重要的问题，否则在所有的用户和配置文件都正确配置以后，也会因为通信问题产生错误。这里主要列出在安装中遇到的重要问题，其他的一般配置按照第二节配置过程描述。安装中要注意的问题包括，设置静态ip，关闭防火墙，建立用户及其分配用户组，配置每个主机的所有集群中的主机地址和主机名的映射文件/etc/hosts，具体的配置过程会在下面章节给出。第二章 配置过程1. 设置静态IP若不设置静态IP，则虚拟机的IP地址可能会发生变动，在所有的主节点和子节点上配置的主机映射文件就会失效，导致不能找到主机，另外，在主节点Master上配置的子节点表segment也找不到主机。设置静态IP如下：vim /etc/sysconfig/network-scripts/ifcfg-eth0按照这个顺序，图2.1静态IP配置，将除了HWADDR、UUID之外的其他项更改。其中IPADDR、NETMASK、GATEWAY是可以在电脑网络管理中可以找到，如图2.1Windows网络管理图2.1 静态IP配置2.2 Windows网络管理2. 关闭防火墙在数据库初始化之前一定要关闭防火墙，避免主机之间通信中断。典型的问题有，在所有配置若都完全正确，防火墙未关闭时候，初始化中提示输入y之后，接下来后期会报如下错误。2.3 未关闭防火墙报错正确解决方法是root权限关闭防火墙即可：rootduancy-host01 # service iptables stoprootduancy-host01 # service ip6tables stop3. 修改/etc/sysctl.conf文件将/etc/sysctl.conf的内容修改为如下内容，重启生效(或执行sysctl -p生效)（从此处开始即对系统文件和用户配置文件做相应配置。）kernel.shmmax = 5000000000kernel.shmmni = 4096kernel.shmall = 40000000000kernel.sem = 250 5120000 100 20480#SEMMSL SEMMNS SEMOPM SEMMNIkernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmnb = 65536kernel.msgmax = 65536kernel.msgmni = 2048net.ipv4.tcp_syncookies = 1net.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.default.rp_filter = 1net.ipv4.conf.default.arp_filter = 1net.ipv4.conf.all.arp_filter = 1net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog = 10000vm.overcommit_memory = 24. 修改/etc/security/limits.conf配置文件在/etc/security/limits.conf配置文件末尾处增加如下内容：* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072* soft core unlimited注意：对于RedHat6.x系统，还需要将/etc/security/limits.d/90-nproc.conf文件中的1024修改为131072。5. 修改 Linux磁盘I/O调度策略Linux磁盘I/O调度器对磁盘的访问支持不同的策略，默认的为CFQ，GP建议设置为deadline要查看某驱动器的I/O调度策略，可通过如下命令查看，下面示例的为正确的配置：# cat /sys/block/devname/queue/scheduler显示：noop anticipatory deadline cfq若不能如上显示，则需要做如下修改。修改磁盘I/O调度策略的方法为，修改/boot/grub/menu.lst文件的启动参数，在kernel一行的最后追加”elevator=deadline”，如下为正确配置的示例：rootgp_test1 # vi /boot/grub/menu.lst# grub.conf generated by anaconda# Note that you do not have to rerun grub after making changes to this file# NOTICE: You have a /boot partition. This means that# all kernel and initrd paths are relative to /boot/, eg.# root (hd0,0)# kernel /vmlinuz-version ro root=/dev/vg00/LV_01# initrd /initrd-version.img#boot=/dev/sdadefault=0timeout=5splashimage=(hd0,0)/grub/splash.xpm.gzhiddenmenutitle Red Hat Enterprise Linux Server (2.6.18-308.el5) root (hd0,0) kernel /vmlinuz-2.6.18-308.el5 ro root=/dev/vg00/LV_01 rhgb quietelevator=deadline initrd /initrd-2.6.18-308.el5.img注意：修改该配置文件需谨慎，错误的修改会导致重启操作系统失败。6. 每个磁盘设备文件需要配置read-ahead(blockdev)值为65536因为我是在个人虚拟机上安装，整个read-ahead值设置使用了默认值，没有做更改。官方文档的推荐值为16384，但译者认为应该为65536更合理，该值设置的是预读扇区数，实际上预读的字节数是blockdev设置除以2，而GP缺省的blocksize为32KB，刚好与65536(32768B/32KB)对应。检查某块磁盘的read-ahead设置：# blockdev -getra devname例如：# blockdev -getra /dev/sda65536修改系统的read-ahead设置，可通过/etc/rc.d/rc.local来修改，在文件尾部追加如下代码：# blockdev -setra 65536 /dev/mapper/vg00-LV_01如需临时修改read-ahead设置，可通过执行下面的命令来实现：# blockdev -setra bytes devname例如：# blockdev -setra 65536 /dev/sda7. 数据库greenplum包安装greenplum包的安装是所有主节点主机Master和子节点都要安装的，我之前发生过只安装Master忽略了子节点，这样在初始化开始就会包script exiting错误。数据库安装包greenplum-db--build-1-RHEL5-x86_64.bin是直接可以安装的文件，安装路径任意选择，安装之后要保证有软连接出现，如图2.4安装出现软连接所示。2.4 安装出现软连接上图我是将数据库包greenplum安装在gpadmin下面的gp中的，所以我是先配置了gpadmin用户之后再安装数据库的。安装在其他路径下面这里不受影响。8. 配置数据库gpadmin用户配置分布式数据库用户gpadmin以及用户组并且将意境安装的greenplum目录所属用户切换成gpadmin：2.5 配置用户chown R gpadmin:gpadmin greenplum-HOME9. 用户gpadmin配置文件在用户工作目录下建立一个conf目录存放配置文件allhosts和seghosts、初始化文件gpinitsystem_config。一、在conf目录下创建allhosts文件与seghosts文件allhosts文件内容为所有的集群的机器名或ip。seghosts文件内容问所有seg机子的机器名字或ip。二、在conf目录下放入gpinitsystem_config初始化文件初始化文件需要更改主节点MASTER_DIRECTORY路径、declare -a DATA_DIRECTORY子节点路径、declare -a MIRROR_DATA_DIRECTORY子节点镜像路径。如下图2.6 初始化文件配置10. gpssh-exkeys -f allhosts文件此步骤创建ssh子节点，通过ssh与其他主机通信。创建ssh子节点:gpadminduancy-host01 $ gpssh-exkeys -f allhostsgpadminduancy-host01 $ ssh 子节点主机名gpadminduancy-host01 $ exit11. gpseginstall -f seghosts文件 -u gpadmin -p gpadmin通过Master统一建子节点上的gpadmin用户。12. 配置gpadmin用