Greenplum-数据库安装方案.docx

江西移动Greenplum 数据库安装修改记录编号日期描述版本作者审核发布日期 第 27 页 共 27页Greenplum 数据库安装配置规范目 录1物理环境部署31.1Greenplum物理架构设计31.2磁盘硬件RAID设计51.3网络IP规划52软件环境安装配置62.1操作系统安装配置62.2操作系统参数设置112.3操作系统安全配置132.4操作系统用户组和用户152.5网络配置152.6集群NTP服务时钟同步配置163数据库系统安装配置163.1Greenplum软件安装163.2数据库初始化204数据库参数214.1数据库参数设置214.2调整连接控制参数235Command center安装231 物理环境部署1.1 Greenplum物理架构概述Greenplum是一种基于postgresql（开源数据库）的分布式数据库。其采用shared nothing架构（MPP），主机，操作系统，内存，存储都是自我控制的，不存在共享。主要由master host（master管理节点），segment host（segment数据节点），interconnect（网络）三大组件组成，segment host又包括primary segment（主segment实例）及mirror segment（镜像segment实例）。如下图所示：其中各组件功能如下： Master host （master管理节点）主要负责接收并分配查询等任务，是Greenplum环境与外界通信的入口。并且，master管理节点不存储任何业务数据，只负责对各Segment数据节点抽取出的业务数据进行汇总，反馈给用户。 Standby master（Standby master管理节点）主要作为master管理节点的热备份节点，当master管理节点宕机时Standby master则扮演master管理节点角色。 Node/segment host（Segment数据节点）主要负责运行Segment instances（Segment实例）的服务进程，支撑多少个Segment实例取决于Segment数据节点CPU核数。 Primary Segment（主实例）存放数据库一部分独立数据（即每个主实例存放的数据完全不一样），主要负责处理查询等任务，每个Segment数据节点能配置多少个主实例取决于CPU等物理配置情况。当加载数据至数据库时，数据库按既定的分配算法决定实例分别存放哪些数据，当master将执行计划发给各实例，各实例主要处理其负责的那部分数据。 Mirror segment（镜像实例）主要作为Primary Segment（主实例）的热备份节点，当Primary Segment（主实例）不可用时Mirror segment（镜像实例）则扮演master管理节点角色。 Interconnect switches（互连交换机）是Greenplum数据库环境的通信核心，主要负责各节点的通信交互。1.2 硬件环境1. Master/Standby服务器 Master硬件信息设备型号华为RH2288H V2 CPU英特尔志强 8核 E5-2650V2 2.6GHz处理器 2*8core内存192G磁盘23*900GB网卡端口4*1GE+4*10GB口服务器数量22., Segment服务器Slaver硬件信息设备型号华为RH2288H V2 CPU英特尔志强 8核 E5-2650V2 2.6GHz处理器 2*8core内存192G磁盘23*900GB网卡端口4*1GE+4*10GB口服务器数量17（当前环境13台）3. 万兆网络2台华为交换机9300做了交换机堆叠配置，每台服务器连接2条万兆网线，分别连接到两台交换机，在主机上配置网卡聚合，实现负载均衡和容错。1.3 磁盘硬件RAID设计考虑数据安全性、可靠性、运行性能和容量需求，在硬件方面采用RAID进行进行数据保护。对于磁盘RAID设置要求： RAID卡打开“Write Back”Cache设置和“Read ahead”读策略。 分成2组RAID5:12*900G +11*900G。1.4 网络IP规划为了最大程度满足性能和可靠性的要求，集群配置了2台华为9300交换机，做了交换机堆叠配置，每台服务器连接2条万兆网线，分别连接到两台交换机，在主机上配置网卡聚合（mode=4），实现负载均衡和容错。 由于采用网卡聚合技术，每台服务器只需配置一个IP地址，整个集群处于一个vlan之中。用途机器名IPGPDB Masterjxgpmaster04GPDB Standbyjxgpmaster05GPDB Segmentjxgpseg050jxgpseg061jxgpseg072jxgpseg083jxgpseg094jxgpseg105jxgpseg16jxgpseg17jxgpseg138jxgpseg149jxgpseg150jxgpseg161jxgpseg1722 软件环境安装配置2.1 操作系统安装配置2.1.1 BIOS设置 进入BIOS功能界面，开启BIOS 超线程 开启 验证BIOS超线程设置合规性：A: grep i cpu cores | /proc/cpuinfo |wc lB: grep i processor | /proc/cpuinfo |wc l 检查结果：处理器数量是核数的2倍。2.1.2 操作系统安装设置 安装操作系统基础包操作系统版本：Redhat Enterprise Linux Server 6.5(64bit) 要求： 选择“最小”软件组方式安装Red Hat Enterprise Linux 6.5 （64bit） 选中“现在自定义”选项，选择安装其他系统工具包。 安装系统语言包 要求：操作系统安装过程中，请安装以下语言支持。 POSIX C和 en_US.utf8 locales 在安装操作系统时安装。即The POSIX C and en_US.utf8 locales must be installed during the OS installation. Additional locales may be installed as necessary to suit the customer. 以 English(English)作为操作系统安装/登录时采用的语言。 除英文环境，在安装附加语言支持时，选择简体中文。即zh_CN.gbk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5，等中文语言包需要在安装操作系统时一并安装。 安装系统工具包组件名称组件功能版本要求验证检查Kdump系统信息转储工具与操作系统相同版本Service kdump statusWhich kdumpNtp时间同步服务与操作系统相同版本Service ntpd statusPerlPerl语言工具包与操作系统相同版本Perl -versionTcpdump网络数据采集分析工具与操作系统相同版本which TcpdumpUnzip/zlib5 解压工具与操作系统相同版本which UnzipXfsdumpXfs文件系统工具与操作系统相同版本which XfsdumpXfsprogsXfs文件系统工具与操作系统相同版本which xfssprogsed.x86_64Ed编辑器与操作系统相同版本which edjdk-6u43-linux-x64-rpmJdk工具，从Oracle下载安装与操作系统相同版本jdk versionipmi/ipmitool远程管理诊断工具与操作系统相同版本ipmitool -VGdb程序运行时调试工具与操作系统相同版本which gdbPstack程序运行时调试工具（依赖于gdb）与操作系统相同版本which pstackNmon系统性能监测工具与操作系统相同版本which nmon 开发语言连接驱动开发语言连接数据库需要特定的驱动，目前Greenplum与第三方开发语言连接方式有如下规范： Greenplum自带C/C+开发语言驱动，不需要安装任何驱动。 Greenplum自带JDBC/ODBC连接驱动，开发语言可通过JDBC或ODBC连接数据库，例如 Java开发语言可通过JDBC连接数据库。 对于自带有JDBC/ODBC连接驱动的开发语言，可直接通过自身的JDBC/ODBC连接数据库 Python及Perl开发语言不能通过JDBC/ODBC连接数据库，需通过DBD连接，则要在安装操作系统完成后独立部署安装。例如LDS及SOR数据库集群开发语言是Perl，则是需要安装如下DBD驱动软件包。postgresql-libs-8.4.11-1.el6_2.x86_64perl-DBI-1.609-4.el6.x86_64perl-DBD-Pg-2.15.1-3.el6.x86_6 时区配置 配置时区要求如下： 选择时区为东八区“亚洲/上海 - 中国东部” Asia/ShanghaiEast China Beijing，Guangdong，Shanghai，etc. 系统时钟不使用UTC 文件系统和分区配置 由于RAID磁盘组大于2T，建议采用parted分区，不采用LVM进行管理。 Greenplum官方推荐最适合的文件系统是XFS，其他文件系统类型原则上不推荐； 挂载点大小文件系统类型说明/400Gext4安装操作系统和应用软件/boot200Mext4linux启动目录无192Gswap系统交换空间/data12.8Txfshadoop数据目录/data22.6Txfshadoop数据目录 网卡配置每台服务器采取2网卡绑定的方式提高网络带宽（需要交换机支持），网卡绑定参考如下过程：1.停止NetworkManager服务service NetworkManager stopchkconfig NetworkManager off2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件DEVICE=bond0ONBOOT=yesBOOTPROTO=staticIPADDR=NETMASK=GATEWAY=USERCTL=no3.分别修改每块slave网卡的设置文件，假设slave网卡为eth0,则按以下内容更改/etc/sysconfig/network-scripts/ifcfg-eth0文件:DEVICE=eth0ONBOOT=yesBOOTPROTO=noneMASTER=bond0USERCTL=no4.以步骤3的方式修改另一块slave网卡配置5.编辑/etc/modprobe.d/bond.conf文件,加入以下内容alias bond0 bondingoptions bond0 miimon=100 mode=46.重启network服务service network restart7.检查网络连通性说明：miimon是用来进行链路监测的。 比如:miimon=100，那么系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路；mode的值表示工作模式，共有0,1,2,3,4,5,6七种模式2.2 操作系统参数设置设置类型内容硬盘调度算法elevator=deadline内核参数l 设置方法修改/boot/grub/menu.lst 找到 kernel /vmlinuz-xxx 这一行，在最后添加 elevator=deadline/elevator=deadline transparent_hugepage=nevel 检查/验证方法系统启动正常后，执行 cat /sys/block/*/queue/scheduler应能看到：noop anticipatory deadline cfq 系统运行级别 = 3系统设置l 设置方法在/etc/inittab文件中，将行id:5:initdefault改成：id:3:initdefaultl 检查/验证方法执行 cat /etc/inittab应能看到：id:3:initdefault磁盘预读取block readahead = 16384 (所有硬盘)系统设置l 设置办法修改/etc/rc.d/rc.local 增加两行blockdev -setra 16384 /dev/sd*l 检查办法系统重启后运行blockdev -getra /dev/sd*blockdev -getra /dev/vg0/*应都是16384语言与字符集language=en_US.UTF-8系统设置l 设置办法系统安装时指定。l 检查办法登录系统，执行命令 locale结果应该是 en_US.UTF-8Sysctl.conf系统设置l 设置办法修改/etc/sysctl.conf，增加以下内容：kernel.shmmax =1000000000kernel.shmall =4000000000kernel.shmmni = 4096kernel.sem = 250 512000 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmni = 2048net.ipv4.tcp_syncookies = 1net.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_route = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog = 10000net.core.rmem_max = 2097152net.core.wmem_max = 2097152vm.overcommit_memory = 2kernel.core_pattern=/data1/coredump/core.%e.%p.%t.%u.%gnet.ipv4.ip_local_reserved_ports=5432,6432net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0kernel.core_uses_pid = 1net.ipv4.tcp_syncookies = 1kernel.msgmax = 65536kernel.msgmni = 2048kernel.msgmnb = 65536kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 512000 100 2048kernel.sysrq = 1net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog=10000vm.overcommit_memory=2net.ipv4.conf.all.arp_filter = 1注：如需增加连接数，可增加kernel.sem然后执行sysctl -p。l 检查办法用 sysctl ，检查上述各参数是否匹配。用户资源限额系统设置l 设置办法修改 /etc/security/limits.conf增加以下几行：* soft nofile 1048576* hard nofile 1048576* hard nproc 1048576* soft nproc 1048576ulimit -c unlimited# End of file#gpadmin soft nproc 131072#gpadmin hard nproc 131072* soft nofile 1048576* hard nofile 1048576修改 /etc/security/limits.d/90-nproc.conf增加以下几行：* soft nproc 1048576* hard nproc 1048576* soft nofile 1048576* hard nofile 1048576ulimit -c unlimited* soft nproc 1048576* hard nproc 1048576l 检查办法用任意普通用户登录，执行ulimit -a，检查上述参数是否匹配。2.3 操作系统安全配置2.3.1 关闭防火墙和SELinux 在操作系统安装过程中，关闭操作系统自带防火墙。chkconfig iptables offservice iptables stop 关闭SELinux，设置/etc/selinux/config文件中SELINUX=disabled。2.3.2 关闭不必要的服务关闭所有不需要的服务，减少这些服务对系统资源的占用。部分 LINUX 服务信息如下：系统服务名称进程摘要建议abrt-ccppC/C+程序问题收集工具关闭AbrtdAutomatic Bug Reporting Tool关闭abrt-oops内核严重异常信息收集工具关闭AcpidACPID事件监听和分发进程关闭Atd定时任务进程关闭Auditd系统审计进程关闭AutofsAufofs管理进程关闭avahi-daemon本地网络服务查找关闭Bluetooth蓝牙协议守护进程关闭Certmonger认证期限监控关闭CpuspeedCpu速率调整进程关闭Crond定时任务进程打开CupsCups打印机进程关闭Firstboot系统首次启动时的配置关闭Haldaemon硬件信息维护和管理进程关闭ip6tablesipv6包过滤软件防火墙进程关闭Iptables包过滤软件防火墙进程关闭Irqbalance中断平衡进程打开lvm2-monitorlvm 的mirror监控进程关闭Mdmonitor软RAID监控进程关闭MessagebusDBUS消息总线进程关闭Netfs网络文件系统进程关闭Network网络进程打开NetworkManager网络自动管理进程关闭NfslockNfs锁机制进程关闭PortreserveRPC服务相关关闭Postfix电子邮件服务关闭Rhnsd操作系统自动更新进程关闭Rhsmcertd在线更新订阅状态信息关闭RpcbindRPC服务相关关闭Rpcgssd针对nfsv4客户端管理 RPCSEC GSS contexts进程关闭RpcidmapdRPC名字与UID/GID映射进程关闭Rsyslog系统日志进程打开Sshd系统日志进程打开Sysstat系统统计信息进程打开udev-post设备管理系统关闭Ipmi远程诊断打开2.3.3 禁止不用的用户登录系统生成的默认用户，如 ftp、nobody、lp 等，默认情况下这些用户不可登录系统。2.3.4 配置 security 参数序号参数参数名称default建议值调整原则及注释1Umaskumaskumask = 022umask = 022增强安全性2TMOUT登录shell超时设置未设置编辑/etc/profile文件TMOUT=120export TMOUT增强安全性2.4 操作系统用户组和用户 创建用户组及用户 groupadd gpmon useradd -g gpmon gpmon组GID用户UID主目录说明Gpadmin3030gpadmin3030/home/gpadminGp系统用户Gpmon3040gpmon3040/home/gpmonGp监控用户 设置用户初始密码Gpadmin用户的密码为xxxxGpmon用户的密码为xxxx2.5 网络配置按照数据仓库系统集群IP 对应关系，配置所有节点的/etc/hosts文件，要求将所有节点的IP、服务器别名及服务器名都编辑到/etc/hosts文件，具体内容如下：4jxgpmaster05jxgpmaster00jxgpseg051jxgpseg062jxgpseg073jxgpseg084jxgpseg095jxgpseg106jxgpseg17jxgpseg18jxgpseg139jxgpseg140jxgpseg151jxgpseg162jxgpseg172.6 集群NTP服务时钟同步配置集群NTP服务配置要求：选定时间同步服务器节点，然后编辑/etc/ntp.conf，输入时间同步服务器节点IP地址。开启ntpd服务service ntpd restartchkconfig ntod onn 验证集群NTP服务配置合规性：执行命令：Service ntpd status执行结果：Ntpd (pid 5091) is running3 数据库系统安装配置3.1 Greenplum软件安装3.1.1 软件及相关工具清单 Greenplum软件greenplum-db-greenplum-cc-web--build-23.1.2 关闭不需要的服务（所有节点） 防火墙用以下命令关闭防火墙service iptables saveservice iptables stopchkconfig iptables offservice ip6tables saveservice ip6tables stopchkconfig ip6tables off 其他需要关闭的服务chkconfig avahi-daemon offchkconfig avahi-dnsconfd offchkconfig conman offchkconfig bluetooth offchkconfig cpuspeed offchkconfig setroubleshoot offchkconfig hidd offchkconfig hplip offchkconfig isdn offchkconfig kudzu offchkconfig yum-updatesd off3.1.3 启动IPMI服务(所有节点)（IPMI（Intelligent Platform Management Interface）即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。如果没有安装相关服务，建议安装），执行以下命令：service ipmi start chkconfig ipmi on3.1.4 Master节点安装和多机信任 软件安装 软件安装目录：/usr/local/ 在Master节点上，以root用户执行，按照提示进行安装。cd /usr/localtar zxvf /greenplum-db-.tar.gz 创建符号链接greenplum-db指向Greenplum安装目录， 修改root用户环境变量配置 修改root用户home的/.bashrc配置文件，增加source /usr/local/greenplum-db/greenplum_path.sh root用户建立多机信任使用root用户在Master主机上操作:gpssh-exkeys -f ./all-nodes（所有节点主机名） 验证配置：选择某个节点，从master通过ssh命令连接，不输入任何密码。 检查结果：可正常连接被信任节点。 Greenplum节点数据目录在相应节点按如下表的数据目录规则创建目录，并授予gpadmin用户所有操作权限。节点数据目录目录属主权限目录用途验证方式Master/Standby Master/data1/mastergpadmin所有节点数据目录ls -lr /data1/masterSegment/data1/primary/data2/primarygpadmin所有节点数据目录ls -lr /data1/primary /data2/primarySegment/data1/mirror/data2/mirrorgpadmin所有节点数据目录ls lr /data1/ mirror /data2/mirror 修改gpadmin用户环境变更配置【Master和Standby Master主机】：修改 /.bashrc文件，添加如下内容：source /usr/local/greenplum-db/greenplum_path.shMASTER_DATA_DIRECTORY=/u01/master/gpseg-1export MASTER_DATA_DIRECTORY （gpstart默认启动的目录）【Segment主机】：修改 /.bashrc文件，添加如下内容：source /usr/local/greenplum-db/greenplum_path.sh gpadmin用户建立多机信任使用gpadmin用户在Master主机上操作:gpssh-exkeys -f ./all-nodes（所有节点主机名） 验证配置：选择某个节点，从master通过ssh命令连接，不输入任何密码。 检查结果：可正常连接被信任节点。3.1.5 其它节点安装 Segment 节点上的安装在Master节点上，以root用户身份，执行以下命令：. /usr/local/greenplum-db /greenplum_path.shgpseginstall -f ./stby_all_segs（所有segment数据节点及standby master管理节点主机名）3.2 数据库初始化在Master节点上以gpadmin用户身份完成以下各小节安装。3.2.1 数据库初始化配置文件l 创建文件 gpinitsystem_config 内容如下：ARRAY_NAME=EMC Greenplum DWSEG_PREFIX=gpsegPORT_BASE=40000declare -a DATA_DIRECTORY=(/data1/primary /data2/primary /data1/primary /data2/primary /data1/primary /data2/primary /data1/primary /data2/primary)MASTER_HOSTNAME=mdwMASTER_DIRECTORY=/data1/masterMASTER_PORT=5432TRUSTED_SHELL=sshCHECK_POINT_SEGMENTS=8ENCODING=UNICODEMIRROR_PORT_BASE=50000REPLICATION_PORT_BASE=41000MIRROR_REPLICATION_PORT_BASE=51000declare -a MIRROR_DATA_DIRECTORY=(/data1/mirror /data2/mirror /data1/mirror /data2/mirror /data1/mirror /data2/mirror /data1/mirror /data2/mirror)3.2.2 初始化数据库l 执行命令gpinitsystem -c ./gpinitsystem_config -h hosts-nodes（所有数据节点主机名）按提示操作。l 修改 /.bashrc 文件，增加一行：export MASTER_DATA_DIRECTORY=/data/master/gpseg-1l 退出系统并重新以gpadmin登陆3.2.3 建立冗余的Master节点l 执行命令gpinitstandby -s jxgpmaster02按提示操作。4 数据库参数Greenplum数据库参数影响系统的运行的性能状态，合理设置数据库参数可让系统运行达到最优状态。在多数的数据库系统中，都会有一个配置文件用以配置数据库参数。在GPDB中，该配置文件即为postgresql.conf。4.1 数据库参数设置 初始化数据库后，根据下表设置参数，凡是下表中没有注明的参数一律使用默认值，不得修改。 调整方法：执行命令 gpconfig -c 参数名 -v 参数值 -m Master节点值 检查方法：重启数据库后，执行命令 gpconfig -s 参数名参数名参数值Master节点值gp_backup_directIOoffoffgp_backup_directIO_read_chunk_mb2020log_statementallallcheckpoint_segments3232max_connections1000400max_prepared_transactions400400gp_fts_probe_timeout600s600smax_fsm_pages320000320000max_fsm_relations1900019000max_stack_depth4MB4MBgp_workfile_compress_algorithmzlibzlibmax_appendonly_tables5000050000gp_fts_probe_interval10min10mingp_external_max_segs1616gp_autostats_modeon_changeon_changegp_filerep_tcp_keepalives_count66gp_filerep_tcp_keepalives_interval45s45sgp_vmem_protect_limit3276832768gp_segment_connect_timeout10min10minwal_send_client_timeout30s300sstatement_mem128MB128MBgp_enable_gpperfmononongpperfmon_port88888888gp_external_enable_execononlog_min_duration_statement3000030000statement_timeout00gp_interconnect_typeUDPIFCUDPIFCgp_analyze_relative_error0.750.75default_statistics_target554.2 调整连接控制参数修改文件 $MASTER_DATA_DIRECTORY/pg_hba.conf增加一行：host all alll 0/0 md55 Command center安装Command center（以下简称CC）是Greenplum数据库的监控工具，主要监控系统CPU，内存，磁盘IO等资源的使用及可进行数据库的基本维护操作，如数据库启停，实例恢复等。Command center包括前端功能界面及后台收集数据库。安装后台收集数据库及收集代理步骤如下：步骤1：Greenplum通过gpperfmon_install工具安装CC的后台数据库gpperfmon及CC超级用户gpmongpperfmon_install -enable -password gpmon -port 5432步骤2：重启数据库gpstop -r步骤3：执行ps命令查看数据收集进程是否处于运行状态ps -ef | grep gpmmon步骤4：运行如下命令查看数据收集进程往CC数据库写入收集信息。psql gpperfmon -c SELECT * FROM system_now;步骤5：拷贝master数据管理节点的$MASTER_DATA_DIRECTORY/pg_hba.conf至Standby Master数据管理节点，覆盖Standby Master的pg_hba.conf文件。步骤6：拷贝master数据管理节点的/.pgpass至Standby Master数据管理节点，覆盖Standby Master的.pgpass至文件。 安装CC前端功能界面如下：步骤1：解压greenplum-cc-web--build-2-RHEL5-x86_64.zip并安装/unzip greenplum-cc-web-versionx.x-PLATFORM.zip/bin/bash greenplum-cc-web-versionx.x-PLATFORM.bin步骤2：当安装程序提示“accept the license agreement”，按“yes”步骤3：当安装程序提示输入安装路径“/usr/local/greenplum-cc-web-version”时，输入“ENTER”步骤4：部署环境变量source /usr/local/greenplum-db/greenplum_path.shsource /usr/local/greenplum-cc-web-versionx.x/gpcc_path.sh步骤5：运