云计算-在虚拟机(linux)安装greenplum分布式数据库.doc

虚拟机安装虚拟机安装 greenplumgreenplum 工件版本变更记录：工件版本变更记录： 版本 号 拟制/修 改日期 拟制/修改 人 修改记录批准 人 1.02010-10- 20 XXX 新建 目目 录录 1 1文档说明文档说明.5 1.11.1编写目的编写目的.5 1.21.2适用范围适用范围.5 1.31.3编制依据编制依据.5 1.41.4文档结构文档结构.5 2 2环境描述环境描述.6 2.12.1硬件环境硬件环境.6 2.22.2软件环境软件环境.6 2.32.3虚拟机配置虚拟机配置.6 3 3安装虚拟机软件安装虚拟机软件.7 4 4安装安装 LINUXLINUX 系统系统.8 4.14.1新建虚拟机新建虚拟机.8 4.24.2安装安装 LINUXLINUX.11 4.34.3配置系统配置系统.18 4.44.4设置网络设置网络.22 4.54.5设置服务（设置服务（FTPFTP 和和SSHDSSHD）.24 5 5安装安装 GREENPLUMGREENPLUM 数据库数据库.26 5.15.1修改参数修改参数.26 5.25.2创建目录及用户创建目录及用户.26 5.35.3M MASTERASTER节点上安装节点上安装 G GREENREENP PLUMLUM 软件软件.27 .1上传文件，解压上传文件，解压.27 .2安装安装 GreenPlumnGreenPlumn 软件软件.27 .3传递安装文件到节点传递安装文件到节点 gpnode1gpnode1 和和 gpnode2gpnode2.28 5.45.4所有子节点主机上安装所有子节点主机上安装 GREENPLUMNGREENPLUMN 软件软件.28 .1创建节点配置文件创建节点配置文件.28 .2执行文件执行文件 greenplum_path.sh,greenplum_path.sh,设定环境变量设定环境变量.29 .3以以 rootroot 用户交换密钥用户交换密钥.29 .4以以 greenplumgreenplum 用户交换密钥用户交换密钥.29 .5授权对应的目录授权对应的目录.29 .6节点安装节点安装 greenplumngreenplumn 软件软件.29 gpnode1gpnode1 节点节点 .29 Gpnode2Gpnode2 节点：节点： .30 .7同步系统时钟同步系统时钟( (如果配置了如果配置了 ntpdntpd 服务服务) ).30 5.55.5初始化初始化 G GREENREENP PLUMNLUMN ( (ONON M MASTERASTER ) ).30 .1copycopy 配置文件模板配置文件模板.30 .2配置文件配置文件 gp_init_configgp_init_config.30 .3检查下检查下 OSOS 配置是否满足需求配置是否满足需求.32 .4初始化初始化 greenplumngreenplumn ( ( MasterMaster 节点上执行节点上执行 ) ).32 .5修改修改 .bashrc,.bashrc,增加一行增加一行, ,配置配置 MaserMaser 节点环境变量节点环境变量.33 .6网络配置网络配置.33 5.65.6维护维护 G GREENREENP PLUMNLUMN ( (ONON M MASTERASTER ) ).34 5.6.1连接测试连接测试.34 .2检查状态检查状态.34 .3停止数据库停止数据库.34 .4启动数据库启动数据库.35 5.75.7附件附件.37 1 1 文档说明文档说明 1.11.1 编写目的编写目的 通过 Mware 安装 linux 系统，并在系统上安装 greenplum，模拟双机集群 1.21.2 适用范围适用范围 1.31.3 编制依据编制依据 1.41.4 文档结构文档结构 2 2 环境描述环境描述 2.12.1 硬件环境硬件环境 一台 2G 内存的联想 SL410K 双核笔记本, 并安装三台 Linux 虚拟机。 2.22.2 软件环境软件环境 XP 环境，局域网 IP:3 2.32.3 虚拟机配置虚拟机配置 节点节点 IPIP 内存内存 硬盘硬盘 master 256M 5G gpnode1 256M5G gpnode2 256M 5G 3 3 安装虚拟机软件安装虚拟机软件 名称：VMware Server V1.0.6 Build91891 英文特别版 Next 4 4 安装安装 LINUXLINUX 系统系统 4.14.1新建虚拟机新建虚拟机 这里选择典型安装（默认） ，下一步： 新虚拟机名称：gpmaster,选择存放的地址 Location,下一步： 默认桥连链接，下一步： 分配 15G 的空间，点击“完成” 4.24.2安装安装 LINUXLINUX 插入光盘 设置虚拟机启动盘 点击“OK” 是否启动光盘检查，这些选择“skip” 输入序列号，点击“OK” 开始安装了 4.34.3配置系统配置系统 不启用防火墙 下一步，下一步，到如下界面： 选择 NO 选择：NO thanks，下一步： 下一步： 点击：finish，完成配置。 4.44.4设置网络设置网络 进入系统后的界面如下： 选择网络配置： 双击 IP 是根据一开始的桥连接设置的，设置跟主机同一个 IP 段就可。 4.54.5设置服务（设置服务（FTPFTP 和和 sshdsshd） 选中 sshd 和 vsftpd 由于初步安装 ftp 会出现 ftp服务器连接失败,错误提示: 500 OOPS: cannot change directory:/home/* 500 OOPS: child died 在终端输入命令： #setsebool ftpd_disable_trans 1 #service vsftpd restart 5 5 安装安装 greenplumgreenplum 数据库数据库 5.15.1 修改参数修改参数 修改修改 master,master, segmentssegments 主机参数主机参数 ( (所有主机上执行所有主机上执行) ) rootroot 登录登录 修改修改 /etc/sysctl.conf/etc/sysctl.conf 添加以下添加以下 kernel.shmmax = 500000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 64000 100 512 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_max_syn_backlog=4096 dev_max_backlog=10000 vm.overcommit_memory=2 使参数生效 #sysctl -p 修改修改 /etc/security/limits.conf/etc/security/limits.conf , ,添加以下添加以下 * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 修改修改 /etc/hosts/etc/hosts , ,添加以下添加以下 0 gpmaster gpnode1 gpnode2 5.25.2 创建目录及用户创建目录及用户 增加操作系统增加操作系统 greenplumgreenplum 用户并创建数据目录（所有节点上执行）用户并创建数据目录（所有节点上执行） rootroot 登录登录 增加增加 greenplumgreenplum 组和用户组和用户 gpadmingpadmin rootgpmaster greenplum-db# groupadd greenplum rootgpmaster greenplum-db# useradd -g greenplum gpadmin rootgpmaster greenplum-db# passwd gpadmin 配置环境变量配置环境变量 在/home/gpadmin/.bashrc 加入如下命令 source /usr/local/greenplum-db-/greenplum_path.sh 保存 运行运行.bashrc.bashrc #. .bashrc 创建创建 segmentsegment 数据目录数据目录 mkdir -p /opt/gp_data/data chown -R gpadmin:greenplum /opt/gp_data/data 创建创建 sgementsgement 镜像目录镜像目录 mkdir -p /opt/gp_data/mdata chown -R gpadmin:greenplum /opt/gp_data/mdata 说明：上面两个步骤也可以等配置好主机之前等效性用 gpssh 执行。 gpssh 可以同时连接所有子节点主机并进行操作。 5.35.3 MasterMaster 节点上安装节点上安装 GreenPlumGreenPlum 软件软件 在官网 下载 .1 上传文件，解压上传文件，解压 ftp 安装文件到一个目录，例如：/home/gpadmin 解压解压 unzip greenplum-db--build-1-RHEL5-i386.zip .2 安装安装 GreenPlumnGreenPlumn 软件软件 # /bin/bash greenplum-db--build-1-RHEL5-i386.bin 提示“yes” 接受协议 和安装路径, 默认的是“(/usr/local/ greenplum-db- )” 安装结束后会自动创建一个软链接,如 rootgpmaster opt# ll /opt lrwxrwxrwx 1 root root 22 04-06 21:30 greenplum-db - ./greenplum- db- drwxr-xr-x 11 root root 4096 04-06 21:30 greenplum-db- .3 传递安装文件到节点传递安装文件到节点 gpnode1gpnode1 和和 gpnode2gpnode2 压缩 greenplum-db- 命令：tar cvf gp.tar greenplum-db- 分别复制 gp.tar 到 segment1 和 segment2， 命令：scp gp.tar gpnode1:/usr/local/ 命令：scp gp.tar gpnode2:/usr/local/ 5.45.4 所有子节点主机上安装所有子节点主机上安装 greenplumngreenplumn 软件软件 .1 创建节点配置文件创建节点配置文件 Master 机：root 登录 vi /home/gpadmin/all_host_file 添加以下内容 gpmaster gpnode1 gpnode2 .2 执行文件执行文件 greenplum_path.sh,greenplum_path.sh,设定环境变量设定环境变量 Master 主机： rootgpmaster greenplum#source /usr/local/greenplum- db/greenplum_path.sh .3 以以 rootroot 用户交换密钥用户交换密钥 Master 主机： # gpssh-exkeys -f /home/gpadmin/all_host_file .4 以以 greenplumgreenplum 用户交换密钥用户交换密钥 Master 主机： rootgpmaster greenplum# su - gpadmin greenplumgpmaster $ gpssh-exkeys -f /home/gpadmin/all_host_file .5 授权对应的目录授权对应的目录 Master 主机： 以 root 登录 chown -R gpadmin:greenplum greenplum-db; chown -R gpadmin:greenplum greenplum-db-; .6 节点安装节点安装 greenplumngreenplumn 软件软件 gpnode1gpnode1 节点节点 gpnode1 节点： 用 root 登录到 #cd /usr/local/ #tar xvf gp.tar #ln -s /usr/local/greenplum-db- /usr/local/greenplum-db #chown -R gpadmin:greenplum greenplum-db; #chown -R gpadmin:greenplum greenplum-db-; Gpnode2Gpnode2 节点：节点： 用 root 登录到 #cd /usr/local/ #tar xvf gp.tar #ln -s /usr/local/greenplum-db- /usr/local/greenplum-db #chown -R gpadmin:greenplum greenplum-db; #chown -R gpadmin:greenplum greenplum-db-; .7同步系统时钟同步系统时钟( (如果配置了如果配置了 ntpdntpd 服务服务) ) gpssh -f all_host_file -v -e ntpd 5.55.5初始化初始化 GreenPlumnGreenPlumn (on(on MasterMaster ) ) .1copycopy 配置文件模板配置文件模板 root 登录： cp $GPHOME/docs/cli_help/gp_init_config_example /home/gpadmin/gp_init_config .2配置文件配置文件 gp_init_configgp_init_config ARRAY_NAME=Greenplum MACHINE_LIST_FILE=/home/gpadmin/multi_seg_host_file SEG_PREFIX=gp PORT_BASE=50000 declare -a DATA_DIRECTORY=(/data /data) MASTER_HOSTNAME=gpmaster MASTER_DIRECTORY=/data MASTER_PORT=5432 下面是例子： # Name of this Greenplum system enclosed in quotes. ARRAY_NAME=GreenplumARRAY_NAME=Greenplum MACHINE_LIST_FILE=/home/gpadmin/multi_seg_host_file # Naming convention for utility-generated data directories. SEG_PREFIX=gpSEG_PREFIX=gp # Base number by which primary segment port numbers # are calculated. PORT_BASE=50000PORT_BASE=50000 # File system location(s) where primary segment data directories # will be created. The number of locations in the list dictate # the number of primary segments per physical host. declaredeclare -a-a DATA_DIRECTORY=(/dataDATA_DIRECTORY=(/data /data)/data) # OS-configured hostname or IP address of the master host. MASTER_HOSTNAME=gpmasterMASTER_HOSTNAME=gpmaster # File system location where the master data directory # will be created. MASTER_DIRECTORY=/dataMASTER_DIRECTORY=/data # Port number for the master instance. MASTER_PORT=5432MASTER_PORT=5432 #MIRROR_PORT_BASE=60000 #declare -a MIRROR_DATA_DIRECTORY=(/opt/gp_data/mdata) # Shell utility used to connect to remote hosts. TRUSTED_SHELL=sshTRUSTED_SHELL=ssh # Maximum log file segments between automatic WAL checkpoints. CHECK_POINT_SEGMENTS=8CHECK_POINT_SEGMENTS=8 # Default server-side character set encoding. ENCODING=UNICODEENCODING=UNICODE # # OPTIONAL PARAMETERS # # Create a database of this name after initialization. DATABASE_NAME=gpadminDATABASE_NAME=gpadmin # Absolute path to the segment host list file. MACHINE_LIST_FILE=/home/gpadmin/gpconfigs/hostfile_gpinitsystemMACHINE_LIST_FILE=/home/gpadmin/gpconfigs/hostfile_gpinitsystem # # MIRROR PARAMETERS # # Base number by which mirror segment port numbers # are calculated. #MIRROR_PORT_BASE=50000 .3检查下检查下 OSOS 配置是否满足需求配置是否满足需求 gpadmingpmaster $ gpcheckosgpcheckos -f-f all_host_fileall_host_file .4初始化初始化 greenplumngreenplumn ( ( MasterMaster 节点上执行节点上执行 ) ) $gpinitsystem$gpinitsystem -c-c gp_init_configgp_init_config 包括建立数据库，建库的名称在上面的配置文件：DATABASE_NAME=gpadminDATABASE_NAME=gpadmin .5修改修改 .bashrc,.bashrc,增加一行增加一行, ,配置配置 MaserMaser 节点环境变量节点环境变量 Master gpadmin 登录： export MASTER_DATA_DIRECTORY=/data/gp-1 .6网络配置网络配置 Mster gpadmin 登录 $Cd /data/gp-1 $vi pg_hba.conf host all gpadmin /0 trust $Gpstop u 这样 pgadmin 软件就可以连上服务器了 5.65.6维护维护 GreenPlumnGreenPlumn (on(on MasterMaster ) ) 5.6.1连接测试连接测试 greenplumgpmaster $ psql template1 template1=# l List of databases Name | Owner | Encoding .2检查状态检查状态 $gpstate .3停止数据库停止数据库 常用可选参数：-a：直接停止，不提示终端用户输入确认 -m：只停止 master 实例，与 gpstart m 对应使用 -M fast：停止数据库，中断所有数据库连接，回滚正在运 行的事务 -u：不停止数据库，只加载 pg_hba.conf 和 postgresql.conf 中运行时参数，当改动 参数配置时候使用。 .4启动数据库启动数据库 数据库启动数据库启动：gpstart 常用可选参数： -a : 直接启动，不提示终端用户输入确认 -m:只启动 master 实例，主要在故障处理时使用 20110521:13:23:04:gpstart:gpmaster:gpadmin-INFO:-Starting gpstart with args: 20110521:13:23:04:gpstart:gpmaster:gpadmin-INFO:-Gathering information and validating the environment. 20110521:13:23:07:gpstart:gpmaster:gpadmin-INFO:-Greenplum Binary Version: postgres (Greenplum Database) build 1 20110521:13:23:09:gpstart:gpmaster:gpadmin-INFO:-Greenplum Catalog Version: 201005134 20110521:13:23:11:gpstart:gpmaster:gpadmin-INFO:-Starting Master instance in admin mode 20110521:13:23:21:gpstart:gpmaster:gpadmin-INFO:-Obtaining Greenplum Master catalog information 20110521:13:23:21:gpstart:gpmaster:gpadmin-INFO:-Obtaining Segment details from master. 20110521:13:23:30:gpstart:gpmaster:gpadmin-INFO:-Master Started. 20110521:13:23:30:gpstart:gpmaster:gpadmin-INFO:-Shutting down master 20110521:13:23:51:gpstart:gpmaster:gpadmin-INFO:- - 20110521:13:23:51:gpstart:gpmaster:gpadmin-INFO:-Master instance parameters 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- - 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Database = template1 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Master Port = 5432 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Master directory = /data/gp-1 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Timeout = 60 seconds 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Master standby = Off 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- - 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:-Segment instances that will be started 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- - 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- Host Datadir Port 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- gpnode1 /data/gp0 50000 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- gpnode1 /data/gp1 50001 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- gpnode2 /data/gp2 50000 20110521:13:23:52:gpstart:gpmaster:gpadmin-INFO:- gpnode2 /data/gp3 50001 Continue with Gr