通信数据侦察站系统安装与部署手册V1 0_CH

通信数据侦察站系统系统安装和部署手册通信数据侦察站系统安装与部署手册CEIEC目录1 前言12 术语、定义23 系统网络架构33.1 总体网络结构34 系统安装与配置54.1 基础服务安装64.1.1 dos2unix64.1.2 Jdk64.2 GP的安装部署64.2.1 最小化安装及本地yum配置64.2.2 swap分区74.2.3 关闭防火墙74.2.4 关闭监控程序的服务端和客户端84.2.5 修改limits.conf84.2.6 本地YUM源安装需要的软件94.2.7 修改Linux内核参数94.2.8 Greemplum安装124.2.9 解压安装包，新建数据目录124.2.10 设置rhino用户下的环境变量（如果有多台，每台机器都要操作）134.2.11 gp数据库配置文件修改（Master节点上执行）134.2.12 建立服务器互信机制（Master节点上执行）144.2.13 GPDB启动命令及性能优化(Master节点上执行)144.2.14 添加文件空间164.2.15 REDIS安装194.2.16 安装zlib204.2.17 安装ruby204.2.18 安装rubygems204.2.19 安装redis-3.0.0.gem214.2.20 安装redis214.2.21 创建节点文件夹214.2.22 修改配置文件redis-3.2.3/redis.conf214.2.23 复制redis.conf到节点文件夹224.2.24 复制redis-server到节点文件夹224.2.25 启动各个节点224.2.26 使用redis-trib.rb创建集群224.3 RDT 安装234.3.1 修改hosts234.3.2 用户创建234.3.3 zookeeper与kafka244.3.4 rdt安装254.4 GPloader安装274.4.1 安装解压gpload274.4.2 修改配置文件274.4.3 搭建文件共享284.4.4 停止gpload284.5 Samba服务配置284.5.1 查看samba是否安装284.5.2 修改配置文件284.5.3 设置samba密码294.5.4 执行挂载命令294.5.5 解除挂载命令294.6 PRM安装294.7 PSM安装和卸载304.7.1 软件安装准备304.7.2 JDK&TOMCAT安装304.7.3 应用发布314.7.4 文件配置311 前言关于本手册：本手册目的是指导工程维护人员进行安装与部署工作，同时也可作为产品维护阶段中方运维工程师的参考手册.如何使用：本手册主要介绍工程人员开局需要的几个方面，包括术语、定义，系统配置准备工作、系统安装与配置、维护经验.2 术语、定义GP：Greenplum数据库，存储系统界面一些规则信息WEB平台：通讯数据侦查站系统系统展示平台，进行各种指令的下达操作PRM：控制模块，web下发命令给PRM，然后给专用设备下规则实现阻断RDT：界面下了规则之后进行消费入库G：串接设备，下发规则实现阻断.D：并接设备，进行流量的转发以及回流.Log Server：生成阻断记录日志，命中记录数的统计.HCA：串接DFX设备ECA：并接DFX设备323 系统网络架构3.1 总体网络结构描述：目前站点只有algers和annaba两个站点，下面是两个站点分别的网络图图 31 Algers的网络拓扑图图 32 ANNABA网络拓朴图4 系统安装与配置表 41 系统部署表Server NameIPWEB/Redis/Kafka（DataCenter）4RDT（DataCenter）3GP（DataCenter）1PRM（DataCenter）2ALG-G103ALG-DFX1 01ALG-DFX202ALG-LOG-SERVER104ALG-LOG-SERVER205ALG-D03ANB-G111ANB-G212ANB-G313ANB-G414ANB-G515ANB-G616ANB-G717ANB-G818ANB-G919ANB-HCA121ANB-HCA222ANB-HCA323ANB-HCA424ANB-HCA525ANB-HCA626ANB-D199ANB-ECA131ANB-ECA232HCA-LOG-SERVER135HCA-LOG-SERVER236HCA-LOG-SERVER337MGMT-SW143HCA-LOG-SW44HW Core Switch 394.1 基础服务安装4.1.1 dos2unix操作系统安装完毕之后，以root用户登录系统，获取版本包并解压，进入版本包目录,rootmachine:tar xvfZTFTS-V4.0-TX-2017XXXX.XXXXXX.tar.gzrootmachine:cd ZTFTS-V4.0rootmachine:./setup.sh dos2unix4.1.2 Jdk操作系统安装完毕之后，以root用户登录系统，获取版本包并解压，进入版本包目录rootmachine:tar xvf ZTFTS-V4.0-TX-2017XXXX.XXXXXX.tar.gzrootmachine:cd ZTFTS-V4.0rootmachine:./setup.sh jdk4.2 GP的安装部署4.2.1 最小化安装及本地yum配置在/mnt/目录新建cdrom目录进入文件路径：/etc/yum.repos.d1、新建bak目录，移动所有文件至bak目录下2、vi cdrom.repocdromname=cdrombaseurl=file:/mnt/cdromgpgcheck=0enabled=1挂载iso至/mnt/cdrom后，基础工具命令安装需要在系统上放一个系统镜像iso文件，找到对应的镜像iso文件，在目录下执行mount -o loop Centos-XXXX.iso /mnt/cdrom挂载完成之后,在cdrom下面查看下，应该有新产生的文件然后执行yum install net-tools4.2.2 swap分区 Swap分区建议大小配置：物理内存交换分区（swap）=3台时；建议1台部署Master节点；其它部署segment节点；Master节点部署gploader我们现场只有一台服务器，目前采用的一个master，3个segment节点4.2.9 解压安装包，新建数据目录新建本地目录(Master和Standby机器执行)rhinorhino001 $ mkdir -p /gpdata/gpmasterrhinorhino001 $ chmod 700 /gpdata/gpmaster解压安装包daedb-2.0.5-el7.tar.gz到rhino目录下(每台机器都要解压，不能拷贝到其他机器)rhinorhino001 $ tar -zxvf daedb-2.0.5-el7.tar.gzrhinorhino001 $ ln -s daedb-2.0.5 daedb4.2.10 设置rhino用户下的环境变量（如果有多台，每台机器都要操作）1、修改/daedb/greenplum_path.sh的GPHOME参数图 41修改GPHOME参数2、修改环境变量rhinorhino001 $ vi /.bashrc添加内容如下：source /home/rhino/daedb/greenplum_path.shexport MASTER_DATA_DIRECTORY=/home/rhino/gpdata/gpmaster/gpseg-1export PGUSER=rhinoexport PGDATABASE=postgresSource .bashrc生效4.2.11 gp数据库配置文件修改（Master节点上执行）1、修改seghostsrhinorhino001 $ vim /daedb/etc/ seghosts内容如下：owls092、修改gpinitsystem_config这一块备机不需要.rhinorhino001 $ vim /daedb/etc/gpinitsystem_config修改内容如下：ARRAY_NAME=OceanMindSEG_PREFIX=gpsegMASTER_MAX_CONNECT=1024PORT_BASE=4000declare -a DATA_DIRECTORY=(/data01/gpdata /data02/gpdata /data03/gpdata)MASTER_HOSTNAME=owls09MASTER_DIRECTORY=/home/rhino/gpdata/gpmasterMASTER_PORT=5432TRUSTED_SHELL=sshCHECK_POINT_SEGMENTS=256ENCODING=UNICODEMIRROR_PORT_BASE=6000REPLICATION_PORT_BASE=7000MIRROR_REPLICATION_PORT_BASE=8000declare -a MIRROR_DATA_DIRECTORY=(/data01/mirror /data02/mirror /data03/mirror)MACHINE_LIST_FILE=/home/rhino/daedb/etc/seghostsDATABASE_NAME=postgres4.2.12 建立服务器互信机制（Master节点上执行）rhinorhino001 $gpssh-exkeys -f /daedb/etc/seghosts验证命令如下：rhinorhino001 $gpssh-exkeys -h owls09 -h owls10若Master节点执行失败，可在备份机器上执行gpssh-exkeys -h owls10 -h owls094.2.13 GPDB启动命令及性能优化(Master节点上执行)1、启动安装初始化命令，安装Master节点时指定standby节点（推荐使用命令）rhino002为standby节点rhinorhino001$gpinitsystem-c/home/rhino/daedb/etc/gpinitsystem_config -a -B 6-安装命令，这一步容易出错，要注意.如果这一步执行错误之后，可去3.2.19执行重装命令.建立Standby节点rhinorhino001 $ gpinitstandby -s owls102、连接数据库，验证启动成功：rhinorhino001 $ psqlrhinorhino002 $psql -h rhino0013、查看是否成功安装master的standby节点： rhinorhino001 $ gpstate4、启动成功后，性能优化，执行：gpconfig命令可以同步到所有节点上配置rhinorhino001 $ gpconfig -c gp_vmem_protect_limit -v 28000 -m 28000 rhinorhino001 $ gpconfig -c effective_cache_size -v 28000MB -m 28000MBrhinorhino001 $ gpconfig -c maintenance_work_mem -v 28000MB这上面是根据现场服务器的设置来的，如果是正常所内安装的话，将所有的28000都改成8000就可以了rhinorhino001 $ gpconfig -c shared_buffers -v 1024MB -m 1024MBrhinorhino001 $ gpconfig -c statement_mem -v 500MB -masteronlyrhinorhino001 $ gpconfig -c gp_max_tablespaces -v 1024#修改时区，若不配置，业务功能定时任务会有问题rhinorhino001 $ gpconfig -c log_timezone -v Africa/Douala Africa/Doualarhinorhino001 $ gpconfig -c TimeZone -v Africa/Douala如果你不知道对应时区是多少的话，你可以在服务器上切换到root用户下，执行timedatectl | grep Time zone图 42 查看时区5#关闭优化器，只修改master节点/home/rhino/gpdata/gpmaster/gpseg-1/postgresql.conf添加optimizer = off#配置生效-注意：每次重启数据库后都需要执行配置生效rhinorhino001 $ gpstop -u4.2.14 添加文件空间为后面的刷库做准备工作，新创建一个文件空间fs_bigdata，刷库脚本中所有新增的表空间都放到该文件空间下.下面例子中，只有两个host（rhino118，rhino119）每个host有6个segment： /data01/data0 添加路径要添加3种路径： primary, mirror, master1.1 添加primary路径使用gpssh，在所有主机上添加/data*/bigdata路径cd /home/rhino/daedb/etcgpssh -f seghosts = mkdir /data01/bigdata1.2 添加mirror路径如果有mirror，则再添加mirror路径：gpssh -f seghosts = mkdir /data01/bigdata_mirror检查下路径是否已经在全部节点生成成功：gpssh -f seghosts = find /data* -type d -name bigdata*1.3 添加master路径在master主机的 /home/rhino/gpdata 路径下，添加 bigdata 生成配置文件运行 gpfilespace -o gpfilespace_config 来生成配置文件 gpfilespace_config.运行过程中，会要求输入4部分内容文件空间名称primary节点路径mirror节点路径master节点路径图 43生成配置文件 创建文件空间运行 gpfilespace -c gpfilespace_config 创建文件空间成功标志： Filespace fs_bigdata successfully created图 44创建文件空间进入psql，检验下文件空间是否创建成功select * from pg_filespace;图 45检查是否创建成功 数据库起停命令PG库启动：gpstart aPG库温柔型关闭：gpstop -a M fast;PG库粗暴型关闭，较为常用：gpstop -a -M immediate;PG库重启：gpstop -r -a -M immediate;4.2.15 REDIS安装Root用户登陆将 redis_setup.tar.gz上传到/root目录下.解压Linux系统需要安装gcc和ruby开发环境，redis集群使用3.2.3版本.集群采用三主三从6个redis节点的最少配置.暂时全部部署在一台服务器上.redis就直接在root下面安装就可以了.4.2.16 安装zlib1. 确认系统是否安装了zlib执行以下命令，如果系统安装了zlib就继续进行下一步ruby的安装，否则为系统安装zlibwhereis zlib2. 安装zlib执行以下命令:tar -zxvf zlib-1.2.8.tar.gzcd zlib-1.2.8/./configure -prefix=/usr/local/zlibmake & make install4.2.17 安装ruby1. 确认系统安装的ruby版本执行以下命令，要求ruby版本为2.0以上，否则要安装新版本的rubyruby -v2.安装ruby执行以下命令:tar -zxvf ruby-2.3.1.tar.gzcd ruby-2.3.1/./configure -prefix=/usr/local/ruby-2.3.1 -with-zlib-dir=/usr/local/zlibmake & make installexport PATH=/usr/local/ruby-2.3.1/bin:$PATHsudo cp ruby /usr/local/bin4.2.18 安装rubygems执行以下命令:tar -zxvf rubygems-2.6.6.tgzcd rubygems-2.6.6/ruby setup.rbcp bin/gem /usr/local/bin4.2.19 安装redis-3.0.0.gem在redis-3.0.0.gem文件所在目录下，执行以下命令:gem install -l redis-3.0.0.gem 4.2.20 安装redis执行以下命令:tar -zxvf redis-3.2.3.tar.gzcd redis-3.2.3/makemake install4.2.21 创建节点文件夹执行以下命令:cd /usr/local/mkdir redis-clustercd redis-cluster/mkdir 8000 8001 8002 8003 8004 80054.2.22 修改配置文件redis-3.2.3/redis.conf修改以下参数：a)bind 修改为本机IPb)port 8000节点端口,以8000为例c)cluster-enabled yes 是否是集群方式启动d)daemonize yes 是否后台启动e)pidfile /var/run/redis_8000.pidf)cluster-config-file nodes-8000.confg)appendonly no持久化h)logfile /usr/local/redis-cluster/8000/8000.log 日志保存路径4.2.23 复制redis.conf到节点文件夹执行以下命令,修改各个节点文件夹下的redis.conf配置文件中的端口，将上面红色标注数字与文件夹对应cp redis.conf /usr/local/redis_cluster/8000cp redis.conf /usr/local/redis_cluster/8001cp redis.conf /usr/local/redis_cluster/8002cp redis.conf /usr/local/redis_cluster/8003cp redis.conf /usr/local/redis_cluster/8004cp redis.conf /usr/local/redis_cluster/80054.2.24 复制redis-server到节点文件夹cp /usr/local/bin/redis-server8000cp /usr/local/bin/redis-server8001cp /usr/local/bin/redis-server8002cp /usr/local/bin/redis-server8003cp /usr/local/bin/redis-server8004cp /usr/local/bin/redis-server80054.2.25 启动各个节点执行以下命令,启动各个redis节点将start.sh（在redis解压包下面）脚本放到/usr/local/redis-cluster目录下运行start.shps -ef | grep redis观察6个节点是否正常起来4.2.26 使用redis-trib.rb创建集群redis-trib.rb脚本在redis-3.2.3/src下，cp redis-trib.rb /usr/local/bin执行以下命令,以Ip为59的主机为例./redis-trib.rb create -replicas 159:800059:800159:800259:800359:800459:8005测试集群执行以下命令,以Ip为59的主机为例，如果展示集群各节点的信息，说明集群搭建成功图 Error! No text of specified style in document.Error! Main Document Only. 展示节点信息./redis-cli -p 8000 -h 59 cluster nodes连接节点以8000节点为例./redis-cli -h 59 -c -p 8000进行set get操作观察是否成功4.3 RDT 安装4.3.1 修改hosts以root用户登录所有服务器，编辑文件/etc/hosts:root: # vim /etc/hosts# 按照下面格式，将所有机器的ip地址和主机名，以映射方式追加ip1 host1ip2 host24.3.2 用户创建以root用户登录，参考命令：# 创建fts用户组rootlinux-89 # groupadd fts#业务用户(rdt模块)rootlinux-89 #useradd -g fts -md /home/rdt rdt# 公共服务用户(kafka、zookeeper模块)rootlinux-89 #useradd -g fts -md /home/public public# 开启public用户对/home/public/datalog目录的读写权限rootlinux-89 #mkdir /home/public/datalogrootlinux-89 #chown -hR public /home/public/datalog 4.3.3 zookeeper与kafka1、安装的版本为kafka_2.12-1.1.0.tgz2、tar -xvf kafka_2.12-1.1.0.tgz3、cd /home/public/kafka_2.12-1.1.0/config 修改 perties单机版本部署情况brokerID默认broker.id=0# 修改log文件存放目录(根据实际情况设置路径)log.dirs=/home/public/datalog/kafka-logs#分区数量num.partitions=3listeners=PLAINTEXT:/9:9092#zookeeper地址(端口可以调整一般默认)zookeeper.connect=localhost:2181 修改以下信息（以此类推）cp perties pertiesbroker.id=1log.dirs=/home/public/datalog/kafka-logs-1listeners=PLAINTEXT:/9:90934、修改perties# 修改data文件存放目录(根据实际情况设置路径)dataDir=/home/public/datalog/zookeeper#端口clientPort=21815、启动zookeeper.在kafka_2.12-1.1.0 /目录操作bin/zookeeper-server-start.sh config/perties &6、启动kafkabin/kafka-server-start.sh config/perties &4.3.4 rdt安装以rdt用户登录系统，获取版本包并解压，进入版本包目录rdtlinux-89 $ tar xvf ZTFTS-V4.0-T01-2019XXXX.XXXXXX.tar.gzrdtlinux-89 $ cd ZTFTS-V4.0修改trdt/config/perties,请参考注释进行修改，关联其他模块的服务IP端口确保配置正确cloud.members=#rdt写入文件的路径，多个路径用逗号隔开，确保路径已经存在并且rdt用户有足够的权限(可自行修改路径)write.path=/ALdata01/rdt#dayfulltext.data.liveTime=90#kafka configkafka.zk.connect=9:2181#数据按mode储存store.mode=day#捕获数据的时间限制etl.capturetime.expiry=7948800etl.crawler.attach.mount=/home/rdt/attachetl.crawler.encoding=utf-8etl.crawler.attach.file.length=3000etl.crawler.temp.dir=/home/rdt/tmp#消费者配置topic=cb_denial_msg#日志地址logback.filepath=/home/rdt/production/ztfts/logs/rdt/rdt.log上述配置修改完之后，以rdt用户安装rdt服务进入cd /home/rdt/ZTFTS-V4.0安装rdtrdtlinux-89 ZTFTS-V4.0$./setup.sh rdtrdt启动命令cd /home/rdt/production/ztfts/rdt/binrdtlinux-89 bin$ ./startup.shrdt停止命令rdtlinux-89 bin$ ./shutdown.sh其他注意事项：如果需要修改rdt生成的txt文件中的条数，则修改/home/rdt/production/ztfts/rdt/config目录下的rdt-context.xml中的 /bean4.4 GPloader安装以下操作请使用GP用户rhino操作，GPlaoder安装在数据服务器中4.4.1 安装解压gploadtar -zxvf gploader.tar.gz4.4.2 修改配置文件将gploader.conf文件夹拷贝到rhino用户目录下，并修改配置文件#CONNECT INFOMATIONUSER=rhinoPASSWORD=rhinoDATABASE= algeriaHOST=55PORT=5432GPFDIST_PORT=9081#TABLETABLE=TRS_M_EMAIL:TRS_*_MIMCEMAIL_*,TRS_M_FTP:TRS_*_MIMCFTP_*#PATH#input file pathINPUTPATH=/home/rhino/gploader/input#process file path, all the files in the input path will be moved into this process path when loading dataPROCESSPATH=/home/rhino/gploader/process#error file path, when some errors occur, files will be move into this error pathERRORPATH=/home/rhino/gploader/error#install folder, the gploader.sh should be in this pathhomedir=/home/rhino/gploader#CONTROL#GPLOADER will sleep x seconds when there is no file in the input pathSLEEP_SECOND=2#GPLOADER will process x files onceFILE_COUNT=2000注意：（1）GPFDIST_PORT端口号没有被其他程序占用（2）INPUTPATH对应为数据源文件TXT存放目录（共享文件目录）（3）TXT文件是已制表符为分割符（与owls3分隔符相同）（4）TABLE为表名与文件名称对应关系4.4.3 搭建文件共享 将存放TXT源文件的主机目录（rdt的write.path路径）与GP数据库主机文件(INPUTPATH=/home/rhino/gploader/input)共享，详见samba挂载 启动gpload chmod u+x *.sh ./ start_gploader.sh4.4.4 停止gpload./ stop_gploader.sh4.5 Samba服务配置4.5.1 查看samba是否安装rpm -qa | grep samba4.5.2 修改配置文件以root用户登陆RDT采集服务器，9安装启动 samba 服务，修改 /etc/samba/smb.conf，并重启rdtcomment = all usersinherit acls = Yespath = /ALdata01/rdtread only = Noveto files = /aquota.user/groups/shares/4.5.3 设置samba密码rootlinux-89 # smbpasswd -aNew SMB password:security(smb密码)Retype new SMB password:security(s