通信数据侦察站系统安装维护手册_CH

通信数据侦查站系统安装维护手册 通信数据侦察站系统系统维护手册通信数据侦察站系统安装维护手册CEIEC目录1.前言12.术语、定义23.系统安装44.系统维护54.1 Elasticsearch维护54.2 GP模块维护54.3 Zookeeper模块维护64.4 Kafka业务模块操作命令64.5 Redis模块安装与配置74.6 Web应用维护74.6.1 启动服务74.6.2 停止服务81. 前言关于本手册：本手册为通信数据侦察站安装维护手册，作为产品维护阶段中方运维工程师的参考手册。92. 术语、定义l GreenPlum Greenplum是基于MPP（(Massively Parallel Processing）架构的分布式数据库，是在PostgreSQL基础上开发的。GP（Greenplum），用于存储系统管理数据，基础数据，部分分析数据以及命中数据。l HadoopHadoop是一个由Apache基金会所开发，能够对大量数据进行分布式处理的软件框架。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。l Zookeeper ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zookeeper为HBase提供了稳定服务和failover机制。l Hive Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统，Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具，将我们的sql操作转换为相应的MapReduce jobs，然后在Hadoop上面运行。l Yarn是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。l Kafka Kafka由Apache软件基金会开发的一个开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统。简单的说就是不同的消息过来建立不同的 topic，然后有对应的程序来把这个消息取走。当kafka里面的消息长时间积压或者网络断了，kafka会将这些消息固化，存储起来。给kafka的topic发送数据的作为生产者（producer），把topic数据取走的作为Redis。 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。用于存储基站和target等信息。l RDT 消费模块，rdt调用spark来消费kafka里面存储的消息，海量数据入ES+Hbase以及hive。3. 系统安装参照通信数据侦察站安装与部署手册完成系统安装。测试问题的工程防范和规避建议：u Centos 7.2：大数据组件以及除了etl、memdb其它模块均部署在Centos7.2上。u Suse11 SP3：部署在ZXINOS下的etl和memdb模块，需要安装在SUSE系统上。u 系统安装时，分区配置如下：/boot分区 500MSWAP分区 64G/ 硬盘剩余空间安装OS系统时，使用root用户修改/etc/sysconfig/network-scripts/ifcfg-em1将ONBOOT=no修改为ONBOOT=yes或者在图形化页面把网卡启动方式修改为开机自启动。u Greenplum组件的本地存储硬盘格式建议为xfs。u 其它组件本地存储硬盘格式建议为ext4下。4. 系统维护4.1 Elasticsearch维护1）启动进程在/home/elasticsearch/production/ztfts/elasticsearch/bin目录下执行sh startup.sh2）使用ps -ef | grep elasticsearch命令检查Es进程是否运行图 41 检查ES进程3） 关闭进程在/home/elasticsearch/production/ztfts/elasticsearch/bin目录下执行sh shutdown.sh4）ES日志清理查看/home/elasticsearch/production/ztfts/elasticsearch/logs/elasticsearch0/ fts.log/home/elasticsearch/production/ztfts/elasticsearch/logs/elasticsearch1/ fts.log/home/elasticsearch/production/ztfts/elasticsearch/logs/elasticsearch5/ fts.log4.2 GP模块维护1） 启动命令2） elasticsearch owls01:ztftscd /home/elasticsearch/janusgraph-0.2.0-hadoop2/bin3） elasticsearch owls01:ztftsnohup ./gremlin-server.sh ./conf/gremlin-server/socket-gremlin-server.yaml /dev/null &4） 关闭命令5） elasticsearch owls01:ztftsps -ef|grep GremlinServer 6） elasticsearch owls01:ztftskill -9 PID(the procedure id of the Grenlinserver)7） 3）模块日志查看8） 在elasticsearch所在用户下，9） /home/elasticsearch/janusgraph-0.2.0-hadoop2/log/gremlin-server.log10）4.3 Zookeeper模块维护1）操作命令启动：publicowls10 cd /home/public/production/ztfts/zookeeper/binpublicowls10sh startup.sh停止publicowls10jpspublicowls10kill -9 QuorumPeerMain(PID)4.4 Kafka业务模块操作命令1）平台模块操作命令publicowls10cd /home/public/KafkaMonitorpublicowls10sh start_monitor.sh -start the kafka monitor webpagepublicowls10cd /home/public/kafka_2.10-publicowls10bin/kafka-server-start.sh ./config/perties &2）模块日志查看Public:/home/public/kafka_2.10-/logs/server.log4.5 Redis模块安装与配置1）模块操作命令Startup: owls12 cd /usr/local/redis-clusterOwls12 sh startup.shShutdown:Owls12 cd /usr/local/redis-clusterOwls12 sh stop.sh4.6 Web应用维护4.6.1 启动服务1） Redis服务切换到web所在用户，并在/home/websrv/redis-2.6.14/目录下执行start.sh文件./start.sh2） tomcat服务(1) 切换到web所在用户，并启动tomcat$sh /home/tomcat/tomcat7/bin/startup.sh(2) 验证tomcat是否能够正常启动假若WEB服务和主库都正常，则输入http:/WEB服务器IP地址:8080/owls-union后，可以打开如下owls页面图 42 打开owls页面4.6.2 停止服务1）