采集服务安装手册.doc

采集服务安装手册1、 采集服务功能采集服务主要是根据才接策略手机各个系统的产生的日志，主要包括4A、BOSS、BI、BOMC等第三方应用系统，支持syslog和FTP两种采集方式。2、 解压安装包到安装目录（$FA_INSTAL_HOME）注意：如果目标服务器系统非linux或unix一类，请首先将安装包在windows或linux上解压后再放到目标服务器上，否则可能会导致解压的文件不可用解压后的目录结构为：$FA_INSTAL_HOME/collectorserver/bin$FA_INSTAL_HOME/collectorserver/etc$FA_INSTAL_HOME/collectorserver/lib$FA_INSTAL_HOME/collectorserver/log3、 修改配置文件所有配置文件均在$FA_INSTAL_HOME/collectorserver/etc目录下，共5个配置文件：perties、perties、perties、logformat-policies.xml、pertieskeyvalue作用说明是否必须local.ip5采集器IPYlocal.port8888采集器端口Ysyslog.port5140Syslog的接收的UDP端口Ysyslog.bufsize2048576Socket接收缓存的最大字节数不要修改YprocessThread.size5处理先的线程数量 YtimeWindow3归并时间窗口，单位：秒不要修改Ytocol1采集器接收日志协议1：syslog2：ftpYbatche.imput100批量入库的数量Yperties# settings for fa# db settings for fadb.class.fa=oracle.jdbc.driver.OracleDriverdb.url.fa=jdbc:oracle:thin:51:1521:lcfadb.user.fa=linkagedb.pwd.fa=linkage123# ldap settings for faldap.url.fa=ldap:/8:389ldap.user.fa=cn=Manager,dc=topldap.pwd.fa=encc1c4602fcdf348bcldap.base.fa=dc=top# db settings for standard eventdb.class.se=oracle.jdbc.driver.OracleDriverdb.url.se=jdbc:oracle:thin:51:1521:lcfadb.user.se=linkagedb.pwd.se=linkage123# db settings for auditdb.class.au=oracle.jdbc.driver.OracleDriverdb.url.au=jdbc:oracle:thin:51:1521:lcfadb.user.au=linkagedb.pwd.au=linkage123# sys modulesys=perties#log4j.rootLogger=DEBUG,ROLLING_FILE.linkage=DEBUG,ROLLING_FILE# Console Appenderlog4j.appender.CONSOLE=org.apache.log4j.ConsoleAppenderlog4j.appender.CONSOLE.Target=System.outlog4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayoutlog4j.appender.CONSOLE.layout.ConversionPattern=collector %d %-10r %-5p %t %c1:%L %x %m%n# Rolling Filelog4j.appender.ROLLING_FILE=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.ROLLING_FILE.File=/opt/4A-Securer3/collector-syslog/log/collector.loglog4j.appender.ROLLING_FILE.layout=org.apache.log4j.PatternLayoutlog4j.appender.ROLLING_FILE.layout.ConversionPattern=collector %d %-10r %-5p %t %c1:%L %x %m%n# SqlMap logging configuration#.ibatis=DEBUG, ROLLING_FILE#mon.jdbc.SimpleDataSource=INFO, ROLLING_FILE#mon.jdbc.ScriptRunner=DEBUG, ROLLING_FILE#.ibatis.sqlmap.engine.impl.SqlMapClientDelegate=INFO, ROLLING_FILE#log4j.logger.java.sql.Connection=DEBUG, ROLLING_FILE#log4j.logger.java.sql.Statement=DEBUG, ROLLING_FILElog4j.logger.java.sql.PreparedStatement=DEBUG, ROLLING_FILElog4j.logger.java.sql.ResultSet=DEBUG, ROLLING_FILElogformat-policies.xml规格化的规则，主要是采集服务根据此文件进行日志文件的规格化。如果增加了新的格式的日志文件需要在此文件中增加一条规则。rule.xml主要用于ftp方式收集文件时配置检查文件的一些规则和策略。4、 数据库准备采集服务需要准备以下表：TBL_LS_COLLECT_POLICY 采集策略表TBL_LS_STANDARD_EVENT_FA 4A日志原始表TBL_LS_STANDARD_EVENT_BI BI日志原始表TBL_LS_STANDARD_EVENT_NGBOSS BOSS日志原始表TBL_LS_STANDARD_EVENT_DB 数据库日志原始表TBL_LS_STANDARD_EVENT_HOST 主机日志原始表TBL_LS_STANDARD_EVENT_APP 应用系统日志原始表表的具体信息请参见数据字典5、 其它服务或数据支持该服务不需要其它服务支持，也不需要任何初始化数据支持。6、 程序启停在安装后的$FA_INSTAL_HOME/collectorserver/bin目录中有启停采集服务的脚本。启动采集服务startserver.sh，采用的是nohup后台启动。停止采集服务stopserver.sh。startserver.sh#!/bin/sh export JAVA_HOME=/usr/java/jdk1.6.0_27 export APP_BASE=/opt/4A-Securer3/collector-syslog export CLASSPATH=$APP_BASE/lib/collector.jar:$APP_BASE/lib/log4j-1.2.15.jar:$APP_BASE/lib/linkage-utils-1.0.0.jar:$APP_BASE/lib/commons-lang-2.5.jar:$APP_BASE/lib/apache_tools.jar:$APP_BASE/lib/axis-1.4.jar:$APP_BASE/lib/com.lianchuang.splatform.plugin.core_1.1.0.jar:$APP_BASE/lib/com.linkage.fa.ldap.jar:$APP_BASE/lib/com.linkage.fa.imserver.jar:$APP_BASE/lib/umap-3.1.jar:$APP_BASE/lib/commons-beanutils-1.8.3.jar:$APP_BASE/lib/commons-collections-3.2.1.jar:$APP_BASE/lib/commons-digester-1.5.jar:$APP_BASE/lib/commons-discovery-0.4.jar:$APP_BASE/lib/commons-fileupload-1.2.2.jar:$APP_BASE/lib/commons-io-2.0.jar:$APP_BASE/lib/commons-logging-1.1.1.jar:$APP_BASE/lib/commons-net.jar:$APP_BASE/lib/dom4j-1.6.1.jar:$APP_BASE/lib/ezmorph-1.0.6.jar:$APP_BASE/lib/freemarker-2.3.16.jar:$APP_BASE/lib/ibatis-26.jar:$APP_BASE/lib/itext-1.1.4.jar:$APP_BASE/lib/jakarta-oro-2.0.8.jar:$APP_BASE/lib/javassist-3.7.ga.jar:$APP_BASE/lib/jaxen.jar:$APP_BASE/lib/jaxrpc-1.1.jar:$APP_BASE/lib/jftotpapi.jar:$APP_BASE/lib/json-lib-2.3-jdk15.jar:$APP_BASE/lib/jstl-1.1.2.jar:$APP_BASE/lib/jxl.jar:$APP_BASE/lib/ldapbp-1.0.jar:$APP_BASE/lib/morph-1.1.1.jar:$APP_BASE/lib/ognl-3.0.jar:$APP_BASE/lib/ojdbc14.jar:$APP_BASE/lib/poi-3.6-20091214.jar:$APP_BASE/lib/poi-ooxml-3.6-20091214.jar:$APP_BASE/lib/quartz-1.8.4.jar:$APP_BASE/lib/quartz-all-1.8.4.jar:$APP_BASE/lib/saaj-1.2.jar:$APP_BASE/lib/slf4j-api-1.6.0.jar:$APP_BASE/lib/spring-2.5.6.jar:$APP_BASE/lib/spring-ldap-1.2.1.jar:$APP_BASE/lib/spring-webmvc-2.5.6.jar:$APP_BASE/lib/standard-1.1.2.jar:$APP_BASE/lib/struts2-core-2.2.1.jar:$APP_BASE/lib/wsdl4j-1.6.2.jar:$APP_BASE/lib/xbean-2.5.0.jar:$APP_BASE/lib/xwork-core-2.2.1.jar:$APP_BASE/lib/com.linkage.fa.domain.jar:$APP_BASE/lib/com.linkage.fa.db.jar:$APP_BASE/lib/com.linkage.fa.service.jar:$APP_BASE/lib/com.linkage.fa.audit.format.jar:$APP_BASE/conf:$APP_BASE/binoptions=-Dserver.root=$APP_BASE -classpath $CLASSPATHnohup $JAVA_HOME/bin/java -Xms1024m -Xmx2048m $options com.linkage.fa.audit.collector.Main &其中JAVA_HOME和APP_BASE的路径要改为实际安装路径，其它内容不需要修改stopserver.sh#!/bin/shfor pid in ps -ef|grep collectorserver|awk print $2do# echo $pid kill -9 $piddoneecho collectorserve