广西统一采集平台培训文档

广西统一采集平台培训文档1业务目标本期平台业务建设目标如下：1. 统一共享：一次采集，多处使用；实现灵活，精准的数据订阅；实现高效，及时的数据分发；实现安全可靠的数据共享；统一北向接口协议(数据模型)；被管理能力：数据状态查询，指标算法查询，北向接口共享日志查询。2. 统一管理：集中统一的配置管理及采集策略；直观可控的自管理（系统健康管理、任务调度管理）；透明可追踪的数据质量管理。3. 统一适配：按照统一的协议和方式接入不同的适配器，实现各专业各类数据的统一采集；适配器遵循统一的规范。2系统总体设计2.1总体架构统一采集平台位于外部应用系统与网络设备层之间，实现对网络设备层各类网元设备数据源的统一管控，为外部应用系统提供统一的网元设备访问通道，并将采集的数据共享给外部应用系统。2.2功能架构统一采集平台采用模块化设计思想，从业务功能上分为采集适配器、数据处理层、采集调度层、数据共享层四个层次，并通过系统自身管理模块实现自身的业务逻辑控制和管理，同时，开放标准化的外部管理接口，以实现对外的可管理性。业务功能层面，每层只需要关心本层的数据、业务逻辑和业务实现，层与层之间通过标准接口进行交互，能更好地实现系统的可扩展性。统一采集平台功能框架如下图所示：功能框架主要包含以下功能域：1. 采集适配器采集适配器实现与设备侧的接口协议适配，从设备侧获取原始数据，进行数据解析（词法分析，数据格式标准化，根据处理规则将采集到的底层数据转换成相应的信息模型的数据）。采集适配器的功能组成如下：协议适配、数据获取、风暴抑制、数据解析、数据上报，并支持被动接收设备侧发送的数据。经过解析后的源数据通过适配器北向接口向上共享。2. 数据处理数据处理层接收采集任务，主动调用相应采集适配器从设备侧获取数据，对数据进行解析、归一化，并根据需要进行KPI指标计算。原始数据、归一化数据、KPI指标均可以推送到数据共享层，可以文件、数据库、消息等方式进行传送和保存。可以有选择地提供告警数据过滤能力。支持采集适配器的灵活扩展以支持不同设备的数据接入。3. 采集调度接收订阅策略，根据策略和当前时间实例化成采集任务，根据各采集节点的运行环境和资源空闲情况进行判断，能够选择合适的采集节点，并把任务下发；能够接收采集节点反馈的任务执行情况，并监控各采集节点运行状态；根据任务的采集结果分析数据是否完整，能够根据设定的策略触发数据的补采。4. 数据共享接收外部系统发送的数据订阅请求，根据设定的数据订阅权限判断该订阅请求是否合理并作出响应。数据准备好后，给订阅该数据的外部系统发送通知消息以及数据的访问方法，外部系统主动获取数据，对同一份数据的不同订阅者分别发送通知。5. 系统自身管理包括对统一采集平台自身的管理，把适配器注册到平台中，设置访问设备的信息，对统一采集平台中任务执行情况、数据共享情况的监控，设定各外部应用系统对数据订阅的权限，支持通过统一采集平台直接完成外部系统对数据的订阅。6. 管理接口统一采集平台对外提供可管理性，包括：通过指标算法双向交换接口实现业务逻辑的可装载和可管控，通过数据质量报告接口实现数据质量状态的可管控，通过自身告警转发接口实现自身工作状态的可管控，通过实现到安全管理平台的接口，实现采集安全策略的可管控。2.3运行环境1、网络拓扑2、服务器硬件配置计算机名OS类型CPU（core）内存存储空间宿主机IP部署软件统一采集平台6RedhatEL5.5x64816GOS:32G

SWAP:8G

DATA:100GHS22-OSS-60话务网管采集统一采集平台1RedhatEL5.5x64820GOS:32G

SWAP:8G

DATA:100GHS22-OSS-355传输网管采集统一采集平台2RedhatEL5.5x64820GOS:32G

SWAP:8G

DATA:100GHS22-OSS-456话务网管采集统一采集平台3RedhatEL5.5x64820GOS:32G

SWAP:8G

DATA:100GHS22-OSS-557话务网管采集统一采集平台7RedhatEL5.5x64820GOS:32G

SWAP:8G

DATA:100GHS22-OSS-661话务网管采集统一采集平台10RedhatEL6x64824G100GHS22-OSS-2462传输网管采集统一采集平台11RedhatEL6x64824G100GHS22-OSS-2563传输网管采集统一采集平台12RedhatEL6x64824G100GHS22-OSS-2664传输网管采集统一采集平台13RedhatEL6x64824G100GHS22-OSS-2765传输网管采集统一采集平台4RedhatEL5.5x64514GOS:32G

SWAP:8G

DATA:100G

外挂4.6T共享存储HS22-OSS-858后续规划用85替换后续规划用85替换备用管理服务器统一采集平台5RedhatEL5.5x64520GOS:32G

SWAP:8G

DATA:100G

外挂4.6T共享存储HS22-OSS-859已由40替换已由40替换主用管理服务器统一采集平台8SunOS5.101664G100G40主用管理服务器统一采集平台9SunOS5.101664G100G85备用管理服务器3、支持软件JDK1.6dc_perlinformix客户端mq客户端3软件部署3.1核心管理服务器目前核心管理服务器主要运行了以下程序模块：GcpServerCore：核心控制程序，负责对整个采集流程的监控，其它所有模块都要与其通信，为整个系统的大脑hsqldb：数据库模块，上层各项配置存储在改数据库中，包括用户信息、适配器信息、采集单元信息、采集策略等等web_server：上层web模块GNDP：话务北向入库模块，从GcpServerCore接受消息，完成话务数据入库TMnorthAdapter：传输北向接口，传输app与核心控制程序的通信通道，负责消息的传送以及采集策略转换等pcm_loader_v5.pl：处理话务有性能无资源的网元信息，与三期采集的pcm_loader.pl对应，新增了实时消息上报功能pub2cm：资源采集模块，与三期完全一致，程序及相关配置来源于三期采集系统GcpMonitor：系统自身监控模块，与GcpTool配合使用GcpTool：负责系统监控，该功能与GcpMonitor配合使用；负责日志清理、系统备份ShellAgent：代理模块，负责外部模块调用，解决java外部调用问题，如话务入库执行dbaccess、perl解析程序调用AlarmSender：告警转发模块，将告警转发至告警监控系统3.2采集服务器采集机只需部署采集模块及ShellAgent代理：GcpCollector：采集功能模块，完成数据采集，并生成数据文件，所有专业网管数据采集通用；采集模块集成了一个内存数据库（hsqldb），用于采集过程计算指标，相当于三期采集的dc_mysqlShellAgent：代理模块，负责外部模块调用，解决java外部调用问题，如话务入库执行dbaccess、perl解析程序调用3.3程序目录说明3.3.1核心平台(GcpServerCore)目录结构/backup备份目录/cfg配置文件目录/cmd各命令目录/data包含adaptors,filedata,meta_files,org_meta_files四个文件夹和一个tout.dat文件，syncData、transformXml_temp、xmlData、adaptor_temp同步元数据时临时目录/lib存放核心平台用到的文件包/log日志目录3.3.2采集机(GcpCollector)目录结构/cache临时缓存信息/cfg配置文件目录，其中包括tools、dev这两个文件夹及clean.xml、gcp.cfg.xml，用于配置/cmd存放用于执行采集机的各命令/data包含share,temp,collectors,filedata,ftpCache,datasource六个文件夹和一个CMDATA.dat文件/lib采集机用到的文件包/log临时文件日志、采集机日志gcp.log、出错日志error.log/temp临时文件夹3.3.3采集平台(webserver)目录结构/bin程序目录/conf 配置文件目录/lib java类库/logs 日志目录/temp临时文件/webappsGCP6.1、ROOT和reports三个文件夹/workcatalina所在的目录Running.txt运行说明LICENSE、NOTICE、RELEASE-NOTESTomcat的文件3.3.4Shell代理(ShellAgent)目录结构/bin程序目录/log日志/ShellCmd需要执行的命令/ShellResult命令执行结果3.3.5话务北向（GNDP）目录结构/libjava类库/cfg配置文件目录/log日志目录/cmd程序目录/record入库消息目录/data入库数据文件存放目录，其子目录中存在数据文件（csv）、数据文件字段说明（xml）、入库SQL语句（load.sql）、入库SQL执行输出（loadsql.out，可以定位入库情况及报错信息）3.4程序配置说明各个模块的配置参考附件：4软件启停说明4.1系统停止按如下顺序停止：停止所有采集机采集进程（采集的采集进程可单独重启）/opt/Gcp/GcpCollector/cmd/stop.sh核心服务器停止自身监控程序/opt/Gcp/GcpMonitor/cmd/stop.sh核心服务器停止话务北向接口程序/opt/Gcp/GNDP/cmd/stop.sh核心服务器停止传输北向接口程序/opt/Gcp/TMnorthAdapter/bin/shutdown.sh执行完脚本之后，”ps–ef|grepTMnorthAdapter”查看进程是否还存在，如存在则直接用kill杀掉核心服务器停止pcm_loader进程ps-ef|greppcm_loader_v5|grep-vgrep|awk'{print$2}'|xargs-ikill-9{}核心服务器停止web服务/opt/Gcp/web_server/bin/shutdown.sh执行完脚本之后，”ps–ef|grepweb_server”查看进程是否还存在，如存在则直接用kill杀掉核心服务器停止核心服务/opt/Gcp/GcpServerCore/cmd/stop.sh核心服务器停止hsqldbps-ef|grephsqldb.server|grep-vgrep|awk'{print$2}'|xargs-ikill-9{}执行“ps–ef|grepgcp|grep–vgrep”查看是否还有gcp账号的进程，如有的话直接杀掉4.2系统启动1、核心服务器启动hsqldb/opt/Gcp/hsqldb2.0/bin/start.sh2、核心服务器启动核心服务/opt/Gcp/GcpServerCore/cmd/start.sh3、核心服务器启动话务北向入库接口/opt/Gcp/GNDP/cmd/start.sh4、核心服务器启动传输北向接口/opt/Gcp/TMnorthAdapter/bin/startup.sh5、核心服务器启动pcm_loader进程cd/opt/Gcp/BOCO.DAL/NPM/common/mbin/north_adaptorperlpcm_loader_v5.pl6、采集机启动采集进程/opt/Gcp/GcpCollector/cmd/start.sh7、核心服务器web服务启动/opt/Gcp/web_server/bin/startup.sh5话务采集完整接入流程一个完整的话务采集接入流程主要包括适配器开发（网元版本一致的可以利用已有的采集适配器）、适配器注册、采集单元配置、数据消费者授权、采集策略配置五个步骤。5.1采集适配器开发5.1.1完整适配器信息目前话务采集接口类型主要有DB(数据库接口)、FILE（文件接口）、MML（指令接口），其中MML多数是由一个定时任务向网元发送指令，将报文存储到文本文件中，然后采集程序获取该报文文件进行解析，例如SSA、STP等，所以对于统一而言MML方式也可以归为文件采集。数据库接口的适配器应包含如下信息：利用perl解析的文件接口适配器应包含如下信息：利用java解析的文件接口适配器应包含如下信息：不论是何种接口的适配器都应包含采集算法excle文件（对应三期的map文件）、adapter_cfg.xml、GCP_Adaptor.lic三个文件，另外文件接口必须要包含解析程序。5.1.2适配器开发Excle文件开发1、利用三期map文件进行转换转换的前提是三期采集已经有相应的采集，该方法在工程建设中使用较多，不适合后期新增采集；此方法需要用到产品线提供的mapping转换工具（m2e）进行转换，用此工具转换出来的Excle是用很多地方需要修改的，需要不断的验证来发现问题，适合对mapping不熟悉的同事。m2e使用手册见附件：2、手工进行Excle文件修改3、Excle信息说明adapter_cfg.xml配置xml配置文件各个属性配置见附件：以下分别是DB、File、Corba（jar包解析）三种接口的xml配置示例：5.1.3适配器加密适配器加密会生成“GCP_Adaptor.lic”文件，如果适配器没有进行加密或“GCP_Adaptor.lic”文件与适配器信息不符，注册适配器时会报文件不存在的错误。适配器的加密使用加密工具“GCP-V6.0_P_适配器加密工具grant_lic_tool”进行加密；具体操作方法是将zip包放置到工具下的/lic/file目录下，然后运行/file目录下的lic.bat即可。需要记住，只要是对适配器进行了修改，都必须要重新对适配器进行加密。5.1.4适配命名规则适配器版本命名适配器版本，必须与EXCLE中的version保持一致，该属性在注册适配器时作为唯一属性，也就是说两个不同的适配器version必须不同，否则后注册的适配器是无法注册的。建议版本的命名为“专业_网元类型_数据类型_接口类型_网元版本”，如：WL_BSC_PM_DB_R12、WL_BSC_PM_FILE_R适配器命名适配器包的名称，该属性值即为适配器包的名称，压缩包的类型必须为zip，必须要与压缩后的适配器包名称一致，否则无法注册。建议名称按照“GCP_专业_运营商_网元厂家_网元类型_网元版本_数据类型_接口类型_修改日期”格式来命名，如：GCP_WL_CMCC_ERIC_BSC_R12_PM_FILE_20120419.zipExcle命名Excle文件名称，与适配器包中的Excle文件名称必须一致。建议名称按照“GCP_专业_运营商_网元厂家_网元类型_网元版本_数据类型_接口类型”的格式来命名，如GCP_WL_CMCC_ERIC_BSC_R12_PM_FILE.xls，即将适配器名称去掉“_日期”。5.1.5完整适配器开发流程1、Excle文件开发2、开发解析程序或者获取已有的解析程序，DB接口采集不需要此步骤3、编写adapter_cfg.xml文件4、把EXCLE文件、解析程序、adapter_cfg.xml文件放置在同一目录下，然后在该目录下将这些文件打包成zip包5、对zip包进行加密以下是爱立信无线采集的三个完整适配器：5.2适配器注册登陆统一采集web（59:8088/GCP6.1/index.jsp），在“数据接入管理”目录下选择“适配器注册”，如下图：如果注册的适配器原来已经注册，需要先在左侧的“适配器资源树图”选中对应的适配器，然后点击卸载；如果是之前没有注册的适配器，则直接点击注册，如下图：点击注册后，选择适配器文件，然后再点击注册，提示成功则说明注册正常；如果适配器中的sheet较多，花费的注册时间也会较长。5.3采集单元配置采集单元的配置是针对不同的采集源进行的，比如华为无线是有两个OMC的，所以在需要配置两个采集单元，由于这两个OMC的采集算法是一样的，所以使用同一个适配器；另外有一种情况是同一个OMC是需要一个以上的适配器共同完成采集，例如爱立信无线需要三个适配器完成采集。5.3.1增加采集源1、在“数据接入管理”菜单下选择“采集单元设置”，然后点击“新增采集源”，在弹出的适配器树图中选择对应的适配器，再点击“确定”，进入采集源配置界面，如下图：2、采集源配置有三大块属性，分别为公用配置、适配器配置、采集源配置，其中公用配置的属性对于不同接口的适配器是一致的。（1）公用配置的属性设置公用配置的部分属性值来自于“adapter_cfg.xml”文件中的“<adapter></adapter>”，这部分属性只是只读的，必须要配置的属性有：采集源名称、是否定向、性能counter列表、配置counter列表、采集单元编号、定向采集机ID，下面对这些属性以及其它可配置的属性进行说明。采集源名称采集源名称不是唯一约束的，命名需要清晰明了，建议规则是“厂家_网元类型_数据类型_OMC名称”，如：“ERIC_BSC_PM_OMC101”。是否定向：指定该采集源的采集任务是否在指定的采集上执行，需要与“定向采集机ID”配合使用，由于统一采集是采用采集机组进行负荷分担，所以必须选择“定向”。性能counter列表：该属性对应适配器的Excle文件中“pfr_type”属性为pm的sheet名称，正常情况下是全选，如果有部分是不需要采集的，可以只选择需要采集的sheet。配置counter列表：该属性对应适配器的Excle文件中“pfr_type”属性为cm的sheet名称，正常情况下是全选，如果有部分是不需要采集的，可以只选择需要采集的sheet。采集单元编号:该属性是采集源的唯一标示，不能重复；需要特别保存，注意的是，一旦采集源已保存，那么这个属性就再也无法修改。该属性的建议为“omc_id+编号的形式”，如10101、10102。定向采集机ID：该属性配置该采集源任务在指定的采集机上执行，与“是否定向”配合使用，只有“是否定向”设置为“定向”才生效；由于统一采集是采用采集机组进行负荷分担，所以定向的类型应选择采集机组，再选择“话务采集机组”，如下图：超大COUNTER表大小限制：该属性对op、or表采集后的数据文件大小进行了限制，单位为M，默认大小为50，即如果数据文件大小超过50M，则在kpi表计算时抛弃该文件，会导致部分字段缺数、记录数减少，甚至于采集不到数据。如果在采集过程中发现有文件超大的情况，则需要对采集算法进行优化，如增加条件对数据进行过滤、删除不需要的counter采集等，不建议直接修改该属性值，否则过多的冗余数据造成采集时间过长。公共配置属性设置如下图：（2）适配器配置的属性设置适配器配置的属性包含两部分，一部分是统计自动检测规则设置，相当于三期采集的data_check，读写属性为可读写，另一部分来自于适配器，也就是适配中的“adapter_cfg.xml”文件配置的“<adapter_attribute></adapter_attribute>”配置的属性，这部分是无法修改的，一旦适配器的xml文件做了改动，例如解析程序执行过程，就意味着采集单元需要先删除再增加。（3）采集源配置的属性采集源配置部分的属性与接口类型有关，及DB接口的属性与文件接口的属性不同；这里面有部分值是来自“adapter_cfg.xml”文件的“<datasource_attribute></datasource_attribute>”部分。这部分属性是可以在适配器Excle中引用的，例如“操作维护中心ID”，在Excle用${OMC_ID}进行引用，从而不需要在Excle中写死，这样相同版本的OMC才可以使用同一个适配器。数据库接口的采集源配置：配置的时候双击其中一个属性，在弹出的对话框中先选择数据库类型，再配置数据库相关信息，配置完之后，点击“测试连接”进行测试，可以连接成功再保存。文件接口的采集源配置：文件接口配置需注意以下关键点：1、源文件目录不是配置统计所在的目录，而是用正则表达式写出文件的绝对路径，例如爱立信无线配置如下：/var/opt/ericsson/sgw/outputfiles/apgfiles/sts/C${SCAN_START_TIME-8h,yyyyMMdd\.HHmm}\-${SCAN_STOP_TIME-8h,yyyyMMdd\.HHmm}.*${ne_name}:.*2、如果有多个文件无法使用一个正则匹配出来，需要写多个匹配，中间用“;”隔开，例如：/home/rmdam/cha/nrm/response/${ne_name}.*.log;/home/rmdam/cha/nrm/response/.*.gprs.log3、如果源文件的名称是固定的，如zteomc1.xml，且在相同目录下有备份的文件，如zteomc1.xml.gz.2012120507，那么在配置的时候需要加“$”符号作为文件名称结尾，如：/opt/NMC_CORBA/tmp/zteomc1.xml$5.3.2多个适配器的采集源设置有的采集是需要多个适配器共同完成的，只所以出现这种情况是因为统计来自于不同的采集源，最典型的是爱立信无线性能数据采集，总共有四个采集来源，一个是来自于OSS生成的统计文件、一个是来自于在OSS服务器上定时向网元发送指令获取的报文、一个是来自于OSS数据库、另一个是来自于话务网管的informix数据库；由于不同的数据库采集源可以使用同一个适配器完成，所以爱立信无线性能数据总共有3个适配器，每个OMC需要配置4个采集源。多个适配器的情况，需要主要做到以下几点：各个适配器配置的采集单元名称必须一致，采集源ID不一样其中一个适配器为主适配器，即所有的kpi表以（性能tpd表、资源pub）以及所有的op、or表都要包含在主适配器中，其它适配器只需要包含从此数据源出的op、or表主适配器对应的采集单元在选择counter列表时不能选择从其它采集源出数的op、or表除主适配器以外的其它适配器，选择counter列表时选择从本采集源出数的op、or表5.3.3多个相同版本OMC采集源增加有些OMC的版本是一致的，可以采用相同的适配器，在配置完第一个OMC的采集单元之后，就不需要再从头对其它OMC的采集源进行配置，已有的采集是可以复制的，右键单击选择复制之后需要填写一个采集单元编号，前面我们已经说过了，保存后的采集单元编号是无法再次修改的，所以填写的时候一定要正确；负责完成之后，再打开对应采集采集单元进行相关属性设置即可。5.3.4消费者授权1、在“用户管理”下选择“数据消费者授权”2、在左侧树图选择对应的消费者，不同的专业需要使用不同消费者，否则会对北向入库造成影响，话务网管使用“wnms”。3、在右侧指标树图中选择需要赋权的counter表，然后保存即可。4、切记勿要轻易使用“删除”，否则会删除对应账号的所有赋权。5.4采集策略配置1、在“数据接入管理”下选择“采集策略设置”2、点击“新增策略”3、选择对应的策略类型后，在右侧选择消费者名称、网元类型、采集源等信息，尤其需要注意的是，选择对应的采集之后，必须在右侧方框上方点击“选择”按钮，下面才会呈现包含的指标组。4、选择完相关信息之后，点击下发策略按钮，系统自动下发任务，自此整个话务的采集流程就算完结了，剩下的就是系统自己处理了。5、下发周期采集的时候填写延迟时间需要注意，延迟的时间是指采集当前时间减去统计结束时间，例如9点30分采集8点到9点的统计，则延时时间就填0。6采集任务错误定位6.1即时任务定位执行的采集机即时采集下发完策略之后，会弹出一个对话框提示“策略下发成功！是否查看完整性问题定位？”，如下图：选择“是”会弹出采集监控的窗口，从该窗口可以看到任务执行的采集机，以及各个采集采集到的记录数、执行情况。6.2周期任务定位执行的采集机周期任务可以通过“数据质量监控”下的“采集任务监控”设置条件查询出任务执行的采集机。6.3采集日志采集机的log目录下会有三中采集日志，gcp.log、error.log、各个采集源对应的日志目录（目录与采集单元名称相同）；gcp.log记录采集的总体日志，error.log记录执行保错日志，采集源对应的日志目录记录各个KPI、counter表的执行过程，与三期采集trace目录对应，counter的日志对应三期FILECOL、ODBCCOLLECTOR、PARSER日志，KPI表日志对应三期采集的ADAPTOR日志。7统一采集与ESB根据项目要求，统一采集需要接入ESB，即通过ESB来共享数据；重点介绍统一采集与ESB的对接即如何接入ESB。7.1统一采集与ESB的对接7.1.1对接示意图7.1.2传输网管与ESB集团定义了传输网管的应用层和采集层之间的协议接口，是web_service同步调用方式，通过调用内存对象传递数据，这些数据会超过10M，ESB一般是走低于4M的数据，超过该限制会降低数据发布的效率，增加数据延迟，因此采用了统一采集平台直接共享给传输的方式。同时统一采集平台会把传输的数据生成文件，通过ESB发布给其他系统。7.2ESB接入7.2.1服务注册创建提供数据的系统1、在系统管理菜单下，点击“新建”，输入创建系统的信息，如下图：创建消费数据的系统创建提供数据的系统之后，可接着创建数据消费的系统信息。注册ESB用户在这里注册ESB用户，接入的系统才可正常使用。在用户管理菜单下，点击“新建用户”，输入统一采集用户名、密码、IP地址、中文名字和系统编码等信息，可用状态选择可用。创建系统协议信息创建完系统之后，需要创建系统的协议信息。根据实际情况选择添加统一采集的“WebService信息”，包括接口编码、webservice和方法名等信息，如下图所示创建目标接口信息进入“系统管理”下拉列表中的“目标接口信息”，点击进入添加页面点击“新建服务接口”，输入目标接口“话务网管”的相关信息（目标接口编码、协议编码等信息话务网管侧提供）：创建ESB服务信息ESB服务信息的创建，是将数据提供方和数据消费方进行关联的一个步骤，在服务管理菜单下，进入ESB服务信息页面点击“添加服务”，“添加服务”输入数据提供方的信息。“目标接口”输入数据消费方的接口信息，然后选择下一步进入选择目标接口页面，如下图所示添加完服务之后，即可在页面查看到统一采集与话务网管关系图添加服务权限服务权限信息，是将数据提供方的信息进行权限赋予，赋予之后才可被数据消费方消费使用。7.2.2服务退网退网有四种方式：数据提供方的接口停用、数据提供方的服务停用、数据提供方的服务权限停用、数据提供方的用户的停用数据消费方的接口停用双击需要停用的接口信息，将可用状态改为不可用数据提供方