通信-综合资源数据处理培训资料.ppt

2019 12 27 Inspurgroup 综合资源数据处理培训资料 2019 12 27 Inspurgroup 三 智能校验 二 资源自动采集 目录 四 传输数据处理 一 数据维护 2019 12 27 Inspurgroup 如果网络从来不变化 那么所有网管系统都将获得成功 然而 世界是永恒运动的 中国移动的网络更是如此 唯一不变的是变化 只有变化才真正体现价值 1 资源本身的增减2 资源名称属性的变化3 资源关联关系属性的变化4 资源统计属性的变化5 资源状态属性的变化 网络割接调整 网络扩容 网络优化 网络管理和分析的变化和深入 1 资源新增2 资源关联关系属性的变化3 父资源统计属性的变化 1 资源特征属性的变化2 资源统计属性的变化3 资源状态属性的变化 1 资源特征属性的变化2 资源统计属性的变化3 逻辑资源的调整和变化 即便网络不动 倘若对网络的分析和管理发生了变化 资源属性也会发生变化 资源管理系统如何应对不断变化的网络 保证数据的准确和及时 数据维护 概述 2019 12 27 Inspurgroup 不像一些纯IT系统 资源管理系统的建设和运转 在很大程度上依赖于各级管理和维护人员的支持和投入 因此 必须通过技术手段和管理手段相结合 实现生产力和生产关系的统一 管理手段 资源的命名规范资源数据的静态录入和变更管理资源调度流程资源数据质量的管理考核资源管理系统的应用推广资源管理系统建设的组织保证 技术手段 资源数据模型的管理维护资源的自动发现资源数据的动态采集更新资源数据的历史管理对资源共享应用的技术支持 技术手段是基础 管理手段是核心 相互依赖 数据维护 概述 2019 12 27 Inspurgroup eOMS工单调度 执行网络调整 维护人员主动更新资源配置信息 网管系统自动发现变化 维护人员根据提示确认网络变化并填补数据 资源数据库 网络调整完成 主动维护 被动维护 割接 扩容 搬迁 升版 局数据修改 其他 数据维护 维护方式 2019 12 27 Inspurgroup 数据维护 资源系统数据维护 为了保证资源数据的准确性和及时性 数据维护采取手工维护和自动采集相结合的方式 手工维护方式简洁 便于操作 批量导入导出功能 操作方便 能有效保证导入数据的准确性和导出数据的完整性 通过定制自动采集 可以对资源属性进行自动采集更新 每一次的自动采集都有日志记录 以查看资源数据采集情况 采集失败的任务可以执行数据补采 以确保某一周期内资源数据的准确性 完整性 为满足网络资源完整性的需要 智能校验管理功能 对违反完整性规则的网络资源以列表形式呈现 2019 12 27 Inspurgroup 数据维护 资源系统维护范围 话务网 TDM交换机 软交换 BSC HLR BTS CELL 直放站 室内分布系统 应急通信车 中继端口 信令终端 信令路由 信令链路组 中继群 信令网 STP 数据网 GGSN SGSN PCU GPRSVPN业务 CDS 路由器 交换机 防火墙 传输网 传输网元 通道 通道时隙 段 传输子系统 通道路由 PTP CTP 智能网 SMP SCP SSP VC AIP VRS VRB 网路设备 短消息 短消息中心 短消息网关 客服 客服中心 交换机设备 计算机设备 配套设备 交换配套设备 基站配套设备 其他配套设备 备品备件 网管设备 网管服务器 即OMC 网管工作站 操作维护终端 硬件资源 机架 机框和单板 空间资源 局站和机房 2019 12 27 Inspurgroup 多种录入方式减少手工录入工作量 同时提高数据的准确性既可以批量录入 又可以单个对象录入 已有数据 批量录入 Excel导入工具 手工采集 客户端工具 手工录入 已有数据 新增数据 数据维护主要途径 database 中间数据库 自动采集 遵循集团接口规范 DB转换工具 网元直连 其它系统 统一接入平台 OMC采集 数据维护辅助途径 变更流程管理工程状态管理割接流程管理灰名单管理数据有效性校验短信维护通知资源预警通知 数据维护流程 2019 12 27 Inspurgroup 三 智能校验 二 资源自动采集 目录 四 传输数据处理 一 数据维护 2019 12 27 Inspurgroup 资源自动采集 采集流程 数据采集及处理大致可以分为数据采集 形成标准文件 数据分析 PERL分析 数据入库 LOAD入库 和数据汇总 SQL 四个步骤 2019 12 27 Inspurgroup 数据流转流程图 2019 12 27 Inspurgroup 通过采集系统将数据以文件的形式采集下来以后 系统通过PERL进行分析 通过任务定制程序根据调度时间自动调用脚本对数据进行分析 入库 汇总 及时反映网管信息 程序在UNIX系统环境下运行 以SHELL脚本的方式实现各流程的调用 通过PERL脚本实现数据分析 通过SHELL SQL实现数据的入库 通过SQL语句实现汇总 最终完成数据的展现 及时反映现网情况 数据接入流程概述 2019 12 27 Inspurgroup 一 命令方式采集该采集方式为目前较为常用的采集方式 具有数据时效性高 准确性好的特性 由于我们直接从交换机获取数据 减少了中间数据流转的流程 数据的可信任程度比较高 这种数据获取方式也是我们首选的采集种类 但是 由于此种采集方式直接与交换机交互 如有误操作可能对交换机造成不可逆转的影响 所以如要使用此种方式采集 应在用户许可的前提下 通过特定账户 在特定时间内使用指定命令进行数据采集 此种采集方式的原理为登陆交换机发送特定命令后 交换机会反馈相应信息在屏幕上 且当反馈接收后不同厂商会有特定的命令结束标志 根据不同标志拷贝屏幕并保存为文本文件以供系统分析使用 目前可以通过采集调度系统或者我们自己编写的PERL工具来配置信息获取文件 数据采集的种类 2019 12 27 Inspurgroup 资源自动采集 集中代理 集中代理给登陆代理系统的用户提供了一个风格 模式统一的操作维护平台 使用户摆脱网元的IP地址 端口号 用户名 密码等登陆参数及烦琐登陆步骤的限制 集中日志 所有登陆用户的操作维护活动都被同步记录到日志文件中和数据库中 以备事后监督使用 集中鉴权 可按安全管理模块配置权限情况控制用户可登陆哪一个网元 在山东移动项目更实现了命令级的鉴权 即可以控制用户在具体网元上可发送哪些命令 用户活动跟踪 可让高级用户实时监控其他用户在网元上的活动 监控所发命令和返回数据 在必要时可以杀掉该用户 保证网元完全 消息互通 登陆用户可以在代理系统上互相发送文本消息 完成交互功能 不但可满足操作维护工作 还可支持 集中采集程序getfile proxy 完成资源管理 局数据 网元巡检等模块的数据采集工作 2019 12 27 Inspurgroup 集中化的数据采集程序 依托代理系统proxy 仿真普通的代理系统用户工作 适合于能提供命令行方式的操作维护接口的设备 使用命令交互方式 即发采集命令 接收返回数据 实现数据采集工作 不但可用于资源管理数据的采集 还可用于局数据 网元巡检等方面的数据采集 目前这三部分的数据都由该程序实现 一般在调度系统的驱动下运行 自动完成数据采集工作 也可以用手工方式运行 运行格式如下 getfile proxy nename cmdid sessid outdir cmdstr 命令字符串 通过标准输出报告采集任务完成与否 资源自动采集 集中代理程序 2019 12 27 Inspurgroup 二 数据库方式采集此种采集方式为湖南 贵州及联通一些运营商较为常用 尤其涉及多厂商配合建设资源的情况 例如 贵州底层采集由亿阳负责 上层应用由浪潮负责 这时数据库的采集方式便成了最合适的跨系统数据传输平台 经过多年建设 我们此种采集方式系统已涵盖了INFORMIX ORACLE SYBASE三种比较常用的数据库 且完善形成了工具性的采集系统 通过配置相应信息便可完成数据采集 这种工具在后面的常用工具一章中会详细解释 使用此种采集方式应注意两点问题 1 采集应给底层数据准备留出足够时间 避免底层数据还在生成过程中便启动采集造成锁表 2 采集应在保证不锁表的前提下尽量提前 给资源汇总留出足够时间 数据采集的种类 2019 12 27 Inspurgroup 三 文件方式采集文件大致分为四种 文本文件 DB数据库文件 XML文件 EXCEL文件 此种采集方式为三种方式中相对简单的一种 通常与FTP或SMBClient配合使用 需要注意的是SMBClient为跨系统文件系统访问接口 例如UNIX系统访问Windows系统文件 需要在UNIX系统下以root用户相应配置才能生效 而且在文件分析时需要安装相应的PERL模块方可识别不同的文件格式 使用时注意两点 1 过期历史文件的垃圾删除功能 2 文件的互斥访问功能 防止文件生成过程中被获取过来 造成数据丢失 目前辽宁传输资源数据的采集就是通过文件方式实现 数据文件由直真采集并放到浪潮相应的文件目录下 数据分析和入库由浪潮来处理 数据采集的种类 2019 12 27 Inspurgroup 资源自动采集 采集策略 通过采集任务管理平台来实现资源数据的自动采集 手工补采 采集任务监控 采集任务调度 通过任务定制界面将该采集任务保存到数据库中 通过任务调度完成数据库中该任务的调度解析 最后通过集中代理完成命令自动定时采集 2019 12 27 Inspurgroup 资源自动采集 采集任务查询 2019 12 27 Inspurgroup 按方案查询 资源自动采集 采集任务查询 2019 12 27 Inspurgroup 按任务查询 资源自动采集 采集任务查询 2019 12 27 Inspurgroup 按网元查询 资源自动采集 采集任务查询 2019 12 27 Inspurgroup 按采集结果查询 资源自动采集 采集任务查询 2019 12 27 Inspurgroup 资源自动采集 手工调度 能被手工调度的元任务实例需要满足一定条件 不满足调度的原因会右面用红色标记出 未运行 正在运行的元任务实例不能被调度 已激活 未激活的元任务实例不能被调度 未调度 已手工调度但还未被执行的元任务实例不能被调度 调度次数不超过2次 调度次数超过2次的元任务实例不能被调度 2019 12 27 Inspurgroup 选中要手工调度的元任务实例 点击手工执行按钮 出现时间设置输入框 输入调度时间 也可以默认 点击确定按钮 资源自动采集 手工调度 2019 12 27 Inspurgroup 出现设置成功提示页面 表明手工调度设置完成 资源自动采集 手工调度 2019 12 27 Inspurgroup 采集系统的产出物必定为以文件为载体的数据 但文件的命名必须有一定的规范 文件名包含多种信息 以 分隔 形式为 网元类型 厂商标识 网元名字 命令标识 采集时间 进程号 是否成功标识 src其中是否成功标识0代表采集成功 1代表采集失败 采集时间精确到秒 例如 MSC SIEMENS MSC1 statmp 20070804003000 1471 0 src为什么以此种方式命名 一 此种命名方式可以唯一确定一个最小粒度的命令 以上面说明为例 文件给出了我们这样的信息 该文件为向西门子命名为 MSC1 的MSC网元发送命令标识为 statmp 的命令生成的数据文件 文件采集时间为2007年8月4日3点整 采集结果为成功 一目了然 二 此种命名方式方便系统自动判断文件入库的表名称 在后面的文件入库章节中将会讲到 采集系统产出物 2019 12 27 Inspurgroup 我们知道 经系统采集下来的文件格式是千奇百怪的 没有一个统一的格式 但如果我们想将这些数据做入库操作 那就需要规定一个统一的格式 方便数据库入口命令 例如 SQLLDR LOAD命令 将文件中的数据读取到数据库中 文件分析系统做的就是这样的工作 调用PERL解析文件 形成可以入库的文件样式 即 以竖线作为分隔的数据形式 例如 西门子STATTRUNK命令文件经过解析后形成如下文件内容 MSC3 BSS5 961 33 1 33 1 TRUNK BW 0 47 1 1 0 47 1 1 MOBB 2009 01 0112 00 00 其中蓝色部分为数据内容 通过PERL程序将有意义的数据以特定的顺序提取出来 这个顺序还是用来建立数据库表结构的依据 红色部分为局号 从文件名中获取 用来标识该数据属于哪一台交换机 数据入库的时候还被用来作为数据安全删除的依据 位于数据的第一列 对应数据库表的第一个字段 nename 粉色部分为数据获取时间 从文件名中获取 用以在系统中标识数据的采集 更新时间 位于数据的最后一列 对应数据库表的最后一个字段 time stamp 完成分析的文件将会在原文件名的基础上增加 db 后缀 以告诉系统 此文件已经分析完毕 可以进行入库操作 系统在发现 db文件后 将会调用入库子程序自动将文件入库并保存入库日志 方便查错 思考 文件分析是否可以同时分析多个文件 有何风险 文件分析 2019 12 27 Inspurgroup 文件入库是一个数据准备的过程 原始数据完成入库后便可以在此基础上为正式数据的数据汇总做底层支持 在分析系统完成对原始文件的分析形成 db 文件后 入库脚本将文件入库的过程是智能的 即 脚本自动根据文件名组合出该文件需要入哪一张表 原始表命名规范为 厂商缩写 网元类型 命令标识 例如 文件BSC NOKIA LC BSC13 ZEEI 20070624233001 100 0 src db经过分析后将入原始数据库中的nok bsc zeei表中 并且在入库前系统自动删除该网元的老数据 即 在表中nename值为LC BSC13的数据 以保证数据的及时性 流程如下 入库程序拿到 db 文件后自动组合表名 nok bsc zeei 其次系统从文件名中得知该文件是网元 LC BSC13 的数据 则系统自动寻找表中 nename 值为 LC BSC13 的数据执行删除操作 最后系统将db文件中的数据读入表中完成数据入库 需要注意一点 文件在入库过程中表是锁定的 此时应注意进程保护 否则将会由于锁表造成入库失败 思考 nok bsc zeei表的结构大致应是什么样子 文件入库 2019 12 27 Inspurgroup 要完成数据汇总有两个必要条件 一 模型调研 与系统实际使用方确认模型 用户关心那些网元 网元中比较关心哪些指标 上层应用需要用到哪些指标 这些调研清楚之后将模型固化到系统中 也就是我们所说的正式表 用以页面展现 二 算法调研 模型中每一个字段需要用到什么命令采集 对应命令中哪一部分 是否需要多个命令关联展现 多个命令之间如何关联 数据库 文件方式大同小异 调研清楚之后将每个命令配置到采集系统中将文件采集下来分析入库 对应我们所说的原始库 最终将复杂的业务关联关系固化到资源系统的原始库与正式库的数据库语句关系 从而实现将复杂算法固化到系统中完成数据汇总的目的 原始库与正式库实现比较时的三种情况 1 新增 插入正式表 2 删除 从正式表中将未采集到的数据删除 3 更新 正式表中某几个属性发生变化 更新正式表 这一点请各位同事注意 在今后的灰名单章节中将说明此三种情况对灰名单的影响 该部分从技术角度上说是最简单的一层 单纯使用SQL语句就可以完成汇总 但从业务角度上说 这里面包含了太多复杂的算法知识 需要日积月累的专业知识方可实现开发 维护 感兴趣的同事可以在今后的工作中多接触一下这方面的知识 SQL使用注意事项 1 临时表的使用 2 索引的使用 3 exists in notin的区别 数据汇总 2019 12 27 Inspurgroup 某些情况下 原始的表数据可能无法满足汇总要求 这时就需要在原始数据的基础上用PERL进行二次分析 将数据处理成满足汇总条件的格式 重新插入新的表中以备数据汇总只用 二次数据也就应运而生 例如 在汇总小区临区列表时要求将相邻小区以逗号分隔 更新到一个字段中 而原始文件采到的数据却是多条记录 这时就需要将这多条记录导出压缩成一条数据并以逗号分隔 以达到汇总需求 缺点 1 频繁导入 导出操作减慢了系统运行速度 2 过多的操作增加了故障几率 例如 锁表 进程将死 解决思路 这对业务要求一定的了解 在文件分析时提早预见到所需数据的格式 必要时可以一个文件分析成多个db文件 分别达到不同的汇总要求 避免无谓的导入导出操作 数据导出后的二次处理 2019 12 27 Inspurgroup 三 智能校验 二 资源自动采集 目录 四 传输数据处理 一 数据维护 2019 12 27 Inspurgroup 2019 12 27 智能校验 为了保证网络资源的完整性和准确性 智能模型校验功能将不符合业务规则的数据发现 放入灰名单库 通过短信 灰名单滚动提示 告警呈现 告警自动派发工单等多种途径提示维护人员及时维护数据 最大程度地实现资源数据的智能检错 纠错 提升资源数据的智能化管理程度和准确性管理 智能模型校验是根据定义好的校验规则对资源数据的合法性进行核查 分为智能校验规则定义 资源数据智能校验 短信发送 灰名单数据处理 2019 12 27 Inspurgroup 在数据汇总章节中我们曾经介绍过原始库与正式库实现比较时的三种情况 那现在请各位同事想一下 在做数据删除操作时如果由于采集原因造成采集文件为空是否会造成正式库的数据丢失 灰名单功能正是在这种背景下开发出来的 在数据连续几天采集不到的情况下 可以认为数据为退网数据 此时系统并不做删除操作 而是提交为维护人员进行确认 待确认后进行删除操作 当数据发生变化时 还可以提供数据对比功能 让维护人员及时了解到变化前后数据的变化过程 灰名单相当于底层数据的一个上层应用 为历史数据对比的一个应用实例 它的正常运行必须基于底层数据的正常汇总 灰名单功能 2019 12 27 Inspurgroup 智能校验 校验规则 校验规则包括 连续多日未采集到数据连续5日未采集到的基站 小区 中继端口 单板数据 则为异常数据 基站配套设备校验基站配套设备中的所属基站在基站中不存在 则配套设备数据为异常数据 话务网BTS中 基站ID以G N H Z开头并且 是否一体化 边界背靠背基站 属性为否的基站 去掉微蜂窝基站 统计基站个数 配套设备中的基站空调所属基站数 基站蓄电池组所属基站数 基站开关电源所属基站数 基站机房数量应等于基站数 基站存在而没有配套设备的则为异常数据 单板状态冲突同一个序列号的单板既存在与现网又存在与备件库 2019 12 27 Inspurgroup 智能校验 校验流程 2019 12 27 Inspurgroup 2019 12 27 将校验汇总模型校验数据在首页滚动显示 直观了解模型校验数据 以便及时处理 智能校验 灰名单滚动提示 2019 12 27 Inspurgroup 智能校