某省联通数据稽核解决方案

1、某省联通数据稽核某省联通数据稽核 方方 案案 交交 流流 2009年12月 1 目录 1 1项目背景项目背景 2 2需求目标分析需求目标分析 3 3综合解决方案综合解决方案 2 背景 n 在以在以2g2g移动业务为主的时代，移动业务为主的时代，bssbss系统仅与有限的网元设备进行数据交系统仅与有限的网元设备进行数据交 换，实现的协议和功能也不复杂。但随着换，实现的协议和功能也不复杂。但随着3g3g业务的全面开展，全业务业务的全面开展，全业务 的融合，的融合，bssbss、vacvac、ocsocs以及以及essess等多个系统的建设，等多个系统的建设，bssbss与网元的交互与网元的交互 数

2、量增多，需要实现的功能和协议也趋于复杂，交互流程变长，对交互数量增多，需要实现的功能和协议也趋于复杂，交互流程变长，对交互 的时效性要求增加。的时效性要求增加。 n 统一开通系统的时效性要求，导致统一开通系统在处理业务操作的一致统一开通系统的时效性要求，导致统一开通系统在处理业务操作的一致 性性和完整性方面存在不足，不能完全保证各个业务系统中相关数据的性性和完整性方面存在不足，不能完全保证各个业务系统中相关数据的 一致性和完整性。一致性和完整性。 3 项目背景 由于目前没有有效的核对机制，由于目前没有有效的核对机制， 造成各系统之间的用户数据经常能造成各系统之间的用户数据经常能 出现数据不一致

3、的情况，从而带来出现数据不一致的情况，从而带来 很多问题，包括：很多问题，包括： l服务不一致，导致用户投诉 l网元设备中存在不少无效数据，不 能进行准确的资源回收，从而降低资 源使用的有效性 l作为企业运营关键的用户数据，在 关键系统中不能保成良好的一致性， 阻碍了用户数据管理水平提升 目前某省联通的bss、hlr 、scp、vac、ocs、增值 如意呼平台、增值炫铃平台 业务网元都分布有用户数据 ： 其中bss用户数据是作为计 费、收费以及客户服务的基 本数据 hlr、scp、vac等平台的 用户数据是作为提供用户相 关业务的基本数据，都具有 很高的重要性 现状分析现状分析数据不一致导致的

4、问题数据不一致导致的问题 4 项目背景 用户投诉 因为数据不一致带来的用户服务投诉、计费错误投诉等 收入流失 收费业务没有在bss系统登记却在其他系统存在有效记录，导 致漏收费（如来电显示）或错收费双倍返还(如炫铃)。 影响业务发展 垃圾数据占用系统空间，不能及时释放、启用系统有限资源， 影响系统性能和资源使用效率。 降低客服响应效率 -降低客服响应速度和处理准确率 影响业务营销推广 -信息不健全影响业务营销推广 数据不一致问题带来的影响 5 目录 1 1项目背景项目背景 2 2需求目标分析需求目标分析 3 3综合解决方案综合解决方案 6 建设目标 数据 比对 数据 同步 统计 报表 对bss

5、、 hlr、scp、vac、增值如意呼平台、增值炫铃平台系统 之间的用户资料数据进行核对，可支持增量及全量比对方式，及时发 现各系统用户资料数据之间的差异，以便采取有效技术手段保障数据 一致 提供各系统用户数据的同步功能，确保各系统用户数据的准确性、一 致性，避免因用户数据的不一致带来客户投诉或业务收入流失。 提供基于数据对帐以及数据同步的各种报告和统计报表，提供对于对 帐过程和同步过程的监控和告警，系统具备一定的异常处理能力 通过对bss系统的改造，增加数据稽核的组件，解决手工数据对帐及修改 时效率低、维护不方便的问题，实现业务流程的不断完善和管理能力提升 数据 备份 与统一开通配合进行各网

6、元实时数据同步备份，并要求在指定的恢复 窗口时间内恢复 。 7 建设原则 建 设 原 则 n保证现有系统的稳定性，最大限度保证现有业务系统不受影响 n充分考虑保护现有系统的投资 n可扩展性原则：系统设计模块化、可配置，能够适应一定时间 内的业务变化，并保证系统在进行扩展时，不影响系统的正常 运行 n高效性原则：满足未来业务发展需要、满足实时处理的能力， 完成多类型业务的综合应用 n综合考虑未来bss系统业务系统需求与建设规划 8 数据比对要求 比对内容 比对方式 1，比对方式包含全量比对和增量比对 2，全量比对，首次采用，后根据情况定期或不定期采用。 1，针对bss中的某项业务 2，涉及bss

7、、核心网网元、业务网网元 3，包括用户数据、业务局数据 3，增量比对，定期采用 9 适用范围业务范围 移动 业务 用户基础业务 短信 、通话权限（国际、国内、本地）、漫游权限（国际、国内、省内、本地）、来电显 示（显示、限制、强显、强显限制）、 呼叫转移、呼叫等待、三方通话、呼叫限制、 ivpn、ocs 、可视电话、数据业务接入点（gprs、hsdpa、apnid、eqosid） 用户增值业务 手机音乐 、手机电视 、手机邮箱 、如意呼 、炫铃 、话费周周报 、彩信话费周周报 、 天气预报 、如意邮箱 、一卡多号 、短信防火墙 、短信sp业务 、彩信sp业务 业务 范围 数固 业务 宽带业务

8、宽带业务 10 适用范围网元范围与数据范围 网元 范围 支撑网主要指bss系统（包括一级bss、网管、客服等周边支撑系统，是一个整合bss的概念） 核心网主要指hlr 业务网 与bss业务相关的所有业务平台，典型网元如： 智能网平台 vac平台 scp等 用户 信息 用户基本 信息 用户标识 用户订购 信息 订购信息标识 业务 局数据 业务局数据标识 数据 范围 用户属性 用户状态 手机号码、imsi号码、集团id等 订购信息属性 订购信息状态 业务局数据属性 业务局数据状态 联系方式、品牌、账号、终端信息、归属地、第三方号码等 用户状态等 用户标识、sp代码、sp业务代码等 受理信息、套餐、

9、订购时间、起始时间、终止时间、更新时间等 订购状态、生/失效时间等 sp代码、cp代码、sp业务代码等 sp名称、业务种类、客服信息、业务描述、计费类型等 sp状态、业务状态等 11 网元的交互 业务 网元与交互 数据一致性相关网元交互方向 宽 带 业 务 宽带业务bss、radius 双向 移 动 业 务 新 业 务 用户基础业务bss、hlr单向 用 户 增 值 业 务 手机音乐bss、vac双向 手机电视bss、vac双向 手机邮箱bss、vac双向 如意呼bss、hlr、如意呼平台bss与hlr之间是单向交互，bss与如意呼之间双向交互 炫铃bss、hlr、炫铃平台bss与hlr之间是

10、单向交互，bss与炫铃平台之间双向交互 话费周周报 bss、相关本地增值平台双向 彩信话费周周报 bss、相关本地增值平台双向 天气预报 bss、相关本地增值平台双向 如意邮箱 bss、相关本地增值平台双向 一卡多号 bss、相关本地增值平台双向 短信防火墙 bss、相关本地增值平台双向 短信sp业务 bss、联通在信双向 12 核心网比对数据分类 比对数据分类说明一致性要求 用 户 信 息 用户标识手机号码、imsi号码必须进行有/无比对，并做标识 签约信息 ki值、停复机状态、长途、漫游、呼叫限制、 呼叫转移、来电显示、去电隐藏、呼叫保持、 多方通话、短信等 必须进行一致性比对 13 业务

11、网比对数据分类 比对数据分类说明一致性要求 用 户 信 息 用 户 基 本 信 息 用户标识手机号码、imsi号码、集团id等必须进行有/无比对，并做标识 用户属 性 社会属性名称、类型、性别、联系方式等无 业务属性品牌、用户群组、账号、密码等无 资源属性终端信息、号码归属地、第三方号码等无 用户状态用户状态等必须进行一致性比对 订 购 信 息 订购标识用户标识、sp代码、sp业务代码等必须进行有/无比对，并做标识 订购属 性 订购服务信 息 受理信息、套餐、订购时间、起始时间、终止时间、更 新时间等 无 资费属性 资费编码、资费类型、费率、计费区间、优惠方式、优 惠级别、优惠额度等 进行一致

12、性比对 附加信息操作流水、操作时间、操作来源等无 服务协议服务协议编码、服务协议内容、服务协议状态等无 订购状态订购状态、生/失效时间等必须进行一致性比对 业 务 局 数 据 业务局数据标识sp代码、cp代码、sp业务代码等必须进行有/无比对并做标识 业务局数据属性 sp名称、sp描述、sp类型、业务编码、业务种类、客服 信息、业务描述、访问模式、价格、计费类型、业务使 用方法描述、业务的介绍网址等 进行一致性比对 业务局数据状态sp状态、业务状态等必须进行一致性比对 14 目录 1 1项目背景项目背景 2 2需求目标分析需求目标分析 3 3综合解决方案综合解决方案 15 业务处理流程 hlr

13、 smp /scp 炫铃 vac 数 据 采 集 数 据 预 处 理 数 据 比 对 比 对 稽 核 不 一 致 处 理 营帐 系统 统一开通系统 数据汇总告警处理 界面展现 用户数据优化 同步系统 16 功能架构设计 展现及交互界面 查询 统计 数据对帐管理配置管理系统管理 采集接口 数据采集数据预处理bss接口hlr接口其他网元接口 数据比对比对稽核 数据同步数据汇总 比对参数配置 稽核参数配置 任务管 理 权限管理 系统监控 17 系统接口 采集hlr系统的全量用户数据以及增量变更数据，建议采用文件方式。xx目前可以 支持目前多种主流hlr设备提供的文件格式，包括爱立信、华为hlr设备提

14、供的文 件格式。 实时查询hlr系统用户数据，可与bss连接hlr的接口共用。 采集scp系统的全量用户数据以及增量变更数据，建议采用文件方式。 实时查询scp系统用户数据，可与bss连接scp的接口共用。 同时也要向scp系统进行数据同步，可与bss连接scp的接口共用。 采集营帐系统的全量用户数据以及增量变更数据，建议数据库接口表方式。 同时也要向营帐系统进行数据同步，可采用数据库接口表的方式。 建议数据一致性稽核进行数据比对后，如果需要向hlr、scp等网元设备同步数据， 可采用向统一开通系统发送工单，由统一开通系统完成相关指令操作。 与bss营帐模块的接口 与bss统一开通系统的接口

15、与hlr的接口 与scp的关系 与炫铃平台的关系 采集炫铃平台的全量用户数据以及增量变更数据，建议采用文件方式。 实时查询彩铃平台用户数据，建议采用实时查询接口。 同时也要向彩铃平台进行数据同步，可采用接口表或文件方式，具体可双方协定。 。 18 数据比对方式 n 全量对帐 l 适用条件：因部分操作流程不规范、服务开通入口不统一，各网元建设以 来一直没有进行过系统数据比对同步处理，以及其他种种原因导致存在较 多数据不一致情况，所以需要通过采用全量比对方式进行初始化处理，以 后根据实际业务情况和系统能力定期（每季度或半年）进行全量比对处理 l 接口：实时接口、接口表或文件接口 l 触发方式：自动

16、、手动。 n 增量对帐 l 适用条件：系统间接口、系统故障、数据库故障等原因会导致各网元间产 生数据差异，需要对客户数据变更的增量数据进行比对同步处理，通过事 后方式尽快解决数据差异，减少甚至避免因数据差异引发客户功能使用、 计费或服务办理等投诉 l 以文件接口为主、实时接口 l 触发方式：自动、手动。每日 19 稽核方式 p 在线式稽核在线式稽核 onlineonline p 离线式稽核离线式稽核 offlineoffline p 两者关系两者关系 20 比对稽核功能 n 比对稽核是针对对帐过程中的数据完整性和平衡性的判断验证。 n 比对稽核主要是判断出入口数据的平衡关系以及日志。 bss比

17、对数据总量比对出口的通过数据数量比对出口的不通过 bss数据数量比对异常的bss数据数量。 21 备份管理方案 模型管理模型管理 按照业务类型，实现业 务、网元、区域模型的基础数据管 理功能。 策略管理策略管理 按照生产系统的要 求，提供多种备份策略管理。 包括业务类型、时间窗口、区 域、自动/手工等多种策略的 组合。 同步与核查同步与核查 按照备份策略提供 开通业务数据的备份。 模型管理模型管理 备份策略管备份策略管 理理 同步与核查同步与核查 22 网元的主备模式支持 n 目前，指令直接往网元发送。在增加备机的情况下，根据指令发送的日 志进行重新处理发往备机。一套系统支持解决多个不同网元的

18、实时备份。 主机 备机 生成日志 统一开通 指令 统一开通 （备） 23 数据备份与恢复 如果只有一台主机（或者主备机同时故障），则按照以下模式途径处理数 据备份和恢复的问题： 恢复模式 恢复途径 1，统一开通按照恢复的模式重新发送指令 2，按照网元的要求格式生成批量的文件，交由网元处理 1，支持全量恢复 2，支持指定用户（号段）的恢复 3，指定时间段的恢复 备份模式 1，各网元备份自己网元的数据； 2，根据bss的订购关系进行备份。 24 建设重点与难点 n 数据全量备份 p 用户规模 u500万用户备份策略 p 网元特性 u对ip的限制 单一ip限制方案：通过bss平台实现实时数据稽核。

19、多ip支持：直接与网元进行数据交互。 u对文件接口方式的支持 获取网元的备份文件实现数据备份 u实时查询 支持实时查询：爱立信、华为 不支持：vac 25 数据稽核同步规则 业务网元核心网元 hlr/aucocsvac其它 移动用户 1：针对收费业务，bss中用户订购信息的同步处理， 需向用户进行业务订购确认 2：针对用户状态（停复机、欠费、销号等）的同 步处理，一律以bss为准向网元进行同步 3：涉及多个网元的同步处理，需拆分成bss与核心 网数据同步、bss与业务网数据同步 4：全量同步之后的增量数据（除用户imsi）都以 bss为基准进行同步 5：先同步用户标识与用户状态，再同步用户订购

20、 信息的顺序展开同步处理 同同 步步 规规 则则 业务订购确认 客服电话短信通知其他方式 数据一致性管理 数据稽核流程 数据采集服务开通 同步处理 数据对比 统一接口层 针对业务的数 据不一致分类 1，bss和网元中都有数据，但数据不一致 2，bss中有数据，网元中没有数据 3，bss中没有数据，网元中有数据 数据稽核过程中 遵照的同步规则 26 比对稽核流程 n 统一接口表 n 稽核任务 n 数据上载 n 数据比对 n 差异结果输出 27 数据修复流程 n 同步数据提取 n 网元解析 n 查询工单 n 返回结果分析 n 比对 n 同步工单 对差异结果，直接修复；用在时差比较小的 情况下 对差

21、异结果，再次取标准方数据作为标准， 进行修复；用在时差比较大的情况下。（标 准方由用户确认） 对有差异的号码，取bss数据作为标准销户 重建；用在时差比较大，数据问题比较严重 ，的情况下 28 例例1 1：全量数据实时比对同步处理流程（以：全量数据实时比对同步处理流程（以bssbsshlrhlr为例）为例） hlr比对校正平台bss 按号段启动新任务 1 判断网元是否空闲 ?如果空闲开始取 数据 2 根据手机号码查询hlr 用户数据 3 根据手机号码查询bss 系统用户数据 4 数据比对：判断用 户数据是否一致？ 5 记录数据比对结果 6 数据同步 ： 对不一致 数据进行 自动校正 7 同步请求：根据bss用户 数据自动校正hlr数据 8 数据 更新 9 同步响应：返回校正结果 10 记录数据校正结