数据稽核模块--规划建议书V1.0(20110927)

中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 1 页 共 23 页 中国电信总部中国电信总部 CRMCRM 监控系统数据稽核模块监控系统数据稽核模块 二期规划建议书二期规划建议书 文档编号 编 制 审 核 批 准 日 期 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 2 页 共 23 页 目目 录录 1 项目基本情况项目基本情况 1 1 1 概述 1 1 2 建设范围 1 2 业务需求业务需求 1 2 1 数据资料一致性稽核 1 2 1 1 ESS系统资料稽核 1 2 1 2 VSOP系统资料稽核 2 2 1 3 协同通信系统资料稽核 3 2 2 业务合规性稽核 4 2 2 1 VSOP 增值业务订购关系管理平台 业务稽核 4 2 3 稽核视图 6 2 3 1 业务范围 7 3 数据稽核功能需求数据稽核功能需求 7 3 1 首页展现 7 3 1 1 集团用户首页展现 7 3 1 2 省公司接口用户首页展现 7 3 2 差异减少指标建设 7 4 合规稽核功能需求合规稽核功能需求 8 4 1 数据采集 8 4 1 1 文本文件接口 8 4 1 2 数据库接口 8 4 2 稽核流程 8 4 2 1 稽核模块 9 4 3 稽核点配置 9 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 3 页 共 23 页 4 4 稽核流程运行监控 9 4 5 稽核结果展现 10 4 5 1 多稽核点总体合规性报表 10 4 5 2 合规性汇总报表 10 4 5 3 不合规数据明细查询 11 4 5 4 数据导出 11 4 6 系统管理 12 4 6 1 用户权限管理 12 4 6 2 组织机构管理 12 4 6 3 用户管理 12 4 6 4 权限管理 12 4 7 日志管理 14 4 7 1 应用日志 15 4 7 2 操作日志 16 4 8 稽核视图 17 4 8 1 数据采集 17 4 8 2 数据导入 17 4 8 3 指标计算 17 4 8 4 一级稽核视图 18 4 8 5 二级稽核视图 18 4 8 6 统计报表 19 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 1 页 共 23 页 1 项目基本情况项目基本情况 1 1 概述概述 中国电信集团 CRM 监控系统数据稽核模块在一期项目中主要对爱音乐 G C 网关 天翼视讯 C 网用户状态数据 爱音乐 四个业务进行了稽核工作 实现了数据稽核工作 的规范化 流程化处理 并达到了降低数据差异 提高数据质量的目的 完成了一期需 要实现的稽核要求 由于中国电信业务繁多 办理业务的流程复杂等原因 导致由人员操作方面 业务 流程管理方面和系统支撑方面引起的数据和业务不合规的现象越来越多 因此有必要对 各平台数据和业务的合规性进行稽核 减少因数据和业务不合规导致的收入流失和客户 投诉问题 1 2 建设范围建设范围 通过对一期项目业务的实施过程中 选取关键稽核点中流失风险高 收入占比大 矛盾较为突出的重点内容进行建设 在数据稽核模块二期工程 选取以下内容进行实施 1 数据资料一致性稽核 新增比对的业务平台 2 业务合规性稽核 3 稽核视图 2 业务需求业务需求 2 1 数据资料一致性稽核数据资料一致性稽核 2 1 1 ESS 系统系统资料资料稽核稽核 中国电信实现了全国统一规范透明的电子化的销售服务管理系统 即电子化销 售服务管理系统 ESS 系统 ESS 系统全面实现了对 3G 业务销售功能的支撑 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 2 页 共 23 页 未来将逐步把 2G 业务 固网业务纳入整体的管理 2 1 1 1 用户信息数据用户信息数据 业务流转流程 用户数据从集团 CRM 枢纽 ESS 系统 省 CRM 系统 ESS系统 稽核规则 稽核规则 基于 ESS 枢纽和集团平台的用户数据 两系统的以用户标识为关键字 对用户状 态以及其他属性进行稽核比对 稽核出两系统缺失和异常的数据 数据字段 序序 号号名名 称称说说 明明 1 用户标识 2 用户状态 其它字段待定 2 1 2 VSOP 系统系统资料稽核资料稽核 2 1 2 1 用户信息数据用户信息数据 业务流转流程 用户数据从省级 CRM CRM 枢纽 集团平台 稽核规则 稽核规则 基于 CRM 枢纽和集团平台的用户数据 两系统的以用户号码 MDN 为关键字 对用户状态以及其他属性进行稽核比对 稽核出两系统缺失和异常的数据 数据字段 序序 号号名名 称称说说 明明 1 用户号码唯一用户标识 2 用户状态 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 3 页 共 23 页 3 变更时间 其它字段待定 2 1 2 2 订购关系数据订购关系数据 业务流转流程 各省级平台 集团平台 实时同步 稽核规则 稽核规则 基于省级平台和集团平台的用户数据 两系统的以用户号码 MDN 为关键字 对产品类型 付费类型以及其他属性进行稽核比对 稽核出两系统缺失和异常的数据 数据字段 序序 号号名名 称称说说 明明 1 用户号码唯一用户标识 2 产品类型用户订购产品类型的标识 3 付费类型用户付费类型标识 预付费 后付费 4 套餐标识订购增值产品是否以捆绑套餐方式订购的 5 生效时间 6 失效时间 2 1 3 协同通信系统资料稽核协同通信系统资料稽核 建设中国电信集团协同通信平台与各省公司CRM 系统用户资料稽核 2 1 3 1 用户信息数据用户信息数据 稽核规则 稽核规则 基于省 CRM 系统和集团平台的用户数据 两系统的以业务号码为关键字 对登 录账号 所属企业 用户类型等 其他属性进行稽核比对 稽核出两系统缺失和异常的 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 4 页 共 23 页 数据 数据字段 序序 号号名名 称称说说 明明 1 省分编码 2 业务号码 2 登录账号 2 用户状态 2 用户类型 2 所属企业 ID 其它字段待定 2 2 业务合规性稽核业务合规性稽核 2 2 1 VSOP 增值业务订购关系管理平台 业务稽核业务稽核 2 2 1 1 订购关系数据订购关系数据 业务流转流程 各省级平台 集团平台 实时同步 源数据 集团平台侧 C 网增值业务的订购关系数据 数据字段 序序 号号名名 称称说说 明明 1 用户号码唯一用户标识 2 产品类型用户订购产品类型的标识 3 付费类型用户付费类型标识 预付费 后付费 4 套餐标识订购增值产品是否以捆绑套餐方式订购的 5 生效时间 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 5 页 共 23 页 6 失效时间 稽核规则 稽核规则 1 订购关系数据中关键字段完整性完整性 非空非空 稽核稽核 2 订购关系数据中数据的逻辑合理性稽核逻辑合理性稽核 例如 生效时间 失效时间 3 订购关系数据中订购关系之间的互斥性稽核互斥性稽核 例如 订购 5 元彩铃包月就不能订购 10 元彩铃包月 或订购了通讯助理业务就不能订购漏话提醒业务 4 订购关系数据中订购关系之间的依赖性稽核依赖性稽核 例如 如果要订购 B 产品需先订购 A 产 品 i 音乐下载的前提是要有彩铃 2 2 1 2 用户信息数据用户信息数据 业务流转流程 用户数据从省级 CRM CRM 枢纽 集团平台 源数据 集团平台侧 C 网增值业务的用户信息数据 数据字段 序序 号号名名 称称说说 明明 1 用户号码唯一用户标识 2 用户状态 3 变更时间 其它字段待定 稽核规则 稽核规则 1 用户信息数据的关键字段进行完整性完整性 非空非空 稽核稽核 2 用户信息数据的关键字段进行逻辑合理性稽核逻辑合理性稽核 例如 身份证号码的长度 身份证号 码的正确性 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 6 页 共 23 页 2 2 1 3 销售品数据销售品数据 业务流转流程 销售品数据从省级 PPM PPM 平台 集团平台 源数据 集团平台侧全网增值销售品数据 数据字段 序序 号号名名 称称说说 明明 1 销售品产品编码 其它字段待定 稽核规则 稽核规则 1 销售品数据的关键字段完整性完整性 非空非空 稽核稽核 2 销售品数据逻辑合理性稽核逻辑合理性稽核 3 销售品数据的产品编码规则的合规性稽核合规性稽核 2 3 稽核视图稽核视图 稽核视图 可用于 1 对省份公司的稽核成果进行统一的管控 2 全面了解各省份公司数据稽核建设情况 3 将一些先进省份的优秀经验进行全国推广 4 对一些核心业务指标建立考核机制 具体业务流程如下图所示 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 7 页 共 23 页 具体步骤如下 1 集团公司下发接口规范 确定需各省份公司提供的稽核结果的数据文件格式 内容 指标等 2 各省份公司根据接口规范要求 定期将稽核成果上传到接口服务器 3 电信集团稽核视图自动从接口服务器采集各省份的稽核数据并进行加工 4 通过稽核视图对各省份的稽核结果进行统一展示 排名 以及建立相关的考核 措施 2 3 1 业务范围业务范围 考虑电信集团数据稽核相关的规范以及各省份数据稽核建设的实际情况 本期可先 将 CRM 系统与核心网元及部分核心业务平台间的数据质量结果系统与核心网元及部分核心业务平台间的数据质量结果 进行定期上报 后续 再扩展到其他稽核领域 如营收资金稽核 合规性稽核等 3 数据稽核功能需求数据稽核功能需求 3 1 首页展现首页展现 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 8 页 共 23 页 3 1 1 集团用户首页展现集团用户首页展现 集团用户 包括系统使用部门 集团接口平台 依据其数据权限 首页展现相应稽 核业务各省当前异分析报表 报表中添加告警功能 对于差异数量 新增差异数量进行 图表展示 3 1 2 省公司接口用户首页展现省公司接口用户首页展现 省公司用户 省公司稽核接口人 依据其数据权限 首页展现相应稽核业务 本省 近 5 次差异变化趋势图标 3 2 差异减少指标建设差异减少指标建设 差异结果查询页面 增加差异减少指标统计及展示功能 差异减少 与差异新增相对 计算公式如下 差异新增差异新增 本期差异本期差异 比比 上期差异上期差异 独有增加独有增加 差异减少差异减少 本期差异本期差异 比比 上期差异上期差异 遗漏减少遗漏减少 4 合规稽核功能需求合规稽核功能需求 4 1 数据采集数据采集 4 1 1 文文本文件接口本文件接口 数据可以通过对文本文件的采集导入本系统 4 1 2 数据库数据库接口接口 支持 Oracle 数据库 可通过简单配置支持不同表的数据导入本系统 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 9 页 共 23 页 4 2 稽核流程稽核流程 稽核流程 将稽核工作分为合适的步骤 将各步骤按时间顺序组成任务链 并在指 定的时间内顺序执行 1 稽核流程可以分为任意个步骤 2 流程启动时间可以灵活设置周期 年 月 日 时 分 秒 也可以随时手 动启动 还可以设置某一时刻执行 仅执行一次 3 流程项可绑定三种流程模块 java 的 class 文件 shell 脚本 存储过程 4 流程项执行顺序可以任意调整 流程项可以任意添加删除 并且支持多流程项 之间并行执行 5 可临时将流程中某步骤设为跳过 至此停止 等待手动执行 6 流程项支持输入和输出参数配置 参数可以是常量也可以是上下文中的变量 参数支持字符串 数字 日期等类型 7 稽核调度程序 负责调度部分或者所有稽核流程的运行 可以支持并行运行或 串行运行 4 2 1 稽核模块稽核模块 稽核流程中的步骤均为一个单独的稽核模块 稽核模块应有以下属性 状态 稽核程序类型 存储过程 java 程序 脚本等 稽核程序名称 稽核程序参数配置 参数名 参数值 参数类型 参数类型至少支持数字 字符串 日期 常量 变量 预定义一部分变量 如 REGION ALL 表示全省 REGION DETAIL 全省按地市等等 帐期 当天 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 10 页 共 23 页 4 3 稽核点稽核点配置配置 稽核点对应每个稽核业务 每个稽核点应该对应一个稽核流程 1 稽核点可分类展示 信息完整性 业务受理类 业务处理类 其他 2 稽核点页面配置项 稽核点编码 稽核点名称 稽核点描述 对应稽核流程 3 由于稽核点对应业务 报表展现界面应可以按稽核点进行查询展现 4 4 稽核流程运行监控稽核流程运行监控 1 稽核流程支持可视化监控 包括 a 流程的当前状态即是否在执行中 b 当前流程执行到哪一项 c 每个流程项的开始时间 结束时间 执行时间 执行结果 d 支持按执行日期进行查询 e 流程图形化展示 f 应支持随时开始 中止 暂停等操作 2 稽核步骤运行结果查询 a 查询条件 稽核步骤名 批次 执行结果状态 b 查询内容包括 稽核步骤名 稽核程序名 起始时间 结束时间 运行结 果等 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 11 页 共 23 页 4 5 稽核结果展现稽核结果展现 4 5 1 多稽核点总体合规性报表多稽核点总体合规性报表 合规性汇总报表包括通用的合规 不合规数据的数量和占比的结果统计表 包括同比环比的分析类报表 4 5 2 合规性汇总报表合规性汇总报表 合规性汇总报表包括通用的合规 不合规数据的数量和占比的结果统计表 包括同比环比的分析类报表 举例说明 本期上期 日期区域稽核模块 合规数不合规数总数不合规比不合规数不合规比同比增加 汇总201107稽核 类型不合规总数不合规总数不合规总数不合规总数 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 12 页 共 23 页 4 5 3 不合规数据明细查询不合规数据明细查询 各种不合规数据均可按原始格式加上不合规判断说明字段进行查询 各种查询条件应说明 稽核时间订单时间订单号 稽核结果 4 5 4 数据导出数据导出 数据明细查询结果均可直接进行数据导出 数据导出支持文本文件格式 4 6 系统管理系统管理 4 6 1 用户权限管理用户权限管理 4 6 2 组织机构管理组织机构管理 支持对外部导入的组织机构信息进行管理 4 6 3 用户管理用户管理 用户是系统的使用者 通过赋予用户相关的角色 完成对用户的授权 系统根据用 户权限的不同 提供相应的业务资源和功能菜单的展示 并根据用户的权限 对用户的 操作进行鉴权 收入保障数据稽核系统管理用户权限 系统设置管理员用户 该用户可以变更 起始时间结束时间 订单状态 稽核类型 订单号异常类型 查询 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 13 页 共 23 页 失效各种用户及设置用户权限 支持基于用户权限的数据访问 系统功能访问控制 支持用户业务操作的跟踪记录 4 6 4 权限管理权限管理 1 功能权限 功能权限 系统能设置各级别用户的数据访问权限 权限控制到指标级 系统应为管理员提供专用用户管理界面 进行增加用户 修改用户属性 删除用户的操作 其中的用户属性包括 用户编号 用户名 用户密码 用户姓名 用户岗位 用户所在部门等 管理员不能设置大于自身权限的 权限 系统支持权限分组管理 权限组 角色 是一个权限集合 操作员属于某 一权限组 也就拥有相应组的权限 操作员可以属多个权限组 系统应为 管理员提供专用权限组管理界面 进行增加权限组 修改权限组包含功能 模块 删除权限组的操作 并用户添加到相应权限组中 权限组属性包括 权限组编号 权限组名称缩写 权限组名称 权限组描述等 系统应支持分级授权管理 分级授权的权限管理机制 应能提供图形界面 对员工进行应用系统权限的授予和回收 系统应提供用户维护功能 用户代码应具有唯一性 只有具有相应权限的 管理员才有权对用户代码修改 系统应提供用户密码维护功能 只有用户本人或具有相应权限的管理员可 以修改密码 系统应对员工代码密码设定进行管理 避免接受过于简单的 用户密码 系统应支持灵活的权限组合方式 对不同种类用户 系统管理员可进行权 限的灵活组合 可把多种单独的功能模块权限相叠加 组成权限组合 2 数据权限 数据权限 具有自身安全性控制 包括用户访问权限 数据安全控制 通信协议安全 等 用户必须具有分权管理功能 不同用户可以具有不同的权限 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 14 页 共 23 页 具有完整的操作权限管理功能和完善的系统安全机制 能够对每个操作人 员的每次操作有详细的记录 能为系统管理员提供多种发现系统故障的手段 设定不同级别权限的操作系统用户 进行这些用户密码的严格管理 设定不同级别权限的数据库用户 进行这些用户密码的严格管理 对应用系统操作员的权限 角色进行管理 包括操作员的增 删 改 查 等管理操作 具有完备的操作权限管理功能 可实现不同用户对不同功能模块具有不同 级别的操作权限 确保应用系统操作安全性 对各类用户进行身份和密码验证 应用程序连接操作系统以及数据库的用户 在所有应用程序中均不得写死 用户名和密码 必须保证所有用户和密码均可动态配置 密码内容加密 3 角色权限角色权限 角色是系统资源和操作的载体 通过对角色的管理 实现系统权限的划分和定义 赋予每一个角色相应的功能权限和数据权限 功能权限是实现菜单操作权限和页面上的 功能按钮操作权限 数据权限是对每一种数据 例如缴款单 的查询 增加 修改 删 除权限 角色配置是按照营收四级稽核体系 对于每一级的稽核内容和功能进行划分 定义相关的功能权限和数据权限 4 7 日志管理日志管理 日志管理的目的在于使维护人员能够了解系统出现的异常运行状态 以及系统用户 对系统的使用情况 帮助操作人员确定异常原因和异常位置 以便及时纠正问题 保证 设备和网络的正常运行 对系统所有操作进行记录 记录内容应包括用户 模块 时间等 对日志可进 行删除 查看 导出 备份等操作 为保证数据的安全 必须采用操作日志的方法对用户及用户操作进行跟踪 日 志分为以下几类 操作员登录日志 记录所有操作员的登录和退出登录时间 操作员标识和登 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 15 页 共 23 页 录终端信息等 对管理人员的任何操作均记入操作日志 日志中包含该操作 员的工号 操作时间 操作内容等 操作日志可由具有权限的管理人员随时 查询及统计 操作维护日志 在系统维护的各个重要环节 如用户管理 权限管理 指标 管理等处记录详细的处理日志 允许通过维护台对日志进行浏览 打印等处 理 出错日志 对所有的出错信息进行的告警和告警处理作日志 记录处理操作 员的工号及处理日期等 不同级别的用户可根据设置的权限查看日志或进行日志的维护 如 按条件查 询事件并形成报表 可设置日志记录的详细程度 日志警告类别 日志数据的 大小 日志留存期限 还可删除或导出日志 对所有应用模块的使用进行日志记录 并可查询 统计 打印所有或单个操作 日志内容 在操作中必须严格确认操作员的权限 确保操作员不能越级 越权 获取资料 在查询 统计时 操作日志的各功能要素都可作为查询条件 分类 条件 排序条件或统计要素 提供灵活方便的查询方式和途径 本系统日志管理模块基于 Apache Log4j 二次开发 实现进程级别统一日志管理 即一个进程对应一个独立的配置文件 并且该进程的系统日志 应用日志 用户操作日 志统一由本日志模块实现 具备向文件 数据库写日志的能力 采用配置灵活 便于阅读的 XML 作为日志管理模块的配置方式 使用方便 与 Apache 官方提供的 commongs logging 的使用方法类似 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 16 页 共 23 页 系统日志功能 4 7 1 应用日志应用日志 主要沿用 Apache Log4j 的功能 用于记录系统运行过程中产生的日志内容 存放 于指定目录中的指定日志文件中 有 XML 配置文件指定 便于系统管理 维护人员了 解系统运行情况以及系统出现问题时查找问题原因 系统日志主要分一下五个等级 级别从上到下 逐级增高 日志级别描述 DEBUG 调试信息级别 INFO 信息提示级别 WARN 警告级别 ERROR 错误级别 FATAL 严重错误级别 4 7 2 操作日志操作日志 在 Apache Log4j 基础之上扩展出应用日志记录接口 记录系统用户对系统用户有 所变更的操作及系统用户的行为 登录 注销 浏览某个模块等 日志内容记录在数 中国电信总部 CRM 监控系统 数据稽核模块 二期规划书 第 17 页 共 23 页 据库中 供日志查询模块在前端作查询统计展示 应用日志类 记录号每条日志的流水号 操作员具体操作员工号 包括设备接入号 后台应用进程号 操作对象具体操作的对象 如具体用户 具体某个参数等 操作类型 为方便日志管理而对操作进行的分类 各省可自行确定 分类方法 动作操作的具体行为 如增加 修改 删除等 登录时间操作员登录时间 详细内容记录日志的详细信息 更改前信息对数据操作前的数据 更改后信息对数据操作后的数据 操作结果记录操作是否成功 操作时间对操作对象进行操作的起始时间 事件信息类 事件信息类一般是衡量工作量 绩效考核相挂钩 记录系统运行状态 任务单的执 行状态 人员操作记录 操作时间等 并且为日后统计分析 合理安排人力资源作基础 每条日志记录包括下表的信息 记录号每条日志的流水号 EVENT ID相应的事件标号 描述主机 地市 业务类型的 时间等标识 事件类型包括信息 I 告警 W 错误 E 操作 O 记录时间日志写入的时间 派单员一般为事件的第一发现人 处理人员相关处理人员 处理结果失败 成功 上报等 各省