民航数据网计费系统技术方案.doc

中国民航数据网全网计费系统中国民航数据网全网计费系统 技术方案书技术方案书 2003 年 5 月 2 18 目目 录录 目目 录录 2 第一章第一章 系统分析系统分析 1 1 1 概述 1 1 2 系统运行环境 2 1 3 计费方式 2 1 4 结算方式 3 第二章第二章总体设计总体设计 4 2 1 系统架构 4 2 2 采集模块 4 2 2 1 概述 4 2 2 2 功能描述 5 2 3 分拣模块 6 2 4 批价计费 7 2 4 1 功能概述 7 2 4 2 计费记录批价 7 2 4 3 计费帐单数据格式 8 2 5 结算模块 8 2 6 统计查询模块 10 2 7 系统监控模块 11 2 7 1 系统体系结构 11 2 7 2 功能概述 12 2 8 参数配置模块 14 2 8 1 功能概述 14 2 8 2 资费政策和优惠配置 14 第三章第三章硬件配置硬件配置 14 第四章第四章外部接口外部接口 15 4 1 和网管系统的接口 15 4 2 提供给外部系统进行二次开发的接口 15 术语解释 15 1 18 第一章第一章 系统分析系统分析 1 1 概述概述 民航业是中国近年来发展最为迅速的一个行业 客户多元化需求的高涨和技术更新大 大推动了大型企业基础网络的建设和更新 同时为提高各自的市场竞争力 大型企业已不 能再局限于只提供基本的话音业务 它需要能为处在的不同城市和采用的不同接入方式的 客户提供端到端的话音 数据 图像 多媒体 互联网以及其它类型的增值业务 同时大 型企业为了提高设备和网络的投资效率 所有相关民航业务的承载网都需要本着资源共享 业务整合的原则进行统一规划 统一建设 面对上述业务迅速发展中遇到的挑战 大型企业如果只依靠采用先进的技术和硬件设 备是不够的 因为不论多先进的网络如果缺乏一套专业 完善的网络管理系统和计费系统 也无法保障能为客户提供高效 优质的民航服务 同时完善的网络管理和计费系统还是吸 引新客户 提高已有客户满意度和忠实度以及降低网络运行成本的一个最为有效的手段 为此 我们提出中国民航数据网全网计费的解决方案 中国民航数据网全网计费系 统 系统建设在北京总局空管局主网管中心 可实现 集中管理 集中计费 对全网数 据业务进行统一集中计费管理 为数据业务的持续高速发展提供有力的支撑 系统主要完 成原始计费数据采集 计费 和分局结算 为用户提供原始计费信息 计费帐单和统计报 表等 系统采用文件和内存等技术 系统运行稳定 高效 网络结构见系统网络结构示意图 2 18 系统网络结构示意图 1 2 系统运行环境系统运行环境 硬件 主机服务器 通用系列中 小型机 客户端 PC 微机 软件 数据库 Oracle 或 Sybase SqlServer 推荐 Oralce 操作系统 主机 Unix 客户机 Windows95 98 2000 Xp 应用软件 无 开发工具 C C Builder JSP 1 3 计费计费方式方式 计费系统从中国民航空管数据网络 Cisco WAN 管理器中采集计费数据 格式化处理 和分拣过滤后按照流量 速率 连接时长和服务质量等进行批价计费 生成计费详单 并在月末生成各个分公司的帐单和各种统计报表 3 18 1 4 结算方式结算方式 1 按比例 按照各分公司的流量比例将费用分摊到各分公司 计费系统每月末统计各分公司网 络流量 自动将费用按本月比例分摊到各分公司 2 按结算规则 在系统中设定和各分公司的结算规则 由系统根据结算规则计算出和各分公司之间的 结算金额 4 18 第二章第二章总体设计总体设计 2 1 系统架构系统架构 中国民航数据网全网计费系统负责整个民航空管数据网的数据业务集中采集计费 完 成和各分公司的结算 实现合理的费用分摊 计费系统预留和财务系统的接口 以便将来 可以方便的向各分公司收费 本系统采用了层次化 模块化的设计和开发方法 从而使系 统具有强大的伸缩能力和扩展能力 系统的逻辑结构见计费系统逻辑结构图 审核校验 报表统计 计费系统逻辑结构 数据 采集 分拣 批价 计费 结算 参数管理监控管理安全管理数据管理 文件分发与管理 网网管管系系统统 C CW WM M 财务系统 根据上面对中国民航数据网全网计费系统的功能逻辑结构进行分析 系统的功能划分 为数据采集 格式化 分拣查重 批价计费 结算 统计查询 参数配置以及系统监控八 大模块 2 2 2 2 采集模块采集模块 2 2 1 概述概述 采集模块负责将网络管理平台 Cisco WAN Manager 上的原始计费信息采集到计费系统 中 系统采用数据库标准 SQL 接口从网管系统 CWM 的 Infomix 关系数据库中采集计费信息 5 18 生成原始计费信息文件 数据采集为后台独立运行的子系统 稳定的进行不间断数据采集 为保证系统长时间稳定运行 系统具备完整而可靠的监控系统和恢复机制 软件系统采用 总线化 模块化的体系结构 2 2 2 功能描述功能描述 2 2 2 1 数据采集单元数据采集单元 数据采集模块由协议接口 联机数据采集和计费数据管理构成 软件系统通过标准 SQL 接口协议实现与网管系统的连接 实现对网管系统数据库表里详细原始计费信息的实 时采集 定时读取交换机产生的原始计费信息 采集进程异常退出 监控进程自动重新启动一个新的采集进程继续进行采集 记录错 误日志 确保采集系统 7 24 小时运行 灵活的数据备份方法 实时将采集到的计费数据文件进行备份 设定以自然月建立备 份路径 然后在该路径下再按交换机 网关代码建立子目录 备份路径的日期以文件名中 的日期为准 采集的清单格式为 srcaddr Source IP Address 源IP地址 dstaddr Destination IP Address 目的IP地址 Packets Received a count of the packets that are received 包的数量 dOctets Total number of layer 3 bytes in the flow s packets 此flow包括的字节数量 First SysUptime at start of flow 流开始的系统时间 Last SysUptime at the time the last packet of flow was received 流结束的系统时间 srcport TCP UDP source port number or equivalent 源端口 dstport TCP UDP destination port number or equivalent 目的端口 pad1 Unused zero byte tcp flags Cumulative OR of tcp flags 6 18 tos IP Type of Service 2 2 2 2 监控告警监控告警 线路状态监控 线路状态监控 监控采集服务器与网管系统之间的线路状况 磁盘空间监控 磁盘空间监控 显示采集服务器话单备份空间总量 已使用空间 剩余空间 异常告警信息视图 异常告警信息视图 以可视界面实时显示各应用进程运行过程中所产生的告警记 录 包含以下信息 告警日期 告警时间 告警点 告警描述 2 2 2 3 日志管理日志管理 对各任务执行过程中所产生的日志记录进行集中的管理 并对管理工作提供辅助手段 告警日志 在采集过程中若发生任何异常事件 数据采集模块记录这些事件信息 包括 发生日期 发生时间 告警类型 告警描述 运行日志 记录一次采集活动成功后有关计费文件的信息 包括 开始日期 开始时间 结束时间 交换机号 活动类型文件名 文件大小 日志格式如下 年月日 时分秒 文件类型 进程号 action 操 作类型 content 详细信息 其中详细信息包括 采集文件名称 文件大小 操作类型包括采集状态 成功 失败 重传 日志在线保留 X 月 X 由参数配置 备份数据目录在超出在线保存期限后能被自 动删除 以节省磁盘空间 在线保存期限由配置文件设定 2 3 分拣模块分拣模块 分拣模块从格式化模块生成的有效计费记录文件目录中读取有效计费记录文件进行分 析处理 完成对计费记录的业务分析 用户类型分析 查重 计费记录校验纠错 分发给 批价模块的各个计费通道去处理 7 18 有效话单文件完整性检测 话单记 录分析 读取话单 采集 模块 参数配置 监控告警 批 价 计 费 模块 话单校验 接 口 文 件 生 成 文件备 份改名 分拣功能图 2 4 2 4 批价计费批价计费 2 4 1 功能概述功能概述 批价计费模块负责把分拣后的计费记录按目的地 服务类型 流量 时间段 时 长 发起 速率范围等进行批价计费 同时完成不同业务类型计费记录在不同日期类 型和时段类型条件下的优惠 并完成各种特殊优惠 2 4 2 计费记录批价计费记录批价 批价程序根据计费记录中的发起和目的交换机所在地 服务类型 时间段 速率 流 量 时长等因素选取相应的资费政策和优惠规则方法确定计费公式 计算此条计费记录的 费用 生成明细帐单 实现以上功能的基本步骤如下 1 从数据库中读取资费政策 写入内存 2 读取原始计费记录 3 根据发起和目的交换机所在地 参考时间等确定用户类型 4 根据用户类型 服务编码 带宽属性等确定资费政策 5 根据计费费率计算基本费用 6 根据时间优惠政策 对基本费用进行打折 8 18 7 卸载资费政策 将计算出的费用帐单列表 传送给结算模块 完成下一步的结算处理 2 4 3 计费帐单数据格式计费帐单数据格式 序号名 称字节数备 注 1记录类型2bytes保留 2源交换机15bytes 3目的交换机15bytes 标准 IP 地址 左对齐 右补空格 4收到包21bytes 5发送包21bytes 6服务类型1byte保留 7起始时间14bytesYYYYMMDDHH24MISS 8结束时间14bytesYYYYMMDDHH24MISS 9时长6bytes单位 秒 右对齐 左补 0 10带宽6byte 11总流量6bytes 12基本费率1byes 13基本费用6bytes人民币 分 右对齐 左补 0 14优惠费用6bytes人民币 分 右对齐 左补 0 10总费用6bytes人民币 分 右对齐 左补 0 2 5 2 5 结算模块结算模块 结算模块负责费用的分摊计算 生成详细的帐单 结算模块的主处理流程 如下 9 18 一次批价话单 实时生成结算基础数 据 接入信息配置 接入信息和用 户信息配置 结算规则 结 算公式 生成结算结果 数据 结算处理流程 结算模块的功能有 实时的详单处理 完整详细的结算分类数据 灵活的结算规则参数配置 报表查询功能 帐单生成 结算帐单格式为 10 18 2 6 2 6 统计查询模块统计查询模块 统计查询模块的功能是将计费系统的各个模块所产生的数据 按用户的要求进行 分类统计后 呈现给用户 本模块实行严密的权限管理 数据准确性 一致性 抽取 过程高效 且对生产系统影响小 维护方便 灵活 适应变化能力强 可根据用户的 需求快速灵活的增加新的统计查询报表 月末 系统自动生成分局各用户的详细帐单 用户也可以按照用户名称 服务类 型 时间段 发起和目的地址 速率范围 连接方式 流量范围 连接时长 费率范 围等条件或组合条件统计查询符合要求的计费细目 用户还可以查询某用户的原始计 费信息 统计整个网络的业务量等 还有各种话务统计 按照业务类型统计 按照通话地域统计 按照时间段统计 按照数据来源统计 按照路由情况统计 附中国民航数据网数据流量明细表 中国民航数据网数据流量明细表中国民航数据网数据流量明细表 分局分局 流出流出 byt e 流入流入 byte 区内区内 byte 流出费用流出费用 元 元 流入费用流入费用 元 元 区内费用区内费用 元 元 应付 元 应付 元 北京 广州 上海 11 18 目的地目的地数据数据 源源北京北京上海上海 分公分公 司司 包个包个 数数 字节字节 数数 带宽带宽 费用费用 元元 包个包个 数数 字节字节 数数 带宽带宽 费用费用 元元 包个包个 数数 字节字节 数数 带带 宽宽 费用费用 元元 北京 上海 2 7 2 7 系统监控系统监控模块模块 监控系统 Sm rtMonitor 是用来对整个计费系统所处的环境 操作系统 数据库 网络 应用程序等 进行实时监控 实时显示整个系统运行状态 故障时会有邮件 短信 寻呼 报警等 2 7 1 系统体系结构系统体系结构 在 Sm rtMonitor 监控系统中 分为前台和后台两部分 前台的 Sm rtMonitor 后台 的 Monitor Agent 系统的体系结构见体系结构示意图 12 18 体系结构示意图 整个 Sm rtMonitor 监控系统采用双 C S 的架构 是在传统的 C S 模式上的一个升级 该系统前后台互为 C S 结构 前后台之间可以随时互发请求并响应 前台 Sm rtMonitor 为整个监控系统的主控中心 通过后台的 Monitor Agent 监测代理 来把握整个计费系统自身以及所处的环境 主机 操作系统 数据库 网络等 的大体情 况 前后台之间通过基于 TCP 的 Socket 进行通信 前后台之间通信时必须建立 TCP 连接方 可进行 可以确保数据的完整性 2 7 2 功能概述功能概述 Sm rtMonitor 监控模块是运行在若干台主机上的一套监控系统 通过该监控系统可以 实时连接整个计费系统的运行状况以及计费系统所处环境的运行状况 概括起来有如下几 13 18 个方面的内容 A 查询操作系统资源状况 B 查询操作系统安全状况 C 查询数据库管理系统的资源状况 D 查询计费系统相关的网络状况 E 查询计费系统相关的后台进程运行状况 监控系统后台相关的内容有三部分 监控系统后台相关的内容有三部分 A 提供给计费系统相关各后台进程的接口 收集计费系统相关后台进程所在主 机的信息和后台进程的信息 形成特定格式的消息串 通过 Socket 通信将消 息串发送给监控代理 Monitor Agent B 监控代理 接收后台进程发送来的消息串内容 初步处理后 生成日志信息 转发给前台监控系统 Sm rtMonitor 其他主机监测代理的功能 C 其他主机监测代理 轮询该模块所在主机的运行状况 发现异常情况向前台监 控系统 Sm rtMonitor 汇报 响应来自前台监控系统 Sm rtMonitor 的请求 执行前台的请求动作 并将该动作的结果返回 监控系统前台相关的内容有七部分 监控系统前台相关的内容有七部分 A 向后台各监测代理发送特定请求 操作人员 维护人员在前台界面上靠鼠标 点击完成的用于查询特定信息状况的操作 B 接收后台各监测代理发送的消息内容 开启 Socket Server 监听服务 等待 Monitor Agent 的连接 一旦有后台 Monitor Agent 的连接 便接收 Monitor Agent 发送过来的消息内容 基于 TCP 的 Socket 连接可以保障数据传输的完 整性和稳定性 C 分析消息内容并按照特定格式显示 解析自 Monitor Agent 那里接收过来的 消息内容 不同后台进程发送过来的消息放置在不同的位置 不同告警级别 的消息内容用不同的字体 颜色显示 D 告警子模块 图形 声音 邮件 短信等各种方式的告警形式 某些形式需 要用户配合完成 告警子模块的主要功能是当计费系统出现异常情况时尽快 使用户 维护人员 获知当前计费系统的问题所在 尽早解决 从而尽快使 计费系统恢复正常运行 E 后台各进程发送消息内容的入库操作 后台各进程发送至前台的信息内容 不论正常 异常一律入库 将整个计费系统后台进程的运行状况保存在数据 库里面 日后进行计费系统运行状况查询 日志查询时可以做到有案可稽 F 数据库管理系统资源的监测 通过该子模块 操作人员 维护人员可以方便 的获取当前数据库管理系统的运行状况 表空间的利用率 回滚段的使用情 14 18 况 数据库整体性能 数据库锁等 2 8 2 8 参数配置模块参数配置模块 2 8 1 功能概述功能概述 参数配置模块的功能是提供给用户一系列界面 来配置系统所需的参数 包括对格式 化模块 分拣模块 批价计费模块和结算模块参数的配置 本模块实行严密的权限管理 确保重要参数的安全性 用户每一次改变参数 例如资费政策 都会在日志中记录 用 户可以清楚地知道参数的变更情况 2 8 2 资费政策和优惠配置资费政策和优惠配置 用户 服务 时间段 发起和目的地址 速率范围 连接方式 流量等都可以作为设 定费率的条件 系统支持对任意两地之间的费率 日期优惠 时段优惠等分别进行设置 也可以对这一整套资费 优惠进行设置 我们提出资费版本的概念 一个版本就是一整套 资费政策和优惠规则 系统中可以存在几个版本就是存在几套资费政策和优惠规则 每个 版本都有生效和失效时间 从而实现费率的平稳切换 并且提供给用户清晰友好的配置向 导信息 这样用户可以轻松方便完成复杂的配置 第三章第三章硬件配置硬件配置 鉴于业务量不大 建议采集机和计费主机共用一台主机 客户端采用一般地 pc 机即可 系统容量和主机性能要求如下 主机 存储计算主机 存储计算 业务量计算 月 业务量计算 月 计费记录数计费记录数 数据业务按半小时采集一次 每次 1000 条记录计算 2 24 20000 30288 0 万 1 采用 RAID5 0 8 2 文件系统冗余 1 2 4 日志文件冗余 1 2 5 数据库冗余 2 数据以文件和数据库方式共存 6 索引冗余 1 2 7 数据在线 4 1 个月 8 话单字节数 256byte 磁盘阵列容量需求为 磁盘阵列容量需求为 B F 5 1 2 1 2 2 1 2 0 8 5 1 2 1 2 2 1 2 0 8 1515 G G 1 带库在线 12 个月 磁带库容量需求为 磁带库容量需求为 B 12 4 12 4 4444 G G 每分钟处理的话单数 忙时 M A 24 24 60480480 条条主机 存主机 存 储计算储计算采集 计费 结算处理每张话单总共需要采集 计费 结算处理每张话单总共需要 2tpmc2tpmc 值值 X X 960960 15 18 增加增加 3030 的性能冗余 的性能冗余 主机所需主机所需 tpmctpmc 值 值 X 0 7 tpmc X 0 7 tpmc 13711371 第四章第四章外部接口外部接口 4 1 和网管系统的接口和网管系统的接口 计费系统通过此接口获取流量清单的原始计费信息 CISCO 网管系统的 Infomix 关系 数据库保存一定的交换机流量信息 并提供标准的 SQL 接口 计费系统可以通 SQL 接口 获取此部分信息 网管系统的中数据库结构请参考 CISCO 提供的接口文档 stat sum pdf 4 2 提供给外部系统进行二次开发的接口提供给外部系统进行二次开发的接口 计费系统预留和外部系统