全球眼网管系统技术建议书四川电信.doc

四川电信全球眼网管系统 技术建议书 文件编号 四川电信四川电信四川电信四川电信四川电信四川电信 全球眼网管系统全球眼网管系统全球眼网管系统全球眼网管系统全球眼网管系统全球眼网管系统 技术建议书技术建议书技术建议书技术建议书技术建议书技术建议书 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 Sichuan Communications Services corporation Limited Science Technology Branch 20082008 2008200820082008 年 年 年年年年 4 4 4 4 4 4 月 月 月月月月 版权所有 SCTTSC 2008 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 2 页 共 22 页 修订历史记录 版号日期作者修订要点 0 1 0 2007 12 01叶伟起草 1 0 0 2007 12 6叶伟 宁 云 马恭 权 姚振 杨 初稿修改完成 Ver1 0 1 012008 1 8叶伟根据试运行平台测试结果进行修改 1 022008 4 29叶伟根据四川项目情况修改系统组网及功能 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 3 页 共 22 页 目目 录录 1 1前言前言 5 1 1系统建设背景 5 1 2系统建设意义 5 1 3系统建设原则 6 1 3 1统一规划原则 6 1 3 2产品化建设原则 6 2 2系统总体架构系统总体架构 7 2 1系统设计思想 7 2 2功能架构图 7 2 3系统技术特点 8 3系统建设系统建设 8 3 1 1组网设计概述 9 3 1 2网络拓扑图 10 4 4系统平台设计系统平台设计 11 4 1系统平台设计原则 11 4 1 1总体设计原则 11 4 1 2主机设计原则 12 4 1 3存储设计原则 12 4 2硬件平台设计 13 4 2 1系统参数估算 13 4 2 1 1主要估算依据 13 4 2 1 2数据库主机性能估算 14 4 2 1 3采集机性能估算 16 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 4 页 共 22 页 4 2 1 4存储容量估算 16 4 2 1 5主机内存容量估算 18 4 2 1 6备份系统的容量估算 19 4 2 2系统架构设计 19 4 2 3节点架构 20 4 2 3 1系统扩展性分析 20 5 5系统功能系统功能 22 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 5 页 共 22 页 1 1前言前言 全球眼业务是依托中国电信完善的宽带网络 通过视频监控服务平台 满足客户 网络化视频监控需求 实现客户对监控目标的监视 控制 安全防范及智能管理的 一项新业务 也是中国电信向客户提供的不需要购买监控设备就可以立即申请立即 实现网络化监控的一项服务 是现代管理中必不可少的辅助工具 全球眼业务适用于公共安全行业 石油工业 银行系统 道路交通 环境监测 电力系统 民航系统 海关 连锁营业场所 集团公司等需要进行图像远程处理 传输和管理的地方 系统利用中国电信无处不在的宽带网络端口将分散 独立的图 像采集点进行联网 实现跨区域 全球范围内的统一管理 资源共享 为各行业的 管理决策者提供一种全新的直观的扩大视觉和听觉范围的管理工具 提高工作绩效 1 1 系统建设背景系统建设背景 1 2 系统建设意义系统建设意义 随着 2004 年中国电信推出了 全球眼 远程视频监控业务以来 全球眼系统被 成功应用到了多个行业领域 全球眼 业务除了公安领域 还被应用在金融 环保 城管 电力等行业 2007 年中国电信集团将全球眼业务提升为集团重点业务来建设 以满足不断增长的监控需求 实现电信业务的增值运营 但是全球眼系统自身的网 管能力较弱 系统没有专门的设备管理系统 包括对前端和平台的统一网管 需要 加强故障报警功能 统计分析功能及故障处理及故障诊断功能较弱 无法满足电信 级运维的需求 为了更好地对全球眼系统的运营维护提供技术支撑手段 及时发现 处理系统中 存在的故障 四川电信拟建设全球眼网管系统 对全球眼系统的前端 平台设备进 行统一网管 故障实时报警 满足电信级运维的需求 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 6 页 共 22 页 1 3 系统建设原则系统建设原则 1 3 11 3 1 统一规划原则统一规划原则 系统建设将立足于系统需求的实际情况 充分考虑现有可利用的各种资源 保 护原有投资 并考虑一定的扩展能力 系统建设必须与四川电信现有系统统一网络平台 并尽可能考虑与各业务支撑 系统建设规划的一致性 满足当前实际的业务需要与将来新业务发展的特殊需求 系统间的接口 数据标准和接口方式要统一 系统接口数据标准和接口方式要 能满足系统接口的规范性 1 3 21 3 2 产品化建设原则产品化建设原则 在技术选型上 将采用成熟 稳定 先进的产品 同时在软硬件产品的选型上 将具有一定的前瞻性 避免今后因业务拓展需要更换产品的可能性 在系统建设中 系统的各个组成部分按产品化的原则进行设计建设 尽可能减少各应用模块之间的 信息耦合度 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 7 页 共 22 页 2 2系统总体架构系统总体架构 2 1 系统设计思想系统设计思想 我公司根据在电信领域多年技术经验的积累并结合实际情况 在四川电信全球眼 系统的设计思路上 以业务流程为主线 围绕确保业务流程的顺畅实现来设计系统 架构 数据模型 功能和操作维护规程 充分体现 业务驱动 IT 的建设理念 系统的设计遵照以下业务要求和技术要求 在系统核心模型的架构上进行统一规划 分层设计 在各功能层上对各相关业务功能进行封装 建立统一的功能构件库 确保各 业务功能以插件的方式提供 在升级时将灵活对其中的一个模块进行扩展 升级 从而不影响其他模块的运行 能够灵活定义业务处理流程 确保系统核心模型 业务功能构件和接口间的 有机集成 充分考虑系统实时性处理的要求 充分考虑系统的可靠性 准确性 安全性 具备高可用性 或容错 功能 能 够长时间不间断运行 充分考虑到系统的可扩展性 2 2 功能架构图功能架构图 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 8 页 共 22 页 统一桌面 web展示 接接 口口 管管 理理 配置管理 远程操作告警管理 电子工单 性能管理 设备适配层 告警 性能 操作 系 统 管 理 前前端端设设备备 浩特设备 博维设备 海康设备 报 表 统 计 中中心心平平台台 接入服务器 中心服务器 业务开通 集中告警 全球眼 业务系统 以上架构图是整个全球眼网管系统的系统功能架构图 系统平台预留了相关接口 可通过接口实现故障派单 设备资源数据同步等功能 但接口实现还需要根据用户 各系统的具体情况进行专门定制开发 2 3 系统技术特点系统技术特点 完善的系统功能 完善的系统功能 集各厂家前端设备的接入管理 统一告警管理 远程操作 和统一呈现等于一身 告警的自动恢复能力 告警的自动恢复能力 提供告警的自动恢复能力 实现网络智能化管理 操作简易性 操作简易性 在严格的安全及日志系统控制下 对所有设备的监控进行一点 式操作 接口 接口 标准接口主要采用 SNMP 协议 XML 等 可扩展性 可扩展性 系统各模块相对独立 采集部分可以单独部署多套 在前端设备 大量增加时 只需要增加前端采集机就可以实现进行负荷分担 3系统建设系统建设 关于全球眼网管系统的建设思路 主要有以下两种 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 9 页 共 22 页 按分散式建设模式 全省集中建设模式 根据业务发展的需求和技术发展的趋势 本方案建议书全省集中建设的方案 3 1 1 组网设计组网设计概述概述 本期工程的目标是要建设统一的全球眼系统网管平台 将当前分别建设的 6 套全 球眼业务系统的网管功能整合起来 建立统一的全球眼网络运行质量指标考核评价 体系 目前 6 套系统平台设备从网络层面分属省公安专网 成都公安天网 企业公网 下面对组网实施进行一个概要的阐述 1 在四川电信现有的 MPLS VPN 网络上新划分一个 VPN 简称全球眼网管 VPN 作为全球眼网管系统使用的骨干网络 可通达至全省各市州县分公司 2 将现有省公安专网 成都公安天网 企业公网各业务系统网络接入全球眼网 管 VPN 网络 省公安专网 成都公安天网 企业公网这些业务网络彼此互不 相通 但都同全球眼网管 VPN 可以互通 3 将数据库服务器 应用服务器 接口服务器都部署到太升南路 IDC 机房天翼 VIP 机架上 网络使用全球眼网管系统 VPN IP 地址 组成四川电信全球眼网 管系统省中心 4 采集机按其负责范围 地域划分 分别部署到对应地市的相关业务网络上 对企业公网设备进行告警采集管理的采集机 由于管辖范围较分散 也可以 全部部署到全球眼网管 VPN 网络上 5 系统接口 根据应用要求将接口服务器同相关系统的网络打通 如 INMS 集中告警系统 全球眼业务系统企业公网平台 电子工单等 6 网管客户端访问 如果客户端接入了全球眼网管 VPN 网络 就可以接收权限设置允许的所 有 6 套系统 不同个网络上全球眼设备的所有实时告警 并可对各业务网络 的前端设备进行远程操作 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 10 页 共 22 页 如果客户端只接入了某一业务网络 则只能接收权限设置允许的改业务 网上的设备告警 并对设备进行远程操作 7 省 NOC 客户端需要接入全球眼网管 VPN 网络 可以对全省所有全球眼设备 服务器进行管理及监控 3 1 2 网络拓扑图网络拓扑图 数据库服务器 数据库 全球眼网管VPN 采集服务器1 采集服务器n 应用服务器 网网管管系系统统省省中中心心 全全球球眼眼网网管管V VP PN N 前端设备1 前端设备n 公公安安专专网网 前端设备1 前端设备n 企企业业公公网网 前端设备 前端设备n 平台服务器 接口服务器 平台服务器 企业公网 采集服务器 企业公网 采集服务器1 成都 网网管管终终端端 全全球球眼眼网网管管V VP PN N 省NOC 采集服务器 成成都都公公安安天天网网 采集服务器1 采集服务器n 前端设备1 前端设备n 公公安安专专网网 前端设备1 前端设备n 平台服务器 采集服务器 省省公公安安专专网网 监监控控V VP PN N 1 13 33 3 3 37 7 6 61 1 X X INMS集中告警系统 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 11 页 共 22 页 4 4系统平台设计系统平台设计 4 14 1 系统平台设计原则系统平台设计原则 4 1 14 1 1 总体设计原则总体设计原则 具有高可用性 系统必须满足相应的数据采集 处理 传递和存储的功能和性能要求 同时 要给系统性能留有一定的冗余 使系统在业务高峰期有更强的承受能力 具有高可靠性 电信全球眼网管系统是重要的业务支撑系统 需要保证 7 24 小时稳定运行 在系统的设计和建设时 从主机到网络 从数据库到系统软件等方面都要进行全 面考虑 避免单点故障 主要设备的电源 风扇等配件要具有联机更换能力 保 证系统长期可靠稳定运行 具有平滑的扩展能力 当由于业务规模扩大或系统功能的添加而需要对电信全球眼网管系统进行改 造和扩展时 这种改造和扩展不应造成原有投资的浪费和生产的中断 因此在设 计系统平台时 所选的主机 存储等设备都应是开放的 符合技术发展趋势 可 平滑升级的 并且要有强大的售后技术支持 具有易用和易维护性 易用性要考虑设备和软件在使用上的易理解 易学习 易操作 同时要考虑 使用单位的人才储备情况 应优先选用单位人员熟悉的产品 具有良好的安全性 在信息社会里 数据的安全是企业的生命 数据的安全最关键的保障是网络 的安全 系统的网络必须要有坚实的防御体系和非法入侵的自动监测 自动告警 功能 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 12 页 共 22 页 4 1 24 1 2 主机设计原则主机设计原则 主机处理能力要求满足所有业务应用和一定用户规模的需求并考虑 30 的性 能冗余 主机可组成群集系统 当其中一台主机发生故障时 可将其上的应用自动地 切换到其他主机上 为系统提供高可靠性 主机的硬盘 网络接口 存储连接及电源 风扇均应考虑足够的冗余 支持 电源 风扇等配件的联机更换 主机机型选用 IT 业界的主流机型 一方面保证主机综合性能在几年内保持 不落伍地位 一方面又能保证设备在几年内能享受可靠优质的服务 主机系统具有较强的扩充能力 包括系统处理能力的扩充 存储容量的扩充 及 I O 能力的扩充 节点数的扩充等 服务器设备支持 CPU 的板级升级和 节点的平滑扩充 主机操作系统具备便利的管理方式和集中的异常告警机制 减少系统维护的 难度 降低维护费用 主机厂商具有完善的售后服务体系 能提供良好的售后服务 让用户没有后 顾之忧 4 1 34 1 3 存储设计原则存储设计原则 设备要求有很高的安全可靠性 设备要求有高可用性 应能配合多机高可用群集系统的需要 设备应具有较强的平滑扩充能力 包括系统存储容量的扩充及 I O 能力的扩 充等 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 13 页 共 22 页 4 2 硬件平台设计硬件平台设计 4 2 14 2 1 系统参数系统参数估算估算 4 2 1 1主要估算依据主要估算依据 测试数据测试数据 为了便于估算告警及性能数据量 我们进行了一次测试 测试结果如下 项目测试值备注 前端设备数量 个 37基本情 况测试时间 天 202007 12 13 至 2008 01 02 告警数量 记录条数 441故障告 警占用存储空间 Bytes 131072Oracle10g 数据库 性能数据采集周期 分钟 1 性能数据 记录条数 1065600性能采 集占用数据库存储空间10084480 9 Oracle10g 数据库 告警数量 条 天 设备 0 6 性能数据 条 天 设备 1440性能数据和数据量根据采集 周期呈反比例变化 每条告警占用空间 Bytes 298Oracle10g 数据库 测试结 果 每条性能占用空间 Bytes 95Oracle10g 数据库 估算依据 估算依据 估算依据是根据以上测试结果 并结合实际对部分参数进行了调整后估算的重要 业务数据 是系统参数估算的主要依据 估算依据如下 项目估算 值 备注 告警放大系数 M2测试告警量放大系数 估算 依据 高峰系数 N10 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 14 页 共 22 页 告警数量 条 天 设备 1 2测试数量 告警放大系数 性能采集周期 分钟 10 性能数据 条 天 设备 144 每条告警占用空间 Bytes 298Oracle10g 数据库 每条性能占用空间 Bytes 95Oracle10g 数据库 以下为接入前端设备数量分别为 1000 点 10000 点 100000 点时的基础数据 集中建设 项目描述 1000 点10000 点100000 点 备注 1 告警数量 万条 天 0 121 212 2 性能数据 万条 天 14 41441440 3 告警的数据速率 告警 秒 0 0140 141 4 4 性能的数据速率 告警 秒 1 6716 7167 5 告警高峰的数据速率 告警 秒 0 141 4 14 6 性能高峰的数据速率 告警 秒 16 71671670 7 并发用户数 个 30120300 8 每条告警发送占用带宽 KB 0 150 150 15 9 每条性能占用带宽 KB 秒 0 20 20 2 10 告警占用带宽 KB 秒 0 00210 0210 21 11 性能占用带宽 KB 秒 0 3343 3433 4 12 告警高峰占用带宽 KB 秒 0 0210 21 2 1 13 性能高峰占用带宽 KB 秒 3 3433 4 334 说明 4 2 1 2数据库主机性能估算数据库主机性能估算 在系统应用主机的选型上 衡量主机系统联机事务处理能力的测试体系有多种 目前国际上较为权威的是 TPCC TPCC 值被广泛用于衡量 C S 环境下 由服务器和客户端构筑的整体系统的性能 它由事物处理性能委员会 TPC Transaction Processing Corp 制定 TPC 为非赢 利性国际组织 TPC 已经推出了四套基准程序 被称为 TPC A TPC B TPC C 和 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 15 页 共 22 页 TPC D 其中 A 和 B 已经过时 不再使用了 TPC C 是在线事务处理 OLTP 的基准 程序 TPC D 是决策支持 DecisionSupport 的基准程序 TPC 即将推出 TPC E 作为大型企业 Enterprise 信息服务的基准程序 TPC C 使用三种性能和价格度量 其中性能由 TPC C 吞吐率衡量 单位是 tpmC tpm 是 transactionsper minute 的简称 C 指 TPC 中的 C 基准程序 它的定 义是每分钟内系统处理的新订单个数 系统的事务处理主要是交易处理 在计算服务器主机性能需求的时候 以 TPCC 值作为参考依据 为便于计算 估算主机的 TPCC 值 项目算法单位 性能高峰数据采集事件数 A 个 分钟 告警高峰处理事件数 B 个 分钟 性能每事件次事务数 C 个 分钟 告警每事件次事务数 D 个 分钟 CPU 冗余率 E 30 百分比 TPCC A C B D 1 E TPMC 根据不同的建设模式和上表的估算方式 主机性能需求如下表 注 告警数据按上节估算的正常速率计算 性能数据按每设备 10 分钟发送一次性能数据计 算的 集中 项目 1000 点10000 点100000 点 性能高峰数据采集事件数8 484840 告警高峰处理事件数100210020100200 性能每事件次事务数222 告警每事件次事务数222 CPU 冗余率30 30 30 TPCC tpmC 288728869288686 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 16 页 共 22 页 4 2 1 3采集机性能估算采集机性能估算 每个采集机可接入 500 5000 个采集点 每个采集机可以启动 1 10 组采集进程 每组采集进程负责 500 个采集点的 性能数据采集和告警接收处理 每组采集进程需要在性能采集周期 10 分钟 内 完成 500 个负责采集点的 性能数据采集 假设预留 20 的空闲时间 那么实际采集时间为 8 分钟 则 必须保证平均每个设备采集点的性能数据采集响应及处理时间 1 秒 4 2 1 4存储容量估算存储容量估算 4 2 1 4 14 2 1 4 1采集机文件系统采集机文件系统 每个采集机可接入 1000 5000 个采集点 告警数据需要临时保存在文件系统中 存放的告警数据 联机保留 30 天 日志 系统配置参数等保存空间较小 故忽略不计 文件系统的空间使用率接近 100 系统的 I O 性能要受到影响 更是要导 致应用的停顿 因此要实现预期的存储目标 需要保留 30 的冗余空间 文件系统容量的具体计算方法见下表 项目项目算法算法单位单位 每天告警的数目 A 万个 每条告警数据占有空间 BKB 告警数据保存时间 C 天 告警数据占有空间 D A B CGB 系统使用空间 EGB 空间冗余量 30 百分比 合计 D E 1 F G 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 17 页 共 22 页 采集机 项目 1000 点5000 点 每天告警的数目 万条 14 5272 6 每条告警数据占有空间 Byte 298298 告警数据保存时间 天 3030 告警数据占有空间 GB 1 276 34 系统使用空间 GB 1010 空间冗余量 GB 30 30 合计 GB 16 1023 34 4 2 1 4 24 2 1 4 2数据库系统数据库系统 数据库中告警数据联机保留 6 个月 系统为索引空间保留交易数据空间 30 的容量 以满足正常的事务处理需要 日志 系统配置参数及报表的保存空间较小 故忽略不计 数据库软件在空间分配上存在一定的浪费 无法避免 数据库的空间使用率 若达到 100 应用系统将无法工作 预留 30 的冗余空间 数据库系统容量的具体计算方法见下表 集中 项目 1000 点10000 点100000 点 告警数量 万条 天 0 121 212 性能数据 万条 天 14 41441440 每条告警占用空间 Bytes 298298298 每条性能占用空间 Bytes 959595 数据保存时间 月 666 数据占有空间 GB 2 4023 93239 25 四川省通信产业服务有限公司科技分公司四川省通信产业服务有限公司科技分公司 技术建议书技术建议书 第 18 页 共 22 页 用户资料 资源数据 MB 110100 数据空间 小计 GB 2 4023 94239 35 数据索引空间 GB 110100 临时表空间 GB 444 回滚段表空间 GB 444 系统表空间等 GB 222 小计 GB 13 4043 94349 35 空间冗余量30 30 30 合计 GB 19 1462 77499 07 存储空间的计算 集中 项目 1000 点10000 点100000 点 文件系统 GB 121520 数据库 GB 19 1462 77499 07 合计 GB 31 1477 77519 07 裸容量 RAID5 GB 46 70116 65778 60 4 2 1 5主机内存容量估算主机内存容量估算 主机内存主要包括以下几个因素 操作系统占用的内存 数据库占用的内存 项目内存备注 操作系统512 MB 数据库3 GBOracle