运维支撑和项目管理系统(iSTONE-OSS)架构设计说明书

1、广电运维支撑系统(istone-oss)架构设计说明书编号：stwi04115版本：1.0作者：王鹏日期：2012-11-30审批：日期：变更记录日期版本变更说明作者2012-11-12初稿王鹏2012-11-12评审稿1 .增加了 2.1章节产品平台总体架构2 .增加2.4章节系统框架总图3 .修改2.4早下twaver架构不点图4 .增加了 2.4章节数据采集服务框架图5 .修改2.5章节系统组件示意图6 .修改3.3章节系统物理分布结构图王鹏2013-1-6评审稿1 .补充2.12章节移动客户端访问系统的考虑2 .补充2.13章节容灾备份的考虑3 .补充3.3.1章节集中管理分布式部署4

2、 .补充3.3.2章节分级部署5 .补充2.11章节图并发的考虑王鹏2013-1-22评审稿1.删除twaver相关内容。图形化界面自行开发王鹏1 项目概述1.1 项目范围运维支撑系统（ oss： operation support system） 是指用于管理广电网络运营商的网络设备、网络资源，确保广电网络正常运行状况，为生产经营提供安全、稳定的网络承载环境的综合管理软件平台。运维支撑系统的管理功能可分为三个方面：一、网络管理网络管理主要是指对组成广电业务承载网络的网络设备（主机、路由器、交换机等）及网络运行状态进行监控、管理。根据这些网络设备在广电业务承载网络中的作用划分，网络设备可以划分

3、为以数据传输、设备通讯任务为主的传输通讯网络组网设备（简称：网络设备或网元设备） ，以数据处理、数据计算、业务处理任务为主的 it 设备。其中传输通讯网络组网设备主要指：路由器、交换机、光发射器、光接收机等。it设备主要指服务器、pc终端、机顶盒等。二、网络资源管理网络资源管理主要是指对组成广电业务承载网络的空间资源（管网、局站、机房、小区、楼宇等）及客户、设备等资源信息的管理、展示、调度。根据这些资源的性质及作用划分， 网络资源可以划分为： 空间资源、 客户资源、 设备资源、基础资源、业务资源。空间资源主要是指传输、通讯设备以外的，具有位置、走向等属性的网络资源，如管网、局站、机房、小区、楼

4、宇等。客户资源是指购买或接受广电运营商业务服务的组织或个人。设备资源是指构成广电业务承载网络的传输、通讯设备，如路由器、交换机、光发射机等。根据管理需要，可以按照一定的业务逻辑，将传输、通讯设备组织成诸如光网、电网、传输网、接入网等各种逻辑网络，因此，构成这些逻辑网络的设备又被称之为逻辑资源。业务资源是指在开展业务运营时，所产生或使用的资源，如 ip 地址、证号、编码等。基础资源是指对以上几类资源进行管理的过程中所产生或使用的资源，如工程信息、厂家信息等。三、电子运维电子运维主要实现运营商服务保障流程。通过值班管理、电子工单、电子派工、知识库管理、作业管理等为运行商提供信息化的日常工作协助和支

5、持。2软件构架2.1 产品平台总体架构88868 1运营维护人员客服人员施工人员系统管理员管理人员pc浏览器手机客户端其他方式安全访问os运维支撑系统统一门户网站统一认证中心一资源管理系统.i空间资源管理基础资源管理业务资源管理设备资源管理客户资源管理机房资源管理资产生命周期管理厂电子运维系值班管理 施工管理工单管理安全组件日志组件派工管理知识库管理作业管理报表组件工作流设计器平面设计器gis设计器系统接口基础服务消息服务webservice 艮务hessian 服务工作流引擎告警引擎策略规则引擎1r台服务告警数据采集设备参数数据采集状态数据采集设备dbms2.2 需求功能的划分广电运维支撑系

6、统分为以下几个功能模块：基础资源管理、空间资源管理、客户资源管理、业务资源管理、设备资源管理、机房管理、资产管理、网络管理、it管理、电子运维、统计报表、基础功能模块。系统非功能性需求：用户访问并发：系统需满足用户数 1000人，在线用户数600人，并发用户 数300人，峰值并发用户数500人的使用要求。系统响应时间：从页面请求到返回页面的展示平均相应时间不超过3秒。最 长响应时间不超过10秒。网络拓扑发现等特殊业务请求除外。系统稳定性：系统满足7*24*30不间断运行要求。系统可移植性：系统可以在 windows 2008 r2、linux rehl5,6、unix hp-ux、 ibm a

7、ix操作系统上移植。2.3 软件层次的划分系统结构设计原则本着先进性、开放性、高移植性、高可靠性、安全性和可 扩展性来进行。设计采用j2ee基于mvc的架构设计。? 表示层：表示层采用jquery + flex + openlayers-j训种技术结合做界面呈现。利用spring的mvc框架做表示层的请求控制、通过 json数据格式进行数据 交换。通过使用spring的mvc使表示层与控制层间脱节，实现松耦合， 便于业务扩展更新。jquery用于基本数据信息展示；flex用于交互用户 体验要求高的界面信息展示；openlayers-js用于地图信息展示。? 服务层：服务层用于把系统内部业务和数

8、据以服务的方式提供给外部系统调用，服务层可以通过soa方式对内、对外提供服务调用方式。系统内部接口 调用首选使用 protobuf做为首选序列化协议。系统对外接口统一使用 webservice接口方式，驱动底层定义：提供axis2发布方式。使用netty 技术实现。? 业务逻辑层：利用 spring 的 mvc 框架做表示层的请求控制、 分发给对应的业务处理类。利用 spring 胶水代码，容易测试、声明式事务，以及对持久层技术的良好支持等特点来简化开发，缩短研发周期。所有业务处理类通过spring容器统一注册、管理。使用 spring 的事物处理机制对业务层的事物进行统一管理。geoserv

9、ice做为地图服务引擎，activiti做为工作流引擎技术，通过 log4j 进行日志记录。? 数据实体层系统内部采用java对象进行各层之间的数据交互，充分发挥java对象数据结构扩展性强、维护简单方便的优势。? 数据持久层数据持久层与数据库交互部分采用目前具有良好口碑的 mybatis 作为orm的映射工具，并根据业务需要使用memcached做为缓存系统，通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度，提高访问效率。与设备及外部系统的数据交互，根据设备情况和外部系统接口情况选择使用。 其中 snmp 做为通用网关协议做设备的控制与告警使用。2.4 框

10、架的建立广电运维支撑管理软系统是以 springmvc 框架为基础的， 在此基础上系统还包括：系统安全框架、对外服务框架、 gis 组件框架、图形展示组件框架、数据采集框架。框架总示意图如下：? 系统acegi安全框架系统安全框架示意图安全控制use: * implements: -authenticationmangeraccessdecisionmangerrunasmanger仁的不方abstractsecurityinterceptor拦截器接口filtersecurityinterceptormethodsecurityinterceptor安全管理对象1 £filteri

11、nvocationmethodinvocationauthenticationmanger：用户身份认证；accessdecisionmanger:验证用户访问受保护资源的权限;runasmanger：更高安全约束；? 对外服务框架系统对外服务框架示意图服务接口服务实现spring-mvc简单业务层spring-mvc复卦业务层对外服务提供 servlet、hessian webservice等方式的服务调用。服务层 的实现通过封装简单层业务和复杂层业务供接口调用。复杂层业务可以 通过简单业务的整合生成复杂业务逻辑。服务、简单业务、复杂业务之 间可以相互调用。? gis组件框架gis组件框架示

12、意图：javascriptsvgviewer客户端gis框架使用javascript做为界面展示技术。服务器层 dom解析器解析 javascript脚本，wms服务器处理地图栅格图片，wfs服务器处理地图 矢量图片，wmts服务器处理切片图片。最后将各种数据存储到数据库 中，矢量格式文件存储为 esri、shape mapinfo、svg、sdts、igds格 式文件，栅格格式文件存储为 tiff、erdas、jpg、gif、png格式文 件。? 图形展示组件框架图形展示组件框架示意图：databoxlayerboxalarmboxspring-mspring-vspring-c图形展示控件

13、包括三个核心组件： databox、layerbox、alarmbox。其中 databox和layerbox与业务进行数据交互进行数据展示，alarmbox与 alarmengine进行数据交互进行告警数据展示。? 数据采集服务框架数据采集服务框架示意图表示层图形展示控件（client ）tek cos数据接入层（snmpsocket）设备控制系统设备代理中间件操作系统数据采集引擎数据分发层（server）数据策略规则引擎spri数据采集引擎分为三层：数据接入层通过snmp协议或socket接口与 设备控制系统、设备代理、中间件、操作系统等进行数据交互，数据接 入层将获取的数据交由数据策略规

14、则引擎进行处理，处理后的数据交由 数据分发层推送给客户端，同时调用 spring业务进行数据存储。2.5 组件化的考虑系统按功能抽象出以下组件，这些组件可以为整个系统服务，方便维护、统 一管理。系统功能组件：gis组件、workflow组件、图形展示组件、报表组件、日志 组件、安全组件、系统认证组件系统业务组件：告警引擎、拓扑引擎、规则策略引擎、数据采集引擎、平面 设计器引擎、工作流设计器引擎。系统组件示意图业 务 组 件资源管理系统1_空间资源管理 基础资源管理业务资源管理设备资源管理客户资源管理机房资源管理，网络管理系统,资产管理系统资产生命周期管理电子运维系统功 能 组 件gisfe图引

15、擎平面设计引擎策略规则引擎2.6 安全的考虑? 访问安全控制技术上通过acegi安全框架来实现系统登录、身份验证、鉴权。设计上通 过人员、角色、菜单（按钮）。来实现对系统访问安全的控制。系统所有 的登录、增加、删除、修改等行为会通过日志模块 （log4j）进行记录。所以 外部系统与本系统交互都需要通过系统认证，进行外部连接注册、管理 方可进行数据交互。单点登录，通过点点登录模式对各子系统进行访问控制，设置 cas认证 中心，各子系统在cas中进行注册认证，用户登录首先通过cas认证中 心认证，然后再跳转到个子系统。认证系统的主要功能是将用户的登录 信息和用户信息库相比较，对用户进行登录认证；认

16、证成功后，认证系 统应该生成统一的认证标志（ticket）,返还给用户。另外，认证系统还应 该对ticket进行效验，判断其有效性。? 数据安全控制数据传输加密：客户端（浏览器）与服务器之间可通过https协议进行安全加密访问。本系统与外部系统之间数据交互时，对数据进行加密传输。数据在系统与系统之间采用md5算法进行数据加密。数据在系统与设备 之间采用，d5算法进行数据加密。数据库加密级别分为两个级别：级别一：对数据库记录的某一字段进行加密。级别二：数据库对每条日志记录进行 md5加密，把加密后的信息存入数据库，可做一致性校验，防止数据库信息被篡改。2.7 接口系统的考虑本系统与系统接口包括：

17、客服系统、专业网管系统、网元管理系统、 bss 系 统；与外部设备接口包括：网络设备、专业设备、中间件、服务器、机房环境设 备、机房动力设备。2.8 可移植性的考虑系统采用tomcat7q weblogic 12c作为应用服务器中间件，oracle server及oracle client做为数据库，是在不同操作系统平台下都有相应版 本。跨语言和跨平台的。除商业应用服务器和数据库软件之外，系统应对日益流行的硬件和操作系统具有很强的可移植性及兼容性。在不同的硬件和操作系统之间移植框架时，不应 当或极少涉及对源代码的再编译。系统采用j2ee技术，j2ee技术利用j

18、ava语言访问java虚拟机来进行系统资源的访问而不是通过底层系统api 来访问系统资源，由于这种原因，遵循j2ee 体系结构的框架设计可以非常容易地在不同的硬件系统和不同的 os 上运 行。2.9 扩展性的考虑系统功能性扩展：系统级扩展，系统间服务调用以标准soa 方式进行。通过标准接口实现服务交互。跨语言和平台，系统可统一部署也可分开部署。功能级扩展：系统通过可配置的 xml 文件动态加载具体的业务处理类。系统扩展时用户只需将新的业务组件部署在服务器上之后，修改可配置文件将业务处理类配入系统即可，不需修改系统框架的相关代码，不需重新编译系统即可完 成业务的扩展。数据级扩展： java 业务

19、类通过接口调用，参数传递使用对象进行层级之间的数据传递，数据属性的变更和扩展只需对java 对象进行属性的扩展即可系统性能扩展：通过分布式技术进行应用服务器和数据库服务器的扩展。配置扩展：系统所有的配置项都以文件或数据库的形式进行保存，保证配置 变更和扩展的灵活性。2.10 维护性的考虑系统功能设计模块化：以通过菜单配置，对系统功能形成组合，配置出不同 业务功能的子系统。系统参数配置化：系统所有需要参数配置的功能，都以参数 形式存储进配置文件或数据库中，通过参数配置管理功能对参数进行控制。数据 库通过数据字典形式对参数进行管理。维护方式可以通过远程连接方式进行系统 更新维护，代码更新、发布以

20、war包的形式进行，覆盖相应文件包即可。更新后 应用服务中间件需重启，数据库无需重新。2.11 高并发下的考虑本系统的并发主要考虑一下两方面：用户访问并发和数据采集并发。用户访问并发：系统需满足用户数 1000人，在线用户数600人，并发用户 数300人，峰值并发用户数500人的使用要求。数据采集并发：按照大型省会城市 400万城市人口计算。按照人口与机顶盒 2:1比例计算（两口之家使用一个机顶盒）。按一个光节点平均覆盖 60个机顶盒 计算。400/2/60=3.3万个光节点。中心机房3个。分机房20个。总计需要进行数 据采集的设备约238万台。每个光节点包含以下设备，设备总量为：3.3万*7

21、2=237.6万台设备。设备类型网络类型网管功能设备数量是否有源备注光接收机hfc否1光工作站hfc是onuepon是1交换机tcp/ip是5eoc头端hfc是分支分配器hfc否7机顶盒hfc是60互动机顶盒或eoc猫hfc是6分机房包含以下设备，设备总量为 20*122=2440台设备类型网络类型网管功能设备数量备注光放大器hfc是20光切换器hfc是20qam边缘调制 器hfc是5光发射机hfc是25oltepon是30路由器tcp/ip是10交换机tcp/ip是10sdh网元sdh是1dwdm网元dwdm是1pdh网元pdh网是中心机房包含以下设备，设备总计 3*212: 636台设备类

22、型网络类型网管功能设备数量备注其他信源处理设备信源处理80卫星接收机信源处理80qam调制器hfc是30光发射机hfc是10混合器hfc是10路由器tcp/ip是40交换机tcp/ip是40服务器tcp/ip是40sdh网元sdh是1dwdm网元dwdm是12.11.1 用户访问并发设计数据库并发：配置数据库连接池：使用 bonecp做为数据库连接池，dbcp1.4做为备选，来 提供数据库访问速度。bonecp它是一个高性能的开源java数据库连接池实现库， 是目前最快的数据库连接池。效率比 c3p0提高25倍。数据库事务隔离级别：默认采用的数据库事务隔离 (read committed)。技

23、能 保持高性能，又能保证系统对数据读写的要求。对于特殊数据库考虑使用(readuncommitted)、(repeatable read) (serializable)。在高性能数据库操作，应用临时表、存储过程、函数。建立表空间、表分区、 物理分表，适当使用采用空间换时间。对高命中率表可建立统计表等额外物理表 方式，减少对生产表命中率访问并发：减少http访问次数：不使用ajax做即时验证。尽量减少不必要的后台校 验，多使用正则表达式进行校验。能一次性返回 web端，减少多次返回 web端。减少i/o压力：配置页面缓存，减少或限制大文件的上传，下载。合并多个js,css为一个js,css并进行

24、服务器、客户端静态文件缓存。减少各个层次tcp调用,如可以，尽量采用class调用，减少http、webservice , 负载均衡：根据实际网络情况和要求使用软件 nginx、硬件f5进行负载均2.11.2 数据采集并发设计按照大型省会城市400万城市人口计算，系统需要进行数据采集的设备约240 万台。告警、状态监控数据采集的接口方式主要有以下几种： socket、webservice 等。按照估算：2g内存可以支持约10000个socket并发。冗余按照50%计算。数据采集服务运行在8g内存的服务器上，可以支持 20000台设备的数据同 时采集。240万台设备同时进行数据采集，则需要 12

25、0台采集服务器进行部署。(由于目前还没有进行实际的测试，正在准备基于nettynio socket、webservice(cfx)做linux操作系统下的测试，测试数据需要准备服务器环境， 和进行测试编码。所以目前结构设计中数据只能进行估算，待测试数据出来后， 进行补充更新)。数据采集服务部署图:应数据库服务器11n数据库服务器2数据库服务器n接口数据采集服务器n设备彳键1设备彳建2设备彳窄瓯3设备彳诞4设制键1设制键2设制t塞3设制键4设制wn 日日日 12设备彳34nn首先，由于需要进行数据采集的设备数量很多，所以，数据采集服务器需要 根据设备的数量与位置进行部署。公式为：数据采集服务器数

26、量=设备总数/单台数据采集服务器支持设备数量。为每个数据采集服务器配一台数据库服务器，用 来存储状态数据。数据采集服务器要在数据采集总控服务器上进行注册，注册信 息包括数据采集服务器负责采集哪些设备，设备路径等配置信息。应用服务器获 取某个设备的状态数据，首先访问数据采集总控服务器，获取所要采集的设备路 径，进行采集。安全访问2.12 移动客户端访问系统的考虑86888运营维护人员客服人员施工人员系统管理员管理人员©pc浏览器手机客户端其他方式安全访问t1设备 dbms手机客户端与 web业务访问应用服务器的方式相同，采用 http的方式进 行通讯。架构上，也与页面调用后台业务逻辑的

27、技术方式相同。调用 servlet和各 种服务的方式。所以对于手机客户端的接入，后台技术架构无需进行任何调整，只需按照业 务要求进行手机客户端界面的设计与开发即可。2.13 容灾备份的考虑?冷备份：在oracle数据库关闭的情况下，体统提供对数据库冷备的功 能，可以安全快速的备份数据库。可根据用户实际要求进行使用，但系 统支持。?热备份：群集是由一组独立的计算机组成，这些计算机一起工作以运行 一系列共同的应用程序，同时，为客户和应用提供单一的系统映射。群 集内的计算机物理上通过电缆连接，程序上则通过群集软件连接。这些 连接允许计算机使用故障应急与负载均衡功能，而故障应急与负载均衡 功能在单机上

28、是不可能实现的。采用双机群集为我们的用户管理系统提 供了高度的可用性、伸缩性与易管理性：高度的可用性：双机群集具有 避免单点故障发生的能力。应用程序能够跨计算机进行分配，以实现并行运算与故障恢复，并提供更高的可用性。可伸缩性：加入更多的处理器或计算机可提高群集的计算能力。 易管理性：群集以单一系统映射的 形式来面向最终用户、应用程序及网络，同时，也为管理员提供单一的 控制点，而这种单一控制点则可能是远程的。数据库服务器（备）数据库服务器、web服务、gis服务器、数据采集服务器都分为主备服务器, 通过心跳线程进行监测，通过数据同步通道进行数据传输同步。后台调度服务器 负责进行切换和主备控制。异

29、地容灾备份：需要外部系统和软硬件接入，建议纳入第三方的异地容灾备 份设计方案。3发布系统的构架3.1 系统拓朴结构系统拓扑结构图：gis服务器cas中心认证服务器系统外网通过防火墙与内网连接，内网中的硬件设备通过网络连接通讯，包 括：web服务器、数据采集服务器和数据库服务器。web服务器：系统中间件tomcat部署在web服务器上，系统软件通过tomcat 进行发布。如果系统访问量大、并发请求多，可以通过 web服务器的分布式部署 来提高系统性能提升要求。负载均衡技术可保证系统稳定性。gis服务器:处理地图服务，存储地图数据。数据采集服务器：系统数据采集控制服务部署运行在数据采集服务器。运行

30、 软件包括：数据采集和预处理 server,数据采集代理软件等。可以通过数据采集 服务器的分布式部署来解决设备部署分散、数量巨大等问题。数据库服务器：oracle数据库软件部署运行在数据库服务器上，如果系统数 据量大，可以使用网络存储技术进行数据库数据的存储于备份恢复，也可使用分 布式技术对数据库进行扩展。磁盘阵列：对于海量数据存储采用磁盘阵列进行存储。cas中心认证服务器：单点登录统一认证服务运行在 cas中心认证服务器3.2 系统物理分布结构系统物理分布结构示意图:web浏览器internetweb 服务器（tomcat）oss运维支撑管理系统web浏览器hessiansocketweb浏

31、览器资源管理系统网络管理系统ca济心认证服务器统一注册认证服务数据库服务器资产管理系统运维支撑系统oracle11g数据采集服务器告警引擎数据采集引擎系统分为五个物理组成部分，分别为：外部系统、客户端、应用服务器、数 据采集服务器、数据库服务器。整个系统的软件分别运行在这五个物理组成部分 中。外部系统：本系统与以下外部系统有业务和数据交互。客户系统、专业网管 系统、网元管理系统、bss系统等。还会与外部的soa有交付，为soa提供本 系统的服务接口。接口方式有两种：一种是系统提供标准的webservica hessian接口供外部调用，一种是根据外部系统的接口方式定制接口。客户端：客户端为基于浏览器的，主流的浏览器都支持，系统用户在网络连 通的条件下，可以通过浏览器访问系统服务，无需安装客户端软件。应用服务器：中间件tomcat7运行在应用服务器上，系统软件通过 tomcat7 发布运行。系统服务层，封装系统内部业务对外提供多种接