（计算机应用技术专业论文）f150交换机数据采集和监控的研究和设计.pdf

太原理工大学硕士研究生学位论文 传送计费数据。对于f _ 1 5 0 交换机的计费文件的数据采集分为 详单文件的采集和跳表文件的采集，在采集计费文件的实现上 需要在华为路由器上建立交换虚电路s v c 来采集跳表文件和应 用调测华为路由器最新的永久虚电路p v c 功能来采集详单文件。 计费文件采集成功后要通过电信网络传送到后台分解计费主 机，供后台计费主机分解、出帐。本课题中联机数据采集系统 计费文件数据传送的设计上，实现了以工d e a 算法和r s a 算法混 合加密密钥的方式，来保证计费文件数据可以实时、安全的传 输到后台的计费主机。 在联机采集系统的监控子系统的设计上，考虑到监控系统 的实时性，在本课题中我们采用了自定义协议的方式，按照协 议规定的内容以s o c k e t 接口的方式采集机客户端程序和监控主 机服务端程序进行交互。具体实现上就是采集机客户端程序分 析采集日志信息，并按照协议规定的格式组织数据包，通过 s o c k e t 方式发送给监控主机服务端程序，服务端程序通过接收、 分解数据包得到采集日志信息来显示采集系统的当前状态。本 课题中设计的监控系统能够监控本地采集机的网络故障、采集 进程异常退出、话单文件传送程序异常、采集程序异常、采集 机系统异常、磁盘空间满等故障信息。这样当采集发生异常时， 维护人员通过监控系统可以准确的定位错误，解决问题，保证 采集系统的稳定运行。 关键词：永久虚电路，交换虚电路，i d e a 算法，r s a 算法 i i 一奎堕望三查堂堕主塑塞生主焦笙奎 一 s e tu pax 2 5l i n kt oc o m m u n i c a t ew i t hf e t e x 一1 5 0 a tt h es a m e t i m ew en e e dc h o o s es o m ee q u i p m e n tt ot r a n s f e rx 。2 5 p a c k e tt o t c p i pp a c k e t w ec a nd ot h a tb ya p p l y i n gt h ex 2 t t e c h n o l o g yo f h u a w e ir o u t e r n o wt h em a c h i n ec a nc o l l e c tt h e b i l l i n gd a t av i at h e x 2 5j i n k a c c o r d i n g t ot h ex 2 5 p r o t o c 0 1 t h eb i l l i n gd a t ao f f e t e x 一15 0h a v et w of o r m a t s ，o n ei sa m a f i l e ，a n o t h e ri sm e tf i l e jh ec o l l e c t i o np r o c e s sn e e ds e tu ps v ct og e tt h em e td a t aa n dp v c t og e ta m ad a t a n es y s t e ms e n d st h e b i l l i n gd a t at ot h eb i l l i n g c e n t e rv i at e l e c o mn e t w o r k n e nt h eb i l l i n gc e n t e rg e t st h eb i l lo f c l i e n tb ya n a l y z i n gt h eb i l l i n gd a t a ，w ea d a p tt h ei d e a r s am i x e d k e yc r y p t o g r a p h i cm e t h o dt os o l v et h es e c u r i t yp r o b l e mo fs e n d i n g b i l l i n gd a t ai nt h en e t w o r k w e d e s i g nt h em o n i t o rs y s t e mt oe n s u r et h er u n n i n go fo n l i n e d a t aa c q u i s i t i o ns y s t e m w er e a l i z et h er e a l t i m eb yd e s i g n i n gt h e o w np r o t o c 0 1 a n dm o n i t o r c o m p u t e rc o m m u n i c a t e sw i t ht h e c o l l e c t i o no fc o m p u t e rv i at h ei n t e r f a c eo fs o c k e ta c c o r d i n gt ot h e o w np r o t o c 0 1 t or e a l i z ei t ，t h ec l i e n to fc o l l e c t i o nc o m p u t e rn e e d a n a l y s et h ei n f o r m a t i o nf r o mc o l l e c t i o nl o ga n do r g a n i z et h ep a c k e t a c c o r d i n gt ot h ep r o t o c 0 1 t h e nt h ec l i e n tp r o g r a ms e n d st h ep a c k e t v i at h ei n t e r f a c eo fs o c k e t t h em o n i t o r c o m p u t e rr e c e i v e st h e p a c k e ta n da n a l y s e si tt og e ct h ei n f o r m a t i o no fc o l l e c t i o n l o g 。 m a i n t e n a n c e rc a nk n o wt h es t a t u s o f c o l l e c t i n gs y s t e m t h e m o n i t o rs y s t e mc a ng i v et h ea l a r mi n f o r m a t i o n ，s u c ha st r o u b l eo f n e t w o r k ，t h ec o l l e c t i o no fp r o c e s sa b n o r m a l l ye x i t s ，s e n d i n gd a t a f i l ef a i l u r e ，d i s ks p a c ef u l la n ds oo n m a i n t e n a n c e rc a l lr e s o l v et h e p r o b l e mv l am o n i t o rs y s t e m se r r o rj n f o r m a t i o nw h e nt h ec o l l e c t i o n r u na b n o r m a l l y t h e nc o l l e c t i o np r o c e s sc a l lw o r kn o r m a l l v k e y w o r d s ：p v c ，s v c ，i d e a ，r s a i v 太原理工大学硕士研究生学位论文 付费的融合。最后，实时的数据采集方案还能促使运营商将所需的基础设 施及时安排到位，着手就第三方提供的内容展开交易，顺利实现收益结算。 实时的数据采集可以最大限度地减少伴随预付费服务而产生的呆、坏账、 有效扼制电信欺诈，并通过降低或关闭信用窗口的方式杜绝恶意欠费。可 见，实时的数据采集方案可帮助运营商改进现金流，增加网络使用率，降 低客户流失并扩大市场占有率。 1 2 数据采集计费系统的发展趋势 数据采集计费系统经过长期的发展，一个很重要趋势就是向集中处理 模式演变。新兴的电信运营商一般都采用全国性的集中处理模式。集中式 系统的优势在于：整个电信话单数据采集计费系统从系统设计、技术实现、 平台和开发工具的选定、业务流程和管理模式等方面具有高度的统一性和 规范性，能够非常灵敏地响应市场变化，能够以统一的立场为用户提供服 务。对于经营地域广且分散、网络规模较大，采集计费系统初期建设己形 成分散处理模式的电信运营商来说，应从提高企业的竞争力和应变能力入 手，将网间结算、具有全网性质的业务和竞争激烈的业务等的计费向集中 式处理模式转变。 电信话单数据采集计费系统发展的另一个重要趋势是朝着个性化、多 样化的客户服务方向发展。今后的计费系统应能够向用户提供不同形式的 客户帐单、不同的缴费方式、不同的费用查询方法、不同的缴费周期，甚 至可以为用户提供定制的电信计费服务。 此外，电信话单数据采集计费系统的网问计费结算功能越来越复杂， 同时也越来越重要。随着竞争的加剧，经营基本电信业务的运营商越来越 多，各运营商之间的互联互通关系越来越复杂。对于互联互通的每一方而 言，网间结算的费用会远远大于某一个用户的费用、甚至是目前水平的大 用户的费用。结算功能得不到强化，损失将是巨大的，也是不易察觉的i 电信采集计费系统掌握庞大的电信企业数据和用户数据，这些数据隐 太原理工大学硕士研究生学位论文 用，电信计费系统已突破原有的单纯的算费、计帐收费的概念，正朝着充 分利用计费数据为企业提供经营决策支持的方向发展。 1 3 课题的研究目的和意义 目前联机采集计费是国内电信行业的关键性问题，为了提高国内电信 行业内的竞争力，有必要深入地研究联机实时采集系统。由于各类电信公 司有各自的设各特点，同样的业务有不同的需求，所以针对各类电信公司 的特点研究一套相适应的交换机数据采集和监控系统，可以提供实时的话 单数据，最大限度地减少伴随预付费服务而产生的呆、坏账、有效扼制电 信欺、诈并通过降低或关闭信用窗口的方式杜绝恶意欠费。可见，实时的数 据采集方案可帮助运营商改进现金流，增加网络使用率，降低客户流失并 扩大市场占有率。 数据采集和监控系统具有准确性高、实时性强、故障率低的特点，进 行开发和应用数据采集和监控系统可以极大地减轻电信交换机房的工作 量，提高电信行业话单传输的效率和可靠性。应用实时数据采集和监控系 统后，计费帐务系统可以提供例如高额话费报警、动态帐务、实时结算、 话费额度限制等话费计费新功能，并可以充分地满足用户对电信行业的话 单数据实时查看，为电信行业进一步开拓市场，增强市场竞争提供必要的 技术支持。 1 4 国内外研究动态 经查阅国内外的相关资料，以及中国电信公司出台的交换机联机采集 计费系统技术规范等资料，可以看到多年以来，电信行业的主要矛盾是 通信能力不足，因此注重网络建设，把提高通信能力放到各地电信企业工 作的重中之重，又由于电信行业独家经营，处于卖方市场，对市场感受的 压力很小，对于话单数据采集和计费系统进行大规模投资建设的紧迫感不 强，所以导致电信话单数据采集计费系统的建设始终滞后于网络的建设和 通信能力的增长。 3 太原理工大学硕士研究生学位论文 针对话单数据采集计费系统严重落后问题，通过对电信行业原有的话 单数据采集计费系统进行调查、研究和分析，以及对国外计费系统建设进 行了考察，充分了解电信话单数据采集计费系统的体制、技术和业务规范。 根掘上述思路，以及中国电信行业本身网络规模大、经营区域广的特点， 和电信网的相关理论，应用和开发符合中国电信行业实际情况话单数据采 集计费和监控系统。话单数据采集、监控和计费系统是电信行业实现集中 处理的基础，应用浚系统可以提高电信行业的技术含量，增强电信行业在 电信市场中的竞争力”。 电信话单数据采集和计费系统经历了从磁带脱机计费到实时联机数 据采集的过程，采集计费系统正从初级走向高级、从分散处理走向集中处 理，关于采集计费系统的建设也已经逐步形成一整套完整的理论。在此基 础上，电信话单数据采集、监控和计费系统一方面要对用户提供可以查询 韵计费话单、收费表格等一系列相关服务；另一方面要面向电信行业用户， 完成话单文件的实时采集和原始话单的分解，针对电信运营商自身，为企 业提供市场预测、经营分析等报告，为企业制定市场经营策略提供有力支 持，为增加利润、扩大市场份额、稳定和扩大客户群、有针对性的展开市 场营销等工作提供帮助。 1 5 论文主要内容 这次针对广西桂林电信f 一1 5 0 交换机的采集，是我在北京实习时遇到 的课题，我收集了大量的关于数据采集的资料，对数据采集的主要问题有 了系统的了解。同时也对国内外程控交换机的联机采集计费和监控的应用 有了基本的了解。 在深入研究之后，。我发现联机采集系统是现在电信行业提高竞争力的 基础，在国内电信业里具有广阔的前景。与此同时我查阅了大量国外关于 数据采集的文献，并对这些具体应用问题进行了整理。 通过阅读f 一1 5 0 交换机的资料，完成了f - 1 5 0 交换机x 2 5 层的数据配 置调测。根据桂林电信的具体情况，采用了集中采集的方式，在集中采集 中选用华为2 6 1 1 路由器作为采集机和交换机的交互设备，由于当时华为 4 太原理工大学硕士研究生学位论文 2 6 1 1 路由器不支持p v c ，需要配合华为的工程师完成新系统的开发，并在 新系统上完成x 2 5 的建立和测试。在搭建x 2 5 链路后，采用并行方式采 集桂林电信的1 5 台f _ 1 5 0 交换机话单文件，在采集过程中，每一个采集进 程都要完成配置文件的读取，在日志中记录启动时间、命令，采集详单文 件则在路由器上建立p v c ( 采集跳表文件则建立s v c ) ，通过s o c k e t 连接发 送f 一1 5 0 的指令和其交互，对采集到的话单文件判断其正确性，如果话单 文件完整且没有发生重采则保存到硬盘中，并对该文件进行备份，同时在 同志中写入话单的采集过程，如果采集发生错误也要在日志中做相应的记 录并且程序要对发生的错误进行分析，该分析也写入日志，供监控系统分 析、预警；最后当完成本次的采集任务，把采集到的话单文件进行加密发 送到后台计费主机，在计费主机解密。监控系统方面，采用c s 结构，指 定了一个协议，根据协议规范，采集监控程序对每个日志文件进行分析， 并按照协议的要求实时地通过s o c k e t 连接发送相应的数据包到监控主机， 监控主机接受数据包分解，并根据包内容进行预警和显示。 在应用中，不断结合实验结果，调整思路，在i b m a j x 系统的平台上 采用u n i xc 编写程序，形成一个完整的联机数据采集和监控系统。该系统 可以根据局方的要求实时地采集详单和跳表文件，按需完成话单文件的传 输，其中监控系统还可以有效地预警错误，保证采集系统稳定的运行。同 时由于话单文件是加密后传输到后台计费主机，也保证了话单文件传输的 安全性。 1 6 论文组织结构 本论文内容分为六章，各章节安排如下：第一章简要介绍了本文研究 背景和国内外研究现状，同时也简单的介绍了本课题的研究动机和主要工 作。第二章介绍了联机采集系统基础理论和相关技术。第三章介绍联机采 集及监控系统总计设计，包括整个设计方案的设计原则、方案要点及整个 系统的关键问题。第四章介绍交换机实时数据采集，详细阐述了联机采集 系统的x 2 5 链路的建立，通过x 2 5 链路和f 1 5 0 交换机进行交互，采集 5 太原理工大学硕士研究生学位论文 话单文件的流程和实现过程。第五章介绍了在整个联机采集系统中监控子 系统的设计、实现。第六章总结全文。 6 太原理工大学硕士研究生学位论文 第二章f 1 5 0 交换机数据采集系统功能及主要技术 联机采集系统首先需要在应用x 2 5 协议的基础上通过路由器在交 换机和采集机之间建立一条x 2 5 链路，然后通过这条x 2 5 链路把计费 文件( 包括详单文件和跳表文件) 从交换机传送到采集机，再将采集 到的计费文件发送到后台计费主机上。因此为了更好地了解联机采集 系统，本章对要用到的交换机、路由器、x 2 5 协议、联机采集系统的 功能以及话单文件传输时用到的加解密算法的相关理论做一个简单的 介绍。 2 1 程控交换机简介 程控交换机的全称是“存储程控”( s p c s t o r e dp r o g r a mc o n t r 0 1 ) 交换机。它是现代数字计算机、大规模集成电路和数字传输技术的综 合产物o “。 在程控交换机中，控制系统依据事先存储在存储中的程序和数据 引导微处理器对各种信令进行适当的处理，对交换网络和接口实行必 要的控制。 存储程控技术的引入使交换机的控制功能发生了根本的变化。它 能明显改善呼叫处理的速度、质量和效率，还为网络运行、管理和故 障诊断的全面自动化提供了可能。采用存储程控技术的最大优越性在 于，它能仅通过改动或增加软件即可达到改变交换机组态和工作性能 的目的。 一般来既，程控交换机通常由控制系统、接口和交换网络三个部 分组成。 控制系统是整个交换机系统的枢纽，它的功能分为两大类：呼叫 处理、运行、管理和维护。其中，呼叫处理是交换机的基本功能。它 主要负责处理信令，按信令的要求控制交换网络完成接续、通过接口 7 太原理工大学硕士研究生学位论文 发送必要的信令，来协调整机工作。管理和维护功能控制系统在无人 干预或很少人干预的情况下自动完成对交换机的运行、管理和维护等。 接口是交换机中唯一与外界发生物理连接的部分。为了保证交换机 内部信号的传递与处理的一致性，任何外界系统原则上都必须通过接口 与交换机内部发生关系，因此，接口部分往往是交换机最庞大的部分。 根据接口所连接的设各，可将接口划分为与用户电话相连接的用户接口 和与其它交换机相连的中继接口两大类。它们通常由专用的集成芯片组 合而成。 交换网络又称接续网络，可由一个或多个交换器组成。它的任务 是实现各入、出线上信号的传递或接续n 1 。在实际中，当入、出线数目 很大时，出于实现技术和经济上的考虑，常需要用多个交换器组成一 个交换网络。但无论交换网络如何组成，从外部看，它们的作用都是 相同的，即可在控制系统的控制下实现连接在交换器上的任意一条入 线和出线的连通与断开。交换网格的结构和实现是目前交换机中设计 最成熟的部分，通常由专用的集成芯片组成一。 2 2 x 2 5 概要 联机采集系统中是采用x 2 5 协议来完成计费文件的采集。x 2 5 协议是有关以分组方式在d t e 与d c e 之间传送数据的c c i t t 建议。具 体的说，x 2 5 允许在d t e 与d c e 之问建立和控制一条链路并允许在d t e 与d c e 之间以任意格式在正确无误和保证原顺序的情况下传送数据阻1 。 按照o s i 的参考模型，x 2 5 协议可分为如下所示的层次结构“州： 1 ) 物理层 这是x 2 5 中d t e 与d c e 之间的电气和机械连接，包括电缆和通过 电缆的所有信号，采用v 3 5 或v 2 4 标准。 2 ) 链路层( 也称帧层) 这一层以h d l c ( 高层数据链路控制过程) 规程为基础，规定了各 种帧结构与帧的格式，包括建立和维持通信所需要的控制信息以及检错 纠错规程，控制数据在d t e 与d c e 之间的传输1 1 l 】。 8 太原理工大学硕士研究生学位论文 3 ) 网络层( 即分组层) 采用i t u 的建议，说明数据如何从本地x 2 5d t e 经网络传到远地 x 2 5d t 巨的方法，基本内容是为虚呼叫和固定呼叫指定数据终端和网 内设各的逻辑通道号，建立和拆除虚电路”“。 2 2 1f 1 5 0 交换机x 2 5 功能 在联机采集系统中，需要应用f 一15 0 交换机的x 2 5 功能来完成采 集计费文件的采集任务，对于一个x 2 5 端口，f 1 5 0 交换机分配不同 的逻辑通道号( l c n ) 传送不同的数据”，具体如下： l c n = 1 ：a m a 数据传送 使用x 2 5 将a m a 数据传送到计费中心。此项功能要求交换机a m a 传送的相关局数据必须正确设定，计费中心的采集终端具备能进行 p o l l i n g 处理的软件。 l c n = 2 ：自给信息传送 通过x 2 5 端口传送在s c w s 上显示的自给信息。此项功能根据 r e g m e d 命令，指定信息传送到端口属性为x 2 5 t r m ，p o r t = x 2 5 t i i m i ( i = l 4 ) 终端。这种情况下，x 2 5 端口相当于某个s c w s 的作用，但只能输出 自给信息。 l c n = 3 ：告警( a l a r m ) 信息传送 这是通过x 2 5 端口，传送目前在s c w s 上显示的c c 占用率、设各 状态等信息。同a m 数据传送功能类似，此项功能也要求告警信息接 收终端具备类似p o l l i n g 处理的软件，例如要求c c 占用率等。 l c n = 4 1 0 0 做为命令传送，由p t t 决定范围。 通过采用交换虚电路( s v c ) 连接，实现x 2 5 端口输入命令功制。 采用s v c 连接，由d t ea d d r e s s 来识别端口，因此设定必须同公用分 组网侧( 采用通过公用分组网连接方式) 或命令终端侧( 采用m o d e m 直连 方式) 一致。命令传送使用同( 2 ) 中自给信息传送相同的p o r t 号，即 p o r t = x 2 5 t 跳i ( i = l 4 ) 。因此，即使不使用自给信息传送功能，也 要定义p o r t 用作命令传送用。 9 太原理工大学硕士研究生学位论文 2 2 2f - 1 5 0 交换机数据采集系统中x 2 5 链路的路由器的选型 在f 一1 5 0 交换机数据采集系统中，很重要的一个环节就是路由器 设备的选择，因为在采集过程中需要完成x 2 5 数据包和t c p i p 数据 包的转换，综合国内外路由器厂商和桂林电信的实际情况，本系统采 用华为2 6 1 1 路由器。 q u i d w a yr 2 6 1 0 2 6 1 1 路由器是华为技术有限公司自主开发的面向 企业级网络的产品，根据网络规模的不同，q u i d w a yr 2 6 1 0 2 6 t l 路由 器既可以在中小型企业网中担当核心路由器，也可以在一些大的企业 中担当分支网络的接入路由器。 图2 一lo u i d w a y r 2 6 1 1 外观图 f i g 2 - 1q u i d w a y r 2 6 1 1h i s t o g r a m q u i d w a yr 2 6 1 1 提供2 个固定的1 0 1 0 0 m 以太网口、1 个固定的刚 异步串口和2 个s i c 插槽、1 个m i m 插槽。 q u i d w a yr 2 6 1 0 2 6 1 1 路由器采用模块化结构，提供了多种可选配 的多功能接口模块( m u l t i f u n c t i o n a ti n t e r f a c em o d u l e ，m i m ) 和智 能接口卡( s m a r ti n t e r f a c ec a r d ，s i c ) 。为进一步了满足电信级网 络对高可靠性的特殊需求。 q u i d w a yr 2 6 1 0 2 6 1 1 路由器采用高速p o w e r p c 微处理器、使用华 为公司的网络操作系统平台通用路由平台( v e r s a t i l er o u t i n f f p l a t f o r m ，v r p ) 。v r p 提供了中文帮助界面，配置简单。它提供了丰富 的网络安全特性，支持终端接入服务器功能，支持s n a ( s y s t e m s n e t w o r ka r c h i t e c t u r e ，系统网络结构) d l s w ( d a t a l i n ks w i t c h i n g ， 数据链路交换) ，提供基于备份中心技术和h s r p ( h o ts t a n d b yr o u t e r p r o t o c o l ，热备份路由器协议) 备份方案。 在系统中选用华为2 6 1 1 路由器，不仅可以达到和桂林电信已有的 华为设备更好的兼容，更重要的是华为2 6 1 1 路由器x 2 t 技术可以很好 】o 太原理工大学硕士研究生学位论文 2 3x 2 y 技术 在本数据采集系统中考虑到是通过电信内部承载网进行通讯，又 由于带t p 模块的$ 1 2 4 0 交换机和e w s d 、f 1 5 0 等交换机使用x 2 5 接 口，所以需要由协议转换器提供x 2 5 到t c p i p 的转换，针对于桂林 电信内部承载网采用华为公司的网络设备，采集系统选用了华为公司 的x 2 5 到t c p f l p 产品：q u i d w a yr 2 6 1 0 2 6 1 1 ，配置华为x 2 t 功能， 能完全、真正实现从x 2 5 到t c p i p 的转换。 随着t c p i p 技术的普遍应用，数据通信向i p 网融和的趋势越来 越强烈。但由于原先帧中继网及x 2 5 网的广泛铺设，所以需要实现现 有网络与i p 网络的互通“。 x 2 t 实现x 2 5 和t c p 报文的直接互转，从x 2 5 网过来的纯x 2 5 报文根据被叫x 1 2 1 地址查找地址转换表，触发对指定i p 地址建立t c p 连接。t c p 连接建立后，路由器从x 2 5 报文里提取纯数据通过t c p 连接发送到i p 主机侧。 为了实现i p 网到x 2 5 网的多点路由，从i p 侧过来的数据里必须 携带x _ 2 5 侧的目的x 1 2 1 地址信息，通过此信息查找x _ 2 5 交换路由 表实现x 2 5 网的多点通信。所以q u i d w a y 路由器在i p 侧定义了私有 的报文格式，在此报文里附带了x 1 2 1 地址信息。 图2 - 5x 2 t 测试图 f i g 2 - 5 x 2 t t e s t f 逸 澳4 试组网如图2 5 。x 2 t - a 和x 2 t - b 支持x 2 t 功能。c l i e n t 和s e r v e r 端主机分别安装对应的测试程序。测试程序完全基于t c p ，口s o c k e t 编 程，用户不用单独购买软件包，只需在客户歹l = 发应用时在待发送应用 数据前调用x 2 t 主机侧函数接口，添加q u i d w a y 定义的报文头即可， 便利了用户编程且节省了费用。 1 3 太原理工大学硕士研究生学位论文 2 4f 一15 0 交换机数据采集系统的主要功能 数据采集系统能够实时检测交换机中计费数据的状态；能够自动 采集交换机中完成记录的计费数据文件：对每次采集提供数据校验和 差错控制，确保采集数据的完整性和正确性；当一次采集活动失败或 数据不完整时，系统自动进行重新采集；对有关计费数据采集中出现 的各种告警，将按不同的告警类别实时地将告警报告给计费中心；提 供日志及其查询、备份、删除等管理功能：保留脱机采集方式，并提 供采集备用设备，以保证计费系统总体上的实时性能不受影响：提供 计费原始数据备份转储：即将数据备份到磁带或光盘等永久存储介质 上；能够接受移动计费中心的远程监控1 1 “。 数据采集目标就是按计划可靠地把原始数据文件采集到指定的地 点，并记录详细的日志信息。 数据采集提供以下功能： 1 可以灵活加入，删除，修改可以采集的交换机站点。 2 把可以采集的交换机站点的特征变为可配置的参数。 3 可以灵活制定系统对某个站点的自动采集计划，精确到分钟。 4 可以灵活制定系统对某个站点采集站点文件的传送处理规则。 5 支持断点续传。 6 ，可以通过手动方式采集某个站点的计费文件。 7 可以手动方式立即启动按规则采集某个站点的计费文件。 8 可以手动方式立即停止采集某个站点的计费文件。 9 可以通过图形的直观方式看到某个站点的连通，断开异常状态 1 0 可以通过图形的直观方式看到某个站点正在采集的文件名，大小及 当前的采集进度 1 1 能够完整地对各种异常情况进行告警，把告警分为不同类别和等级 并作不同的处理。 1 2 可以从监控客户端停止和重新启动采集服务器。 1 3 采集服务器可以有多个监控客户端。 1 4 各个监控客户端可以灵活定制所要监控的信息。 1 4 太原理工大学硕士研究生学位论文 1 5 ，系统具有跨平台特性，可运行于不同的机器与操作系统平台上。 1 6 系统具有健壮性及容错性。 1 7 系统具有较强的安全性，通过对用户及权限进行管理，能抵御各种 非法攻击。 1 8 系统保证数据文件被完全可靠的采集，不会出现漏采，重采，丢失 等情况。 1 9 系统把用户维护的工作量降到最低。 2 0 系统使用自动的版本管理技术，保证运行系统不会出现任何版本问 题。 2 1 _ 系统实时监控自身的运行状态，确保系统运行状态正常。 2 2 系统具有良好的扩充性，除了主控部分，系统可以在不停机状态进 行版本升级或功能扩充。 主3 系统的运行状态全部记录日志，部分情况可根据日志进行回退。 2 4 1 资料存贮 数据采集成功后必须考虑安全的存贮策略。数据的保存时间：采 集前置机3 个月，采集主机保存6 个月。应用软件将计费信息分别按 交换局、计费信息类型、采集时间、交换机型等，存放在系统的不同 目录中。 保存的数据应有： 1 1 从交换机采集的原始计费信息； 2 1 对含有格式转换部分的系统，必须保存计费信息格式转换后传 送给帐务中心的文件： 3 ) 出错计费信息 以上数据可至少保存三个月以上时间，对超过保存时间的文件进 行脱机保存。采集系统根据需要可以人工或自动清除超过保存期限的 原始话单。也可根据需求对原始计费信息进行存储压缩。 1 5 太原理工人学硕士研究生学位论文 2 4 2 数据处理 数据处理是对采集后原始数据文件及其记录进行格式识别和校验， 并进行分拣和过滤，最后转换成系统内部设定的标准格式文件并对异 常数据处理的过程，它包括格式的转换、校验，标准的管理与输出， 异常数据的处理，日志管理等。 2 4 3 格式转换 格式转换是对采集后原始数据文件及其记录进行格式识别，提取通 话记录的基本信息( 详单和跳次有所不同) ，并进行分拣和过滤，转换 成标准格式。 1 支持不同的业务类型的原始数据文件格式转换，根据业务类型， 对原始数据文件进行格式识别，提取其中的数据记录、统计数据，形 成标准格式； 2 支持对不同编码文件的处理，如a s c i i 、b c d 、二进制文件， 各类t a p 格式等； 3 支持各种交换机( s 1 2 4 0 各种机型、e w s d 、c & g 0 8 、z x j l 0 、 f 1 5 0 、u t s t a ri p a s 系统) 话单的格式识别； 4 支持详细计费话单和复式计次的格式转换； 5 支持交换机一次通话产生多条时问连续的记录合并处理； 6 支持重复话单的去重处理： 2 4 4 审核校验 审核校验对进行格式识别转化后的记录文件进行校验查错处理，它 包括记录级校验和文件级校验。记录级校验校验记录字段的合理性、 合法性： 1 日期、时间错误； 2 各种关键编码非法； 1 6 太原理工大学硕士研究生学位论文 3 含非法字符； 4 关键字段内容与原始记录格式描述不符： 记录级校验：根据用户设定的规则对记录进行校验，校验合法性、 逻辑性等。 文件级的校验：校验大小的完整性。 2 4 5 标准输出 标准输出把不同资料源产生的数据文件根据业务类型进行标准的 格式化处理，形成标准记录格式。标准化输出产生标准化正常记录和 标准化异常记录。标准化输出产生的标准化记录提供给其它系统，并 对标准输出文件根据用户的设置按类型、区域、日期进行分类存放， 便于集中、安全的管理。 各类标准格式的计费文件作为其它系统的接口数据，其格式不一 定相同，需按接口系统提供要求，联机采集计费系统作出完全的响应。 2 4 6 异常数据输出 对资料校验、分拣过滤过程中产生的异常记录进行处理，它包括分 类统计、查询汇总、日志记录、分级别告警提示。 对异常话单放置在专门的目录中，传送给相应的计费或结算系统。 2 4 7 日志管理 数据处理日志内容包含：采集点、交换机标识、原始数据文件、处 理开始时问、完成时间、处理的记录数，正常记录数、异常记录数等 信息。 2 5i d e a 算法和r s a 算法在数据采集系统中的应用 由于整个数据采集和监控系统是建立在开放的t c p i p 协议上的， 网上传送的话单数据、以及监控系统对各个终端的控制命令都是在这 1 7 太原理工大学硕士研究生学位论文 个开放的协议上发送、接收并解释的，因此保障整个系统网络安全尤 其重要m 。 数据采集系统要保证从交换机采集到的话单数据从采集点传送到 计费主机都是正确的。话单数据从交换机经过路由器采集到采集机， 再从采集机经过i p 网络到计费主机。其中，x 2 5 协议能保证话单数据 从交换机到采集机的正确性，采集机通过i p 网络将数据发送到计费主 机上，t c p i p 协议能保证将这些数据完整无差错地发送到目的地。但 也就是由于t c p i p 协议的开放性，造成i p 网络不安全。 为了解决系统的安全问题，保证计费数据传送的安全性，在系统 中的网络发送和接收程序采用数据加密“。这样在发送端将原始数据 作秘密密钥加密，然后由发送程序发送给接收方，接收方接收后解密 得到计费原始计费数据。即数据在发送端被加密，在最终目的地被解 密，中间节点处不以明文的形式出现。这种发送端接收端方式加密 过程在应用层完成，即传输前的高层中完成。除报头外的报文均以密 文的形式贯穿于全部传输过程，只是在发送端和最终端才有加、解密 程序，而在中间任何环节报文均不解密。整个数据采集和监控系统通 过i p 网络发送的数据量很大，所以不能完全采用公开密钥加密，原因 是公开密钥加密算法加密速度很慢，这会严重影响到计费话单的实时 数据采集，而采用秘密密钥加密，密钥分配和管理又很复杂。整个系 统的加密密码又不可能一直不变，为了达到保密效果还得经常更换密 码。如果采用人工输入及分配密钥的方法又会给整个系统的管理带来 很多不便。所以最好采用公开密钥加密算法来加密和分配随机产生的 秘密密钥，再用这个秘密密钥来加密我们的话单数据，基于以上原因， 可以考虑利用i d e a 算法加密数据和通过r s a 算法来进行加密和分配随 机产生的秘密密钥，以保证计费话单数据在网络中安全地传送。 2 5 1i d e a 算法简介及其应用 i d e a ( i n t e r n a t i o n a l d a t a e n c r y p t i o na l g o r i t h m ) 是瑞士的 j a m e sm a s s e y ，x u e j i al a i 等人提出的加密算法，在密码学中属于数 据块加密算法( b l o c kc i p h e r ) 类。i d e a 算法的设计使得它能够用软件 1 8 太原理丁大学硕十研究生学位论文 快速实现。i d e a 使用长度为1 2 8 b n 的密钥，数据块大小为6 4 b i t 。从 理论上讲，i d e a 属于“强”加密算法，至今还没有出现对该算法的有 效攻击算法“吣。 i d e a 算法在某些方面和d e s 算法是相似的，也有多轮运算的算法 和复杂的m n g l e r 函数。解密时并不要求m a n 9 1 e r 函数可逆，在加密 和解密时，d e s 算法和i d e a 算法的m a n g l e r 函数向相同的方向进行运 算。事实上，d e s 算法和i d e a 算法都具有一个特点，那就是除了密钥 扩展算法外，加密和解密算法是一样的。对于d e s 算法，相同的密钥 在解密时以相反的次序使用。对于i d e a 算法，加密和解密所用的密钥 之间的关系更为复杂一些咄”。 i d e a 是一种由8 个相似圈( r o u n d ) 和一个输出变换( o 仉p u t t r a n s f 。r m a t i o n ) 组成的迭代算法。i d e a 的每个圈都由三种函数：模 ( 2 + 1 ) 乘法、模2 ”加法和按位x o r 组成。 在加密之前，i d e a 通过密钥扩展( k e ye x p a n s i o n ) 将1 2 8 b i t 的密 钥扩展为5 2 b y t e 的加密密钥e k ( e n c r y p t i o nk e y ) ，然后由e k 计算出 解密密钥d k ( d e c r y p t i o nk e y ) 。e k 和d k 分为8 组半密钥，每组长度 为6 b y t e ，前8 组密钥用于8 圈加密，最后半组密钥( 4 b y t e ) 用于输出 变换。i d e a 的加密过程和解密过程是一样的，只不过使用不同的密钥 ( 加密时用e k ，解密时用d k ) 。 密钥扩展的过程如下： 1 将1 2 8 b i t 的密钥作为e k 的前8 b y t e ： 2 将前8 b y t e 循环左移2 5 b i t ，得到下一8 b y t e ，将这个过程循环 7 次： 3 在第7 次循环时，取前4 b y t e 作为e k 的最后4 b y t e ； 4 + 至此5 2 b y t e 的e k 生成完毕。 密钥扩展的过程如表2 6 所示，为了能够清楚的看出每个8 b y t e 的关系，在表2 6 中用粗线条将每个8 b y t e 划分开了他“。 1 9 太原理工大学硕士研究生学位论文 r k k 2k 3 k 。 k 5 k 6 l0 一1 51 6 3 l3 2 4 74 8 6 36 4 7 98 0 一9 5 29 6 一1 1 l1 1 2 一1 2 72 5 4 04 l 一5 65 7 - 7 27 3 8 8 38 9 一1 0 41 0 5 一1 2 01 2 l - 8 9 2 45 0 一6 56 6 8 l 48 2 9 79 8 一1 1 31 1 4 一l 2 1 71 8 3 33 4 4 9 57 5 9 09 1 一1 0 61 0 7 1 2 2 1 2 3 一l ol l 一2 62 7 4 2 64 3 5 85 9 7 41 0 0 1 1 51 1 6 3 4 一1 92 0 3 5 73 6 5 l5 2 6 76 8 8 38 4 9 91 2 5 一1 21 3 2 8 82 9 4 44 5 - 6 06 1 7 67 7 9 29 3 1 0 81 0 9 一1 2 4 92 2 3 73 8 5 35 4 6 97 0 一8 5 表2 6i d e 的密钥扩展过程 t a b l e2 6i d e as e c r e tk e ye x p a n dp m c e s s 解密密钥e k 和加密密钥d k 的关系如表2 7 所示： r o u n d d k c ) d k c ) d k 【d k 。d k )d k 。) 6 r r=l ( e k 1 0 叮 一e k t 1 e k 1 。f e k m _ re k 9 一。e k t9 。 23 45 ) 。1 0 - rj - r ) 1 ) 。 2 r ( e k ，1 一e k t 1 一e k 1 0 ( e k 4 。r e k c9 一】 e k c9 325 8 ) 。1 0 r 1 一r ) ) 。 r = 9 ( e k l ”。 一e k ( 1e k ( 1 0fe k1 1 卟 、 4 ) 一1 r l ) q 表2 7 加密密钥和解密密钥的关系 t a b l e2 7r b l a t r i o no fs e c r e tk e ya n do p e 仉k e y 其中：一a = o x l o o o l a ：( a 。1 a ) m o do x l o o o l = l 2 0 太原理工大学硕士研究生学位论文 工d e a 算法如图2 8 所示。 明文( 蜀地魁蜀) 0 按位异或 田模2 “加法 i 眉：” i l l 第 1 l 轮 i i 。轮 l i 变 k 川荔 l h 图2 8i d e a 算法示意图 f i g 2 8s k e t c hm a po fi d i ! aa d t b m e t i c i d e a 算法在网络通信中处于中间的位置，i d e a 层上面直接针对 具体的应用，在上面的应用给工d e a 算法的是一个数据块，这个数据 块的大小可能比6 4 位大，也可能比6 4 位小，i d e a 算法并不清楚。 在做加解密的时候都工d e a 算法是按6 4 位分组考虑的。对于需要在 工d e a 模块中加密的数据字节长度可以根据要求进行分割和填充。 2 1 太原理工大学硕士研究生学位论文 上层应用传递给i d e a 加密的数据长度或者i d e a 解密后的数据长 度对工d e a 来讲不能确定，有长有短。而i d e a 能够处理的是6 4 位分 组数据。如果上层给工d e a 加密层一个数据块，那么必须将这个数据 块分割成6 4 位的分组数据，如果出现分组数据位数不足，就要用。 字节来填充。反之，i d e a 解密后的分组数据给应用处理的时候要将这 些数据整合成一个完整的数据块。由于存在分组数据可能不够要用。 字节来填充的问题，这样使得