电信运营支撑系统之数据采集与整合

毕业设计论文答辩,课 题 名:电信运营支撑系统之数据采集与整合,项目（系统）来源与简介,采用由亚信公司提供的“电信用户管理和计费系统NetCT OSS”，(中国公用互联网ChinaNet、上海热线) 。基于Unix平台、Oracle数据库、Web界面,融合Java和C+该项目是为电信运营的IP计费服务的。只针对openlab出租业务进行开发。,为什么需要该系统,网络几乎已经深入到家家户户大众需要网络就必然需要服务器要上网必然要产生付费，管理和查询等方便用户查询，以及管理者管理方便，更增加电信公司费用的透明度，增强用户对自己公司的信任有了这样的系统将极大的方便管理和使用,系统模块划分,管理员管理模块用户管理模块帐务管理模块帐单管理模块资费管理模块用户自服务模块数据采集模块数据整合模块,业务模型,加工处理,计费信息,统计信息,Web查询,Web查询,管理员,大客户,MIB,Web管理,Web管理,IP网用户,因特网,AAA,配置信息,login name&password,Log File,NAS接入服务器,系统架构图,中央处理系统,采集系统,Log,RouterSwitch工作站,帐务查询系统,用户管理系统,ADM管理系统,DBS,用户自理系统,数据整合系统,BIDR,开发环境,采用UNIX平台 原因：1、unix本身可以做为3A服务器 2、unix系统提供很多有用的函数和命令 utmpxname(/var/adm/wtmpx);struct utmpx crontable命令ORACLE数据库,开发工具,cc+,unix c+ 1、利用unix系统中所提供的各种函数 2、效率问题，同等数据量情况下，cc+比java的效率高出20倍pro*c,pl/sql 1、在unix系统中，提供有作业操作，可以用它来操作定时采集与整合 2、pro*c动态拼接SQL语句，方便操作 3、pl/sql利用存储过程提高数据库效率，动态整合数据,模块功能,数据采集 1、定时从3A服务器上读取数据，封装成所需要的结构，通过socket传到中央处理系统，由中央处理系统插入到数据库中。 2、可分为客户端与服务器端。客户端采集并传送数据，服务器端接受并持久化数据。cs模式数据整合 1、将数据库中的用户原始消费数据进行整合，形成可供查询的清单和报表。 2、主要用于考察服务器的运行情况,数据流程图,T_detail_X,采集系统,bIDR,/var/adm/wtmpx,Unix Log Server,中心处理系统,按小时合并用户数据,按小时合并Lab数据,T_Day_X,T_Day,按天合并用户数据,按天合并Lab数据,T_Month_X,T_Month,按月合并用户数据,按月合并Lab数据,T_Year_X,T_Year,采集模块流程（客户端）,循环读取日志文件 #include struct utmpx *p; utmpxname(/var/adm/wtmpx); setutxent(); while( (p = getutxent() ) != NULL ) /操作日志文件数据 endutxent();过滤数据数据匹配，封装数据socket发送数据定时操作,采集模块流程（服务器端）,通过socket接收数据将接收到的数据利用pro*c插入到数据库中定时操作,采集过程中要解决的问题,解析文件中记录的数据，过滤无效的数据 1、过滤掉 ut_line以“ftp”开头的 2、过滤掉ut_user以“.”开头的 3、过滤掉ut_type不是7或8的匹配数据时的跨时间段问题 1、原因：每小时采集一次。 2、匹配记录时的三种情况：有头有尾，有头无尾，无头有尾数据传输定时操作,整合模块流程,利用PL/SQL编写