电信运营数据采集与整合 精选文档

1、1,Copyright Tarena Technologies Inc., 2008. All rights reserved.,Tarena High-End IT Training,中国北京,电话：（,010,）,62135687,、,62136369,地址：北京市海淀区北三环西路甲,18,号,中鼎大厦,B,座,7,层,中国上海,电话：（,021,）,61202630,、,61202603,地址：上海市北京东路,668,号,上海科技京城,B,区,9,层,加拿大多伦多,电话：（,416,）,491-6456,地址：,Suite 1208, Deerford Road,Toronto, Ont

2、ario, Canada,邮编：,M2J 3J3,中国广州,电话：（,020,）,85518868,、,85518898,地址：广州天河区岗顶侨鑫教育主楼三层,电信计费系统,-,数据,采集,整合,2,回顾,?,OOAD,?,UML,?,Socket,编程,?,多线程编程,?,JDBC,编程,?,IO/NIO,文件处理,.,3,内容,?,理解采集与整合的需求,.,?,理解采集与整合的设计,.,?,理解采集源,wtmpx,数据的格式结构,.,?,理解采集数据的分析匹配结果数据,.,?,理解采集中类结构的设计,-,类图与时序图,.,?,理解采集中核心流程,-,类中函数说明,.,4,Copyright

3、 Tarena Technologies Inc., 2008. All rights reserved.,Tarena High-End IT Training,中国北京,电话：（,010,）,62135687,、,62136369,地址：北京市海淀区北三环西路甲,18,号,中鼎大厦,B,座,7,层,中国上海,电话：（,021,）,61202630,、,61202603,地址：上海市北京东路,668,号,上海科技京城,B,区,9,层,加拿大多伦多,电话：（,416,）,491-6456,地址：,Suite 1208, Deerford Road,Toronto, Ontario, Canad

4、a,邮编：,M2J 3J3,中国广州,电话：（,020,）,85518868,、,85518898,地址：广州天河区岗顶侨鑫教育主楼三层,整体需求与结构说明,5,采集需求说明,?,本系统是一个计费的系统，要想对用户进行准确的收费，首先必须能够获得用,户使用开放实验室的准确的使用记录，采集子系统正是为了获取这些记录而提供,的。,?,获取用户使用实验室的准确记录有三种情况：,?,利用操作系统的自身功能,：开放实验室是一个,Unix,服务器，,Unix,服务器本,身就具有记录系统日志的功能。用户每次登录和退出,Unix,服务器的信息都,会被自动保存到一个在线日志文件,/var/adm/wtmpx,中

5、。采集系统通过调用,Unix,系统函数来读取这个日志文件中的内容，然后对读取到的内容进行整,理，整理为方便计费的数据，其中包括登录名、登录时间或登出时间等作,为计费依据的数据。最后把这些数据存入数据库中，以备其他系统使用。,为了使读取的数据量不至于过大，采集系统会每小时定时执行一次，每次,只采集上一个小时时间段之内的数据。,?,2,、,利用开放实验室的个人,web,主页功能,(personal web hosting):,只要用,户在其主目录,(home),下创建了,public_html,目录，采集系统通过扫描目录,public_html,就可以产生计费依据。访问开放实验室的,web,信息,

6、:,用户每次访,问,web,服务器，,web,服务器都会在,access.log,中记录下相应的信息，如客户,端的,ip,和被访问的,URL,等。通过分析,web,服务器的访问日志产生计费依据。,?,3,、,使用开放实验室的,e-mail,功能,:,根据邮箱的个数产生计费依据。,?,说明：,2,，,3,的情况目前不做处理，提供扩展接口便于今后扩展。,6,整合需求说明,?,采集系统定时将用户使用服务器的数据存入到了数据库中，但这些数,据都是流水帐的数据，是用户每次使用,UNIX,操作系统的用时。如果用户,量大，用户频繁地登入,/,出，将产生大量的数据，不便于将来生成用户的,月账单和对开放实验室的

7、使用情况进行月统计和年统计，因此，出现了,整合系统。,?,整合是将某个用户或某个实验室在某一时段内所用机时求和后形成一,条记录。整合系统具体整合规则如下：,?,1.,每小时定时整合一次，生成以小时为单位统计的数据，程序总是,每小时定时整合前一小时的数据。,?,2.,每天定时整合一次，生成以天为单位统计的数据，程序总是每天,定时整合前一天的数据,.,?,3.,每个月定时整合一次，生成以月为单位统计的数据，程序总是每,个月定时整合前一个月的数据。,?,整合按用户与实验室整合,便于帐单查询与帐务查询,以及用户自服务帐,单查询,.,7,相关术语字典,?,实验室,?,就是用户使用的,Unix,服务器,用

8、户需要帐号与口令,通过,IP,访问,.,?,业务帐号,?,用户使用实验室需要的帐号,口令,IP,必须向电信运营商才能获得,该申请信息,就是业务帐号,业务帐号中包含资费种类,用户的费用产生就是不同业务帐号,下费用的总计,.,?,帐务帐号,?,用户费用结算的信息就是通过帐务帐号来管理,.,帐务帐号主要记录用户的支,付方式,申请的业务帐号等,.,?,帐单查询,?,就是费用查询,费用按不同业务的费用按帐务帐号总计成用户费用,.,帐单查询,就是查询帐务帐号下的费用,和每个帐务帐号下的业务帐号明细,.,?,帐务查询,?,按实验室查询在每个实验室上产生的登录时长统计,.,?,用户自服务帐单查询,.,?,用户

9、可以查询发生在自己个人帐务帐号下的总计费用,以及费用明细,.,8,计费系统整体结构说明,?,XX,电信运营商新增一项,Open Lab,（开放实验室）出租业务，即该电信运营,商提供基于,Unix,平台的实验室环境，选择使用这种业务的用户能够远程登录,到实验室中做基于这个实验室环境的一些工作和实验。运营商希望借助先进,的计算机技术对访问实验室的用户进行管理和计费，由此实现对此项业务运,营的支持与管理。本项目主要包括以下子系统：,?,采集系统,?,整合系统,?,用户管理系统,?,资费管理系统,?,管理员管理系统,?,帐单查询系统,?,帐务查询系统,?,用户自服务系统,?,权限管理系统,9,计费系统

10、整体结构图,电信营运系统,后台数据服务,前台营运管理,前台用户服务,采集系统,整合系统,用户管理系统,资费管理系统,管理员管理系统,帐单查询系统,帐务查询系统,权限管理系统,用户自服务系统,10,电信计费系统的业务工作流模型,:,电信营运超级,管理员,:,电信营运管理,员,:,用户,用户自服务,系统,电信数据采集,系统,电信数据整合,系统,电信运营计费,管理系统,电信实验室服,务器,电信数据库服,务器,:,系统管理人员,1:,登录,3:,填写资料开通权限,2:,申请权限,4:,登录,6:,填写申请资料,12:,帐务帐单统计查询,5:,申请帐务帐号与业务帐号,8:,登录使用实验室服务器,14:,

11、用户个人信息维护与帐单查询,15:,数据访问,10:,采集数据存储,13:,数据访问,9:,用户登录时长数据采集,11:,数据整合,7:,开通实验室业务帐号,11,电信物理结构拓扑图,数据库服务器,数据整合服务器,数据采集接收服务器,电信实验室服务器,电信实验室服务器,电信实验室服务器,电信实验室服务器,网络,电信运营管理,WEB,服务器,电信运营计费管理系统,电信运营用户自服务系统,电信运营管理人员,用户,12,数据采集部署结构图,电信开发实验,室,电信开发实验,室,电信开发实验,室,数据库服务器,采集程序服务,器,可以把采集服务,器程序部署到与,数据库同一台服,务器,采集服务器程序,采集客

12、户程序,采集客户程序,采集客户程序,数据整合程序,采集备份程序,13,用户计费原理,?,当用户申请帐务帐号后就有了交费数据,然后可以申请业务,帐号,.,?,用户通过申请的业务帐号和口令登录电信的实验室服务器,使用服务,.,?,计费的依据是用户使用实验室的时间长度和使用服务的资,费标准,.,?,用户使用实验室的时长公式,:,?,登录时长,=,用户登出时间,-,用户登录的时间,.,?,用户应该交纳的费用公式,:,?,交纳费用,=,登录时长,*,资费单位费用,+,资费基本费用,.,14,要实施的系统,?,电信运营计费管理系统,:,?,用户通过该系统向管理员申请帐务帐号与业务帐号,.,?,管理员通过该

13、系统录入资费标准,.,?,管理员通过该系统统计查询所有实验室的用户使用情况,.,?,超级管理员通过该系统授权一般管理员,.,?,电信数据采集与整合系统,:,?,采集系统,:,由系统定时启动扫描系统的登录历史文件,把用户登录,/,登,出实验室的数据采集并分析处理后存储到数据库服务器,.,?,整合系统,:,把采集的原始数据按用户或按实验室进行统计整合,便于,管理员统计查询或便于用户查询个人的应交费情况,.,?,用户自服务系统,:,?,用户可以通过该系统修改个人的信息资料,或查询个人的交费情况,.,15,Copyright Tarena Technologies Inc., 2008. All ri

14、ghts reserved.,Tarena High-End IT Training,中国北京,电话：（,010,）,62135687,、,62136369,地址：北京市海淀区北三环西路甲,18,号,中鼎大厦,B,座,7,层,中国上海,电话：（,021,）,61202630,、,61202603,地址：上海市北京东路,668,号,上海科技京城,B,区,9,层,加拿大多伦多,电话：（,416,）,491-6456,地址：,Suite 1208, Deerford Road,Toronto, Ontario, Canada,邮编：,M2J 3J3,中国广州,电话：（,020,）,85518868,

15、、,85518898,地址：广州天河区岗顶侨鑫教育主楼三层,需求分析,-,用例分析,16,采集整合用例,数据采集,数据整合,后台数据服务,系统管理人员,数据采集客户,数据采集服务器,17,采集的,C/S,设计,?,采集过程的特点,:,?,由于系统本身分散的特点,采集点与数据存储点是分散的,.,?,采集点是客户,Client,存储点是数据库服务器,Server,?,采用两种方式,C/S,可以达到目的,.,?,JDBC,是直接的,C/S,方式,?,优点,:,简单,直接,?,确定,:,数据库安全性差,.,现在已经产生很多技术避免对数据库的,直接访问,.,如,EJB,Web,服务,JMS,等,?,低层

16、的,Socket,数据传输方式,.,本设计中采用的方式,.,?,优点,:,数据库安全,.,?,缺点,:,面向低层开发,需要处理多线程,数据传递失败等细节,.,18,数据采集,-,采集点说明,:,系统管理人员,采集器,系统日志,数据处理器,数据分析器,1:,启动采集,2:,采集,3:,4:,分析,5:,分析结果,6:,处理（使用,Socket,发送）,19,数据采集,-,存储点说明,:,系统管理人员,服务器接受,数据存储,数据库,1:,启动,2:,接受,3:,存储,20,数据整合说明,:,系统管理人员,数据整合器,整合数据,1:,启动整合,2:,整合数据,3:,4:,存储整合数据,可以用两种,方

17、式实现,Java,代码实现整合,存储过程实现整合,21,Copyright Tarena Technologies Inc., 2008. All rights reserved.,Tarena High-End IT Training,中国北京,电话：（,010,）,62135687,、,62136369,地址：北京市海淀区北三环西路甲,18,号,中鼎大厦,B,座,7,层,中国上海,电话：（,021,）,61202630,、,61202603,地址：上海市北京东路,668,号,上海科技京城,B,区,9,层,加拿大多伦多,电话：（,416,）,491-6456,地址：,Suite 1208,

18、Deerford Road,Toronto, Ontario, Canada,邮编：,M2J 3J3,中国广州,电话：（,020,）,85518868,、,85518898,地址：广州天河区岗顶侨鑫教育主楼三层,采集源数据说明,-,采集前的补充说明,22,用户登录数据记录源,wtmpx,格式,?,在,Unix,中用户登录的记录存放的一个系统历史记录文件,wtmpx,中,该文件是二进制文件,.,?,该文件的读取有两种方式,:,?,通过,C,读取,.,?,通过,Java,读取,.,本设计中采用的方式,.,?,读取文件的关键是理解二进制记录格式,在,C,中有一个结构,提,utmpx,只要理解该结构体

19、就可以理解记录格式,.,23,理解,utmpx,结构体,24,Wtmpx,记录字节,位置范围,字节长度,含义,000-031,32,/* user login name */,032-035,4,/* inittab id */,036-067,32,/* device name (console, lnxx) */,068-071,4,/* process id */,072-073,2,/* type of entry */,074-075,2,/* process termination*/,076-077,2,/* exit status*/,2,/*,这是,C,数据类型补齐产生的空位

20、,*/,080-083,4,/* time entry was made */* seconds */,084-087,4,/* and microseconds */,088-091,4,/* session ID, used for windowing */,092-111,20,/* reserved for future use */,112-113,2,/* significant length of ut_host */,114-371,257,/* remote host name */,25,详细说明,wtmpx,26,Type,含义,?,#define EMPTY,0,?,#

21、define RUN_LVL,1,?,#define BOOT_TIME,2,?,#define OLD_TIME,3,?,#define NEW_TIME,4,?,#define INIT_PROCESS,5,?,#define LOGIN_PROCESS,6,-,登录进程,?,#define USER_PROCESS,7,-,用户进程,?,#define DEAD_PROCESS,8,-,终止进程,27,Copyright Tarena Technologies Inc., 2008. All rights reserved.,Tarena High-End IT Training,中国北

22、京,电话：（,010,）,62135687,、,62136369,地址：北京市海淀区北三环西路甲,18,号,中鼎大厦,B,座,7,层,中国上海,电话：（,021,）,61202630,、,61202603,地址：上海市北京东路,668,号,上海科技京城,B,区,9,层,加拿大多伦多,电话：（,416,）,491-6456,地址：,Suite 1208, Deerford Road,Toronto, Ontario, Canada,邮编：,M2J 3J3,中国广州,电话：（,020,）,85518868,、,85518898,地址：广州天河区岗顶侨鑫教育主楼三层,数据采集分析设计,-,客户端,2

23、8,数据采集分析设计,?,分析设计的思路,?,按用例场景为单位进行分析设计,.,?,以时序图为主要手段,以类图为主要目的的分析模式分析设计,.,?,分析中重点关注,:,数据源,-,处理过程,-,数据结构,?,分析中的三个阶段,:,?,第一阶段,:,数学模型建立阶段,?,实体类,?,功能类,?,第二阶段,:,业务逻辑模型建立阶段,?,DAO,层类,?,功能类责任分配,.,?,第三阶段,:,模型整合与完善阶段,?,利用,J ava,的设计模式,产生辅助类,降低系统的耦合程度,.,29,数据实体类图设计,-,数据源,30,实体类,LogRecord,说明,?,LogRecord:,?,把数据源的数据

24、读取后以对象形式保存,.,?,在该系统中,采用把登录,/,登出分开存放,便于分析,.,?,负责封装日志中数据,?,user,：登录用户帐号,?,type,：登录类型,登录,7/,登出,8,?,visittime,：登录,/,登出的时间,?,labip,：采集的服务器,IP,?,userip,：用户,IP,?,pid:,登录进程,ID,，主要识别同用户的登录。,?,MatchedRecord,?,负责存放匹配处理好的数据,.,就是把用户登录,/,登出整合成一条数据,.,?,在数据发送,本地存储都以该类型的形式使用,.,31,根据实体类设计成表结果,?,原始采集用户登录时长明细表,(details

25、_x),其中,x,是,1-31-,MatchedRecord,类,字段英文名,字段汉字名,类型,约束条件,说明,loginname,登录名,Varchar(20),loginip,登录,IP,Varchar(24),logintime,登录时间,Timestamp,logouttime,登出时间,Timestamp,labip,实验室,IP,Varchar(24),duration,登录时长,long,32,数据实体类图设计,-,数据存储目标,33,数据实体类说明,?,在采集数据的存储方式,根据客户需求与系统性能的考虑,设,计的时候把数据存储表结构分为三类,:,?,采集的原始登录数据记录表。,

26、?,按不同用户在不同实验室上的数据整合表。,?,按不同实验室的数据整合表。,?,注意：按实验室整合与按用户在不同实验室上整合的存储,因为数据量的问题在设计上有区别。其中前者的表按天，月，,年各一张，后者的天表,31,张，月表,12,张，年表根据年份一年,一张。,34,采集的原始登录数据记录表,?,该表特点：,?,该类表一张。该表设计成一个，主要是原始数据很少被查询。,?,数据量很大。,?,可能为用户查询使用业务的明细的时候查询。,?,登录,/,登出构成一条记录,不存储时长。,?,可能几个小时一条记录，也可能一小时内若干条记录。,35,按不同用户在不同实验室上的数据整合表,?,该类表主要存储整合

27、后的数据。其中存储时长，按时间间,隔分三种：,?,一小时内的数据整合成一条记录。单独存放在一张表中,-,天表。,?,一天内的数据整合成一条记录。单独存放在一张表中,-,月表。,?,一个月内的数据整合成一条记录。单独存放在一张表中,-,年表。,?,注意：,?,这三张表结构完全一样，除时间范围具体的值不同。,?,因为该表查询的频繁度很高，在设计的时候设计成天表,31,张，,月表,12,张，年表根据年份一年一张。,36,按不同实验室的数据整合表,?,该类表存储整合数据，其中不再存储用户登录名等信息，,按时间间隔分三种：,?,一小时内的数据整合成一条记录。单独存放在一张表中,-,天表。,?,一天内的数

28、据整合成一条记录。单独存放在一张表中,-,月表。,?,一个月内的数据整合成一条记录。单独存放在一张表中,-,年表。,?,注意：,?,该表的查询主要是运营商在统计运营情况的时候使用，使用,频率相对较低。设计的时候采用每种表各一张。,37,设计实体类的意义,?,实体类是,E-R,中的,E,的编程语言描述,.,?,实体类是数据的,OO,实现与分析设计结果,.,?,使用实体类的好处,:,?,在程序中以对象形式使用数据结果,.,?,在程序中数据可以持久,.,?,可以很轻松与,Hibernate,融合,.,38,类说明,?,Detail-,对应设计的表结构与原始采集后生成的格式一样,?,loginname

29、,登录名,?,labip,登录实验室,IP,?,loginip,用户,IP,?,logouttime,登出的时间,?,logintime,登录的时间,?,duration,登录时长,?,DetailDay, DetailMonth, DetailYear,类与上面描述一样,.,39,类的表结构描述,?,按用户统计整合的时记录表,detaildays_x,其中,x,是,1-31,字段英文名,字段汉字名,类型,约束条件,说明,loginname,登录名,Varchar(20),loginip,登录,IP,Varchar(24),logouttime,登出时间,Timestamp,labip,实验室

30、,IP,Varchar(24),duration,登录时长,long,40,类的表结构描述,?,按用户统计整合的天记录表,detailmonths_x,是,1-12,字段英文,名,字段汉字,名,类型,约束条件,说明,loginnam,e,登录名,Varchar(2,0),loginip,登录,IP,Varchar(2,4),logouttim,e,整合时间,Timestam,p,labip,实验室,IP,Varchar(2,4),duration,登录时长,long,41,类的表结构描述,?,按用户统计整合的月记录表,detailyears_x x,不定,x,表示年,字段英,文名,字段汉,字名

31、,类型,约束条,件,说明,loginna,me,登录名,Varchar(,20),Loginip,登录,IP,Varchar(,24),logoutti,me,整合时,间,Timesta,mp,Labip,实验室,IP,Varchar(,24),Duration,登录时,长,long,42,类的表结构描述,?,按服务器整合的时记录表,detaildays,字段英,文名,字段汉,字名,类型,约束条,件,说明,logoutti,me,整合时,间,Timesta,mp,Labip,实验室,IP,Varchar(,24),Duration,登录时,长,long,43,类的表结构描述,?,按服务器整合的

32、天记录表,degtailmonths,字段英文名,字段汉字名,类型,约束条件,说明,logouttime,整合时间,Timestamp,Labip,实验室,IP,Varchar(24),Duration,登录时长,Long,44,类的表结构描述,?,按服务器整合的月记录表,detailyears,字段英文名,字段汉字名,类型,约束条件,说明,logouttime,整合时间,Timestamp,Labip,实验室,IP,Varchar(24),Duration,登录时长,long,45,采集端类图,46,时序说明,:,CollectionLauchor,:,CollectionThread,:,

33、DataCollector,: LogDealer,: LogRecord,:,MatchedRecord,1: start( ),2: collect( ),15: deal(Vector),6: new,11: new,3: getNativeIP( ),4: initlog( ),5: mappingLogBuffer(String),8: parseLogBuffer(MappedByteBuffer, Vector, Vector),7: activate(String),10: passivate(Vector, String),9: match(Vector, Vector),1

34、2: new,13: init( ),14:,47,类说明,?,CollectionLaunchor,?,采集主程序类，发动采集线程。,创建线程,CollectionThread,th=new CollectionThread,启动线程,th.start();,48,类说明,?,CollectionThread,?,采集线程，负责启动采集过程。,产生,DataCollector,对象,调用数据采集函,数,collect,释放资源,线程关闭,return,49,类说明,?,DataCollector,?,负责采集环境的处理与数据采集，分析处理,获取本地,IP,getNativeIP,初始化日志,

35、文件,initlog,日志文件内存映射,mappingLogBuffer,登出数据匹,配,match,读取上次未匹配,的数据,activate,注入,LogDealer,类,型的,logdealer,对象,调用,logdealer,的,deal,函数进行数据处理,保存未匹配数据,passivate,解析日志,parseLogBuffer,50,类说明,?,LogRecord,类,?,负责登录,/,登出数据封装。,?,MatchedRecord,类,?,负责匹配好的数据的封装。,?,CollectionListener,接口,?,规范采集好的数据的处理方式。,?,LogDealer,类,?,负责

36、匹配好数据的发送处理，如果发送失败，则数据被保存。,该类主要实现,CollectionListener,接口。,51,Copyright Tarena Technologies Inc., 2008. All rights reserved.,Tarena High-End IT Training,中国北京,电话：（,010,）,62135687,、,62136369,地址：北京市海淀区北三环西路甲,18,号,中鼎大厦,B,座,7,层,中国上海,电话：（,021,）,61202630,、,61202603,地址：上海市北京东路,668,号,上海科技京城,B,区,9,层,加拿大多伦多,电话：（,

37、416,）,491-6456,地址：,Suite 1208, Deerford Road,Toronto, Ontario, Canada,邮编：,M2J 3J3,中国广州,电话：（,020,）,85518868,、,85518898,地址：广州天河区岗顶侨鑫教育主楼三层,数据采集分析设计,-,服务器端,52,数据采集服务器端类图,53,类的时序说明,:,ServerLauncher,:,DataRecieverTh,:,CollectionTh,: DBEnvInit,: DetailDAO,: Detail,1: start( ),4: start( ),2: initDAO( ),3:

38、initSocket( ),5: getDBParamter( ),6:,7: getConnection(Properties),8:,12: insert(Detail),10: new,9: recieve( ),11:,54,类说明,?,ServerLauncher,类,:,?,服务器数据接受器启动器,.,?,DataRecieverTh,类,:,?,服务器接受主线程。,?,CollectionTh,类,:,?,每个客户数据接收处理类。,?,DBEnvInit,类,?,数据库环境初始化类,?,BasicDAO,泛型类,?,封装对数据库访问最常用的规范。,?,DetailDAO,类,?,负责对数据库的数据增,删,修,查询操作,.,?,Detail,类,?,采集数据原始记录实体类。该类与,MatchedRecord,完全一样，在设计的时候为与客户端,分开，故意设计成实体类，主要便于使用,Hibernate,。,Detail,类对应数据库中对应