数据分发平台

1、数据分发平台培训2008年10月20日培训大纲数据分发平台（DSP）简介 flowl ine功能介绍 BI接口在flowl ine上的实现组任务组件功能介绍数据分发平台的设计目的给BOSS框架之外的其他的外围系统提供所需数据 （举例：BASS-经营分析系统大客户系统）减轻BOSS各业务在线系统的压力和1. 0的比较使数据提供方式更灵活;在和第三方厂商协商好相关规范之后，开发工作 迅速简单数据分发平台的主要功能 DSP根据实际的需要对源文件（表）进行数据 处理节点转变成新的文件（目标文件）存 处到另一个指定的位置。主要实现了数据 的的拷贝、复制、分流、过滤、分组等功能。fJl如下图：flowl

2、ine功能介绍 flowl ine基本原理模型一个处理器有1个输入库，可以有1n个输出库， 库是连接处理器与处理器的桥梁，一个库可以作 为多个处理器输出，但只能作为一个处理器输入。数据分发平台数据分发平台框架数据分发平台二BA范二后台任务流程调度进程管理敢据采数据库复制管理数据流监控数据外围处理文件文件后台任务流程调度进程管理 CBS写文件数据分发库 文库文尙成数据内部处理公告发布A数据分发平台和其他系统的关系工具下载地址 90:8080/flowline-ide/在点击此链接前确保你已经安装jre1.4.2以 上版本 啤嘛畐同玄？s 黑弟担辩 霁駆轴能 ii

3、s怅 wTJf 0 口 曙址材-fl.第lai l+o 專 iillni-IIIIDHIIfllta 011 龙ISA 扫lsx Z00800二qn&-=0水一晓誥聲权心； 耦 2TJE.X0 + D y gM雾出32goooUJ-rlq goUJ-rlq zoooUJ-rlq looouuq zoogoouq oogooI-r1q bLnosooI-r1q Igosoouq Ososool-r1q gcosoo-luq Ln(n0lnool-r1q bcosooI-r1q 6CM0 呂 07:q/./Lswid zoogotnlllq 赧罔赠界面与控件介纟界面与控件介纟S dLs界面与控件介

4、纟匡1+申3=3=1 新建流程定义输入流程名、选择文件目录。资源库：作用是创建全局资源类型与库，在用户创 建一个流程后一定有源文件（数据库）与 目标文件（数据库），而每个文件（数据 库）都有不同的类型（字段的个数与类込型）。;-而全局资源类型的创建是为了方便建立流 程图服务的。系统:包括数据库与主机。它的作用就是为了创 建.修改、删除系统的数据库与主机的。在创建一个具体资源库时要指定主机和数据库的具体位置节点方法介绍节点方法介绍复制器：功能跟文件拷贝基本相同不同点 就是他复制多个拷贝分拣器：该节点的功能是：就是过滤符合 要求的数据例如：有一个表(table)有若 干字段(ID, name ,.

5、)我们过滤ID小于 10,放到缓冲池dstl中其它放到缓冲池 dst2语句为：ID = 10? zdstlz: zdst2z o数据分拣器 flowl ine处理器介绍数据分拣器 /仃/ src 上 分拣 W/ t2 /将内存中的数据根据一定的分拣条件分发到不同 的内存块中去。分拣表达式：src. a=4? tl，:src. a=5?:数据分拣器1pcdr_in_01Jinil可观编輯文本編揖1目融跃冷属性1值1名称数据处理1 =描述分按的脚本a=ctx. sourceffame. sub str (0? 1)： a=? a? ?* C? / A?映射处理器 flowl ine处理器介绍数据映

6、射处理器；将内存块中的数据根据处理器中配置的映射规则 写到下一块内存中去，同时在映射过程中支持数 据集的合并以及简单运算。图：数据映射处理器节点方法介绍批处理阶段、交付阶段： ;批处理阶段是交付之前不能提交只能存在于缓 存中，一般使用不多。交付阶段可以包含批处理 阶段，两个节点是用来存放流程图的所有节点。数据流：是流程图的中各个节点的连接符也 是数据流向。关联：缓冲池中的内容与一个或多个文件关联 （这些文件存在某种关系）从而生成新的文件。 （该功能还未能实现）。如何完整的创建一个流程图在系统框中添加一个新的主机地址为（IP）用户名与口令是可以进入该主机的用户。越、匚叫B TEST.GROUT.

7、SKC groupsrc二駅 testlQ test2E 0出漏单YOLii口 u 1A0 budedezE S 10)10 budedez冊eboss亠7飆：樹：|1|l9?.168.5?ll1|testl.B, test2 10岀咖group_src用户名：Ibudedev令：”：棉棉棉榊10 budedev髓：1 )Q budedev911取消如何完整的创建一个流程图创建全局资源库类型在资源库中建立两个全局资源库类型 （ BI接口test经分互动、 BI接口

8、 test经分互动表（增量表，全量 表）分别为源与目标文件服务的全局资源库类型全局资源库类型属性名称描述+资源库类型主机文件目录文件名生成规则文件名提职规则输出文件的摄大记录数 读取后的动作备份目录文件覆盖或叠加fi经分立动入文件班接口让毗经分互动22/gbosEEtja/mddjnw/imr/li sj$ sourceffanieVr$s：qO/gbossst/rrid-ijris/usr/li sj /tak0显性落祈备述4-贸源库类型数据库用戶寿名云询的语句插入前动作临时表名临时表空间删除语句提交方式最大事务的记录数:接口 t 口经分互动表ui cr m4 t a 业数据库CRM4 ti

9、_test_liEj_inc酒空属性名称描述+资源库类型 数据库用戶 表名查询的语句 插入前动作 临时表名 临时表空间 删除语句 提交方式值全呈更新表班接口仏机经分互动表ui边営业数据库CEM4删除相应记录最大爭务的记录数delete from titeztjisj a vhere exi sts (select 1 from ti_test_Li. 指定记录数全局资源库类型-FLOWLINE支持的类型有：数值，字符串， 日期：数值类型为最高19位、日期为8位、字符串 类型不要超过255就可以了字段名类型二f长度丁精度格式描述USER III数值160CUST III数值160BRAND CO

10、DE字符串40添加I删除I上移 I下移1 E元数据配置E整个流程运行：主机bin目录fl testjisjl查看日志：select * from tl_fl_cycle_log在源系统与经营分析系统之间架起一座桥 梁，屏蔽了源系统（源系统包括：BOSS系统、客服系统、网管系 统、0A、其他数据源等，下文所说源系 统与此同）之间的差异，最大限度地减少 了经营分析系统集成商与源系统集成商 之间针对接口问题的重复讨论接口单元的编码规贝I接口单元类别 名称类別代码 字冠说明客户管理01包含客户、用户、帐户、功能、资费、大客户、 VPMN、积分等接口单元，以及Z间的对应关系客户服务02包含客户服务的定单

11、、工单、建议/投诉/咨询受理、 处理等接口单元成员管理03包含员工、运营商、代销商等接口单元资源管理04包含交换机、小区、基站、SIM、IMSI等資源接 口单元计费帐务05包含语音1、短信、WAP等服务使用记录及明细帐 单、综合帐单、呆坏帐等帐务数据接口单元结算06包含结算淸单、结算帐单等接口单元营销与市场调 査07包含营销计划、营销活动等接口单元参数配置与计算原则08包含各种管理参数、业务参数、配置参数、计算 规则等接口单元其他数据09包詮其他需手L录入的数据，或其他系统的数据Bl接口文件命名规则 接口单元编码yyyymmdd序列号.AVL 其中，“XX”为一位大写字母，表示接口数据文件的类

12、 型：I： 一次性抽取数据文件P：日全量抽取数据文件A：增量数据文件M：月全量数据文件 接口单元编码yyyymmdd序列号.CHK yyyymmdd. KPI毎个鮭文件由每亍接口文件临个行姐成毎行末尾加上换行符（Asm码值为MB堆文件分割符是逗OSIR门内容说明柑1 -文件名Q数据文件名心1接口单元名卩接口单元名編玛Q详见接口单元渚单（5位）芒2 文件犬小3数值型QKB为单位Q3 .记录行数松数值型心数据文件记录行数4行舉内容明1 -生成时间4YYYY-MM-LL HH24:MI:SSP文件生成时间C19泣字符串格式H2统计周期卩日或月卩统计周期Q3指标2捋标数值心P指标數值Qn 指标肿指标数

13、值QKPI:客户数新增用户数 GPRS用户数欠费金额 通话时长 实收金额BI接口在flowl ine上的实现营业帐务部分基本原理：根据不同的数据内容和数据周期要求从CRM库、 帐务库等源系统抽取全量或者增量数据到数据分发平台上， 然后做对应的分拣和转换，最后生成对应的接口文件到指 定的主机目录中。帐务库外围系统DSP在fl owl ine上的实现营帐部分；1|增量数据采集方法：iiii|CRM部分：首先以tf_bh_trade为的增量为驱动， 采集tf _f-user的增量数据，然后后续的 tf_f一customer, tf_f_cust person等资料表白勺采 集都是都是依赖于tf_f_

14、user的增量。帐务部分：以tf_a_paylog表的增量为驱动，采 集tf _a.wri teoff log等日志表以及 accountdepos i t等资料表的增量。营帐部分；i全量数据抽取方法：现在全量数据抽取方 式比较简单，从数据分发平台直接连到CRM 等源数据库上，读取对应的数据表（每次读 取的记录条数可以在flowl ine中设定）,将 数据集写到内存中，最后生成对应的接口 文件。DSP在fl owl ine上的实现计费清单部分基本原理：1、计费将批完价后入库前的文件放到备份目录中供分发 平台f trans - cXX进程读取2、统计入库程序将从计费主机上读取的文件做完入库操 作

15、后，备份到DSP主机上的文件目录中3、清单文件转换流程定时将统计备份目录中文件读取到 内存中，经过分拣、过滤等数据处理器转换成一定格式后 生成接口文件。DSP在fl owl ine上的实现计费文件分发提取文件规则分发目录省内GSMVP*:VS*;V0*：VB*/gboss/mddms/interface/boss/data/src/05001V*/gboss/mdilins/interface/boss/data/src/redo 05001GPRSGP*1/gboss/jTiddjns/ int erf ac e/boss/ data/src/050CI2GP*/gboss/mddjns/i

16、nterface/boss/data/src/redo 05002MI SCW*：K*;M=*;U*;P*;C*/gboss/mdims/int erface/boss/data/src/sjW*:K*;U*:P*:C*/ gboss/mddms/ int erf ac e/ bo ss/dat Vsrc/redc-sjSMSM*/gboss/md-lms/int erface/boss/data/src/05005SM#/gboss/md-ims/int erface/boss/data/src/redo 05005SCPpps*;rec*/gboss/md-ns/int erface/bo

17、ss/data/src/05006PS*/gbc-ss/md-lms/int erface/boss/data/src/05007IPD*;acs*/ gboss/nid-ims/int erf ac e/bo ss/ data/src/05012漫游RCMW*;VI*/ gb&ss/mddms/int erf ac e/bo ss/ data/src/0 5040GN*:GI*/ gboss/mddms/int erf ac e/bo ss/dat a/src/0 5041/ gboss/mdiims/int erf ac e/bo ss/dat a/src/0 5042结星提取文件规则分发

18、目录漫游R0W.1SE1IDD*;SD*;K*;I*;Q*;R*；PPS * ;VC* ;G-Y*; IG*；M*/ gTjoss/mddjn s/ interfac e/j s/roain梦网SPoir frH SJI*/ gtoss/fnddjn s/interfc e/ j s/sp/ m ontSM*/ gbo5 s/m ddiTi s/inter f 6/ j s/zp/m ont r e AoMRIM*/ gtoss/mddjn s/ interfac e/j s/sp/mont mriSCPPS*/ gLoss/rnddin s/intGrfa.c e/ j g/sp/montE

19、cpaudit/gljoss/mddjns/interface/j s/sp/m ontauii t数据MISC/ gLoss/nddin s/interfac e/j s/sp/ sjDSP在fl owl ine上的实现计费清单部分清单转换执行周期:1、神州行充值卡、ip充值卡、固定ip、ip 记帐卡这四种清单的数据转换是每天执行 一次；2、GSM清单、GPRS清单等其他所有的清单 数据转换是每一个小时执行一次，所以每 天最多会有2 4个接口文件产生组任务组件功能介绍基本原理组任务组件是运行在UNIX操作系统环境下 的常驻进程。通过定时扫描任务运行参数 表去执行满足执行条件的工作。每个工作 是由一个或多个任务组成，每个任务都是 一个独立的逻辑单元，当所有任务都执行 完毕，此工作才算完成。组件执行过程将 严格按照任务执行线路（路由）进行。每 项工作只有一个任务路由，每个任务路由 是由多条任务路径构成。组任务组件功能介绍工作定义(td_s_work)每项工作都有一个work-id,每项工作的ID 是区别一个工作的唯一标识；每项工作主 要包含的信息有：工作名称、工作的状态、 执行类型、下次执行时间、时间间隔、工 作执行类型标志。现在的系统中只有两种执行类型：定时触 发执行、手工触发执行。Td_s_work每月执行一次：add_mont