省BI常识及数据核查.ppt

省BI常识介绍及数据核查 潘承 BI常识 什么是BI 为什么要BIBI是businessintelligence的简称 我们现在所做的广东移动经营分析系统面向的直接客户是广东省移动 主要有两方面的功能 一是预测功能 根据数据变化的趋势预知经营目标是否可以实现 第二个是考核功能 对数据按需要的条件进行各维度的汇总统计 此外还包括有配合中国移动集团公司 一经 和各地市分公司开展工作的功能 BI常识 计费实时清单文件TO CDR TS CDR 关于时间CALL DT 用户的通话日期DEBET DT 计费的批价日期 和实时清单文件名中日期对应 每地市每15分钟一个批价文件 清单中IMEI字段的最后3个数字对应于清单文件序号 TM INTRVL CD BI统计日期 一般由存储过程IN参数传入 或者取自源表的TM INTRVL CD关于类型BUSI TYP CD 业务类型 有REF TR BUSI TYP对应DIR TYP CD 方向类型 有REF TR DIR TYP对应FEE TYP CD 费用类型 有REF TR FEE TYP对应 BI常识 PRDCT CD 产品类型 有REF TR PRDCT对应ROAM TYP CD 漫游类型 有REF TR ROAM TYP对应TOLL TYP CD 长途类型 有REF TR TOLL TYP对应IN ROUTE CD 入路由 涉及SP的清单 前6位对应SP企业代码 与ODS TO SP CODE对应B NBR 对方号码 涉及SP的清单 对应SP服务代码 与ODS TO SP SERV对应ROAM NBR 漫游号码 涉及SP的清单 对应SP业务代码 与ODS TO SP SUBBUSI对应LOCAL CD CELL CD 位置 小区代码 与REF TR CELL对应 BI常识 关于时长 费用CALL DUR 时长 语音通话的时间 单位秒CALL CNT 次数 业务的次数CALL FLUX 流量 数据业务的流量 单位KBTOLL DUR 长途时长 由通话时间按6秒倍数得到 单位秒DISC MOB TOLL INF FEE 二次批价的费用 BI所用基于实时清单文件的骨干表用户日通话信息表EDS TW USRCALL DAY YYYYMM每天对21个地市清单信息汇总 不分号码 BI常识 业务量日统计表JFDM TM BUSI USE DAY每天对日通话信息表进行汇总 不分本方和对方AREA CD用户月通话信息表EDS TW USRCALL MO AAYYYYMM每月分别对21个地市清单信息汇总 号码级用户消费层次资料表JFEDS TW USR CNSM RNK AA每月对月通话信息表和销帐日志表费用汇总 号码级两个重要字段 通信用户标识CALLUSR IND 考核用户标识VAL2 USR IND日累计通信量与话费表TO DUR FEE DAY YYYYMM每天统计号码的累计费用和折算话费以供后续统计每天的通信用户数和考核用户数 BI常识 最新通信用户情况表ODS TO CMNCT USR每天根据清单表取得新号码或者更新已有号码的状态合作服务方日通话信息表EDS TW CMPTCALL DAY AAYYYYMM每天根据清单表的对方号码取新号码联通语音用户资料表ODS TO UNI VOCUSR每天根据合作服务方日通话信息表取得新号码或者更新已有号码的状态合作服务方最新用户资料表ODS TO CMPT USR每天根据合作服务方日通话信息表取得新号码或者更新已有号码的状态 BI常识 用户小区信息月汇总表EDS TW CELL USE MO AAYYYYMM每月对清单按位置代码 小区代码进行汇总 号码级用户新业务使用情况日统计表EDS TW USR NBUSE DAY AAYYYYMM每天对清单表中增值业务记录做号码级汇总NEW BUSI CD区分各种数据业务类型帐单文件客户帐单ODS TO CUST BILL AA数据来源于区域BOSSFEE ITEM CD 费项编码 有REF TR FEE ITEM对应 BI常识 客户月消费EDS TW CUST CONSUME YYYYMM每月对BOSS帐单按用户汇总MO AMT FEE 当月总费用计费月帐单ODS TO DEBT BILL AAYYYYMM数据来源于计费BILL TYP CD 帐单类型 查旧计费系统接口文档说明用户最新用户资料表ODS TO USR数据来源于区域BOSSUSR STS CD 用户状态编码 与REF TR USR STS对应包含割接地市的智能网用户资料 BI常识 最新智能网用户资料表ODS TO IUSR数据主要来源于智能网IUSR TYP CD 用户类型编码 与REF TR IUSR TYP对应IGROUP NO TAOCAN TYP 确定号码的子套餐类型CZ HY HZ JY MZ ST SW的动感地带资料在ODS TO USR中FS ZH的动感地带数据来源于IBOSSJM的动感地带数据来源于OCX历史集团用户资料表EDS TW GUSR YYYYMM数据主要来源于每月的用户资料月全量和集团产品关系月全量根据产品维表限制为集团产品类型 非个人产品类型USR NBR 用户号码 对应于集团产品号码 BI常识 号码服务功能用户定制功能表EDS TW USR FUNC YYYYMM数据来源于区域BOSS 用户ID包含割接地市的智能网用户定制功能资料智能网号码服务功能关系表EDS TW IUSR FUNC YYYYMM数据来源于区域BOSS 用户号码智能网用户定制功能资料 BI常识 集团业务标准化产品数据表EDS TW CORP STDPRDCTUSR VALID IND 集团用户有效标识成员到达数据来源于EDS TW CORP PRDCT MEMBER YYYYMM收入数据含两部分 标准化产品的帐单收入以及集团产品的成员收入行业应用数据表EDS TW CORP INDAPPLY DATA数据通过服务代码在清单和计费帐单统计 BI常识 作业调度GDBI 02GDBI代码 08配置数据 调度配置 DSS配置文档 xlsJOB PARAM DEF 作业参数定义JOB REF 作业依赖JOB TIME REF 作业时间依赖TA ETL DS DEF ETL数据源定义Showref工具参数0和3 查询作业是否完成参数4 6 查前续作业参数7 8 查后续作业 BI常识 ch1 cx etl dssprog checkpointJob event dat 作业事件 记录已完成的作业依赖Job queue dat 作业队列 记录正在等待系统分配资源作业作业运行情况表CTL JOB INST 1INST STATUS 0代表出错 1是完成 2是正在运行记录装载情况表CTL TA ETL ERR LOGPROCESS STEP 1代表清洗 2代表转换 3代码装载SOUR RECORD 源文件记录数SUCCE RECORD 成功记录数FAIL RECORD 失败记录数 与对应数据源目录下的 rej文件对应 错误原因在 exp文件中有描述 BI常识 转换表REF TT BOSS REFDIM CD 转换序号 查相关的转换程序可以知道数据源编码和BI转换编码的对应关系 常用的如CMCC BRANCH CD 34 FUNC CD 14 FEE ITEM CD 28S CD 源代码D CD 目标代码 数据核查步骤一 明确申告所指经分系统页面路径或者导出文件名称例如KPI 市场竞争 日 本月累计通信考核客户新版共享文件夹 个人业务 AA VALUSR M ValUsr new YYYYMM AA地市 数据日期 数值申告原因例如数据未展示 数据为0数值突减 突增 数据核查步骤二 从数据库中得到对应的申告数值通过前端测试机 10 200 4 119 9080 的XML得到SQL语句条件通过GDBI代码 03一经代码 配置数据 GIF TYJ EXPORT JOB DEF TXT得到生成导出文件的SQL语句通过SQL条件语句从库表中得到展现的数值以明确申告所指的字段改变数据日期 地市 品牌等条件得到对比数据 数据核查步骤三 分析原因差异原因通过GDBI代码 08