电信经营分析系统技术交流.ppt

经营分析系统技术交流 中国电信 经营分析系统 第一部分 公司介绍第二部分 需求说明第三部分 解决方案第四部分 问题交流 目录 Part1公司介绍 第一部分 公司介绍第二部分 需求说明第三部分 解决方案第四部分 问题交流 Part2需求说明 背景 企业经营发展的结果以业务为中心话单量小 业务少 用户少以客户为中心大数据量 业务多 异构数据 决策分析技术发展的结果数据库与数据仓库人工智能数据挖掘联机分析 企业信息化的四个进程 经营分析系统信息流图 建设目标 建立一个统一的数据信息平台采用先进的数据仓库技术和分析挖掘工具 提取数据中的有价值信息为企业的客户服务 市场营销等工作提供科学有效的支撑 提升企业的运营水平和竞争能力 体现以客户为中心的经营理念 建设原则 两级系统 三层结构整合业务数据 面向经营分析能通过多种手段实现业务智能主题可扩充 新增及重构成为业务决策者专业的咨询顾问经营分析系统的开发与建设将分阶段进行 系统功能 支持与各种主流数据库平台 多维分析引擎 数据挖掘引擎和前端展示工具的无缝集成开放的应用程序接口和工具提供统一的数据仓库平台 支持后续应用和扩展可定制化的客户界面统一的用户和权限管理机制 主题分析及专题分析 业务管理模型 Part3解决方案 技术体系结构 主要厂商产品介绍 体系结构 BOSS系统网管客服其它 1数据源 数据源 数据源 省BOSS系统的数据 批价后的详单帐务数据欠费记录缴费记录欺诈记录客户信息资源记录营业记录投诉记录查询记录结算数据人工录入的信息 网管系统的数据热点小区接通率故障信息客服数据投诉信息服务状况其他数据人工输入 数据源细分 计费子系统 通话详单 原始 计费后 详单格式计费使用费率表错误话单结算话单帐务子系统 帐务数据欠费记录缴费记录 缴费方式欺诈记录营业子系统 用户资料及信用度资源使用记录营业厅 营业员资料客服子系统 投诉记录用户查询记录网管系统 接通率数据掉话率数据手工录入数据 市场调查结果记录市场宣传费用和形式记录 流水型增长数据 通话详单 原始 计费后 错误话单帐务数据欠费记录缴费记录欺诈记录资源使用记录投诉记录用户查询记录财务数据物流数据市场调查结果记录市场宣传费用和形式记录变化更新数据 计费使用费率表缴费方式用户资料及信用度营业厅 营业员资料 数据获取层 2数据获取层 数据来源首先直接快速传输到分段存储区 再从分段存储区经过清洗 转换 映射等复杂的数据移动处理转移到目标数据仓库中 以保证数据的快速导入而尽量减小对业务系统造成的压力 有数据库和文件二种方式 分别对应于不同运营系统的数据源 数据集成异构数据源整合 临时存储区 StagingArea BOSS与经营分析系统的连接方案 Sql Load实现方式 1 掌握源文件的文件格式2 定义目的ODS的对应表结构3 编写执行的脚本4 运行脚本5 查看运行的日志 例子 将pt0431文件的记录装载进入表cc test中实现 1 依据文件pt0431格式和表cc test的结构 编写脚本jl ldr LOADDATAINFILE pt0431 INTOTABLEcc test 文件格式与表结构对应关系定义 2 编写控制脚本jl sql sqlloaduserid ht hellocontrol jl ldrlog jl log3 执行 shjl4 查看日志文件jl log Pl Sql实现方式 有些数据需要经过程序处理后才能很好的被使用 例如 基于批价详单来分析话务流向时需要利用详单记录中的Other party字段 Other party可能的存在形式 1795X 固定电话号码 013XH1H2H3H4N1 N4 13XH1H2H3H4N1 N4 00 电话号码 特殊号码 110 119 1861等 172X1X2 只有经过一定的处理 才能分析去话的方向是联通 电信 国际 特殊呼叫等适用于随机获取数据 ETL环境和处理流程 抽取策略 1 对于有时间线的数据增量抽取 例如 服务信息表 由于有处理时间 可增量抽取2 没时间线的数据则完全抽取 例如客户信息表3 明细帐单 综合帐单在出帐后 例如出帐后第二天抽取4 对于文件 象BOSS系统的结算清单 计费清单按文件生成周期实时抽取 3数据存储层 数据存储层 基础数据仓库 数据来源数据结构3NF星型结构雪花结构完整性和有效性检查 对冗余和不一致的数据进行了清洗和转换 数据量将非常庞大 3NF减少数据冗余减少存储容量灵活的扩展能力执行效率相对较低 数据集市 数据仓库的子集 主要面向某特定主题 数据来源对基础数据仓库中数据的复制 分布或聚合数据结构星型结构 Star Schema存在数据冗余相对较大容量维变化时 需重新建立执行效率高 粒度选择 多重粒度级别 中央数据仓库采用低粒度级 例如 客户月通话详单 高细节数据 能回答所有问题 但分析效率较低 数据集市采用高粒度级 例如 客户月通话综合信息 低细节数据 能回答部分问题 但分析效率高 如果高粒度数据也包含分析所需的足够的细节 则高粒度数据的使用效率会提高很多 中央数据仓库与从属数据集市 数据仓库完整构架 BusinessUsers 4数据访问层 信息处理查询和报表分析处理基本的OLAP操作数据挖掘知识发现 数据访问层 举例 话务流向分析维 通话日期 通话时间 对端号码 共3个维 分析指标 通话次数 通话时长实施 建立一个3维的数据立方体 对指标采用切片 钻取 旋转等方法进行分析 多维数分析 时间 日期 对端号码 同一时刻话务流向分析 12 00 OLAP分析方法一 切片 OLAP分析方法一 切片 时间 日期 5月1日 对端号码 同一日期话务流向分析 OLAP分析方法一 切片 流向同一运营商的话务量分析 时间 日期 联通 对端号码 时间 日期 对端号码 OLAP分析方法二 钻取 在同一个维上 按不同的层次来分析 OLAP分析方法三 旋转 基于WEB的展现方式 对数据进行可视化的分析 分析结果的展现方式有以下几种 并且各种形式之间可以相互的转换 1 柱状图 2 相对柱状图 3 累计柱状图 4 饼图 5 散点图 6 折线图 7 趋势图 8 网页表格 9 表格中的数据倒出到Excel报表 WEB展现示例 柱图 WEB展现示例 3D柱图 5元数据 关于数据的数据技术元数据操作元数据业务元数据贯穿全过程 元数据管理 元数据管理 业务定义 属性定义 DA DBAToolErwin 抽取规则 转换规则 ETLTool 报表格式 过滤 分割等 DSSTool 数据库元数据 元数据库 双向自动 无连接 业务定义 OtherExcel HTML BusinessUsers 数据仓库开发 元数据管理 Intranet Extranet Definitions Domains Names 6系统管理 安全备份 安全体系结构 系统安全 安全的层次每个层次均需要相应措施保证数据库 应用 网络网络层防火墙电子认证加密 安全层次 数据库层密码数据库权限控制应用层安全用户身份认证按照操作对象和操作类别规定各操作员的权限保证身份的有效性和不可抵赖性采用口令 密码方式 可以向数字证书升级数据加密服务和数据权限 容灾与备份 概述 什么灾 火灾 地震 洪水 系统故障 硬件 操作系统 数据库 应用故障 设计时考虑不周误操作黑客入侵 故意破坏容灾方法以备份系统代替主系统 并及时恢复主系统数据复制其它 地理分布 电源 网络等的高可用性 容灾与备份 数据备份策略 数据备份的层次物理视图逻辑视图 DB 数据库模式 应用 数据备份的方式联机复制同步 异步 状态脱机备份防止 误操作型 灾难数据备份的目标一致性 当前性 可恢复性 尽量减少数据丢失及尽快恢复 容灾与备份 数据复制层次 主机 硬盘 DB 文件 表 应用 内存 备份机 硬盘 DB 文件 表 应用 内存 输入 输入 物理视图 DB视图 数据库模式视图 应用视图 复制或转移 Part3解决方案 技术体系结构 主要厂商产品介绍 产品供应商 IBMCorp OracleCorp SASInstituteMicrosoftCorp MicroStrategyInc CABrioTechnologyBusinessObjectsInc Cognos 产品供应商 DatawarehousesOLAPDataminingReporting QueryingandbusinessintelligenceETL OracleSybaseSASDB2NCR BI SASDB2OlapServerOracleExpressBusinessObjects OLAPaccess SASDataminingGeneva PwC IntelligentMiner Visualization IBM MineSet SiliconGraphics VisualInsights Lucent BusinessObjectsBrioAdaptiveServerIQmultiplex Sybase ActuateHummingbirdsuiteNUMA Q2000 IBM PilotBalancedScorecard OWBInformaticaCADataTransformerSAS WA Best Worst Relativetoallplatforms includingS 390 updatedApril2001 Copyright 2001 数据仓库比较 Copyright 2001 IBMDB2 IBM数据仓库解决方案 DB2WarehouseManager 管理工具 DB2Visualwarehousing ETL DB2UDBV7 2数据仓库 DB2OLAPSERVER MDB 查询人员 分析人员 Hyperionanalyzer 决策人员 IBMIntelligentMiner数据挖掘 DB2WarehouseManager DB2UDBV7 2数据集市 DB2UDBV7 2数据集市 EnterpriseInformationPortal IBM数据仓库的特点 提供大型数据库DB2作为数据仓库的存储数据库 DB2性能优异 提供从桌面机到工作站 小型机 大型机的良好扩展性提供VisualWarehousing作为数据抽取工具 VW能够从广泛的数据源抽取数据 并且在大数据量的抽取中充分显示了速度优势提供多维型 关系型两种Cube的实现方式提供功能强大的访问Cube的查询语法QueryScript在所有同类产品中提供最强大的分区功能 QueryPerformance 10 DataManagement 10 Challenges Strengths Performancestandardforvery largedatawarehousesanddatamartsManageability lownumberofDBAsrequiredQueryoptimizationsupportforcomplexdatamodelsSupportforconcurrentqueryworkloads Lackofplatformchoice confusion DelaysonNT MPPAbilitytoexecutewellAbilitytokeepcurrentcapabilityleadMarketingandpositioningforbroadermarketHigherinitialcostofsolutionBItoolandapplicationsupport ProvenDWTrackRecord 10 ConcurrentQueryManagement 10 PlatformSuitability Scalability 10 DataAdministration 9 CommonTopology Useraccesstothedatawarehouseandfewdatamarts NCRTeradata Copyright 2001 Oracle Oracle数据仓库解决方案 Oracle9iEnterpriseManager 管理工具 Oracle9iWarehouseBuilder ETL Oracle9i数据仓库 OracleDiscovery即席查询 查询人员 OracleReports预定义报表 分析人员 OracleExpressOLAP 决策人员 OracleDataMining数据挖掘 OraclEPortal ExpressServer MDB Oracle数据仓库的特点 提供RDBMS和MDDB两种数据存储结构 Oracle功能强大 提供了良好扩展性 提供了功能强大的系统管理界面支持超大型数据仓库 并提供多种优化手段和针对数据仓库的特征 如分区 位图索引提供功能强大的访问Cube的查询语法Expresscommand提供OracleWarehouseBuilder作为数据抽取工具 OWB提供功能包括 模型构造和设计 数据提取 移动和装载 元数据管理 分析工具的整合 以及数据仓库管理 具有开放可延伸的框架 Sybase数据仓库解决方案 Relational Package Legacy Externalsource DataCleanTool SourceData DataStaging WareHouseAdmin Tools EnterpriseDataWarehouse DataExtraction Transformationandload Datamart Datamart Enterprise CentralDataWarehouse RDBMSROLAP RDBMS RDBMS StarSchema ArchitectedDatamarts CentralMetadata LocalMetadata LocalMetadata PowerMart SybaseIQ SybaseIQ Cognos PowerMart WarehouseArchitect WCC Brio BO SybaseASE Sybase数据仓库的特点 按列存储 有很高的压缩比例PowerMart能够在一个统一的界面中将用户定义的转换规则 Schedule 权限设置 数据源和目标等等数据抽取定义通过有效的方式管理起来 方便整个数据抽取工作的管理AdaptiveServerIQ不仅使用了基于值的位映射 bitmap 算法及传统的b tree算法 还使用了Sybase有专利权的位式 bit wise 索引IQwithMultiplex可以支持无限的用户访问数据仓库 系统硬件拓扑图 SAN典型结构 存储方式比较 存储估算 数据仓库数据3NFStar Schema数据集市Star SchemaCube 3NF计算公式 总容量 源数据i 1 索引因子 RAID因子源数据i 单条记录字节数 记录数 人 天 用户数 有效用户系数 天数 月 保存月数说明 索引因子 0 7RAID因子 1 25记录数 人 天 8用户数 有效用户系数 200万 600万 1200万天数 月 31保存月数 N注 以上计算基于Oracle数据仓库引擎 Star Schema的计算 维表用来描述属性数据 通常数据量很小 可以忽略不计 事实表记录的大小取决于分析的内容 包括每个维值的代码和汇总数值的大小 记录的数量取决于分析维度的多少和每个维度可能出现的值的个数 事实表大小 事实表记录大小x各维值取值数x压缩比因子业务主题总数据量 各事实表大小的总和星型数据存储量 业务主题总数据量x 1 索引因子 xRAID因子 存储估算 600万为例 语音业务用户本地话单每年存储量为 230 8 600万 31 12 4 11T漫游话单每年存储量为 230 10 8 600万 31 12 0 411T语音业务用户话单每年总存储量为 4 11T 0 411T 4 521T 数据业务及其他新业务本地话单每年存储量为 400 20 8 600万 31 12 1 44T漫游用户话单每年存储量为 400 20 10 8 600万 31 12 190 4G数据业务及其他新业务话单每年总存储量为 1 44T 190 4G 1 63T 存储估算 600万为例 结算话单结算话单每年存储量为 200 600万 8 8 10 50 31 12 1 97T每年话单存储总量为 4 521T 1 63T 1 97T 8 121T 存储估算 600万为例 营业部交易记录基本上是每个客户有几条记录 但相对稳定 不会大量产生 也不随时间爆炸性增长 估算为0 6T 年 客服数据也会随时间增长 但增幅远小于话单数据 估算为0 6T 年 存储估算 600万为例 客户资料数据相对稳定 以后随客户数量的增加而增长 其增幅也不大 估算为0 6T 年 总容量结合上述因素 总的存储空间为 8 121T 0 6T 3 1 25 12 4T 存储估算 600万为例 主机性能测算 TPC CTPC Cisanon linetransactionprocessingbenchmarkTPC HTPC Hisanad hoc decisionsupportbenchmarkItconsistsofasuiteofbusinessorientedad hocqueriesandconcurrentdatamodifications TheperformancemetricreportedbyTPC HiscalledtheTPC HCompositeQuery per HourPerformanceMetric QphH Size 影响因素 源主机源数据库网络带宽数据量 主要 目标主机 主要 目标数据库 主要 HPSuperdome Oracle IBMSP DB2 NCR SUN Oracle 特别提示 Oracle9iWarehouseBuilderUnleashingWorldRecordPerformanceMarch2002采用HPSuperdome Oracle发布 测试环境 主机 数据库 DatabaseInformation Oracle9 0 1 1EnterpriseEditionHPSuperdomeEnterpriseServer 64552MHzPA RISC8600CPUseachwith512KBI cache 1MBD cache 128GBMemory64PCIFibreChannel2XCard1HP1000BaseSXPCILanAdapter4SureStoreEDiskArrayXP512 withatotalof74418 2GBDisks 1HighAvailabilityStorageSystem withatotalof39 1GB10KRPMLVDDisks OSusedisHP UX11 i64 bit 测试环境 数据量 测试结果 第一部分 公司介绍第二部分 需求说明第三部分 解决方案第四部分 实施和服务第五部分