湖南联通经营分析系统讲稿.ppt

,联通,统一经营信息服务平台,交流内容介绍,东方国信简介系统建设背景系统的建设方案数据仓库的建设信息服务平台组成数据挖掘交流与探讨,一、公司介绍-基本情况,北京中关村科技园区高新技术企业信息产业部软件企业认定证书主要客户群：电信运营商,人员结构：博士研究生：4%硕士研究生：16%本科生：70%其他人员：10%,技术状况CRM/WorkFlowCallCenter/IVR/ACD/CTIOS:UNIX/WindowsDB:ORACLE/SYBASE/INFORMIX/SQLServerC+/DELPHI/JAVA/J2EE,客户市场,客户关系管理经营分析与决策支持计费帐务系统呼叫中心综合语音平台,合作伙伴SAS/COGNOSSAP/SPSSIBM/MICROSOFT,售前支持市场开拓产品营销,产品开发产品测试质量管理,服务体系工程实施客户保障,辅助部门,东方国信-市场情况,客户关系管理经营分析与决策支持呼叫中心系统综合帐务系统综合语音平台,长春办事处西安办事处内蒙办事处上海办事处办事处广州办事处办事处,反应迅速，沟通及时,东方国信-质量保证,软件设计及质量保证：严格、详细的需求调研采用标准化软件设计方案详细的文档要求版本控制软件测试（综合性/模块性）阶段性评定,东方国信-服务体系,公司的生存：产品-客户-服务工程实施前期现场勘测，取得客户的现场情况工程界面的细分多工程组的并行实施，核心技术人员综合支持工程文件的交换与认定现场培训售后服务培训计划支持电话/现场服务承诺产品升级与更新,双赢,硬件-主机产品,硬件-外设产品,硬件-网络产品,软件-数据库,软件-中间件,软件-统计分析,东方国信客户服务中心,客户关系管理系统,综合计费帐务系统,客户服务中心系统,综合语音平台系统,客户,经营分析与决策支持,联通公司面临的挑战联通对统一经营信息的基本需求统一经营信息服务平台建设的必要性,二、系统建设背景,WTO,国外电信巨头,行业背景挑战,市场,三、系统建设方案,硬件组网方案图主要服务器列表系统实际的物理主机系统外购软件物理承载服务器处理性能指标主机性能分析的一些知识ODS/ETL服务器性能分析DW/OLAP/WEB服务器性能分析系统存贮容量要求ODS存储容量要求数据仓库存储容量估算整个数据仓库的容量,硬件组网方案图,主要服务器列表,按照完整的经营分析系统的建设，从逻辑上讲应用服务应包括：ETL服务ODS服务DW服务报表服务OLAP服务WEB服务元数据信息服务数据挖掘服务元数据信息和数据挖掘服务功能可以考虑在二期建设完成，其它服务功能在一期开始建设。,系统实际的物理主机,系统外购软件物理承载,系统外购软件物理承载分布DW/ODS/ETL服务器承载软件数据库软件：如Oracle9i、SybaseASE+SybaseIQETL软件：如CAAdvantageDataTransformer、InformaticaPowerMart元数据管理软件：如CAAdvantageRepositoryOLAP/WEB/报表服务器承载软件OLAP软件：如CognosPowerPlayEnterpriseServerWEB/报表软件：CognosImpromptuWebReport,服务器处理性能指标,服务器处理性能指标服务器处理能力应以未来3-5年考虑，到2003年底，全部业务的用户数估计达到250万，以此计算ETL/ODS/DW服务器的TPMC值接近4万，采用类似IBMM85或HPrp7410档次的小型机，比较符合未来发展的需要；从功能上分析，报表/OLAP/WEB服务的处理能力应大于或等于ETL/ODS/DW服务器的TPMC值，所以系统采用两台小型机来完成全部服务功能。,主机性能分析的一些知识,TPMC衡量服务器处理处理能力（每秒钟处理事务的能力）配置的操作系统处理的数据估算应用的事务要求，来反推主机的要求主机TPMC值是通过实验手段取得的；特定配置的主机硬件特定配置的操作系统特定配置的数据库系统其配置中任何一项的变化都可能会对TPMC值有很大的影响TPC-H针对决策支持系统中的即席查询，应当采用TPCH（每小时处理的性能）作为衡量主机处理能力的指标。这种指标处理是面向大量的即席查询和并发的数据修改操作。这种处理用户往往不知道要查询什么数据，不能对预见的数据进行优化工作。TPC-R它也是以每小时处理能力为计量单位的。这种指标是在用户知道要查询什么数据，并可以对可相应的数据表进行优化。,ODS/DW/ETL服务器性能分析,以详细话单汇总和分析为例来分析主机的性能。估算条件：(可以根据实际情况进行修改)总用户数按250万计算每天每用户按5个话单分析过程：每分钟处理：（用户数）250万*5/24/608681峰值处理：8681*2=17362需执行约8个SQL语句，则估算一个话单汇总处理业务相当的TPC-C值为：8*0.45/4=0.9TPC-C话单汇总和分析，的TPC-C值要求满足：17362*0.915626假设其他经营分析的TPC-C总和与话单分析的TPC-C相等。15626*2=31252考虑25%的冗余（系统其它开销）：主机性能=31252*1.25=39065支持到2003年底的主机性能的TPC-C值约为39065,ODS/ETL服务器完成的功能：1.从源数据到ODS地抽取、清洁、转换和装载2.从ODS到DW地抽取、清洁、转换和装载3.在ODS中保存接近当前业务的数据,根据TPC-C的标准：tpmC值是根据标准模型中New-Order事务的处理数目来计算的一个New-Order事务由平均4-5个SQL语句处理完成整个测试的执行过程中，New-Order处理占45%。,报表/OLAP/WEB服务器性能分析,DW/OLAP/WEB服务器主要完成的功能：1数据仓库的数据存储2对数据进行OLAP分析3提供用户的连接4提供WEB展现功能从功能上分析，该服务器既有OLAP处理，又有OLTP的处理。是两种应用的结合，因此，在性能的分析上，我们要进行了综合考虑。OLAP分析的时长是与数据量有一定的关系的，也就是数据量的增加，相应的分析时长也会增加。OLAP数据模型的生成要对数据库进行OLTP处理，所以该服务器的性能应大于或等于ODS/ETL服务器的TPC-C值。,系统存储容量要求,系统存储容量系统目前建设的存储容量应先考虑到2003年底，到2003年底，联通全部业务的用户数估计达到250万，以此计算ODS/DW数据库的存储容量为2.837TB系统使用两台小型机采用双机群集方式运行，充分利用公司现有营帐的EMC8430，相应扩展其存储容量。,ODS存储容量的估算,估算条件：用户数(万)：250万存储时间（月）：6月调整因子：0.25注：该用户数为联通全部业务（GSM,CDMA,193,165,固定网等）以GSM为准折合的用户数。,数据仓库存储容量估算,二、数据仓库存储容量估算：计算公式：(XY)Z*(Z*ZB+XYB)*T*WZ*S*SE,整个数据仓库的容量,三、整个数据仓库的容量：ODS容量+数据仓库容量(G)=656.21+1314=1970.21G,系统的存储容量(G)=整个数据仓库容量*（1+系统因子系数）*RAID5因子数=2.837T,系统的物理磁盘存储容量：,系统总体处理流程,数据格式检查,数据,系统管理,数据装载至收集层,收集层数据抽取、转换,数据抽取、清洁、转换,数据仓库数据装载,标准报表数据文件/报表生成,数据仓库接口,OLTP查询,OLAP,统计报表,综合型EIS报表,总部标准数据文件/报表传输,总部统一经营信息服务子系统,生产系统数据,ERP系统,OA系统,数据采集,数据加载,数据分析,信息展现,外购软件分布,CAAdvantageRepositoryExchangeforDB(Oracle,DB2,Informix.),CAAdvantageRepositoryExchangeforApplication(SQL,PowerBuilder,C+.),CAAdvantageRepositoryDataShopperOption,CAAdvantageRepositoryEngineforDistributedSystem,元数据管理,CAAdvantageDataTransformer,ETL工具,Oracle9iDatabaseEnterpriseEdition,数据仓库存储工具,SybaseASE+SybaseIQ,Informatica,外购软件分布,ImpromptuWebReport,PowerPlayEnterpriseServerForUnix6.6,ImpromptuAdministrator6.0ImpromptuUser6.0TransformationServerforUnix6.6PowerPlayUser6.6,前端分析展现工具,ETL工具的比较,前端工具软件介绍,数据仓库前端展现工具的比较：主要是3个厂家的产品：BusinessObject,Brio,CognosPowerPlay。,应用软件功能介绍1,应用软件功能介绍2,应用软件功能介绍3,备份策略,元数据全部数据文件备份缓冲区层数据不备份ODS层数据不备份仓库层的数据维表：表空间整体备份（文件）事实表：按月备份（磁带/文件）Cube数据将Cube文件备份日志数据将日志文件备份（一般只用于查看）,培训内容介绍-应用培训,原厂商培训,工程实施计划进度表,工程实施计划细分,第一阶段：系统定货阶段（包括与相关公司的配合）合同签定起，立即启动定货程序第二阶段：需求分析阶段（包括应用需求、流程调查）组建工程小组（东方国信10人，局方不少于2人）由工程小组（2人）、项目开发小组（5人）、行业专家（3人）、用户代表（不少于3人）等进行需求的细化形成需求分析书，做为工程初验时要实现的目标第三阶段：系统设计阶段工程小组开始实施（5人），项目开发小组（8人），行业专家（3人），用户代表（不少于2人），共同实施工程。第四阶段：工程实施阶段工程小组开始实施（12人），项目开发小组（4人），行业专家（2人），用户代表（不少于2人），共同实施工程。由测试小组（东方国信4人，局方不少于2人）进行系统测试第五阶段：调试试运行阶段（包括试运行和系统调整）工程小组开始实施（12人），项目开发小组（4人），行业专家（1人），用户代表（不少于3人），对工程的试运行进行观察与维护。第六阶段：系统维护人员培训阶段（包括正式运行、维护）东方国信培训讲师（4人）对局方操作人员、维护人员进行统一培训。,四、企业数据仓库的建立,数据仓库的建立过程数据采集数据仓库装载生成产品的信息模型数据仓库信息模型操作数据存储（ODS）信息模型系统管理信息模型,数据仓库特点,管理大量数据管理多介质索引/监视数据多种技术的接口设计者对数据存放位置的控制数据的并行存储/管理元数据管理语言接口数据的高效装入高效索引的利用数据压缩复合键码变长数据加锁管理单独索引处理快速恢复其他的技术特征,产品数据流图,数据仓库的数据采集流程,数据仓库的数据加载流程,操作数据存储（ODS）信息模型,客户基本资料客户定购资料营业模型套餐和优惠定购模型帐务模型资源管理模型结算信息模型客服信息模型话单清单模型,数据仓库信息模型,主题维表事实表,经营信息分析的主题,帐务信息分析计费信息分析缴费信息分析结算信息分析营业信息分析客服信息分析代理商信息分析其它信息分析,客户发展分析客户构成分析客户价值分析客户保持分析客户行为分析客户欠费分析客户流失分析客户服务分析,系统管理信息模型,日志管理信息模型安全管理信息模型系统监控信息模型数据采集/数据上报信息模型调度管理信息模型,经营信息服务平台架构,五、信息服务平台组成,智能分析模块,报表系统实现原理,统计型报表的生成过程,分析型报表生成过程,表现方式,钻取,报表发布,传递动作：推和拉,推,邮件发送一个报表邮件文件服务器工作组级文件共享定时刷新定时运行报表刷新分布列表发送到选定的成员处,最终用户,标准报表,拉,Web流览器,报表的更新和维护,数据仓库,领导决策信息系统,综观全局的能力细致分析的能力快速方便的获取所需的信息针对高层管理人员的需求,综合查询服务,元数据管理,元数据,数据,图例,系统管理,在数据中发现有价值的规则或者模式,女性对市场活动做出回应，男性对市场活动不做出回应，和年龄无关,六、什么是数据挖掘（一）？,数据变的复杂会如何？,女性对市场活动做出回应，老年男性也可能对市场活动做出回应,什么是数据挖掘？（二）,数据挖掘可以从异常复杂的数据中发现规律,通过数据挖掘发现回应的5条规则：1、如果收入大于29622，有孩子，并且孩子的数量小于等于2，那么对市场活动会回应,通过数据挖掘发现不回应的5条规则：1、如果收入小于12640.3，并且有一个孩子，那么对市场活动不会回应,什么是数据挖掘？（三）,数据挖掘收益分析（一）,目的：发现新客户(使响应率从1%提高到1.2%),数据挖掘收益分析（二）,数据挖掘的技术思路,客户分群可以针对不同的细分市场采用不同的营销策略流失分析确定易于流失人群的特征，从而可以采取有效的措施减少流失客户价值评估对客户的历史价值、现在价值和未来可能的价值进行分析，从而确定哪些客户是公司的“黄金”客户欠费分析对客户的欠费行为进行监测，对易于欠费的客户特征进行描述，从而有效的制定移动公司的信用策略,返回,数据挖掘问题类型分类商业角度,数据描述和汇总(Datadescriptionandsumarization)细分(Segmentation)概念描述(Conceptdescriptions)分类(Classification)预