基于IBM电信商业智能的解决方案

IBM电信业商业智能解决方案,议程,数据分析与决策支持系统面临的挑战IBM商业智能解决方案简介IBM方案优势,电信企业的需要,帐务统计收益分析网络、基站运维分析绩效考核客户关系管理风险预测市场竞争分析.,帐务统计、分析,日、月统计报表月结算报表营业收入统计、分析资费来源统计、分析业务量统计、分析.,收益情况分析,收入总量分析及预测收入增量分析及预测ARPU分析及预测收入结构分析及预测大客户收入情况分析及预测客户交费情况分析及预测客户欠费情况及其结构分析及预测新增客户交/欠费情况分析及预测欠费回收情况分析高额/欺诈分析销账分析,市场竞争分析,市场占有率分析及预测市场需求分析及预测竞争对手发展情况分析及预测各竞争对手的市场营销分析供应商市场行为特征分析合作商市场行为特性分析,业务发展分析,业务量发展分析及预测业务增量分析及预测MOU分析及预测新业务使用量分析及预测业务资源使用特征分析及预测大客户使用业务量的特征分析及预测大客户使用业务的特征分析及预测流量和流向特征分析及预测,客户分析,客户总量分析及预测新增客户分析及预测客户净增量分析及预测客户流失量分析及预测客户转网量分析及预测大客户发展分析及预测客户消费能力分析及预测客户消费习惯/爱好分析及预测客户信用度分析外来用户分析模拟用户分析储值卡用户分析潜在用户分析零次用户分析一户多卡用户分析,客户关系管理及市场策略,发现优秀客户发现易流失客户群调整产品定价发现客户行为模式开发新产品交叉销售.,网络、基站分析,基站配置与话务量分布情况分析分析各时段各基站/交换机的负载情况网络收益分析网络容量分析网络安全分析热点小区分析路由分析等,服务质量分析,客户服务质量分析客户服务时限分析客户咨询查询焦点分析客户投诉焦点分析大客户服务质量分析客户满意度分析客户忠诚度分析,营销管理分析,市场价格分析营销渠道作用分析代销代办酬金分析营销人员素质分析营销宣传市场效果分析促销行为市场效果分析,综合决策分析,决策取向模拟分析决策行为市场操作模拟分析决策行为市场效果模拟分析,绩效考核,分公司绩效考核营业部绩效考核营业员绩效考核.,当前状态,营业系统,结算报表,CRM,局长信息系统,挑战：信息孤岛,财务系统,市场促销数据,客户数据,营业数据,呼叫中心数据,建立数据仓库、实施商业智能,生产系统,数据仓库,OLAP,智能挖掘,如何实施商业智能,IBMBI解决方案产品,IBMBI体系结构,什么是数据仓库,数据仓库是指从业务数据中创建信息数据库，并针对决策和分析进行优化。数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。数据来自多个数据源，并整合到一个数据库中。在数据整合的过程中数据要经过聚合、摘要和清洗。,不同的数据用于不同的目的,面向主题集成比较稳定包含历史数据支持管理决策,面向应用有限集成经常更新仅有当前值支持日常业务运作,业务数据,信息数据,业务数据和信息数据根本不同！,TrustAccounts,CheckingAccounts,LoanAccounts,LoanAccounts,年,月,日,AccountHistory,建立数据仓库的过程,DB2DataWarehouse体系结构,数据仓库代理(Agent)技术,数据仓库控制服务器(WarehouseControlServer)时间表启动从控制数据库中获取商业视图定义启动代理(通过代理后台进程)循环:-接受和记录结果-更新客户端显示,数据仓库代理(Agent)响应VW管理器循环:-接受命令-执行命令-报告状态,DB2UDB高度并行的海量数据库,SQLQuery,QueryOptimizer,BestQueryPlan,ThreadedCode,Compile-Time,Run-Time,Agent,Agent,Agent,Prefetchers,Singlequeryinvolves1coordinatingagentnsubagentsmprefetchers(shared)AllexecutinginparallelonavailableprocessorsCombinationof.DataparallelismEachagentworksonsubsetofdataDatadynamicallyassignedsousernotrequiredtopartitiondataFunctionalparallelism(pipelining)Eachagentworksondifferentqueryfunction,e.g.scan,sortAlsoenablesParallelIndexCreateParallelBackupandRestoreAllowsmultipleprocessestoreadorwritedatato/fromthedatabaseParallelLOADExploitationofmultipleprocessorsduringload,particularlyforparsing/converting/formattingdata,节点内部并行,ParallelEdition-style(shared-nothing)DataparallelismthroughhashpartitioningPartitionscanbe.PhysicalonMPPorclusterLogicalonSMP,Run-Time,Agent,Prefetchers,Agent,Prefetchers,Agent,Prefetchers,node0,node1,noden,SQLQuery,QueryOptimizer,BestQueryPlan,ThreadedCode,Compile-Time,节点间并行(数据库分区间并行),.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,SingleDatabaseView,ParallelOptimizer,UserQuery,Node(CPU),Node(CPU),Node(CPU),Node(CPU),Shared-nothingsoftwarearchitecturesupportsIndependentphysicalnodesSeparateCPU,memory,anddiskIncludingSMPnodesORMultiplelogicaldatabasepartitionsonsinglelargeSMPServerInterpartitioncommunicationiscrossmemory,notcrossnetworkDataispartitionedacrossnodesautomaticallybyhashingEverythingoperatesinparallelSelectInsertUpdateDelete,Backup/restoreLoadCreateindexReorg,充分利用分区数据库的能力,SocialInsuranceNumber,Name,Location,123-456-789,JoeBoston,Toronto,PartitionKeyvalueHashedto:8,VectorPosition,0,1,2,3,4,5,6,7,8,9,10,11,12,.,Node,1,2,3,1,2,3,1,2,3,1,2,3,1,.,DB2,DB2,DB2,PartitionMapDetermineshomeforrowCanbeadjustedfordataskewusingtheREDISTRIBUTEutility,Hash分区和分区映射表,BlendsbestofMPPandSMPstyleofparallelismIdealforSMPclustersMostflexiblehardwaresupportLeadingEdgeQueryOptimizer!,Run-Time,node0,Agent,Agent,Agent,Prefetchers,node1,Agent,Agent,Agent,Prefetchers,node2,Agent,Agent,Agent,Prefetchers,SQLQuery,QueryOptimizer,BestQueryPlan,ThreadedCode,Compile-Time,分区内及分区间并行,DB2UDB:更大的容量,表/视图/列/别名长度增加名字更容易记忆更容易移植SQL语句长度可达64KB更复杂的查询和分类(如数据挖掘)由工具自动生成的语句VARCHAR大小可以达到32KB更小依赖LONGVARCHAR，节省空间并提高性能最大表/表空间大小64GB/128GB/256GB/512GB可以生成更大的表而不需要分区(partition)索引字段总长度达1024byte可以对更多/更长的字段加索引,DB2UDB:优化技术,优化级别0-9查询重写增加隐含的条件一般条件下压(pushdown)子查询该为JOIN消除不必要的JOIN将量化的条件转化为标量子查询将OR转为IN将IN转为JOIN视图合并消除不必要的DISTINCT,优化器扩展减少限制RID列表排序IndexOring执行计划分析避免Cartesian积增强的JOIN大小估计非统一的分布式统计I/O统计对随机和顺序I/O不同处理锁优化可修正的CPU和I/O成本估算可更新的目录统计,DB2UDB与商业智能集成,新的统计函数页面大小：4KB,8KB,16KB,32KB更小的I/O，减少索引的层次优化器可以利用多个缓冲池(与页面大小)更多的利用星型连接优化利用星型连接设计的数据库性能更好对数据仓库的增强数据加载过程中自动建立索引LOADTERMINATE/RESTART选项LOAD时递增的建立索引利用LOADINSERT将数据附加到已经存在数据的表中,易用的管理工具,DB2ConnectEnterpriseEdition,DRDA-CompliantServer,DataReplicationCaptureApply,VisualAgeforJava,DB2Extenders,VisualExplain,Developers,ClientConfigurationAssistant,Users,DB2Discovery,Administrator,CommandCenter(GUICLP),DB2UDBServer,DB2UDBServer,Governor,ControlCenterandUtilities,PerformanceMonitor,JobScheduler,PerformanceSmartGuide,NetworkConfigurationSmartGuide,AdministrationServer,SatelliteAdministration,集成化的图形界面管理工具,ControlCenter,CommandCenter,PerformanceMonitor,PerformanceSmartGuide,IndexSmartGuide,OtherToolsIntegratedwiththeDB2ControlCenter,DB2ScriptCenterAllowsuserstocreateandschedulescriptsforregulardatabaseactivitiesDB2JournalProvidesuserswithaviewofactivitieswhichhaveoccuredintheDBMSDB2LicenseCenterAllowsuserstomonitorlicensecomplianceDB2InformationCenterProvidesuserswiththeentireDB2UDBTechnicalLibraryonlineServerCommunications(Network)ConfigurationAssistantAutomatessetupofserverforcommunicationwithclientsClientConfigurationAssistantDatabaseconnectionconfigurationandtestingCanrequestthatDB2DiscoverysearchnetworkfordatabasesODBCadministrationDB2DiscoverySearchesforDB2serversanddatabasesoverthenetworkReturnsinformationrequiredforconnectiontoclient,DB2家族产品全面解决方案,TCP/IPIPX/SPXNETBIOS,DOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUNSolarisSNISINIXSGIIrixMACWebBrowsers,Clients,DB2forOS/400DB2forAIXDB2forOS/2DB2forHP-UXDB2forHP-UX11.0DB2forSUNSolarisDB2forSINIXDB2forNTDB2forSCODB2forSCOUnixware7,Servers,DB2ConnectDatajoinerNet.Data,Middleware,ParallelComplexes,DB2UDBEEEforAIXDB2UDBEEEforSUNSolarisDB2UDBEEEforWindowsNTDB2UDBforOS/390DB2forOS/400,Personal,DB2forOS/2DB2forWinNTDB2forWin95DB2forWin98LotusApproachSatelliteEditionDB2Everywhere,OracleSybaseInformixSQLServerIMSVSAM,Sources,TivoliTME-10SatelliteEdition,Management,Hosts,DB2UDBforOS/390DB2forVMandVSEDB2forOS/400,TCP/IPSNAIPX/SPX,WAN,CompleteSolutions,OnlineAnalyticalProcessing(OLAP),由IBM研究员E.F.Codd提出，被业界广泛采用为计划和分析优化处理多维视图钻取切片满足用户需求填补关系型数据库的不足利用现有投资后台交易系统前台报表系统,OLAP:多维分析,用维的方法观察数据产品，时间，地区，财务指标等数据模型等同于业务模型,OLAP：多维分析,旋转：按不同顺序组织各个维，对结果进行考察钻取：在一个维内部沿着从高到低或从低到高的方向考察数据上钻下钻切片：在确定某些维数据的情况下对其他维进行观察,OLAP:多维分析,考察一个特定的维时间维，包括每一个归属局到各被访局的冲销结算关系钻取到下面的层次来考察详细情况,OLAP：旋转,按照不同的顺序组合维，对数据进行考察,OLAP：钻取,结算分析,时间,归属局,被访局,冲销结算,1999,2000,2001,北京,上海,.,北京,上海,来访费用,出访费用,Q1,Q2,Q3,Q4,Apr,May,Jun,钻取到各级数据层次时间，年，季，月，日归属局，省局，地市,OLAP：切片,时间,归属局,被访局,时间,被访局,归属局,一月份所有归属局对各被访局的冲销结算关系,每个归属局对被访局北京每个月份的冲销结算关系,用切片的方法从不同的角度观察,OLAP,OLTP,OLTPvs.OLAP：不同的角色,纪录交易情况有限的步骤二维数据管理数据处理运行商业运作,确定任务反复的过程多维数据合并信息综合推动商业计划,DB2UDB支持OLAP的高级特性,IBMDB2OLAPServer,开放的系统最终用户OLAP工具最终用户查询/报表工具易于实现和管理自动化的数据库设计利用现有的技能和工具系统管理数据库管理高度可伸缩性(Scalability)与IBM数据仓库体系结合提供两种存储方式易于使用的安全权限限制,开放的接口标准,开放的应用程序接口和工具C/C+API、JDBC、ODBC/CLIEmbeddedSQL、SQLJ、Java、C/C+、VB、Delphi/C+Builder、PowerBuilder众多的客户端工具DB2OLAPServerAnalyzerBusinessObjectBrioCognosExcel/Lotus123,通用的运行平台,AIXSolarisHP-UXWindowsNT/2000LinuxS390AS400,OLAPServer与数据仓库管理器紧密集成,IBM的数据仓库管理器中带有大量与OLAPServer相关的程序(vwp)：文件数据加载到OLAP数据库数据加载OLAP用文件数据更新维用数据库数据更新维计算用规则计算,客户可以使用Web方式访问，不需要安装任何OLAP工具。,客户端访问和维护,完善的授权机制：应用程序级数据库(Cube)级过滤器读、写、计算、设计权限用户组图形化管理界面,用户、权限管理,完整的日志纪录,数据挖掘,数据仓库,选择的数据,选择,转换,挖掘,转换后的数据,可理解的信息,抽取的信息,一个过程，从大型数据库中抽取以前没有发现，可理解的，可操作的信息，用以支持企业关键性决策。,数据挖掘的典型例子,常用数据挖掘算法分为三类,常用数据挖掘算法,Clustering(Segmentation)-nodependentvariableDemographicSegmentationNeuralSegmentation(KohonenMap)Example:Identifycommoncharacteristicsinacustomerdatabase.