商务智能：IBM电信业商业智能解决方案

IBM电信业商业智能解决方案议程数据分析与决策支持系统面临的挑战IBM商业智能解决方案简介IBM方案优势电信企业的需要帐务统计收益分析网络、基站运维分析绩效考核客户关系管理风险预测市场竞争分析......帐务统计、分析日、月统计报表月结算报表营业收入统计、分析资费来源统计、分析业务量统计、分析......收益情况分析收入总量分析及预测收入增量分析及预测ARPU分析及预测收入结构分析及预测大客户收入情况分析及预测客户交费情况分析及预测客户欠费情况及其结构分析及预测新增客户交/欠费情况分析及预测欠费回收情况分析高额/欺诈分析销账分析市场竞争分析市场占有率分析及预测市场需求分析及预测竞争对手发展情况分析及预测各竞争对手的市场营销分析供应商市场行为特征分析合作商市场行为特性分析业务发展分析业务量发展分析及预测业务增量分析及预测MOU分析及预测新业务使用量分析及预测业务资源使用特征分析及预测大客户使用业务量的特征分析及预测大客户使用业务的特征分析及预测流量和流向特征分析及预测客户分析客户总量分析及预测新增客户分析及预测客户净增量分析及预测客户流失量分析及预测客户转网量分析及预测大客户发展分析及预测客户消费能力分析及预测客户消费习惯/爱好分析及预测客户信用度分析外来用户分析模拟用户分析储值卡用户分析潜在用户分析零次用户分析一户多卡用户分析客户关系管理及市场策略发现优秀客户发现易流失客户群调整产品定价发现客户行为模式开发新产品交叉销售......网络、基站分析基站配置与话务量分布情况分析分析各时段各基站/交换机的负载情况网络收益分析网络容量分析网络安全分析热点小区分析路由分析等服务质量分析析客户服务质量量分析客户服务时限限分析客户咨询查询焦点分析析客户投诉焦点点分析大客户服务质质量分析客户满意度分分析客户忠诚度分分析营销管理分析析市场价格分析析营销渠道作用用分析代销代办酬金金分析营销人员素质质分析营销宣传市场场效果分析促销行为市场场效果分析综合决策分析析决策取向模拟拟分析决策行为市场场操作模拟分分析决策行为市场场效果模拟分分析绩效考核分公司绩效考考核营业部绩效考考核营业员绩效考考核......当前状态计费系统网管系统财务系统营业系统结算报表CRM局长信息系统统挑战：信息孤孤岛财务系统市场促销数据据客户数据营业数据呼叫中心数据据建立数据仓库库、实施商业业智能生产系统数据仓库OLAP智能挖掘如何实施商业业智能分析的复杂度和价值统计多维数据挖掘优化阶段1阶段2阶段3阶段4阶段5分析的阶段数据集市数据仓库发现验证IBMBI解决方案案产品业务系统1业务系统2业务系统3业务系统n……数据仓库管理器/数据库WarehouseManager/DB2UDBDB2OLAPServer报表工具QMFDB2OLAPServerAnalyzerIntelligentMinerforData其它应用IBMBI体系结构DB2UDBDB2UDBDB2WarehouseManager数据仓库管理器MetaDataDB2OLAPServerDB2/WarehouseControlCenterOLAPServerAppManagerOLAPServerAnalysisServer客户端工具支持WEB决策支持工具和应用程序DB2FamilyORACLEInformixSybaseSQLServerIMS&VSAMFilesDataJoiner

DB2IntelligentMinerforData数据智能挖掘服务器什么是数据仓仓库数据仓库是指指从业务数据中创建信息数据库，并针对决策和分析进行优化。数据仓库中的的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，，用以支持管管理决策的过过程。数据来自多个个数据源，并并整合到一个个数据库中。。在数据整合的的过程中数据据要经过聚合、摘要和清洗。不同的数据用用于不同的目目的面向主题集成比较稳定包含历史数据据支持管理决策策面向应用有限集成经常更新仅有当前值支持日常业务务运作业务数据信息数据业务数据和信信息数据根本本不同！"Trust"Accounts"Checking"Accounts"Loan"Accounts"Loan"Accounts年月日AccountHistory建立数据仓库库的过程商业主题业务信息业务数据管理转换工具商业视图元数据成员映射商业视图Templates外部数据DB2DataWarehouse体系结结构LogServerKernelDispatcherSchedulerClientsWarehouseServerWarehouseAgentsDatabasesRelationalSourceDB2TargetDataMessageMessageNon-RelSourceEndUsersDataDataDataDataNT/2000,OS/2,AIX,Sun,OS/390,AS/400DDDLogEditionsConfigurationControlDatabaseDB2MetadataMetadataTypetitleTypetextFlatFilesDataWarehouseCenterMessageNT/2000NT/2000AgentNT/2000,AIX,SunIncludedwithDB2UDB数据仓库代理理(Agent)技术数据仓库控制制服务器(WarehouseControlServer)时间表启动从控制数据库库中获取商业业视图定义启动代理(通通过代理后台进程)循环:-接受和记记录结果-更新客户户端显示数据仓库代理理(Agent)响应VW管理理器循环:-接受命令令-执行命令令-报告状态态DB2UDB高度并行行的海量数据据库Cluster多个大缓冲区支持64位内存寻址内存管理单处理器对称多处理(SMP)MassivelyParallelProcessor(MPP)增强的SMP并行支持MPP并行支持并行事务CPUSQLCPUSQLCPUSQLCPUSQL并行查询SQLCPUCPUCPUCPUSQLQueryQueryOptimizerBestQueryPlanThreaCompile-TimeRun-TimeAgentAgentAgentPrefetchersSinglequeryinvolves1coordinatingagentnsubagentsmprefetchers(shared)AllexecutinginparallelonavailableprocessorsCombinationof...DataparallelismEachagentworksonsubsetofdataDatadynamicallyassignedsousernotrequiredtopartitiondataFunctionalparallelism("pipelining")Eachagentworksondifferentqueryfunction,e.g.scan,sortAlsoenablesParallelIndexCreateParallelBackupandRestoreAllowsmultipleprocessestoreadorwritedatato/fromthedatabaseParallelLOADExploitationofmultipleprocessorsduringload,particularlyforparsing/converting/formattingdata节点内内部并并行ParallelEdition-style(shared-nothing)DataparallelismthroughhashpartitioningPartitionscanbe...PhysicalonMPPorclusterLogicalonSMPRun-TimeAgentPrefetchersAgentPrPrefetchersnode0node1nodenSQLQueryQueryOptimizerBestQueryPlanThreadedCodeCompil节点间间并行行(数数据库库分区区间并并行)..............................................................SingleDatabaseViewParallelOptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Node(CPU)Shared-nothingsoftwarearchitecturesupportsIndependentphysicalnodesSeparateCPU,memory,anddiskIncludingSMPnodesORMultiplelogicaldatabasepartitionsonsinglelargeSMPServerInterpartitioncommunicationiscrossmemory,notcrossnetworkDataispartitionedacrossnodesautomaticallybyhashingEverythingoperatesinparallelSelectInsertUpdateDeleteBackup/restoreLoadCreateindexReorg充分分利利用用分分区区数数据据库库的的能能力力SocialInsuranceNumberNameLocation123-456-789JoeBostonTorontoPartitionKeyvalueHashedto:"8"VectorPosition0123456789101112...Node1231231231231...DB2DB2DB2PartitionMapDetermines'home'forrowCanbeadjustedfordataskewusingtheREDISTRIBUTEutilityHash分分区区和和分分区区映映射射表表BlendsbestofMPPandSMPstyleofparallelismIdealforSMPclustMostflexiblehardwaresupportLeadingEdgeQueryOptimizer!Run-Timenode0AgentAgentAPrefetchersnode1AgentAgentAgentPrefetchersnode2AgentAgentAgentPrefetchersSQLQueryQueryOptimizerBestQueryPlanThreadedCodeCompile-Time分区内及及分区间间并行DB2UDB:更更大的容容量表/视图图/列/别名长长度增加加名字更容容易记忆忆更容易移移植SQL语语句长度度可达64KB更复杂的的查询和和分类(如数据据挖掘)由工具自自动生成成的语句句VARCHAR大小可可以达到到32KB更小依赖赖LONGVARCHAR，节省省空间并并提高性性能最大表/表空间间大小64GB/128GB/256GB/512GB可以生成成更大的的表而不不需要分分区(partition)索引字段段总长度度达1024byte可以对更更多/更更长的字字段加索索引DB2UDB:优优化技术术优化级别别0-9查询重写写增加隐含含的条件件一般条件件下压(pushdown)子查询该该为JOIN消除不必必要的JOIN将量化的的条件转转化为标标量子查查询将OR转转为IN将IN转转为JOIN视图合并并消除不必必要的DISTINCT优化器扩扩展减少限制制RID列列表排序序IndexOring执行计划划分析避免Cartesian积增强的JOIN大小估估计非统一的的分布式式统计I/O统统计对随机和和顺序I/O不不同处理理锁优化可修正的的CPU和I/O成本本估算可更新的的目录统统计DB2UDB与商业业智能集集成新的统计计函数页面大小小：4KB,8KB,16KB,32KB更小的I/O，，减少索索引的层层次优化器可可以利用用多个缓缓冲池(与页面面大小)更多的利利用星型型连接优优化利用星型型连接设设计的数数据库性性能更好好对数据仓仓库的增增强数据加载载过程中中自动建建立索引引LOADTERMINATE/RESTART选项LOAD时递增增的建立立索引利用LOADINSERT将数据据附加到到已经存存在数据据的表中中易用的管管理工具具DB2ConnectEnterpriseEditionDRDA-CompliantServerDataReplicationCaptureApplyVisualAgeforJavaDB2ExtendersVisualExplainDevelopersClientConfigurationAssistantUsersDB2DiscoveryAdministratorCommandCenter(GUICLP)DB2UDBServerDB2UDBServerGovernorControlCenterandUtilitiesPerformanceMonitorJobSchedulerPerformanceSmartGuideNetworkConfigurationSmartGuideAdministrationServerSatelliteAdministration集成化的图形形界面管理工工具ControlCenterCommandCenterPerformanceMonitorPerformanceSmartGuideIndexSmartGuideOtherToolsIntegratedwiththeDB2ControlCenterDB2ScriptCenterAllowsuserstocreateandschedulescriptsforregulardatabaseactivitiesDB2JournalProvidesuserswithaviewofactivitieswhichhaveoccuredintheDBMSDB2LicenseCenterAllowsuserstomonitorlicensecomplianceDB2InformationCenterProvidesuserswiththeentireDB2UDBTechnicalLibraryonlineServerCommunications(Network)ConfigurationAssistantAutomatessetupofserverforcommunicationwithclientsClientConfigurationAssistantDatabaseconnectionconfigurationandtestingCanrequestthatDB2DiscoverysearchnetworkfordatabasesODBCadministrationDB2DiscoverySearchesforDB2serversanddatabasesoverthenetworkReturnsinformationrequiredforconnectiontoclientDB2家族产产品——全面面解决方案TCP/IPIPX/SPXNETBIOSDOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUNSolarisSNISINIXSGIIrixMACWebBrowsersClientsDB2forOS/400DB2forAIXDB2forOS/2DB2forHP-UXDB2forHP-UX11.0DB2forSUNSolarisDB2forSINIXDB2forNTDB2forSCODB2forSCOUnixware7ServersDB2ConnectDatajoinerNet.DataMiddlewareParallelComplexesDB2UDBEEEforAIXDB2UDBEEEforSUNSolarisDB2UDBEEEforWindowsNTDB2UDBforOS/390DB2forOS/400PersonalDB2forOS/2DB2forWinNTDB2forWin95DB2forWin98LotusApproachSatelliteEditionDB2EverywhereOracleSybaseInformixSQLServerIMSVSAMSourcesTivoliTME-10SatelliteEditionManagementHostsDB2UDBforOS/390DB2forVMandVSEDB2forOS/400TCP/IPSNAIPX/SPXWANCompleteSolutionsOnlineAnalyticalProcessing(OLAP)由IBM研究究员E.F.Codd提出，被业业界广泛采用用为计划和分析析优化处理多维视图钻取切片满足用户需求求填补关系型数数据库的不足足利用现有投资资后台交易系统统前台报表系统统OLAP:多多维分析用维的方法观观察数据产品，时间，，地区，财务务指标等数据模型等同同于业务模型型结算分析归属局被访局时间冲销结算北京上海天津北京广东...Q1Q4来访费用出访费用Q2Q3OLAP：多多维分析旋转：按不同同顺序组织各各个维，对结结果进行考察察钻取：在一个个维内部沿着着从高到低或或从低到高的的方向考察数数据上钻下钻切片：在确定定某些维数据据的情况下对对其他维进行行观察OLAP:多多维分析时间归属局被访局2000年2000年1月2000年1月1日2000年1月2日2000年1月3日2000年2月考察一个特定定的维时间维，包括括每一个归属属局到各被访访局的冲销结结算关系钻取到下面的的层次来考察察详细情况OLAP：旋旋转时间归属局被访局归属局被访局时间按照不同的顺顺序组合维，，对数据进行行考察OLAP：钻钻取结算分析时间归属局被访局冲销结算199920002001北京上海...北京上海来访费用出访费用Q1Q2Q3Q4AprMayJun钻取到各级数数据层次时间，年，季季，月，日归属局，省局局，地市OLAP：切切片时间归属局被访局时间被访局归属局一月份所有归归属局对各被被访局的冲销销结算关系每个归属局对对被访局北京京每个月份的的冲销结算关关系用切片的方法法从不同的角角度观察OLAPOLTPOLTPvs.OLAP：不同同的角色纪录交易情况况有限的步骤二维数据管理数据处理运行商业运作确定任务反复的过程多维数据合并信息综合推动商业计划DB2UDB支持OLAP的高级级特性优化的SQL先进的基于成本的优化器(Starburst)查询重写图形化界面生成的低效SQL独特的星型连接算法ProductStoreMonth先进的索引技术110011101010111010111101101010101010110001101010101010On-LineAnalyticalProcessingProductMonthStoreCube,Rollup操作符表函数并行支持自动的摘要表复制的表IBMDB2OLAPServer开放的系统最终用户OLAP工具最终用户查询询/报表工具具易于实现和管管理自动化的数据据库设计利用现有的技技能和工具系统管理数据库管理高度可伸缩性性(Scalability)与IBM数据据仓库体系结结合提供两种存储储方式易于使用的安安全权限限制制IBMDB2OLAPServerEssbaseOLAPEngineIBMRelationalStorageInterfaceEssbaseMulti-dimensionalDataStore开放的接口标标准开放的应用程程序接口和工工具C/C++API、JDBC、ODBC/CLIEmbeddedSQL、SQLJ、Java、C/C++、VB、Delphi/C++Builder、、PowerBuilder……众多的客户端端工具DB2OLAPServerAnalyzerBusinessObjectBrioCognosExcel/Lotus123…通用的运行平平台AIXSolarisHP-UXWindowsNT/2000LinuxS390AS400OLAPServer与数据仓库库管理器紧密密集成IBM的数据据仓库管理器器中带有大量量与OLAPServer相关的的程序(vwp)：文件数据加加载到OLAP数据库数据据加载OLAP用文件数据据更新维用数据库数数据更新维维计算用规则计算算客户可以使使用Web方式式访问，不不需要安装装任何OLAP工具具。Web浏览器应用服务器WWWOLAPServer数据仓库TCP/IP客户端访问问和维护完善的授权权机制：应用程序级级数据库(Cube)级过滤器读、写、计计算、设计计权限用户组图形化管理理界面用户、权限限管理完整的日志志纪录数据挖掘数据仓库选择的数据选择转换挖掘理解转换后的数数据可理解的信信息抽取的信息息一个过程，，从大型数数据库中抽抽取以前没没有发现，，可理解的的，可操作作的信息，，用以支持持企业关键键性决策。。数据挖掘的的典型例子子基于历史数据预测行为发现未知分群、规则和模式常用数据挖挖掘算法分分为三类DataMiningAlgorithmsNoPredictionPredictOneThingTimeSeriesMatchingPredictEverythingAssociationsSequentialPatternsDecisionTreeRBFClassificationValuePredictionNeuralNeuralClusteringDemographicNeural常用数据挖挖掘算法Clustering(Segmentation)-nodependentvariableDemographicSegmentationNeuralSegmentation(KohonenMap)Example:Identifycommoncharacteristicsinacustomerdatabase.Predictive/ClassificationModeling-dependentvariableNonlinearregressionDecisiontreesNeuralnetworksRadial-basisfunctionsExample:PredictIBM'sstockpricetomorrow.常用数据挖挖掘算法LinkAnalysis-transactiondataBasicassociations(ordissociation)Sequentialassociations(overtime)Example:Identifywhichfeaturesofaninsurancepolicyselltogether.SimilarTimeSequence许多业务问问题可以映映射到数据据挖掘技术术IntelligentMinerforDataV6.1IBMIntelligentMinerforDataSequentialPatternsAssociationsPredictiveModelingDeviationDetectionClusteringClassificationDataMiningKernelsVisualizationToolsIBMDMPre-ProcessingLibraryDB