数据挖掘在商务智能决策与CRM中的应用-PowerPoi

数据挖掘在商务智能决策与CRM中的应用北京科技大学杨炳儒教授数据挖掘掘（知识识发现））新进展展数据挖掘掘在商务务智能决决策中的的应用数据挖掘掘在CRM中的的应用第一部分分数据挖挖掘（知知识发现现）新进进展五、研究究动态与与趋向一、数据据挖掘((知识发发现)概概念内涵涵与外延延的发展展二、挖掘掘知识类类型的扩扩展三、挖掘掘技术方方法的扩扩展四、应用用的扩展展一、数据据挖掘((知识发发现)概概念内涵涵与外延延的发展展结构化数数据挖掘掘DM(KDD))多媒体数数据构成成的大型型异质异异构数据据库，称称为复杂杂数据类类型挖掘掘CDM[动态((在线))-分布布式-并并行系统统]Web::1、以文文本为主主的页面面内容挖挖掘2、以客客户访问问信息为为主3、以Web结结构为主主多媒体：：音频、、视频、、图像、、图形、、时序、、空间等等基于知识识库的知知识发现现KDK知识发现现的新定定义：在现实世世界中，，针对客客观存在在的具有有海量性性、不确确定性、、不完全全性的量量的、质质的、复复杂形态态的知识识源，挖挖掘其中中潜在的的、先前前未知的的、用户户感兴趣趣的、最最终可被被用户理理解的模模式的非非平凡提提取过程程。二、挖掘掘知识类类型的扩扩展扩展扩展关联规则则、分类类、聚类类、相似似模式、、混沌模式式、时序序模式、、预测等等文本、客客户访问问路径、、音频、、视频………生物信息息挖掘、、游戏信信息挖掘掘、XML文文档、多多语言文文本挖掘掘、图表数据据库、分分子结构构数据库库等三、挖掘掘技术方方法的扩扩展扩展统计学（（数理统统计）、、证据理理论、机器学习习、神经经网络、、粗糙集集、近似推理理、小波波、分形形、概念念格、概念树提提升、决决策树等等Hilbert空间、、信息融融合与神经网络络结合、、距离测测度函数数、数据立方方体、隐隐马尔可可夫模型型、信息息熵、主观Bayes方法、、信息扩扩散等四、应用用的扩展展金融、医医疗保健健、市场场业、零零售业、、制造业、、工程与与科学、、经纪业业和安全全交易、、证券交易易、瑕疵疵分析、、政府和和防卫、、电信、、司法、企企业经营营管理等等等应用领域域扩展Internet、农农业、气气象、远远程教育育、天文学、、生物信信息、地地理信息息等等Marksman、ThinkMachine、DataMind、IntelligentMiner、KnowledgeSEEKER、、等等实例和软件的扩展MSMiner、KDD*、、KDK*、KD(D&K))等等五、研究究动态与与趋向目前国际际上KDD的研研究主要要是以知知识发现现的任务务描述、、知识评评价与知知识表示示为主线线，有效效的知识识发现算算法为中中心。这这是在相相当长的的一段时时间内保保持的主主流与基调。。国外研究究动态2003年8月月27日日在华盛盛顿召开开了第九九届知识识发现与与数据挖挖掘国际际会议，，参与讨讨论的专专家一致致认为：：数据挖掘掘正面临临着巨大大的机遇遇和挑战战。其中U..Fayyad认为为从科学发发展的长长远来看看,最大大的绊脚脚石是基基础理论论的缺乏乏以及所所面临的的问题和和挑战的的清晰明明白的阐阐述。他认为对对于我们们要做什什么，几几乎没有有理论甚甚至工程程实践来来指导：：在今天天它仍然然是”不不为人人知的艺艺术”。。我们们需要理理论来指指导我们们要做什什么以及及要如何何作。这这些理论论能够促促使工程程解决方方法的出出现，这这样我们们也可以以将我们们的““手艺””更有效效的教给给其他人人。而这这种形势势与从业业者以及及对应用用感兴趣趣的人们们的巨大大的热情情同时存存在，这这些人来来自不同同的领域域，但是是没有科科学根基基以及持持续的学学术发展展，本领领域不可可能得到到发展与与巩固。。R.Uthurusamy认认为WEB的使使用和生生产厂家家的大肆肆宣传等等都会在在短期内内影响本本领域的的发展，，它们会会使得我我们将更更多的精精力投向向数据库库营销、、CRM和OLAP等等方面，，而不是是致力于于使KDD从根根本上或或科学上上有大的的进步。。KDD的基础础研究界界必须消消除这些些干扰而而去努力力解决KDD的的真正的的根本的的问题。。国内研究究动态我们编制制了了软软件对中中国期刊刊网上1994年至今今的论文文进行了了分类与与统计。。1、历年年发表文文章数分分类汇总总图示如如下(含含所有的的类别共共11707篇篇)2、按照照数据挖挖掘、决决策支持持系统、、专家系系统方面面的文章章统计图图示如下下：(评评价)发展的基基本特征征（1）原原有理论论方法的的深化与与拓展

如：1）网网络数据据挖掘；；流数据据;混合合数据。。2）基于于神经网网络的的的时序数数据、相相似序列列、快速速挖掘算算法的研研究等。3）粗糙糙集与支支持向量量机模型型与方法法的扩展展。4）凸分分析与数数据包络络分析方方法的运运用。5）增强强（强化化）学习习模型与与方法的的运用。。（2）复复杂类型型（系统统）数据据挖掘成成为热点点如：1））生物物信息挖挖掘。KnowledgeDiscoveryforPromoterStructureAnalysisStudyofMotifCorrelationinProteinsbyDataMining（用数据据挖掘技技术进行行蛋白质质中启动动子的结结构分析析）2）半结结构化、、非结构构化等复复杂类型型数据挖挖掘。AMethodforMiningDataofSequentialImages------RebuildingofGray((Position))timeFunctiononArbitraryDirectionLines（基于图图表数据据库知识识发现系系统的概概念等级级聚类））3）分布布式数据据挖掘系系统。4）动态态、在线线数据挖挖掘系统统。5）流数数据、混混合数据据与不完完备数据据挖掘系系统。（3）新新技术与与方法的的引入（（其它学学科领域域的渗透透）如：人工工免疫系系统方法法；协同同验算方方法;模模拟退火火算法；；保角变变换方法法；黎曼曼几何方方法等。。（4）理理论融合合交叉性性研究如：基于于RoughSet的的证据推推理算法法；模糊糊关系数数据模型型与粗集集结合算算法等。。认知心心理学、、认知物物理学、、认知生生物学等等。（5）基基础理论论研究内在机理理研究；；自主知知识发现现框架；；DM==数据集集+似然然关系++挖掘算算法等。。第二部分分数数据挖掘掘在商务务智能决决策中的的应用一、基于于信息挖挖掘的新新型智能能决策支支持系统统二、商务务部国际际商务中中心项目目简介三、软件件系统实实现整体体说明一、基于于信息挖挖掘的新新型智能能决策支支持系统统自从美国国麻省理理工学院院的MichaelS..S.Morton和PeterG.W..Keen于20世纪70年代首次次提出决决策支持持系统（（DSS）以来，，其发展展迅速，，不断取取得显著著的成果果，并成成为许多多行业经经营管理理中一个个不可缺缺少的现现代化决决策支持持工具。。现在正正逐步形形成新一一代的DSS：群决策策支持系系统（GDSS），分布布式决策策支持系系统（DDSS），战略略决策支支持系统统等，尤尤其是智智能决策策支持系系统（IDSS）的出现现，将人人工智能能的知识识推理等等技术引引入DSS，使DSS的发展进进入了一一个新的的阶段。。近年来来，又相相继出现现了基于于数据仓仓库与基基于WEB的智能决决策支持持系统，，大大推推进了IDSS的发展。。但是，传传统的决决策支持持系统尚尚存在着着推理技技术单调调，自学学习能力力较差，，形成知知识库中中的知识识不足够够丰富这这一新的的“瓶颈颈”现象象。近年年来Internet迅速发发展，网网上信息息极大丰丰富而知知识却相相对缺乏乏，并且且这些信信息和以以往决策策支持系系统所处处理的信信息不同同，是非非结构化化的，这这就使其其处理方方式也必必然有所所不同。。所以新新一代决决策支持持系统的的发展方方向是高高度智能能化，以以多种知知识表示示、自组组织协同同工作、、自动知知识获取取和自适适应能力力较强等等为特征征。为此，我我们提出出了基于于信息挖挖掘的智智能决策策支持系系统IDSSIM，这这里的信信息挖掘掘区别于于通常的的数据挖挖掘，是是从结构构化数据据或复杂杂类型数数据（文文本、日日志、音音频、视视频、图图像等））中提取取新颖、、潜在有有用知识识的非平平凡抽取取过程。。所形成成的IDSSIM结构构模型可可广泛应应用于各各行各业业在管理理信息系系统的基基础上所所提升的的辅助决决策支持持系统中中。IDSSIM的的总体结结构模型型如下图图所示：：其理论基基础是我我们提出出的基于于双库协协同机制制的知识识发现系系统KDD*和和WEB数据挖挖掘过程程，它以以多个知知识源的的知识融融合、多多抽象级级与不同同知识层层次的结结构，以以及使数数据库、、知识库库、方法法库、模模型库、、文本库库、日志志库六库库协同运运作为特特征，形形成了极极其丰富富的动态态知识库库系统与与相应的的集成推推理机制制，为解解决决策策系统构构造中的的核心技技术提供供了一条条有效的的途径，，也从根根本上提提高了决决策支持持系统的的实用化化程度。。系统的核核心是““源于信信息的知知识发现现KDBI”（（KnowledgeDiscoveryBasedonInformation），，它在模模块实现现上主要要包含三三个部分分：基于于双库协协同机制制的知识识发现子子系统（（KDD*）、、基于推推理机制制的知识识发现子子系统（（KDRM）和和基于WEB挖挖掘的知知识发现现子系统统（KDWM））。可粗粗略地表表示为：：KDBI＝＝KDD*++KDRM+KDWM。首先，六六库（数数据库、、知识库库、方法法库、模模型库、、文本库库、日志志库）在在多库管管理子系系统的管管理下协协同运作作。知识识获取子子系统可可以从领领域专家家那里获获取知识识，也可可以获取取书本中中的知识识，并将将这些知知识存储储在知识识库中。。基于信信息挖掘掘的新型型智能决决策支持持系统。。其次，知知识库中中的知识识可以直直接纳入入综合知知识库，，也可以以被基于于双库协协同机制制的知识识发现（（KDD*）子子系统利利用，在在以属性性为基础础的知识识库建库库原则下下，通过过搜索知知识库中中知识结结点的不不关联态态，产生生“创见见意向””，发现现短缺知知识。再次，基基于推理理机制的的知识发发现子系系统（KDRM）,包包括用一一种或多多种知识识表示方方法描述述的已知知问题及及其解法法的描述述集合的的知识库库和需要要求解的的问题集集；通过过Fuzzy推推理、演演绎推理理、广义义综合归归纳推理理和基于于案例的的推理等等，构造造规则集集和发现现新知识识。来自自WEB的信息息首先被被存储在在文本库库和日志志库中，，并由基基于WEB的知知识发现现子系统统挖掘关关于访问问信息、、文本和和结构方方面的知知识，并并将挖掘掘结果存存入WEB知识识库。二、商务部国国际商务务中心项项目简介介在与国家家商务部部国际商商务中心心的合作作中，构构造了基基于我们们专利技技术的““面向加加工贸易易基于竞竞争情报报的智能能决策支支持系统统”。。针对外外贸加工工中国内内采购与与供应链链系统进进行深入入分析，，通过数数据挖掘掘、WEB挖掘掘、案例例推理与与OLAP等技技术，挖挖掘出一一些平时时很难靠靠直观或或凭借经经验发现现的规则则，发现现了若干干新的知知识。对对领导战战略决策策与企业业经营决决策管理理有一定定的参考考价值。。利用商务务部国际际商务中中心长期期积累的的对外加加工贸易易的数据据，充分分运用我我们的创创新性信信息处理理技术和和数据挖挖掘技术术，开展展研发工工作。目目前已通通过验收收，并将将对国家家的对外外贸易和和商务活活动产生生较大影影响。概概括起来来有如下下几点：：1））为对外外贸易企企业“请请进来，，走出去去”提供供决策支支持；；2）为为领导关关注的热热点问题题，提供供决策支支持；3）为外外商投资资提供咨咨询指导导；4））为国家家和地方方招商引引资提供供科学的的建议。。项目主页页应用窗窗口三、软件件系统实实现整体体说明1、OLAP问题域运行环境境与开发发工具OLAP问题域域1、经营营企业信信息分析析2、国产产料件分分析3、进口口料件分分析4、加工工行业分分析5、外商商分析6、进出出口币种种分析7、工缴缴费分析析8、口岸岸与海关关分析9、出口口成品分分析OLAP运行环环境与工工具服务器端端：硬件：性性能较好好的服务务器、网网络链接接软件：ORACLE数数据库服服务器及及数据、、BRIOINTELLIGENCESERVER、BRIOCLIENTDESIGNER客户端：：硬件：普普通PC、网卡卡、INTERNET网网络链链接软件：BRIOCLIENTEXPLORER、通通用浏览览器2.KDD*问题域计算模式式与开发发工具总体设计计流程图图KDD**问题域域说明预想想：就就采采购价值值链方面面内容，，展开数数据挖掘掘，重点点对国内采采购现状状，抽取取相关关关联规则则，提供供领导决策信信息。方法特征征：智能系统统内在的的使用了了人工智智能方法法与软计算方法法，知识识发现方方法寻求新颖颖的知识识类型，因因而所发发现的知知识与数数据状况况密切相关。在在未作实实际挖掘掘前难以以确定其其明确主题。将提交结结果：就目前挖挖掘情况况看，领领导决策策方面与与企业经经营决策方方面的内内容都可可能发现现较有价价值得知知识。因而而，须在在实际研研发过程程中，逐逐步筛选选、调试、聚聚焦。KDD**计算模模式与开开发工具具计算模式式：客户户机/服服务器模模式运行环境境与开发发工具客户端：：windows平台台，DELPH，ODBC服务器端端：商务务部现有有环境和和ORACLE数据库库系统KDD**总体设设计流程程图数据清理理：主要要完成数数据源的的选取、、数据清清洗、去去噪声以以及填补补空缺数数据等等等，也就就是要为为挖掘准准为数据据，确切切的说就就是为数数据离散散做准备备。主题管理理：主要要是针对对挖掘的的目标不不同而设设立不同同的主题题，这部部分主要要实现主主题的定定义、修修改、删删除以及及主题的的选择等等功能，，在主题题的定义义中要完完成与该该主题相相关的数数据，也也就是要要在这里里确定挖挖掘的方方向。属性值离离散化：：建立主主题以后后根据所所选择的的数据确确定语言言变量以以及所对对应的语语言变量量值，同同时对所所选定的的数据根根据语言言变量和和语言变变量值进进行离散散形成挖挖掘数据据库，为为下面的的挖掘工工作做准准备。知识库管管理：分分为基础础知识库库管理和和衍生知知识库管管理两个个部分，，其中基基础知识识库包括括基础知知识的录录入、修修改、删删除等基基本的维维护工作作；衍生生知识库库包括挖挖掘出的的知识的的输入，，只是的的展示等等工作，，这部分分涉及到到挖掘及及知识的的展示。。

数据挖掘掘：根据据数据产产生规则则，分为为两个部部分用户户子定义义挖掘和和系统自自动挖掘掘（启发发式协调调器）。。用户子子定义挖挖掘是根根据用户户感兴趣趣的内容容进行聚聚焦挖掘掘，启发发式挖掘掘是根据据基础知知识库，，针对短短缺知识识进行挖挖掘。知识评价价：对挖挖掘出的的规则进进行评价价决定是是否存入入到衍生生知识库库中，首首先是通通过中断断协调器器进行评评价然后后再经过过领域专专家进行行评价来来决定是是否存入入衍生知知识库。。附：与此此相应的的，我们们还研发发了用于于智能决决策的““分布式式数据资资源集成成系统””，给出出了统一一数据访访问接口口、快速速全文检检索、文文本分类类、文本本数字化化、个性性化信息息推送和和信息发发布等一一揽子整整体解决决方案。。第三部分分数据挖掘掘在CRM中的的应用一、数据据挖掘对对CRM的影响响二、在CRM中中数据挖挖掘常用用技术三、解决决实际商商业问题题四、建立立解决方方案的关关键一、数据据挖掘对对CRM的影响响21世纪纪的商业业竞争不不仅取决决于对市市场的反反应速度度，还取取决于对对本行业业新知识识的获取取、积累累和有效效利用的的能力。。实际上上效率不不再是商商场上取取胜的唯唯一关键键。在这这个新的的启用web的的电子商商务经济济时代，，灵活性性和敏感感性也是是在竞争争中取胜胜的重要要因素。。能够提提供客户户资源及及相关数数据分析析的客户户关系管管理系统统（CustomerRelationshipManagement，CRM）就就成为焦焦点。作作为专门门管理企企业前台台的客户户关系管管理为企企业提供供了一个个收集、、分析和和利用各各种客户户信息的的系统，，帮助企企业充分分利用其其客户管管理资源源，也为为企业在在电子商商务时代代从容自自如地面面对客户户提供了了科学手手段和方方法。客户关系系管理((CRM)指的的是企业业与其客客户的交交流方式式，它实实施于企企业的市市场营销销、销售售、服务务与技术术支持等等与客户户有关的的领域。。它是一种管管理理念念，又是一种种旨在改改善企业业与客户户之间关关系的新新型管理理机制，也是一种种管理软软件和技技术，它它将最佳佳的商业业实践与与数据挖挖掘、数数据仓库库、一对对一营销销、销售售自动化化以及其其它信息息技术紧紧密结合合在一起起，为企企业的销销售、客客户服务务和决策策支持等等领域提提供了一一个业务务自动化化的解决决方案，，使企业业有了一一个基于于电子商商务的面面对客户户的前沿沿，从而而顺利实实现由传传统企业业模式到到以电子子商务为为基础的的现代企企业模式式的转化化。CRM的的特征①一对一一营销②高度集成成的交流流渠道③统一共享享的信息息资源④商业智能能化的数数据分析析和处理理⑤对基于Web的的功能的的支持CRM体体系结构构图如下下所示：：业务规则则和元数数据管理理工作流管管理联系历史史交易历史史客户和帐帐务数据据仓库外部数据据ETL工工具（抽取转换换装载工工具）行销数据据集市活动管理理分析数据据集市报表数据据集市活动管理理数据挖掘掘／分析析数据源行销数据据存储决策支持持应用特别查询询和报表表直接邮寄寄（广告告）联系管理理呼叫中心心销售力量量客服中心心Internet电子邮件件其他信息渠道道CRM体体系结构构图在这个体体系结构构图中，，有很多多用于产产生和使使用信息息的客户户接触点点和发送送渠道。。经过集集成和分分析信息息，可以以完整、、正确地地得出客客户的大大概情况况-----他们们的喜好好、需求求、抱怨怨、和使使他们成成为公司司产品和和服务网网的终身身会员的的特性。。最后数数据仓库库环境下下所有的的部件都都将被部部署到适适当的位位置，并并提供多多种用于于集成和和分析的的重要功功能。从较高的的层次看看，CRM系统统的体系系结构很很像一栋栋房子子：客户接触触点是根根基数据仓库库是地基基客户利益益性是隅隅石数据挖掘掘是蓝图图Web应应用是顶顶石这些技术术结合在在一起便便构成了了完整的的CRM系统。。二、在CRM中中数据挖挖掘常用用技术比较典型型的数据据挖掘方方法①关联分分析②序列模模式分析析③分类分分析④聚类分分析⑤决策树⑥神经元网网络⑦规则归纳纳三、解决决实际商商业问题题客户盈利利分析新客户的的获取交叉营销销客户的保保持客户的细细分客户盈利利分析客户盈利利能力分分析是数数据挖掘掘的基础础，也是是数据挖挖掘是否否用于正正确方向向的一个个指标。。一般情况况下，在在顾客身身上的花花费越多多，他们们保持更更高的忠忠诚度和和购买更更多产品品的可能能性越大大。保持持客户的的忠诚度度将对客客户盈利利能力产产生极深深的影响响。数据挖掘掘技术可可以用来来预测在在不同市市场活动动情况下下的客户户盈利能能力；可可以预测测未来的的盈利能能力；预预测客户户盈利能能力的变变化。新客户的的获取在大多数数商业领领域中，，业务发发展的主主要指标标里包括括新客户户的获取取能力。。新客户户的获取取包括发发现那些些对你的的产品不不了解的的客户，，也包括括以前接接受你的的竞争对对手服务务的顾客客。数据据挖掘技技术可以以帮助我我们对潜潜在客户户群进行行分析，，并增加加市场推推广活动动产生的的反馈率率。交叉营销销交叉营销销是指你你向现有有的客户户提供新新的产品品和服务务的营销销过程。。公司与与其客户户之间的的商业关关系是一一种持续续的不断断发展的的关系，，在这种种关系建建立起来来以后，，可以有有很多种种方法来来不断改改善这种种关系。。双方的的目标是是达到双双赢的结结果，客客户获益益是由于于他们得得到了更更好更贴贴切的服服务质量量，商家家则因为为增加销销售量获获利。客户的保保持随着行业业的竞争争越来越越激烈和和获得一一个新客客户的开开支愈来来愈大，，保持原原有客户户的工作作愈来愈愈有价值值。使用用数据挖挖掘技术术可以用用来预测测哪些客客户具有有高风险险转移的的可能性性。例如如使用分分类回归归树(CART)来生生成各种种预测模模型，可可以对客客户流失失原因有有深入的的了解。。客户的细细分细分是指指将一个个大的消消费群体体划分成成一个个个细分群群的动作作，同属属于一个个细分群群的消费