数据挖掘技术在商业领域中的应用.doc

数据挖掘技术在商业领域中的应用作者：唐 镜 指导老师: 摘要：数据挖掘(Data Mining)就是从大量的不完全的、有噪声的、模糊的、随机的数据库中实际应用数据中提取隐含信息和知识，它利用了数据库、人工智能和数理统计等多方面的技术，是一类深层次的数据分析方法。随着网络、数据库技术的迅速发畏以及数据库管理系统的广泛应用，人们积累的数据越来越多。我们已经被淹没在数据和信息的汪洋大海中。人们需要有新的、更有效的方法对各种大量的数据进行分析、提取以挖掘其潜能，数据挖掘正是在这样的应用需求环境下产生并迅速发展起来的，它的出现为智能地把海量的数据转化为有用的信息和知识提供了新的思路和手段。数据挖掘不仅能对过去的数据进行查询和变动,而且能够找出过去诸数据之间的潜在联系,从而促进信息的传递.数据挖掘在商业领域应用广泛,搞好数据挖掘可以带来巨大商机。数据挖掘是当前数据库和信息决策领域的最前沿研究方向之一。从知识发现和数据挖掘的概念出发,同时对数据挖掘在商业领域中的应用及发展进行了阐述。关键词：数据挖掘，数据挖掘技术、过程，商业应用目前，数据挖掘技术正以前所未有的速度发展，并且扩大着用户群体，在未来越来越激烈的市场竞争中，拥有数据挖掘技术必将比别人获得更快速的反应，赢得更多的商业机会。现在世界上的主要数据库厂商纷纷开始把数据挖掘功能集成到自己的产品中，加快数据挖掘技术的发展。我国在这一领域正处在研究开发阶段,加快研究数据挖掘技术，并把它应用于电子商务中，应用到更多行业中，势必会有更好的商业机会和更光明的前景。一 什么是数据挖掘数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。简而言之，数据挖掘其实是一类深层次的数据分析方法。从这个角度数据挖掘也可以描述为：按企业制定的业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。简单的说是传统决策和支撑系统的升级和改进，使之更有效，更准确。对于那些决策者明确了解的信息,可以用查询、联机分析处理或其他工具直接获取。而另外一些隐藏在大量数据中的关系、趋势等信息,就需要通过数据挖掘技术来完成。二 什么是数据挖掘技术数据挖掘技术是人们长期对数据库技术进行研究和开发的结果，其中数据仓库技术的发展与数据挖掘有着密切的关系。大部分情况下，数据挖掘都要先把数据从数据仓库中拿到数据挖掘库或数据集市中，因为数据仓库会对数据进行清理，并会解决数据的不一致问题，这会给数据挖掘带来很多好处。此外数据挖掘还利用了人工智能(AI)和统计分析的进步所带来的好处，这两门学科都致力于模式发现和预测。数据库、人工智能和数理统计是数据挖掘技术的三大支柱。由于数据挖掘所发现的知识的不同，其所利用的技术也有所不同。数据挖掘技术涉及到多种学科技术，如：数据库技术、人工智能、数理统计学、模式识别、神经网络及计算机软硬件技术的发展、数据可视化、信息检索及空间数据分析等，数据挖掘技术必能在更多的领域内取得更广泛的应用。三 数据挖掘的过程数据挖掘过程一般由三个主要的阶段组成：数据准备、挖掘挖掘、结果表达和解释。知识的发现可以描述为这三个阶段的反复过程。3.1 数据准备数据准备又可以分为3个子步骤：数据选取、数据预处理、数据转换。 (1) 数据选择。搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。(2) 数据预处理。研究数据的质量，进行数据的集成、变换、归约、压缩等为进一步的分析作准备，并确定将要进行的挖掘操作的类型。(3) 数据转换。将数据转换成一个分析模型，这个分析模型是针对挖掘算法建立的，这是数据挖掘成功的关键。3.2 数据挖掘做数据挖掘研究的人，往往把主要的精力用于改进现有算法和研究新算法上。人们都知道数据准备是必不可少的一步，但很少有人去真正花时间和精力去研究。其实数据挖掘最后成功与失败，是否有经济效益，数据准备起到了至关重要的作用。数据准备包含很多方面：一是从多种数据源去综合数据挖掘所需要的数据，保证数据的综合性、易用性、数据的质量和数据的时效性，这有可能要用到数据仓库的思想和技术；另一方面就是如何从现有数据中衍生出所需要的指标，这主要取决于数据挖掘者的分析经验和工具的方便性。3.3 结果表述和解释根据最终用户的决策目的对提取的信息进行分析,把最有价值的信息区分出来,并且通过决策支持工具提交给决策者。因此,这一步骤的任务不仅是把结果表达出来,还要对信息进行过滤处理,如果不能令决策者满意,需要重复以上数据挖掘的过程。当然数据挖掘也会带来一些社会问题，其中最敏感的要属个人隐私问题。当消费者感觉到他们的个人信息被非授权使用、滥用甚至出卖时，他们会感到他们的个人隐私受到了严重侵害。例如，在西方有的警察为了防止来自罪犯的报复，往往要注意保守自己家庭地址和电话号码不被泄露，但当他的新生婴儿在医院出生后，医院可能会将相应的信息出卖给专营新生儿用品或服务的公司，使他全然失去安全感。也许当你用信用卡为你妻子的妇科诊疗付费后，你会回家后收到来自保险公司的妇科保险征订单、来自厂商的妇科保健用品广告等，你会如何感受？正是由于这种状况，在有些发达国家，许多人认为政府和商业机构对他们个人的事知道得太多了，为此，他们宁可放弃使用信用卡消费。针对以上不同商业的特点，我们可以从不同的角度对客户群体进行分类归纳，从而形成各种客户分布统计，作为管理人员决策的依据。四 数据挖掘技术在商业领域中的应用现在，随着各行业业务信息化的实现，商业领域产生了大量的业务数据，这些数据或是为了分析的目的而收集的，或是为了纯粹的商业运作而产生。分析这些数据不再是单纯为了研究的需要，更主要是为商业决策提供真正有价值的支持信息。目前所有企业面临的一个共同问题是：企业数据量非常大，而其中真正有价值的信息却很少。因此就要求通过数据挖掘技术的使用对大量的数据进行深层分析，获得有利于商业决策的信息。总的来说，利用数据挖掘技术支持商业是一种基于数据分析的科学的决策方式，在一定程度上可以避免主观或经验决策中一些先天的不足，基于数据挖掘技术的商业领域的决策支持将会在实际应用中得到更加广泛的认可。数据挖掘技术的潜在应用是十分广泛的,从政府管理决策、商业经营、科学研究和工业企业决策支持等各个领域都可以找到数据挖掘技术的用武之地。下面我们列举出数据挖掘在以电子商务、银行业、零售业中等商业领域为例：电子商务是商业领域的一种新兴商务模式，是指利用电子信息技术开展一切商务活动。目前，在我国电子商务领域也有很大的发展，崛起了很多大型的电子商务网站，比如淘宝网、京东网上商城、拍拍网等。当电子商务在企业中得到应用时, 企业信息系统必定将产生大量数据, 这些海量数据使数据挖掘有了丰富的数据基础, 同时高性能计算机和高传输速率网络的使用也给数据挖掘技术提供了坚实的保障。因此数据挖掘技术在电子商务活动中有了更大的用武之地。下面我来分析一下数据挖掘在以下电子商务几个方面的作用:1. 进行客户的细分: 随着“以客户为中心”的经营理念的不断深入人心, 分析客户、了解客户并引导客户的需求已成为企业经营的重要课题。通过对电子商务系统收集的交易数据进行分析, 可以按各种客户指标(如自然属性、收入贡献、交易额、价值度等) 对客户分类, 然后确定不同类型客户的行为模式, 以便采取相应的营销措施, 促使企业利润的最大化。2. 如何利用数据挖掘获得有效的客户：利用数据挖掘可以有效地获得客户。比如通过数据挖掘可以发现某种购买商品的消费者是男性还是女性, 学历、收入高低, 具体有什么爱好, 年龄段、什么职业等等。甚至可以发现不同的人在购买某种商品的相关商品后多长时间有可能购买该种商品, 以及什么样的人会购买什么型号的该种商品等等。很多因素表面上看起来和购买该种商品不存在任何联系, 但数据挖掘的结果却证明它们之间有联系。在采用了数据挖掘后, 针对目标客户制定广告和策略发送的有效性和回应率将得到大幅度的提高, 推销的成本将大大降低。3. 如何保证客户的忠诚度：数据挖掘可以把你不同的客户分类, 在每个类里的客户拥有相似的属性, 而不同类里的客户的属性也不同。你完全可以做到给不同类的客户提供完全不同的服务来提高客户的满意度。数据挖掘还可以发现具有哪些特征的客户有可能流失, 这样挽留客户的措施将具有针对性, 挽留客户的费用将大幅降低。4客户保持 数据挖掘可以把大量的客户分成为不同的类, 在每一个类里面的客户都拥有相似的属性, 而在不同类里的客户的属性也有不相同。可以完全做到给不相同类的客户提供完全不相同的服务来提高客户的满意度。数据挖掘还可以发现具有哪些特征的客户有可能会流失, 这样我们挽留客户的措施具有针对性, 我们将挽留客户的费用下降。5. 如何进行交叉销售：交叉销售可以使企业比较容易地得到关于客户的丰富的信息,而这些大量的数据对于数据挖掘的准确性来说是有很大帮助和启发的。在企业所掌握的客户信息, 尤其是以前购买行为的信息中, 可能正包含着这个客户决定他下一个购买行为的关键, 甚至是具有的决定性因素。这个时候数据挖掘的作用就会体现出来, 它可以帮助企业寻找到这些影响他购买行为的因素。6. 提供个性化服务 当客户在电子商务网站注册时, 客户将会看到带有客户姓名的欢迎词。根据客户的订单纪录, 系统可以向客户显示那些可能引起客户特殊兴趣的新商品（比如淘宝网）。当客户注意到一件特殊的商品时, 系统会建议一些在购买中可以增加的其他商品。普通的产品目录手册常常简单地按类型对商品进行分组, 以简化客户挑选商品的步骤。然而对于在线网络商店, 商品分组可能是完全不同的, 它常常以针对客户的商品补充条目为主、并进行扩展为基础。不仅考虑客户看到的条目, 而且还考虑客户可能会感兴趣并购买、购物篮中的商品。并激发其建在的购物欲望。使用数据挖掘技术可以使推荐更加个性化、目的化，从而扩大销售的范围。：7. 进行资源优化：节约成本是企业盈利和提高市场竞争力的关键。通过分析历史的财务数据、库存数据和交易数据, 可以发现企业资源消耗的关键点和主要活动的投入产出比例, 从而为企业资源优化配置提供决策依据, 例如降低库存、提高库存周转率、提高资金使用率等。通过以上几种数据分析的过程可以有效地对电子商务中的信息进行分析，从而更有效地开展电子商务活动。那么，如何在电子商务中如何应用数据挖掘技术呢？首先，从挖掘过程说，对在线访问客户数据的挖掘主要有两部分：一部分是客户访问信息的挖掘,另一部分是客户登记信息的挖掘。面对大量的访问日志,首先要做的就是对数据进行清洗,即预处理,把无关的数据,不重要的数据等处理掉;接着对数据进行事务识别,通过对事务进行划分后,就可以根据具体的分析需求选择模式发现的技术,如路径分析、兴趣关联规则、聚类等。通过模式分析,找到有用的信息,再通过联机分析的验证,结合客户登记信息,找出有价值的市场信息,或发现潜在的市场。其次，挖掘方法主要有以下几种： （1） 路径分析 路径分析是一种找寻频繁访问路径的方法,它通过对Web 服务器的日志文件中客户访问站点的访问次数分析,挖掘出频繁访问路径。 例如:一客户从某一站点访问到某一感兴趣的页面后就会经常访问该页面, 通过路径分析确定频繁访问路径， 可以了解客户对哪些页面感兴趣，从而更好地改进设计，为客户服务。 （2） 兴趣关联规则 当客户访问某一网页时,一般会通过兴趣词条找出相关的兴趣网页通过链接继续访问, 这种关联产生的数据如果能够按照某种策略进行挖掘分析, 统计出客户访问某些页面及兴趣关联页面的比率, 就可以很好地组织站点, 实施有效的市场策略。 （3） 聚类分析 聚类分析是电子商务中很重要的一个方面,通过分组聚类出具有相似浏览行为的客户,并分析客户的共同特征,更好地帮助电子商务的用户了解自己的客户,向客户提供更合适的服务。如通过对众多的浏览网页的客户分析,发现在该网页上经常花一段时间浏览的客户,再通过对这部分客户的登记资料分析,知道这些客户是潜在的要买相机的客户群体。就可以调整网页的内容和风格,以适应客户的需要。2、数据挖掘技术在银行业中的应用 坪南金融电脑 2002年6月10日 第6期 数据挖掘技术开始被引人银行业中，并很快被各大商业银行所采用。最早在1995年，在美国100家商业银得中，就有超过50家投产了数据挖掘项目。数据挖掘技术已成为美国商业银得在竞争中的制胜的关键。下面讲一下主要的应用分别：（1） 信用风险控制 信贷业务，不管是企业信贷、个人信贷还是信用卡，都是商业银行中最重要的核心业务，这些信贷业务所带来的信用风险及其控制也是一直在商业银行中最为关注和棘手的问题。极大的束缚银行信贷业务的拓展。数据挖掘技术的出现，则为银行信用风险，尤其是个人信用风险的控制提供了一个客观、准确的评估和控制机制。（2） 欺诈发现 信用卡及其小额信贷的方便、快捷其中在国外已经成为最重要及最普及的支付方式，可随之而来的恶意透支、盗卡甚至专业的伪卡集团的出现，却使得发卡银行损失惨重。数据挖掘则是遏制欺诈的有效手段，数据挖掘可以通过对大量欺诈性客户和非欺诈客户的数据进行分析，找出欺诈客户的背景待征及欺诈的行为待征（年龄、性别、本地或外地、欠费金额、消费金额、消费习惯等）建立了相应的预测模型。该模型对银行当前的客户数据进行分析和监控，就能及时和有效的发现欺诈行为。如美国HNC公司推出的FALCON系统就是嵌入了神经元网络的专业欺诈发现系统，现在已有多家银行得到成功应用。不如如此，现在大多数国家也应用了数据挖掘技术在预防金融犯罪，侦察洗黑钱等领域中也有同样的极大的效果。（3）客户关系管理 数据挖掘技术主要应用于分析型客户关系管理系统，主要包括客户分类，客户保留、客户行为分析、客户盈利能力分析等等。客户分析又称为客户细分，指把一个庞大的消费群体划分为一个一个细分的客户群体，同一细分群体中的客户具有某些相似的特点，如背景资料（收入、居住地等）、盈利能力、消费偏发等，和我们通常所做的按照性别、年龄等进行固定分类不同，这里的细分是数据挖掘工具基于客户实际做过的事（消费、行为数据）自动分析产生的，例如他们购买了多少产品。有什么样的喜欢啊、盈利能力是多少等。被称为数据驱动的客户细分。例如：香港某家银行实行客户细分之后，在一年之内进行了多达700多次的有针对性的小范围内市场营销活动，并取得了良好的效果成绩。客户保留也是典型的数据挖掘应用，通过以前的数据建立模型来预测可能流失的客户，客户保留通常会在客户细分的基础上执行，为每一个细分的客户开发制定商业活动。包含了对客户的流失成本（利润率*估计的客房周期）相关的其它假定。同进，客户保留还应该完成以下工作：对保留客户的主要因素的验证，对赢回客户的主要因素和活动方式的验证以及对忠实客户的特性描述。3、数据挖掘技术在零售业中的应用数据挖掘在零售业中有着不可替代的巨大作用，各大超市可以通过每日营业数据调查出顾客的最大需求，安排货物摆放位置，从而扩大市场，妥善维护客户关系管理。也可以通过数据挖掘技术找出市场上每种商品的一种稳定价格，保证自己的利润点，避免无意义的价格战。零售数据挖掘有助于识别顾客购买能力，发现顾客购买模式和趋势，改进服务质量 商场现代化 2006年7月中旬第473期，取得最好的顾客保持力和满意度，提供贷品销售比率，设计最好的贷品运输与分销策略。减少商业成本。下面就简单的在零售业中的数据挖掘例子：1、数据挖掘的数据仓库的设计与够造，由于零售数据的覆盖面广（销售、顾客、员工、贷品运输、销售及服务），有很多的设计数据仓库的方式，所包含的细节级别可以变化很大。由于数据仓库的主要用途是支持数据分析和数据挖掘，预先的数据挖掘例子的结果可作为设计和开发数据仓库结构的参考依据。这样涉用要决定那些维和什么级另，以及为了保证高质量和有效的数据挖掘应该进行那些预处理的问题。2、销售、顾客、产品、时间和地区的多维分析：考虑到顾客的需求，产品的销售趋势和时尚，以及日用品的质量、价格、利润及服务，零售业需要的是适时的信息。提供强而有力的多维分析和可视化的工具是十分重要的一事情。在零售数据分析中是一种很有用的数据结构，它带有复杂条件的聚集上的分析。假设可以对商品的销售创建一个数据立方体，饫品种、城市、年份、销售额。可能要用以下查询分析数据；按品种和城市分组，计算销售额外负担。按品种分组，计算销售额。按城市分组，计算销售额。我们可从该数据立方体计算的方体或分级的总是多少？取城市、品种和年份三个属性为三个维。销售量为度量，可以由该数据立方体计算的方体总数为23=8个，可能的分组是（城市、品种、年份）、（城市、品种）、（城市、年份）、（品种、年份）、（城市）、（品种）、（年份）、（），其中，（）意指按代分组，（即不 对任何维分组）， 这些分组形成了该数据立方体的方体格。3、促销活动的有效分析：零售业经常通过广告、优惠券和各种打折扣的方式来搞促销活动，以达到促销产品，吸引顾客的目的，我们应该认真分析促销有效性，有助于提高企业的利润。多维分析可以满足这方面的分析要求，是通过比较促销期间 销售量和交易数量与和促销活动前后的相关情况。此外，关联分析可以找出来哪些商品可能会价低和商品一起购买，特别是和促销商品活动前后的销售相比。4、顾客保持力 以顾客忠诚分析：通过顾客荣誉卡信息，可以记录下一下顾客的购买序列。顾客的忠诚和购买趋势可以按