[硕士论文精品]基于数据挖掘技术的精准营销系统的设计与实现

浙江火学硕学位论文摘要摘要精准营销作为现代商业营销的新趋势，伴随着数据库、网络等计算机技术的发展，以其客户定位精准性、实现过程技术性和商业应用广泛性而备受企业的青睐。然而精准营销系统需要的技术投入往往使得很多中小企业望而却步，因此，设计并实现一个供中小企业进行低成本精准营销的平台是一项非常有意义的研究。与此同时，电信号码百事通系统作为沟通用户与企业的桥梁，积累了海量的呼叫记录数据，如何对记录数据进行有效的知识发现，是平台设计的基础。本文的精准营销系统PRECISIONMARKETINGSYSTEM，PMS，正是基于为中小企业搭建精准营销平台的需求设计的。系统从电信系统获取呼叫记录数据，采用数据分析与关联规则挖掘技术处理数据，并设计了系统应用业务，依托电信独有的号码百事通平台，使得企业通过定制业务和服务，进行精准的客户定位，并通过短信、语音等方式进行低成本的营销。系统以客户感兴趣的所有行业分类构建事务数据库，选择单层布尔型关联规则挖掘方法，运用关联规则经典挖掘算法APRIORI，计算得到关联行业规则，并应用挖掘结果，将企业的营销业务发展到相关联的行业用户中。此外，系统不断提取电信数据带来事务数据库的更新，从而引起关联规则增量挖掘问题。在研究了FUP、PFUP等增量挖掘算法后，针对FUP算法和PFUP算法面对大型数据库时单机运行遭遇效率瓶颈的问题，提出了基于并行计算的关联规则增量更新算法PPFUP，该算法在无共享的工作站上，通过划分局部频繁项集并分配到结点，采用并行思想处理原数据库和新增数据库的计算任务，降低单处理机内存压力。在系统实现方面，考虑到精准营销应用逐步丰富和业务逐步扩展的要求，设计了基于J2EE规范的BS五层系统框架。系统采用跨平台的JAVA语言，数据库接口遵循JDBC规范，消息传递将遵循XMLEXTENSIBLEMARKUPLANGUAGE，从而使未来系统可以平滑地升级并能与各种同样开放的未来系统相集成。关键词精准营销系统，STRUTS框架，关联规则，APRIORI算法；MVC模式浙江人学硕I学位论文ABSTRACTABSTRACTASTHETRENDOFMODEMMARKETINGPRECISIONMARKETINGISMOREANDMOREPOPULARTOTHEBUSINESSBYPRECISIONCUSTOMERORIENTATION，HIGLLTECHNOLOGYPROCEDUREANDWIDESPREADAPPLICATION，ALONGWITHTHEDEVELOPMENTOFDATABASE，NETWORKANDOTHERCOMPUTERTECHNOLOGYHOWEVER,THETECHNOLOGICALCOSTISOFTENPROHIBITIVEFORSME，THEREFOREITSMEANFULTODESIGNANDIMPLEMENTAPLATFORMFORSMETOACHIEVELOWCOSTPRECISIONMARKETINGATTHESAMETIME，ASABRIDGEOFUSERSANDCOMPANIES，BESTTONESYSTEMOFCHINATELECOMHASACCUMULATEDVASTRECORDDATASANDTHEPLATFORMISBASEDONKNOWLEDGEDISCOVERYOFTHERECORDDATAINTHISTHESIS，THEPRECISIONMARKETINGSYSTEMPMSWASDESIGNEDTOPROVIDINGTHESMEAPLATFONLLFORPRECISIONMARKETING111ESYSTEMHANDLESTHECALLRECORDWHICHWASOBTAINEDFROMTHECHINATELECOMSDATABASEBYDATAANALYSISANDMININGTECHNOLOGYALSO，BASEDONBESTTONE，SOMEAPPLICATIONSERVICESFORSMEWEREDESIGNEDANDCLIENTSCANCUSTOMIZESERVICESTOACHIEVEPRECISIONCUSTOMERSANDMARKETINGWITHLOWCOSTTHROU2HSMSORVOICETRANSACTIONDATABASECONTAINSTRANACTIONSCONSISTEDBYINDUSTRYCATEGORIESOFINTERESTWECHOSEDSINGLE1AYERANDBOOLEANASSOCIATIONRULESANDMINEDASSOCIATIVECATEGORIESBYCLASSICALASSOCIATIONRULESMININGALGORITHMAPRIORITHEMININGRESULTSWEREAPPLIEDINTHESERVICESWHICHSPREADANINDUSTRYSMARKETINGBUSINESSTOTHEUSERSOFTHEASSOCIATIVEINDUSTRIESINADDITION，OFTRANSACTIONDATABASE，THENLEDTOTHEINCREASINGRECORDDATASINDUCEDUPDATINGTHEPROBLEMOFINCREMENTALUPDATINGFORASSOCIATIONRULESAFTERSTUDYINGTHEINCREMENTALDATAMININGALGORITHMS，FASTUPDATINGALGORITHMFUPANDPRUNINGANDFASTUPDATINGALGORITHMPFUP，THETHESISPRESENTEDANIMPROVEDPARALLELPRUNINGANDFASTUPDATINGPPFUPALGORITHMTOSOLVETHESEPROBLEMSOFPFUPOVERLOADINGTHEPROCESSORANDDECREASESEXECUTINGEFFICIENCYPPFUPALGORITHMBASESONSHAREDNOTHINGWORKSTATIONS。PARTITIONSTHELOCALLYLARGEITEMSETSANDASSIGNSTHEMTODIFFERENTWORKSTATIONSANDSYNCHRONIZESTHETASKSOFCOMPUTINGONTWODATABASESTOABATETHESTRESSOFMEMORYCONSIDERINGTHEGRADUALEXPANSIONOFSERVICESTHESYSTEMWASDESIGNEDTOBEBSFIVE1AYERSYSTEM行AMEWORKBASEDONTHEJ2EESYSTEMUSEDJAVALANGUAGEJDBCSPECIFICATION。ANDTHEXMLEXTENSIBLEMARKUPLANGUAGE，SOTHATSYSTEMCANBEUPGRADEDSMOOTHLYANDBEINTERATEDWITHAVARIETYOFOTHERSYSTEMSKEYWORDSPRECISIONMARKETINGSYSTEM，STRUTSFRAMEWORK，ASSOCIATIONRULEMINING，APRIORIALGORITHM，MODELVIEWCONTROLLERFRAMEWORK浙江人学硕1学位论文图日录图目录图21J2EE体系框架图12图22STRUTS结构图15图23MVC模式用户响应流程图16图31PPFUP算法流程图30图41PMS系统功能33图42系统业务逻辑分类39图43精准营销系统活动图40图44自助管理模块用例设计41图45后台管理模块用例设计4L图46营销功能模块用例设计42图47企业加盟、营销数据流程48图48企业管理数据库模型43图49营销管理模块数据库模型48图51基于STRUTS框架的PMS系统结构48图52系统应用程序框图52图53PMS自助管理平台登陆界面57图54PMS后台管理系统界面57图55处理后得到的数据分析表61图56日呼叫量分析统计图63图57关联规则挖掘事务数据库63ILL浙江人学硕上学位论文表目录表目录表11精准营销方式与传统营销方式的比较3表31APRIORI算法符号表24表32PPFUP算法数据结构一28表41加盟企业表设计44表42加盟企业营销服务表设计45表51STRUTS框架包48表52被叫清单表设计57IV浙江大学研究生学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得逝江盘鲎或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。学位论文作者签名硇螂签钔期扣JO年弓月7日学位论文版权使用授权书本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部IJ或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。保密的学位论文在解密后适用本授权书、学位论文作者躲聊却L目导师虢嘭雹态签字R期汕年月日签字日期沙L、7年弓月R浙江大学硕上学位论文第1章绪论11项目背景第1章绪论在现代信息化社会里，信息充斥着社会生活的每一个角落，人们已经充分体会到信息的力量。以盈利为最终目的的企业，必须为客户提供“贴心的服务。要达到针对特定客户提供有针对的服务模式这一营销目的，企业就必须注重信息的有效利用，从有限的信息资源中挖掘出无限的商业潜能，争取能在这场信息战中取得持久的胜利。当传媒本身的介质发生变化、计算机技术的发展、消费者消费选择性增大等变化，使得现有的营销模式不但不能满足企业发展的需要，营销消费逐步上涨反而降低了企业的利润。因此很多企业纷纷把目光投向低成本投入、高效益回收的精准营销模式上【L】。精准营销的低成本是建立在技术的基础上的，技术研究的投入代替了一部分广告等营销投入，但是这对很多规模较小的企业来说例如浙江省的小型民营企业、餐饮企业等，他们没有积累大规模客户信息的手段和意识，将技术研究纳入成本是不现实的。在这种情况下，如何能提供一个企业进行精准营销的平台，更好地帮助这种类型的企业改进营销的手段，扩大企业的客户群，实现收益的增加，成为此次项目研究的重点。浙江兰创通信有限公司是一家经营电信增值业务为主的公司，拥有强大的互联网及移动通信方面的技术优势，具有领先的业务策划及运营能力，在移动增值运营业务领域具有强大的实力及丰富经验。在同浙江电信合作的过程中，积累了丰富的电信业务经验，希望能通过合作，将电信大规模的数据库系统运用起来，为浙江的经济发展做出贡献。通过研究与调研，我们发现电信数据库中，呼叫记录数据量庞大，但是其潜在作用并未被挖掘出来；与此同时，浙江的很多企业却亟须通过低成本高回报的营销手段，扩大客户群，提高企业效益。将电信大规模浙江大学硕学位论文第L章绪论通话记录数据进行有效挖掘利用，为浙江省企业提供优质的营销业务帮助，这将是一项非常有意义的研究。该项目研究的数据来源是电信数据库中的企业呼叫记录信息，研究的目的是对呼叫记录信息进行充分地分析与挖掘，为企业、行业提供关于企业或行业客户访问情况的清晰认识，为企业进行更精准的营销服务。因此，该系统必须具有以下几个功能特点1设计和构建规模适中、功能完备的数据库系统，进行数据分析与挖掘，为各项营销业务提供数据基础。2设计有效的分析手段，展示清晰的分析结果，为企业提供方便简单的操作平台，方便企业用户查询。3进行优质的企业、行业信息管理，为企业客户提供方便操作的自我管理平台和业务订购平台。该系统在全面有效的行业调研等大量的前期工作后，进行合理的行业分类。采集并处理大规模电信数据库为原始数据，采用当前应用非常广的数据挖掘技术，选择有效的挖掘手段，并在挖掘结果的基础上，设计各项精准营销业务，帮助企业花最少的钱，实现最大化的营销目的。12精准营销国内外发展现状及背景121精准营销的定义营销是市场经济的产物，其目的就是为企业找到市场，通过营销活动为企业带来效益。随着3G时代的到来，信息产业的融合日渐增强，精准营销成为现代商业营销的新趋势。21世纪世界经济发生了翻天覆地的变化，全球化、知识化、信息化、数字化和网络化使整个世界进入崭新的经济时代。旧的经济模式想新经济模式的转变，消费者的逐渐成熟，产品问的差异越来越小，企业的成本压力不断上升，这种种态势影响着企业的经营理念和营销方式，对传统的营销方式提出了挑战，在相当程度上预示着传统营销方式应该让出企业营销的主导位置【21。与2浙江人学硕上学位论文第L章绪论此同时，以网络和信息技术为核心的精准营销体系，在一定程度上将取代传统的营销方式，占据企业营销的主导地位，逐步成为现代企业营销发展的新趋势。那么精准营销是什么“精准营销”的营销概念是由“营销学之父”菲利普科特勒教授提出来的。所谓的精准营销，就是在精准定位的基础上，建立个性化的顾客沟通服务体系，实现企业可度量的低成本扩张之路【3】。按照精准营销理论普遍的观点，精准营销应具有三个层面的含义E4J第一，从意识上说，要有精准的营销思想，营销的终极追求是什么是无营销的营销，而要到达这种终极的思想，其必须的过渡就是实现逐步精准。第二，在已经树立了精准营销思想后，真正实现它，还需要借助实施精准的体系和可衡量的手段。第三，达到低成本可持续发展的企业目标。企业通过将营销策略定位于获取客户的需求、兴趣、偏好等方面的知识信息，利用这些信息构建互动的可获利的客户关系才是最终目的。这样看来，公司在进行精准营销时，不仅要进行更精准、可衡量和高投资回报的营销沟通，还需要更注重结果和行动。下面通过将精准营销和传统营销方式进行比较，以此得出精准营销系统的优势。表11精准营销方式与传统营销方式的比较精准营销传统营销借助先进的数据库技术、网络通盲目地使用广告、传单等传统手段信技术等科技手段以现代高度分散物流为保障，降中问渠道繁多，成本过高低营销成本与顾客进行长期个性化沟通与客户缺乏沟通手段市场定位可量化、精准的市场定位局限于定性成本低同脱士IX销突破了传统营销定位只能定性的局限；先进的数据库技术、网络通信技术等科技手段的运用，使得企业与顾客之间的长期个性化沟通，保持了企业和客户的密切互动沟通，从而不断满足客户个性需求，为企业建立稳定的忠实顾客群，进而通过客户链式反应实现利益增值，最终实现企业的长期稳定高速发展的需求；现代高度分散物流等手段保障使企业摆脱繁杂的中间渠道环节及对传统营销模块浙江人学硕学位论文第1章绪论式营销组织机构的依赖，实现了个性关怀。精准营销真J下使企业营销达到可度量、可调控等精准要求，摆脱了传统广告沟通的高成本束缚，使企业低成本快速增长成为可能。精准营销的手段有很多，通常采用的有互联网营销、第三方营销、数据库营销等【6】O1互联网营销基于互联网的精准营销把重点放在识别网民的消费心理和行为特征上。通过在门户网站、专门的信息网站、搜索网站、博客、EMAIL上，获得网民的网上行为特征和习惯，由此获得网民的消费倾向，挖掘网民的消费潜力，进而“投网民之所好“，向其展现特定的商业信息。如时下比较流行的电子消费券正是进行互联网营销的一个很好的示例。企业可以向感兴趣的网民投放新产品的广告，再提供电子消费券的下载点。比起企业随机发放的纸质消费券，这无疑是让客户随时了解到企业商业行为的一个较好的方法。2基于第三方渠道的营销方法当企业很难直接寻找自己的潜在消费者时，借助和自己业务相关的其他企业，也可以找到自己的潜在客户，实现精准营销。例如，海尔追随汽车导航市场的兴起和繁荣，推出了自己的专业且功能更强大的导航产品GPS导航电脑。但是海尔缺少消费汽车的用户信息，于是尝试借助第三方渠道的方法，与一汽大众合作，利用一汽大众的信息资源销售海尔的这款产品，同时一汽大众也通过海尔的产品来进行促销活动，而消费者也非常实惠地得到自己想要的产品。海尔通过第三方渠道实现了精准营销。3数据库营销数据库营销是企业进行精准营销时经常采用的营销方式，是企业利用计算机存储量大、成本低的特性，以全新方式储存和使用客户资料，运用先进的数据库技术和网络通讯技术，挖掘客户信息的巨大潜力，与客户进行零距离的沟通，以个性化、持续性、低成本的方式推进其客户导向的营销活动。数据库营销具有分析客户特征和购买习惯的能力，但必须首先建立一个有一定规模、信息完备的潜4浙江大学硕士学位论文第L章绪论在消费者数据库，而对一个企业来说是一项长期而又繁杂的工作。本项目中正是要帮助一些需要转变营销策略，以迎接信息化带给企业冲击的小企业，解决面临的技术实现的困难。基于数据库营销，可以采用邮件直复营销的方式与客户沟通，也可以通过呼叫中心、手机短信等方式。122精准营销在国内外的发展现状近几年在国内各类媒体上，精准营销在企业的营销人员的嘴里面不断升温。而精准营销在国外发达国家已经有几十年的历史，已经成为各类型企业的常规营销方式。早在60年代初，美国密西根大学教授杰罗姆麦卡锡将营销组合中的众多因素进行归纳，并概括为四大要素，即产品、价格、分销、和促销，简称为“4P”，并以“4P”理论为基础建立了创新的市场营销理论体系。随着经济的发展，市场营销环境发生了翻天覆地的变化。一方面是产品的同质化日益增强，另一方面是消费者的个性化、多样化R益发展。基于“4P”理论的传统市场营销理论体系已经无法迎合市场的变化，于是美国营销学者劳特明在90年代提出了著名的4C理论，即顾客CONSUMER、成本COST、便禾LJCONVENIENCE和沟通COMMUNICATION。4C理论认为，对现代企业来讲，重视产品，更要重视顾客；追求成本，更要追求价格；提供消费者的便利比营销渠道更重要；营销活动不单纯是在促销，而是与客户有效的沟通。4C理论以顾客的便利与满意为企业营销的根基，从企业必须从消费者的角度出发，为消费者提供满意的产品和服务，才能在竞争中立于不败之地。发达国家的市场营销起步得非常早，起步的FJ几十年罩，营销实践很好地推动了营销理论的发展。随着社会的不断变化，市场竞争的R益激烈传统的营销思想和营销技术并不能应对和解决今天所面对的销售竞争压力。“优胜略汰”是企业的生存法则，如何才成体现出企业的自身优势，使企业在日益激烈的竞争中拔得头筹从短期而言，企业需要更为精细化的营销战术，能迅速将项目诉求传导到精准的目标客户，并能以系统动员的方式诱惑、提醒和催促购买。从长期而言，5浙江人学硕卜学位论文第L章绪论需要构建一个可持续的客户服务能力、客户价值创造能力来为公司形成个稳定而清晰的客户基础，这种需要促进了精准营销的发展。可以说，是经济和科技的高速发展，催生了发达国家的精准营销，也推动着精准营销的发展。相对于发达国家，精准营销在中国的发展起步较晚，但是发展速度非常快。三十年改革开放，中国营销经历了一个从“无到有从“有到强”的过程；三十年市场营销的实践磨练，中国企业积累了很多营销经验、也培养了很多营销人才、形成了较为系统的营销理论，从整个大的层面还是积极的、卓有成效的。但是真正意义上的精准营销在国内的发展起步比较晚，中国企业对于数据库营销的核心，包括“客户识别”“客户分析”“客户互动”“客户体验”的数据库营销专业领域，往往知之甚少，因此中国企业普遍较为缺少精准营销的意识，与这种现象在一定程度上也体现了精准营销在中国发展的不成熟。随着国内信息化程度的提高，精准营销有了发展的基础，很多企业纷纷追随着现代营销理念的发展步伐，对传统营销模式进行改革，加入到精准营销的行列中来。精准营销在中国也发展起来。众所周之，营销仍然离不开广告，只是广告投放的方式发生了变化。中国的广告界是随着中国营销成长起来的，发展的也很迅速。广告的整体创作发生了很大变化，从“以产品为中心”的卖方市场时代，着重强调产品本身优势，到“以创意为中心“的买方市场时代，着重强调的是广告的关注度、吸引程度，最后发展成了今天的“以需求为中心“的消费者研究时代，从这一点也可以看出精准营销的发展态势。同时，国内企业针对中国市场、企业自身的特殊性，将精准营销多样化，走一条特色的道路。国内精准营销应用最多的是电信、银行、汽车、大型连锁超市等发展快、规模大的行业，这些行业经过长时间的市场营销，已经积累了大量的客户数据，基于这些行业的精准营销系统的研究也大量涌现。但是很多小企业却无法做到精准营销，他们能够采用的，仍然是广发广告、传单等传统的模式如何带动小企业踏入精准营销的行业，这是一个值得研究的方向。6浙江人学硕T学位论文第L章绪论123精准营销的发展趋势现代社会里，技术和服务的发展为精准营销策略的实施提供平台，但企业精准营销的发展仍然面临着巨大的挑战，企业对掌控精准营销专业技术的人才资源的缺乏，使得企业缺少构建和实施营销策略的定量能力，无法控制营销的发展【7】。因此精准营销快速、健康的发展，必须建立在充分应用技术的基础上。从精准营销的定义上看，它是建立在数据库、网络等计算机技术发展的基础上的，精准营销的发展离不开计算机技术的进步。目前，很多企业都青睐的用于精准营销的客户关系管理系统，即基于数据仓库和数据挖掘技术，对客户信息进行挖掘，制定营销策略。精准营销并非一般意义上的，人为地、凭经验进行市场、产品、顾客的划分，而是要以实际的数据和计算的结果为坚实的基础，否则，企业进行的营销活动能否为企业创造长期而又稳定的客户群，是值得怀疑的。此外，很多营销策略凭经验是无法得到的，“啤酒加尿布”的模式是一个很好的见证。传统的营销采用最多的是广告，这种“广撒网”的形式耗资大、效果难估计，营销规模难掌控。而以精准的客户群为目标的精准营销，通过与多种媒介相结合，营销效果是非常显著的。可以说，媒体的多样也促进了精准营销的发展。网络的发展为精准营销提供了更广阔的平台。全世界网民数的庞大，让人们看到了通过网络进行营销的无限可能。互联网作为一种新的媒体，带给我们的转变不单字面上理解的精准，新媒体也驱动着事实上的精准，基于互联网的“精准营销”将是营销领域最活跃、最具创造力的部分【8】。以中国的一些传统行业企业来说，他们已经逐渐地进行商务电子化，把整套原有企业的流程利用互联网转化。网络的运用为精准营销积累了数据，也提供了实施营销策略的平台。此外，以国内市场来说，中国信息产业部的数据显示，中国手机用户数将近6亿户。中国这种庞大的手机用户量促成了拇指经济环境，这种基于拇指经济环境下的移动信息化产品解决了我国中小企业面对精准营销时的困境，成为我国中小企业进行精准营销的得力工具，企业短信是移动手机商业模式的主流应用，相关营销专家称，企业短信如今已经处于大规模应用的蓄势待发的阶段。浙江人学硕上学位论文第L章绪论精准营销的发展离不开信息社会的发展，精准营销作为一种营销手段，其最终目标是实效，包括广泛意义的效果，而这种效果的产生离不开坚实的技术基础和多样化的信息传播方式。精准营销只有和技术、和信息社会相结合，才能获得广泛而又深入的发展。13数据挖掘在精准营销领域的应用数据挖掘和精准营销有着很深的渊源。早在上个世纪90年代，由于数据库的高速发展，社会的进步带给企业的营销压力，促发了企业对精确化营销的迫切需求，技术和市场的双重作用导致了数据挖掘这个概念和新名词的诞生。虽然数据挖掘所使用的各种方法在数据挖掘这个概念形成之前已经普遍存在，例如回归分析、数理统计、神经网络、机器学习等，但是我们不能简单的认为数据挖掘是“新瓶装老酒”，因为数据挖掘是非常清晰的界定了它所能解决的不同类型的几类问题这是一个高度的归纳，然后根据这些类型的问题，把包含统计学在内的各种方法进行了整合和重新设计，形成了一套新的数据分析方法论和框架，而数据挖掘的应用就是把这几类问题演绎的一个过程。在这个框架内，大量的研究人员投入进来，其中一类人主要研究并更新设计新的算法；另一类人是在不断的探索既有的方法在商业中的各种应用。数据挖掘技术在现代精准营销系统中所发挥的重要作用已经为人们所认同。数据挖掘一开始就是面向应用而诞生的，所解决的问题主要分为以下几类【91【1011分类问题。分类问题属于预测性的问题，但又区别于普通的预测问题，其预测的结果是类别而不是具体的数值。分类问题的商业案例最多，例如给一个客户的相关信息，预测他未来一段时间是否会进行某种与产品相关的活动信用度处于好，一般，差中的哪个层次是否会使用某款产品将来是否会成为企业的高，中，低价值的客户是否会响应企业的某个促销活动等等。以企业应用来分析，分类问题的作用有预测用户在未来一段时间内不再参与商业行为的风险；根据用户过去的消费行为特征评估用户忠诚度高低，便于调浙江大学硕F学位论文第1章绪论整采取及时的挽救客户的措施，等等。2聚类问题。聚类问题主要解决的是把一群对象划分成若干个不同类别的问题。划分的依据是聚类问题的核心。需要注意的是，聚类同分类是不同的两个问题，分类问题与聚类问题的本质区别是分类问题是预测一个未知类别的用户属于哪个类别，而聚类问题是根据选定的指标，对一群用户进行划分，不属于预测问题。基于用户间彼此距离的长短来对用户进行聚类划分的方法依然是当前最流行的方法。首先确定选择对用户进行聚类的指标；然后选定一种距离的计算公式，在选择的指标上计算用户彼此间的距离；最后把彼此距离比较短的用户聚为一类，类与类之间的距离相对比较长。聚类问题在商业中主要用于解决的问题如选择若干个指标如价值、成本、使用的产品等对已有的用户群进行划分，把用户群聚为若干个组，组内特征相似、组间特征差异明显，以便于企业制定针对不同用户群的特定的营销策略。3关联问题。由于关联分析最早用于超市商品的关联性研究，因此又叫“购物篮分析。关联问题的经典案例是沃尔玛超市的“啤酒和尿布”，关联分析要解决的主要问题是在不同用户的购买清单中，哪些产品是被同时购买的，同时购买的几率是多少买了一种产品的同时买哪个产品的几率比较高关联规则研究主要有两个方向一是在研究的问题中，假定用户购买的所有产品是同时一次性购买的，分析的重点就是所有用户购买的产品之间关联性；二是序列问题，即假定一个用户购买的产品的时间是不同的，而且分析时需要突出时间先后上的关联，这是关联问题的一种特殊情况。在企业应用方面，关联问题主要作用于企业的交叉销售策略针对用户已经使用的产品和业务，向其推荐他没有使用的，但可能有兴趣的产品。4预测问题。这里说的预测问题并不包含分类问题，主要指预测变量的取值为连续数值型的情况。例如国家预测下一年度的GDP增长率、电信运营商预测第二年的收入、有效用户数等预测问题的解决更多的是采用统计学的技术，例如回归分析和时间序列分析。相对来说，用于预测问题的回归分析在商业中的应浙江大学硕1J学位论文第1章绪论用要远远少于在医学、心理学、自然科学中的应用。其在商业中的应用性不如分类、聚类和关联分析问题强。由此可见，通过数据挖掘，企业能够对用户数据进行分析、归类，也可以从大量数据中抽取出潜在的、有价值的信息和知识，分析得到企业的用户特征，找到市场营销中隐藏的、容易忽视的规则，进行有效预测，拓展忠实客户群，定位更广泛的潜在用户群体，减少流失客户数量，为企业进步制定优质的营销策略提供依据，有利于商业运作，帮助企业做出正确决策，使企业在激烈的商业竞争中处于有利地位。数据挖掘在精准营销方面的应用最突出的表现是其在CRM中的所发挥的作用。数据挖掘技术作为一种新的信息处理技术，可以在企业客户关系管理的各阶段发挥作用，包括客户价值分析、客户保持、客户满意度分析、客户信用分析、交叉销售等。它能够帮助企业确定客户的特点，为客户提供有针对性的服务。本文在对数据挖掘中的关联规则技术进行充分研究的基础上，以电信的呼叫记录为原始数据，对其进行分析处理，以用户访问的行业为挖掘的基础对象，找出行业的关联性，为进一步的企业营销行为提供依据。这是对传统的用于超市商品的销售关联性或企业的用户特征分析的一种改革利用，突破了关联规则的一般应用特点，是一次有应用价值的尝试。14本文的研究内容精准营销系统的设计是建立在对浙江省中小企业的营销调研基础上，系统通过对中国电信数据库系统的数据采集，得到企业的电话访问记录，处理得到企业级和行业级的访问记录，再通过数据分析和数据挖掘技术，对访问记录进行分析与挖掘；系统还设计了关联推送、客户关怀、行业推广等企业应用业务。企业通过定制系统的应用业务，访问数据分析与挖掘结果，通过数据与实际应用的综合分析，改进企业的营销战略。除此之外，系统还设计了用来进行行业企业管理、行业分类管理、服务定制、营销、服务质量检测等功能模块。LO浙江大学硕I学位论文第L章绪论数据分析功能主要是对访问记录进行数据归并、时段分析等处理，为企业提供有关企业访问的报表等；数据挖掘主要利用数据挖掘算法，进行行业用户共享模型的设计与实现。数据分析和数据挖掘为企业应用业务提供了数据支持。论文第一章首先阐述了本课题的项目背景和意义，接着从精准营销的定义、发展状况及发展趋势几个方面展开对精准营销发展现状及背景的介绍；最后探讨了数据挖掘的几种方法在精准营销领域的应用。第二章介绍了系统基于的目前较为流行的J2EE规范。首先概括地介绍了J2EE技术平台；接着说明了J2EE规范中MVC模式的应用，并分别介绍了控制层、模型层和视图层的功能，及MVC模式的工作流程；最后介绍了整个系统采用的STRUTS框架技术。第三章介绍了关联规则挖掘技术的相关内容。介绍了系统中采用的关联规则挖掘方法，从关联规则的定义、分类和挖掘过程几个方面说明；重点研究了关联规则增量更新问题，并给出关联规则增量更新算法的改进算法。第四章进行了系统功能分析与设计。首先介绍了系统的需求分析和设计目标；接着在需求的基础上详细设计了系统的功能模块，并分析了系统设计的可行性；最后进行了系统的执行流程设计和功能模块的用例设计，并设计了系统的数据库模型。第五章采用STRUTS框架对原型系统进行了实现。首先设计了基于J2EE规范的系统框架，给出了MVC模式的实现和数据库访问方法；接着给出了系统实现数据分析与挖掘功能时需要做的工作；最后详细介绍了数据分析与挖掘模块的实现过程，并给出了实现关联规则挖掘经典算法APRIORI的JAVA伪代码，并分析了挖掘结果。第六章总结了全文的研究成果，并展望了后续工作。浙江大学硕L学位论文第2章J2EE技术甲台的戍用第2章J2EE技术平台的应用21J2EE开发平台J2EE是JAVA2平台企业版JAVA2PLATFORMENTERPRISEEDITION，J2EE，由SUN公司定义，是一种利用JAVA2平台来解决企业解决方案的开发、部署和管理相关复杂问题的体系结构，同时也是一个开发企业应用的规范，适用于为企业创建服务器应用程序和服务。J2EE为企业应用的开发提供了便利，主要表现在通过提供企业计算环境所必须的各种服务，如事务、安全性、消息服务等等，帮助企业实现部署在J2EE上的具有高可用性、安全性、可扩展性和可靠性的多层应用【11】；J2EE定义的客户端、WEB和EJB等相关组件及JDBC、RMI、XML等技术，为实现企业级分布式应用定义了丰富的技术标准【12】；分布式通信、服务、安全等的技术包为分布应用提供多方面的支持，等等。J2EE的体系框架如图21所示，分为四层，为客户端应用层、WEB层应用表示层、业务逻辑层和底层的企业数据存储层。J2EE的这种多层次的应用模型根据功能将应用逻辑分为多个层次，每个层次支持相应的服务器和组件13】。客户端WEB罢业务逻辑层数据存储层ILIIL厂客户端、，WEB服务器、L厂EJB容器、IHN甲L1I卜即L、SESSIONBEANK_一BROWSERS广1一SETVLETJ娜妄JSP、K户ENTITYBEANLD1B1一今NSEHC彳1JAVA应用JSP【MESSAGEDN一RYENBEANI图21J2EE体系框架图12浙江人学硕十学位论文第2章J2EE技术、F台的应用J2EE规范定义的核心组件有1客户端组件包括应用APPLICATION客户端和APPLET2WEB组件包括JAVASERVLET和JSPJAVASERVERPAGES技术组件；3EJB组件业务逻辑组件，本身又分为三类会话BEANSSESSIONBEANS，与客户进行交互、实体BEANSENTITYBEANS，对应数据库中的一个表和消息驱动BEANSMESSAGEDFIVENBEANS，用于接收消息，协调会话BEAN和实体BEAN的操作114】。J2EE规范的四层结构1客户端层。用来实现企业级应用系统的操作界面和现实层，作为与客户进行直接交流的渠道。客户端可分为APPLET客户端、应用程序APPLICATION客户端和浏览器客户端也叫瘦客户端。2WEB层由W曲服务器和WREB组件组成，主要为企业提供WEB服务。WEB层作为连接业务逻辑层和客户端的桥梁，处理来自客户端的客户请求，调用相应的逻辑模块，并把结果显示返回给客户端。3业务逻辑层，主要用来处理逻辑，以满足金融、电信、银行、零售以及其他业务领域的需求，这些逻辑是企业级应用程序的核心，由运行在业务层中的EJB组件来处理。EJB层和W曲层构成了J2EE三层体系架构的中间层。4企业的信息系统层，也成数据存储层，存储用来支持企业应用程序的信息，保证不会因为其他应用程序导致数据的不一致或不完整，因此要求系统确保能通过各种应用程序对企业信息系统进行事务性访问。22J2EE规范中MVC模式的应用MVC模式是XEROXPARC为编程语言SMALLTALK80发明的7中软件设计模式，自从作为SUN公司为J2EE平台的设计模式以来，成为了WEB开发的主流设计模式151。MVC模式是MODELVIEWCONTROLLERFRAMEWORK的简称，即模型试图控制器。MVC模式把应用程序分为3个模块视图层、模型层和控制器层，每一个浙江大学硕I学位论文第2章J2EE技术、I正台的应用模块各自处理自己的任务，此规范的目的是增加代码的可重用性、减少数据表达、数据描述和应用操作的耦合度，同时也大大提高软件的可修复性、可扩展性、灵活性及封装性【16】。MVC各层的定义为1视图层VIEW视图是与用户交互的界面，主要用来向用户显示数据，接收用户输入的数据，并与模型层交互，向模型查询相应的业务状态，最后接收模型发出的处理数据，视图层再用查询结果来更新显示用户界面。视图层组件可以接收模型发出的数据更新事件，对用户界面进行同步更新，但是不能改变模型。典型的VIEW组件包括JSP页面和自定义标签库。2模型层MODEL模型是应用程序的最重要的核心部分，用于封装业务数据和逻辑。模型接收视图请求的数据服务，并返回处理的最终结果。因为一个模型可以同时为多个视图提供查询服务，反馈查询结果，所以代码的高可重用性得以体现。模型层的实现可以采用JAVABEAN、EJB、JAVADATAOBJECT等技术。3控制层CONTROLLER控制层是系统的控制器，其控制作用，接收用户输入，获取用户请求，调用模型组件处理请求，待模型处理完毕，再调用视图来显示由模型处理后返回的数据，控制器控制并实现用户请求的过程，但控制器本身不做任何处理用户请求、输出处理结果的工作。控制器的概念是流行的STRUTSFRAMEWORK技术的核心。自此，MVC的处理过程就非常清晰了，首先由控制器接收WEB用户白WEB页面发送的查询请求，决定调用哪个模型来处理，对应的模型进行相应的逻辑处理后，返回处理后的数据，控制器调用视图，最后由视图将模型返回的数据显示出来。MVC模式除了带来设计清晰、易于维护等系统开发便利以外，还有其他很多优势17】【18】1代码和设计的复用性复用性体现在一个模型可以与多个视图对应。对组浙江大学硕十学位论文第2章J2EE技术平台的心用件和设计的复用，开发小组之间易于沟通，系统易于理解，能够降低新项目的开发成本一。2各模块相对独立，其中一个模块做了更改，不会影响到其他模块。3控制器的使用提高了应用程序的灵活性和可配置性控制器可以连接不同的模型和视图，完成用户的需求。4模型独立于视图MVC模式中，模型与视图没有直接的联系，只通过控制器连接，因此模型可以被独立地移植到新的平台上，而新平台只需要对视图和控制器做相应的修改。同时还可以增加新类型的用户界面，这时也只需更改相应的视图和控制器，无需改动模型。23STRUTS框架技术实现的MVC模式STRUTS是目前比较成熟的WEB开发框架。它是在JSPMODEL2的基础上实现的一个MVC框架，STRUTS的重点是控制器部分，由ACTIONSERVLET和ACTION组成；STRUTS的核心一模型部分一般采用JAVABEAN或EJB组件；视图部分一般由一组JSP图22STRUTS结构图塑坚苎兰堡兰丝堡兰量坚塾查兰苎盟竺旦文件构成。STRUTS是一个丌源的项目，一般不需要为系统的框架编写代码、测试和调试，从而为程序员节省大量的时间并把大量的精力救在新代码的编写上。STRUTS结构如图22所示。在STRUTS框架中，VIEW组件和CONTROLLER组件之问传递表单数据时，利用了AETIONFORMBEANSTRUTS框架把VIEW组件接收到的表单数据保存在ACTIONFORMBEAN里，并把它传递给CONTROLLER组件CONTROLLER组件可以修改ACTIORTFORMBEAN中的数据；最后由JSP文件使用STRUTS标签读取修改后的ACTIONFORMBEAN的信息，重置HTML表单。从STRUTS框架初始化并实现从获取用户请求到处理完毕返回处理结果的MVC模式的整个数据流程如图23所示，具体描述为MI在WEB应用启动时会加载并初始化控制器AETIONSERVLET由控制器读取STRUTSGONFIGXML配置文件信息包含了请求路径映射的信息，并保存到内存中。白此完成了STRUTS框架的初始化。图2,3MVC模式片户响应流挂图控制器接收HTTP请求后，首先在STRUTSCONFIGXML文件中找到与请求映射的路径对应的ACTION；若没有找到对应的路径，控制器直接将请求转发给JSP或者HTML页面。确定ACTION后，控制器把客户提交的表单数据保存到ACTIONFORM对象中ACFIONFORM是个抽象类，它卅以被每个输入表格模型扩展，ACTIONFORM对象将利用HTTP请求中的参数柬填充自己。控制器掌控对应于设请求的ACTION实浙江大学硕一LJ学位论文第2章J2EE技术、F台的应用例后，将请求分发至对应的ACTION实例，调用ACTION的EXECUTE方法。EXECUTE方法成功执行后，返回一个ACTIONFORWARD对象，ACTIONSERVLET再把客户请求转发给ACTIONFORWARD对象指向的JSP组件，由该组件生成动态网页，返回给客户。自此完成了从接收客户HTTP请求到成功执行，返回结果的执行流程。24本章小结本章首先介绍了面向企业应用的开发平台J2EE，及J2EE规范定义的核心组件，J2EE的四层结构；接着，详细介绍了J2EE规范中的MVC模式MODELVIEWCONTROLLERFRAMEWORK，各个模型层的功能、整个框架的工作流程；最后说明了本系统采用的实现MVC模式的框架技术STRUTS，STRUTS框架中控制层、模型层、视图层的各自实现方式，STRUTS框架的初始化及相应用户请求的执行流程。浙江人学硕一L学位论文第3章关联规则挖掘技术研究31引言第3章关联规则挖掘技术研究在第一章中，我们已经简要介绍了数据挖掘的一些方法在精准营销中的应用，这一章我们主要介绍本系统所采用的关联规则挖掘技术。关联规则挖掘在商业应用中所要处理的问题，就是在企业数据库中找出有价值的关联项目，加以分析判断，获取有意义或者隐含的信息，归纳出企业需要的结构，为企业经营决策提供数据依据。关联问题的应用非常广泛，只要企业或行业具备业务数据以及进行数据分析的需求，皆可利用挖掘工具进行有目的的挖掘分析。常见的应用案例多发生在零售业、制造业、财务、金融、保险、通讯及医疗服务行业等，对关联规则应用系统的研究也非常多。例如文献20T9介绍的网上书店电子商务系统就是利用关联规则技术，对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计；关联规则挖掘是企业客户管理方面CRM中常用的方法，如文献16】中介绍的分析性CRM系统，是一种典型的交互式系统，用信息技术手段帮助企业组织管理客户关系，借助关联问题制定企业的交叉销售策略针对用户已经使用的产品和业务，向其推荐其没有使用的，但可能感兴趣的产品；文献2L】介绍了一种用关联规则挖掘保险业务数据中的投资风险规则，保险公司通过数据挖掘找出投保人的特征和索赔记录的关联性，以此来减少成本，提高利润文献22】中介绍的机组产量预测系统则反映了关联规则挖掘技术在制造业工厂生产中的一种应用。这些应用实例说明关联规则挖掘技术对企业精准营销发挥着重要的、决定性的作用。同许多企业的应用系统一样，本文介绍的精准营销系统也利用了关联规则挖掘技术，并将挖掘结果应用于实际的决策；与一般的应用系统不一样的是，本文浙江大学硕。F学位论文第3帝关联规则挖掘技术研究的精准营销系统面对的不是某个特定的企业应用，而是迎合了中小型企业的营销需求。系统分析的数据基础也并非来源于某个企业，而是来自电信数据库，从中抽取出用户访问企业的呼叫记录数据。可以说，本系统是为企业用户提供的精准营销的平台。32关联规则挖掘技术关联规则是数据挖掘技术学科中非常重要、也是应用最广泛的一个分支，是由AGRAWAL等【23】于1993年首次提出，一经提出便引起了研究者们广泛的关注。对关联规则问题的研究往往分为两种一种是基于现有关联规则技术，进行有价值的应用；一种是在现有关联规则算法基础上，进行算法的改进和更新。321关联规则的定义关联规则通常被简单地认为是形如XY的蕴涵式其中X和】，是来自于系统定义的一些项目，事实上，对关联规则的描述远不止这么简单，而关联规则挖掘的本质是在储存着海量信息的数据库中，寻找到一些有潜在利用价值的信息片段，而这个片段在数据库每条记录中的出现概率必须达到一定阈值，这个阈值是由经验丰富的专家预设的。由于数据的计算是固化的，但能否应用到实际还需要进一步考量，因此在找到了可能有用的信息后，还需要一些技术手段对其进行进一步验证。最终得到的信息才是真正有用的。在关联规则的定义，牵涉到很多辅助定义，这些定义是表述关联规则的基础。定义1【LO】关联规则挖掘的数据对象的集合，通常称为事务数据库D，顾名思义，该数据库D是由多条事务组成，用符号，表示事务，则DTL,，2，以，。K1,2，胛；每个事务在数据库中都有一个唯一的编号，记作TID。定义2T10】项目是关联规则挖掘数据库中最基本的元素，用F。表示；不同的项目组成事务K1,2，即；数据库中所有不同的项目组成集合III,F，F。；假设A是