数据挖掘的教案

数据挖掘的教案第1页/共78页第2页/共78页1．1数据挖掘的社会需求

现实情况：人类积累的数据量以极快的速度增加，如果不借助强有力的挖掘工具，仅依靠人的能力来理解这些数据是不可能的。现在人们已经评估出世界上信息的数量每二十个月翻一番，并且数据库的数量与大小正在以更快的速度增长。第3页/共78页数据挖掘的社会需求数据挖掘数据库越来越大有价值的知识大量的数据第4页/共78页1．1数据挖掘的社会需求

著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。这样，上述几种商品的销量大增。第5页/共78页1.2数据挖掘的定义—技术定义

数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。第6页/共78页1.2数据挖掘的定义—商业定义

按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。

数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程。它可以帮助企业对数据进行微观、中观乃至宏观的统计、分析、综合和推理，从而利用已有数据预测未来，帮助企业赢得竞争优势。第7页/共78页1.2数据挖掘的定义—商业定义

应用实例：某经营公司对多年来的客户资料进行挖掘后发现，大多数购买电脑的客户具有下面的特点：1、年轻（20—45岁之间）；2、收入高；3、居住地：城市；4、学历高；基于此，此经营公司可以根据这些客户的特点有目的的做一些广告或者促销。第8页/共78页1.3数据挖掘的发展历史—未来发展数据库人工智能统计学

上述学科的发展决定着数据挖掘的发展未来和方向第9页/共78页1.4相关学科

数据挖掘是一个交叉学科领域，受多个学科影响，包括数据库系统、统计学、机器学习、可视化和信息科学。数据库技术统计学数据挖掘机器学习可视化其它学科人工智能第10页/共78页1.5数据挖掘的应用领域金融领域电子商务电子政务电信领域工业生产生物和医学第11页/共78页1.5数据挖掘的应用领域—营销应用实例1：美国运通公司(AmericanExpress)有一个用于记录信用卡业务的数据库，通过对这些数据进行挖掘，制定了“关联结算(RelationshipBilling)优惠”的促销策略，即如果一个顾客在一个商店用运通卡购买一套时装，那么在同一个商店再买一双鞋,就可以得到比较大的折扣，既增加了商店的销售量，也可以增加运通卡在该商店的使用率。销售组合策略建议第12页/共78页2.2商业中数据挖掘的主要技术应用关联分析用于了解顾客的购买习惯和偏好，有助于决定市场商品的摆放和产品的捆绑销售策略；序列模式用某时间点发现的产品购买或其他行为模式来预测将来购买产品或服务类别的概率；用户购买行为预测聚类用于市场细分，将顾客按其行为或特征模式的相似性划分为若干细分市场，以采取有针对性的营销策略；分类用于预测哪些人会对邮寄广告和产品目录、赠券等促销手段有反应,还可用于顾客定级、破产预测等异常检测

用于检测异常的用户行为，判定可能产生异常的原因，如信用卡被盗用第13页/共78页数据挖掘应用Debt<10%ofIncomeDebt=0%GoodCreditRisksBadCreditRisksGoodCreditRisksYesYesYesNONONOIncome>$40KQQQQII123456factor1factor2factorn神经网络NeuralNetworks聚类分析ClusteringOpenAccn’tAddNewProductDecreaseUsage???Time序列分析SequenceAnalysis决策树DecisionTrees

倾向性分析

客户保留客户生命周期管理目标市场价格弹性分析

客户细分市场细分

倾向性分析客户保留目标市场欺诈检测关联分析Association

市场组合分析套装产品分析目录设计交叉销售第14页/共78页背景、发展和定义数据挖掘的主要技术传统数据挖掘的发展趋势第15页/共78页3.1数据挖掘的发展趋势—WEB挖掘Web数据的收集，半结构化文档，结构转换等预处理技术的研究现有的数据挖掘方法在适应性和时效性方面的研究基于Web挖掘和信息检索的智能搜索引擎及相关技术的研究Web挖掘在特定领域如电子商务领域的应用研究第16页/共78页3.2数据挖掘发展趋势-空间数据挖掘可以针对用户位置实施个性化的应用如餐馆搜索商品推荐和物流等数据源十分丰富，数据量非常庞大，数据类型多，存取方法复杂；应用领域十分广泛，只要与空间位置相关的数据，都可对其进行挖掘；挖掘方法和算法非常，而且大多数算法比较复杂，难度大；知识的表达方式多样，对知识的理解和评价依赖于对人对客观世界的认知程度。第17页/共78页Applicationofclustering第18页/共78页第19页/共78页第20页/共78页第21页/共78页Howtoclassifyanitemtoaparticularcategory?第22页/共78页第23页/共78页第24页/共78页第25页/共78页第26页/共78页AbnormalDetection第27页/共78页WhypersonalizationHowtoachievepersonalizationWhyrecommendationMainstreamrecommendationmethods28第28页/共78页29UniquepersonalizedPicturefrom:http://www.wretch.cc/blog/slifer005/21072695、.tw/

第29页/共78页30第30页/共78页31第31页/共78页32第32页/共78页33第33页/共78页MostcurrentresourcesearchNopersonalizationOnlydependsontherelevantmatchofthequeryandtheresourcedescriptionCoffeefanProgrammer“Java”“Java”Resultsfrom第34页/共78页ScenarioBuyLikeQuery:（fish）ResultRankResultAliceProfile:(spicy)第35页/共78页3636AlgorithmscanonCanon,camera,IXUS801SSearchengineCanon,literature,Dickens第36页/共78页Howtoachievepersonalization37第37页/共78页PersonalizedSearchUserProfileAnalyzedsurfingbehaviorandgenerateduserprofilesasfeaturesofthevisitedpagesPastclickhistoryoftheusersPersonalizationAlgorithmBuildingthepersonalizedaspectdirectlyintosomeranking38第38页/共78页第39页/共78页用户个性化数据收集第40页/共78页Outline为什么收集用户数据怎样收集用户数据如何使用收集到的用户数据第41页/共78页Outline为什么收集用户数据怎样收集用户数据如何使用收集到的用户数据第42页/共78页第43页/共78页用户数据收集需求用户产品产品销售的三大核心数据带来的好处：1、可以提高和深化我们对目标用户的认知2、不断跟进用户需求点3、可以找出产品中的不足4、更多。。。第44页/共78页用户喜好需求预测购买行为厌恶购买能力记录用户行为和数据购物体验（满意度）更多。。。提升销量提升用户忠诚度拓展用户群更多。。。DM挖掘出的有用信息商业目的客户细分第45页/共78页细分市场实施用户细分的市场营销方式是推动业务增长的最有效方式。数据库营销的用户细分需要大量正确的用户信息第一步：明确潜在用户第二步：收集用户特征与资料第三步：明确用户的核心价值第四步：了解用户使用相同产品的感受第46页/共78页第47页/共78页第48页/共78页第49页/共78页是不是收集全部数据就是最理想？采矿：整个地球挖一遍还是挖掘勘探过的有矿的地方？有目的的收集数据第50页/共78页Outline为什么收集用户数据怎样收集用户数据收集哪些数据数据的粒度如何使用收集到的用户数据第51页/共78页用户数据的收集是一整套全面发展、长期的用户分析。第52页/共78页一个例子人口统计学信息

年龄

性别

收入

教育

职业

婚姻家庭种族

生活方式（钓鱼高尔夫）

兴趣

价值观念（宗教爱国）

个人感情

地理属性气候人口密度地形

行为方式

接入渠道邮件电视互联网专卖店

目标利益价格/技术/价值

支持渠道最佳联系方式时间等

第53页/共78页Google信息收集（1）Google（一般搜索）搜索引擎结果页面国家代码域名查询IP地址语言结果的数量安全搜索附加的参数包括：街道地址城市州邮政编码服务器日志查询URLIP地址Cookie浏览器日期时间点击第54页/共78页Google信息收集（2）GoogleCalendar姓名默认语言时区使用策略服务使用时间长度数据转移频率数据转移大小事件数量日历数量点击每90天删除情况所有事件参加者被邀请者评价描述日期时间第55页/共78页我们需要收集哪些数据？第56页/共78页一个电商网站用户数据收集建议（1）用户基本数据（尽可能多）年龄、性别、国籍、教育程度、收入、婚姻状况、爱好等，注册信息

潜在用途：根据属性进行商品推广用户登陆记录用户id-登陆时间-登陆ip-登陆国家-退出时间

潜在用途：判断登录活跃程度用户ordertracking的行为记录用户id-订单id-tracking时间潜在用途：用户消费能力、购买活跃度用户Rating用户id-商品id-分数-打分的时间潜在用途：用户满意度用户所给出的Tag用户id-商品id-tag-标记的时间潜在用途：

用户的偏好第57页/共78页一个电商网站用户数据收集建议（2）用户review用户id-商品id-review-评论的时间潜在用途：用户的满意度、满意点、不满点

用户digg的商品，和digg的时间，如果购买过该商品则需要购买该商品的时间用户id-商品id-digg时间-购买时间潜在用途：用户的喜欢用户购买商品的记录即用户的订单中的以下字段：用户id，商品id，所购买商品的数量（购买了哪几种商品，每种买了多少个）、商品单价、订单总金额、购买时间，交易时间（即从登陆到完成下单时间）、支付方式（visa、masteretc.）

潜在用途：丰富的信息，关联商品、相似用户第58页/共78页一个电商网站用户数据收集建议（3）用户浏览过的商品记录用户id-商品id-浏览时间的开始时间-结束时间

潜在用途：用户可能购买商品用户搜索的关键词记录，每次搜索后对应的浏览记录用户id-搜索词-搜索时间-点击的搜索结果-点击时间

潜在用途：用户显式需求Socialnetwork信息用户id-在哪些socialnetworkwebsitefollowDX潜在用途：用户的接入和拓展渠道用户论坛发言用户id-商品论坛id-帖子id-帖子内容（包括回复内容）-发帖（回复）的时间潜在用途：丰富的信息第59页/共78页一个电商网站用户数据收集建议（4）常用的支付工具、支付渠道和方式的选择以及相应比例购物车行为购物车的使用属性-购物车的使用状况（一般商品数目）

（大额商品和小额商品的使用到付款的时间间隔）

（性别对使用购物车的影响）（购物车商品的取消率）第60页/共78页从商品的角度收集商品自有属性来自多个用户的对应该商品相关信息，如评论、打分、投诉等第61页/共78页从用户的角度收集用户自有属性该用户的主观的关于多个商品的相关信息第62页/共78页收集数据的粒度和处理原始数据–加工后数据粗加工精加工Datacube更多。。。通过对原始数据的处理，可以获得多方面多角度有价值的信息原始数据的收集粒度地址-国家，省，市，街道喜好-电子产品->移动电子产品->移动办公电子产品->pad型电子产品打分–1-5分，1-10分，优良中差

第63页/共78页数据应用例子-亚马逊用户一般的购物流程：搜索了什么，看了哪些产品的详细介绍，最终购买了什么产品,都会被亚马逊记录下来。其他用户历史购买行为，可以进行相关推荐。因为用户做购物决策的时候，也想知道其他人都看了什么，买了什么。除了用户购买行为数据外，亚马逊还会搞一些活动来“勾引”用户说出喜好和需求。比较典型的活动就是投票。例如下面关于是否喜欢情人节的投票。多数喜欢情人节的用户是热恋中的人，亚马逊可能会推荐各种礼物，如情侣装，戒指，鲜花等。失恋和单身的人一般不喜欢情人节，亚马逊推荐失恋疗伤的书籍，如游戏机之类自娱自乐的的商品。第64页/共78页数据应用例子-亚马逊收集用户行为数据只是第一步整合用户行为数据和喜好并挖掘用户的潜在需求对有相同特征的用户作定向、精准的营销如果韩寒的新书上市了，亚马逊如何做一期推广EDM(邮件营销)呢？首先，从用户购买行为数据中筛选出曾购买了韩寒写的书的用户。仅仅只有这些用户是我们的营销目标么？别忘亚马逊还收集了用户的一些非购买行为数据。对了，再加上在网站举行的关于“喜欢韩寒还是郭敬明”的投票中选择韩寒的用户。这样就行了么？当然不是，亚马逊还要分析这类有什么共同特征，从而为他们定制适合的促销方式。如果他们的购买行为数据显示，他们选择最便宜送货方式的比例要比整体的用户群体高。这说明这群用户对于运费价格比较敏感。好了，这次推广的目标人群和主题可以确立了。连邮件标题你都可以想出来了——韩寒新书（免运费）。第65页/共78页部分有价值的数据应用通过用户身份识别及用户基本信息的采集，我们可以通过网站分析的各种方法在网站是实现一些有价值的应用：基于用户特征信息的用户细分；基于用户的个性化页面设置；基于用户行为数据的商品推荐；基于用户的个性化搜索；基于用户兴趣的定向营销；用户有购买倾向却未购买原因分析；文本挖掘技术和聚类模型分析的商品自动分类；用户访问兴趣聚类；用户等级自动分类；商品用途和用户需求匹配分析；新产品推广预测分析；用户购买行为预测；用户购买力判断第66页/共78页PersonalizedsearchinCTS67第67页/共78页ScenarioBuyLikeQuery:（fish）ResultRankResultAliceProfile:(spicy)第68页/共78页69背景介绍海量的网络资源如电影、音乐、书寻找合适的资源十分耗时需要一个自动的资源推荐系统第69页/共78页电子商务的兴起大量的商品在网路上出售用户难以快速地在一个大型电子商务网站中找到想买的商品提供比对手更精确的个性化商品推荐70From第70页/共78页71推荐问题的形式化描述推荐问题:Aseto