分析培训ppt课件.pptx

数据仓库的我国的发展,前景：随着计算机技术的发展，尤其是分布式技术的发展，数据仓库在我国有着广阔的发展空间和良好的发展前景。例如：由于银行商业化的步伐正在加大，各大中型银行在入世的机遇和挑战下，开始重新考虑自身的业务，特别是信贷风险管理方面特别注意，因而有关信贷风险管理和风险规章的基于数据仓库的决策支持系统的需求逐渐增多；由于电子商务的迅速发展，越来越多的电子商务网站，开始考虑如何将数据仓库应用于商品销售分析、顾客的诚信度分析等，为客户提供更进一步的个性化服务；如移动通信等各大型企业也开始考虑着手进行决策支持以及数据仓库规划。,1,如何有效使用数据库中存储的海量数据？,数据挖掘就是从大量的实际应用数据中，提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。数据挖掘的主要目的是提高市场决策能力，检测异常模式，在过去的经验基础上预言未来趋势等。例如，通过对大量气象资料和销售资料的处理及分析，德国的啤酒商发现，夏天气温每升高1，就会增加230万瓶的啤酒销量；而日本人则发现，夏季30以上的天气每增加一天，空调的销量便增加4万台。,2,数据挖掘简介,数据挖掘（ataMining）：又称为数据库中的知识发现，是基于、机器学习、统计学等技术，高度自动化地分析原有的数据，进行归纳性推理，从数据仓库或数据库中提取可信的、新颖的、有效的、人们感兴趣的、能别人理解的知识的高级处理过程。这些知识是隐含的、事先未知的有用信息，提取的知识表现为概念、规则、模式、规律等形式，以帮助管理者作出正确的决策。模式：它给出了数据特性或数据之间的关系，是对数据所包含的信息更抽象的描述。模式按功能可以分为预测型模式和描述型模式。在实际应用中，可以细分为关联模式、分类模式、聚类模式和序列模式等。,3,数据挖掘简介,数据挖掘和数据仓库是作为两种独立的信息技术出现的。它们都可以完成对决策过程的支持，并且相互间有一定的内在联系。因此，将数据仓库与数据挖掘集成到一个系统中将能够更有效地提高系统的决策支持能力。数据挖掘是一门交叉性学科，它涉及到机器学习、模式识别、统计学、智能数据库、知识获取、数据可视化、高性能计算、专家系统等多个领域。可广泛地应用于信息管理、过程控制、科学研究、决策支持等许多方面。,4,DM系统的体系结构（1）DW的步骤：数据准备：数据集成数据选择预分析挖掘表述评价（2）DW系统的结构：,用户界面,结果输出,数据挖掘核心,知识库,数据仓库,数据库,文件系统,其他数据源,ODBC或其他专用数据库接口,5,数据准备阶段：经过处理过的数据一般存储在数据仓库中。数据准备是否做得充分将影响到数据挖掘的效率和准确度以及最终模式的有效性。包括：数据的选择：选择相关的数据数据的净化：消除噪音、冗余数据数据的推测：推算缺失数据数据的转化：离散值数据与连续值数据之间的相互转换、数据值的分组分类、数据项之间的计算组合等数据的缩减：减少数据量,数据清洗的过程,6,数据挖掘的过程,挖掘阶段：该阶段是数据挖掘的核心步骤，也是技术难点所在。根据数据挖掘的目标，采用人工智能、集合论、统计学等方法，应用相应的数据挖掘算法，分析数据并通过可视化工具表述所获得的模式或规则。,7,数据挖掘的过程,评价阶段：在数据挖掘中得到的模式可能是没有实际意义或没有使用价值的，也有可能不能准确反映数据的真实意义，甚至在某些情况下是与事实相反的，因此需要评估，确定哪些是有效的、有用的模式。评估可以根据用户多年的经验，有些模式也可以直接用数据来检验其准确性。,8,数据挖掘的类型,数据挖掘的任务:是从大量的数据中发现模式。比较典型的有：预测模型关联分析分类分析聚类分析序列分析偏差检测模式相似性挖掘Web数据挖掘,9,可视化技术,可视化数据分析技术拓宽了传统的图表功能，使用户对数据的剖析更清楚、更直观。例如，把数据仓库中的多维数据或者把由数据挖掘获得的模式和规则变成多种图形，这对揭示数据的状况、内在本质及规律性起到了重要的作用。,10,数据挖掘解决的典型商业问题,数据挖掘技术从一开始就是面向应用的，尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业领域。解决的典型商业问题包括：数据库营销（DatabaseMarketing）、客户群体划分（CustomerSegmentation&Classification）、背景分析（ProfileAnalysis）、交叉销售（Cross-selling）等市场分析行为，以及客户流失性分析(ChurnAnalysis)、客户信用记分(CreditScoring)、欺诈发现(FraudDetection)等等。,11,数据挖掘在市场营销的应用,是以市场营销学的市场细分原理为基础，其基本假定是“消费者过去的行为是其今后消费倾向的最好说明”通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销,12,数据挖掘在市场营销的应用,与传统的不区分消费者对象特征的大规模营销手段相比，大大节省了营销成本，提高了营销效果，从而为企业带来更多的利润。基于数据挖掘的营销对我国当前的市场竞争中也很具有启发意义，我们经常可以看到繁华商业街上一些厂商对来往行人不分对象地散发大量商品宣传广告，其结果是不需要的人随手丢弃资料，而需要的人并不一定能够得到。如果搞家电维修服务的公司向在商店中刚刚购买家电的消费者邮寄维修服务广告，卖特效药品的厂商向医院特定门诊就医的病人邮寄广告，肯定会比漫无目的的营销效果要好得多。,13,名称级-定类变量顺序级-定序变量间隔级-定距变量比例级-定比变量,低,高,转换,定性,定量,非数量型,数量型,离散型随机变量,连续型随机变量,统计分析方法的应用有时候按变量的测量等级来划分。,变量测量尺度,14,用于市场细分的多变量统计方法分类图,15,数据处理技术,许多技术都有助于作细分处理。因子分析、主成分分析可以用于消减变量个数，得到的几个不相关的因子（主成分）更易于处理。用对应分析方法可以在低维度空间揭示不同产品的特征，将个体或群体在不同维度分类为不同的细分市场。对应分析也可以用于将名义变量（数据）转换为数量性测量尺度。例如：回答是或否的问题。结合分析的效用得分可以用于市场细分，因为它反映了所有个体基于产品或服务关键性属性的相对价值。事实上，结合分析的效用值是最有效的测量，因为效用值来自于被访者对不同产品的偏好，或者直接来自于被访者对偏好产品的实际选择。,16,数据分析技术-聚类分析,聚类分析最常用于市场细分。聚类分析过程的潜在含义是物以类聚，人以群分；使同类中的个体相对于某些变量来说是相同的，相似的或同质的；而类与类之间却有着显著的差异或异质的。例如：同类中的消费者在购买和寻找产品的消费行为具有相似性。聚类分析可以将变量分类，但更多的应用是将个体分类。分类方法主要有谱系分层聚类法和快速聚类法。当个体数量超过1000或更多时，谱系聚类很困难，更常用的是快速聚类法。,17,神经网络,神经网络是最近开始流行的一种可以用来做市场细分的方法。神经网络是一种自我学习的过程，通过不断的自我学习（跌代过程），找出被访者的相似性，达到分类目的。与聚类分析不同的是在学习的过程中，忽略了干扰信息。神经网络模型也不指定独立变量。没有特点或着说非典型的个体对类的计算影响很小。数次跌代很快就可以达到稳定。如果被访者的变差或不确定性越大，神经网络比聚类分析的结果越好。数据挖掘技术DataMining,18,类别分析分类算法,有许多种分类算法或分析方法可用于市场细分。判别分析Discriminantanalysis也是一种分类方法，是判断个体所属类型的一种多元统计方法。判别个体所属类型的问题：哪些是某种产品的忠诚用户，哪些不是？忠诚用户和非忠诚用户的人口基本特征有哪些不同？如何区分价格敏感性和非敏感性顾客？哪些心理特征或生活形态特征可用于判别或区分类别的标准？判别分析与聚类分析的不同在于推导分类规则（算法）的个体所属类别必须事先已知。聚类分析中，个体的所属类别是未知的，类别的个数一般也是不确定的。分析的依据是原始资料，没有事先有关类别信息可参考。,19,类别分析分类算法,需要根据已知个体测量的一些指标（信息）来判断个体或未知个体属于什么类别。建立的判别函数，也就是分类算法，用判别函数的得分或后验概率来判断未知的个体归属类别。建立判别函数的信息通常可以从二手资料获得。当建立的判别函数可以比较准确的预测某个个体属于哪个类别时，就可以获得一个成功的分类算法。多元回归Multipleregression和多元Logit模型也可以同样用于分类作市场细分。,20,CHAID和CART,CHAID和CART是最有名的分类树方法。主要用于预测和分类。树根节点是独立变量，例如：使用水平、购买倾向、用户或非用户等。子节点基于独立变量和其他分类变量（父节点），按照卡方显著性不断划分或组合为树状结构。CHAID最常用，但独立变量只能是分类变量，也就是离散性的。CART可以处理数量型变量，有时候二者结合使用。CHAID和CART都可以处理非数量型和定序性变量。SPSS的附加模块叫做ANSWERTREE。分类树方法产生真实的细分类别，这种类是基于一个独立变量。其它方法，包括聚类分析，则是多变量的10个或更多的变量，而且不区分自变量还是独立变量。,21,应该划分为多少个细分市场？,没有一个统一的答案。经验、直觉、统计结果和常识判断，所有这些都可以用来决定市场细分的个数。如果细分后存在着几个非常小的市场，需要修正分类标准，或者将原始资料中的异常值剔除掉。如果市场被划分得太细的话，将导致对一些小的、相似性的市场采用许多不同的市场营销策略。,22,完整市场细分和定位研究的过程,确认市场细分的标准了解各个细分市场的表现和背景情况,市场细分,目标市场,确定细分市场的选择标准选择目标市场,市场定位,制定每个目标市场的定位制定每个目标市场的营销组合,23,移动目标市场,消费心理,生活态度,产品特征,背景资料,28个量表语句,20个量表语句,性别年龄收入职业教育程度计算机水平,购买价格购买品牌用户类型手机类型手机价格手机话费,24,因子分析生活行为,25,因子分析旋转因子矩阵,26,很忙客户公司联,尝试移动新业务,内向文静,亲友家人联系,中庸随遇而安随,朝九晚五忘了健,个性向上开朗好,1.0,.5,0.0,-.5,-1.0,生活态度行为聚类,1,2,3,快速聚类分析,27,判别分析,28,AnswerTree,29,Dimension1,1.5,1.0,.5,0.0,-.5,-1.0,-1.5,Dimension2,1.5,1.0,.5,0.0,-.5,-1.0,-1.5,合并分类,个人月收入,手机价格段,是否本地人,是否拥有银行的信用卡,家中是否有电脑,教育程度,职业,婚姻状况,用户状态,话费额度,用户类型,用户类别,33,32,31,23,22,21,13,12,11