数据挖掘概念与技术

数据挖掘概念与技术经济与工商管理学院邓克文二零零九年九月,第一课分类,一、数据挖掘及知识的定义1、数据挖掘定义：从大量数据中提取或“挖掘”知识；2、数据挖掘技术：分类、预测、关联和聚类等；3、数据挖掘过程：数据的清理、集成、选择、变换、挖掘、模型评估、知识表示；4、知识定义：知识就是“压缩”浓缩就是精华！1）OccamRazor:因不宜超出果之需！2）信息论：熵3）MDL准则：minimumdescriptionlength,第一课分类,二、神经网络知识预备1、单层神经网络；2、多层神经网络。,第一课分类,三、SPSS软件及Logistic回归知识预备1、回归方法分类,多个因变量(y1,y2,yk),一个因变量y,第一课分类,三、SPSS软件及Logistic回归知识预备2、回归方法适用前提1）大样本，样本量为自变量个数的20倍左右；2）因变量或其数学变换与自变量有线性关系；3）扰动项（误差项）符合正态分布；4）自变量间不存在诸如多重共线性等关系；5）误差项方差不变；等等。,第一课分类,三、SPSS软件及Logistic回归知识预备3、Logistic回归方法介绍1）Logit变换Logit变换是Logistic回归模型的基础。现实中常要研究某一事件A发生的概率P及P值的大小与某些影响因此之间的关系，但由于P对X的变化在P0或P1的附近不是很敏感的，或说是缓慢的，比如像可靠系统，可靠度P已经是0.998了，即使再改善条件和系统结构，它的可靠度增长也只能是在小数点后面的第三位或第四位之后，于是自然希望寻找一个P的函数形式(P),使它在P0或P1附近变化幅度较大，且最好函数形式简单，根据数学上导数的意义，提出用来反映(p)是在P附近的变化是很适合的，同时希望P0或P1时，有较大的值，因此取，即：,第一课分类,三、SPSS软件及Logistic回归知识预备3、Logistic回归方法介绍2）Logistic回归设因变量是一个二分类变量，其取值为=1和=0。影响取值的个自变量分别为，则Logistic变换如下式表示：,第一课分类,四、神经网络与Logistic回归优缺点对比1、神经网络优缺点1）优点：数据类型无要求，高度智能，强“鲁棒”性，可进行非线性拟合，能容忍缺失值，异常值的出现等；2）缺点：“黑箱”过程导致知识结果难于解释。2、Logistic回归方法优缺点1）优点：线性回归方程的知识结果使得所获知识易于解释；2）缺点：数据类型要求高，回归方法成立前提多，只适用于线性拟合，缺失值，异常值会导致结果精确度大为下降。3、二者区别：硬计算与软计算，知识表达方式不同,第二课预测,一、相关概念1、神经网络的“过拟合”现象1）“过拟合”指的是神经网络对训练集进行训练的过程中，无法识别数据中的“噪音”，并且把“噪音”的影响毫无保留的存贮于网络参数（权重、偏置）中。“过拟合”会导致神经网络对测试集进行分类、预测时，产生不必要的偏差。2）解决“过似合”现象办法之一为Nfold交差验证。2、MSE、NMSE等概念的定义1）MSE：均方误差（注：与均方差的区别），其定义为误差平方和除以它的自由度。,第二课预测,一、相关概念2）NMSE定义：注：此处的方差为样本总体方差。NMSE的物理意义为标准化的MSE。,第二课预测,二、预测实验1、实验目的：1）理解分类与预测区别2）熟练使用神经网络软件NeuroSolutions解决预测问题。3）学会运用灵敏度分析，对属性进行灵敏度测量。4）学会通过多次训练模型，避免模型停止在局部最优。2、实验原理1）神经网络方法原理2）多元线性统计方法原理（注意什么是线性，其内涵是什么？）,第三课聚类分析,一、聚类分析定义、特征、应用及评估1、定义：将物理或抽象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。1）聚类的方法类型（1）划分方法：K平均和K中心算法；（2）层次方法：系统聚类；（3）基于密度方法：种类较多，对发现数据“噪音”有优势；（4）基于网格方法：小波聚类为典型，效率高，复杂度低；（5）基于模型方法：统计学中的分类树方法利用信息熵、贝叶斯统计原理为分类原则、竞争学习与自组织特征图。,第三课聚类分析,一、聚类分析定义、特征、应用及评估2、聚类与分类的区别1）聚类所要划分的类未知，而分类要划分的类已知；2）聚类不依赖预先定义的类和带类标号的训练实例，因此它是观察式的学习，而不是示例学习；3）聚类的有监督与分类的无监督的区别。3、聚类分析的应用：是一种重要的数据挖掘方法，广泛应用于信用卡欺诈、定制市场（移动客户划分及定价等）、医疗分析。特别是孤立点的挖掘与分析，有着重要的实际应用。4、聚类质量的评估：相异度,第三课聚类分析,二、K平均聚类方法、系统聚类及决策树方法1、K平均聚类方法1）原理：随机选择k个对象，每个对象初始地代表一个类的平均值或中心，对剩余每个对象，根据其到类中心的距离，被划分到最近的类；然后重新计算每个类的平均值。不断重复这个过程，直到所有的样本都不能再分配为止(指中心点改变很小的时候，称之为收敛)。2)特征：k事先定好；创建一个初始划分；再采用迭代的重定位技术进行；不必确定距离矩阵；比系统聚类法运算量要小；适用于处理庞大的样本数据；适用于发现球状类。3)缺点：平均值必须有定义，对于有些分类变量的集合不适用一；不同的初始值，结果可能不同；有些k均值算法的结果与数据输入顺序有关，如在线k均值算法，用爬山式技术（hill-climbing）来寻找最优解，容易陷入局部极小值；对孤立点敏感。,第三课聚类分析,二、K平均聚类方法、系统聚类及决策树方法1、系统聚类1）原理：SPSS软件中，HierarchicalCluster过程使用的就是系统聚类法来进行分析，该方法的原理是先将所有N个变量看成不同的N类，然后将性质最接近(距离最近)的两类合并为一类；再从这N-1类中找到最接近的两类加以合并，依此类推，直到所以的变量被合成一类为止。得到该结果后，再根据具体问题和聚类结果决定对该事物应该分成几类。显然，一量某变量被划定在一个类别中后，它的分类结果将不会再改变，这是它和非系统聚类的显著区别。2)特征：聚类变量可以为连续及离散性质，表达结果层次丰富；变量间如存在多重共线性，对聚类结果影响较大，应先通过主成分分析方法或剔除权重较小变量再进行分析。3)缺点：由于需要反复计算距离，计算量较大；异常值对聚类结果影响巨大；。,第四课决策树,一、关联规则挖掘相关理论1、信息论美国工程师Shannon于1948年发表“AMathematicalTheoryofcommunication”，标致着信息论的诞生。Shannon于1949年发表“CommunicationTheoryofSecrecysystem”，以信息论为基础，用概率统计为数学手段对保密通信问题进行了分析。由香农提出的保密系统模型目前仍然是现代密码学的基本模型,第四课决策树,一、关联规则挖掘相关理论2、信息论基本原理1)信息量信息是指消息消除掉的不确定性，消息的信息量就是它消除掉的不确定性的量度。假设随机变量为，发生的概率定义为,它的信息量为,第四课决策树,一、关联规则挖掘相关理论2、信息论基本原理2)信息熵各个互不相容事件的自信息量的统计平均值(期望值)为该事件集合的信息熵：,第四课决策树,一、关联规则挖掘相关理论2、信息论基本原理3)联合熵,第四课决策树,一、关联规则挖掘相关理论2、信息论基本原理4)条件熵,第四课决策树,一、关联规则挖掘相关理论2、信息论基本原理5)互信息,第四课决策树,一、关联规则挖掘相关理论2、信息论基本原理6)平均互信息量,第四课决策树,一、关联规则挖掘相关理论2、信息论基本原理6)平均互信息量、熵及条件熵之间的关系,第四课决策树,二、关联规则简单案例1、蔬菜案例,第四课决策树,二、关联规则简单案例2、蔬菜案例熵、条件熵及互信息(信息增益)1)熵、条件熵：H(蔬菜)=？H(蔬菜，颜色)=？H(蔬菜，形状)=？2)信息增益I(蔬菜，颜色)=H(蔬菜)-H(蔬菜，颜色)=？I(蔬菜，形状)=H(蔬菜)-H(蔬菜，形状)=？3)结论：信息增益越大，就用之作为决策树第一分类属性。,第四课决策树,二、关联规则简单案例3、蔬菜案例分类树如下：颜色红紫绿番茄茄子黄瓜,第四课决策树,三、关联规则稍复杂案例1、分类树属性选择度量标准信息增益Informationgain（ID3）增益比率Gainration（C4.5）基尼指数Giniindex(SLIQ，SPRINT),第四课决策树,三、关联规则稍复杂案例2、ID3算法基本思想构造决策树，决策树的每个节点对应一个非类别属性，每条边对应该属性的每个可能值。以信息熵的下降速度作为选取测试属性的标准，即所选的测试属性是从根到当前节点的路径上尚未被考虑的具有最高信息增益的属性。,第四课决策树,三、关联规则稍复杂案例3、ID3算法案例,第四课决策树,三、关联规则稍复杂案例3、ID3算法案例,分类C1:买电脑=“是”分类C2:买电脑=“否”H(C1,C2)=H(9/14,5/14)=0.940计算年龄的增益:,因此相似地,第四课决策树,三、稍复杂案例4、ID3算例决策树呈现,年龄?,overcast,学生?,信用?,是,否,正常,好,40,否,否,是,是,是,30.40,第四课决策树,四、决策树方法总结,4、SPSS16.0中决策树分类算法介绍Chi-SquaredAutomaticInteractionDetector(CHAID)：一迅速有效率探索数据的多元树统计算法，可依据所希望的分类结果来建立其区隔及数据概况说明。ExhaustiveCHAID：改良自CHAID算法，可切割预测变量的每种可能来做探究。ClassificationandRegressionTree(CART)：二元树算法，可切割数据并产生精确同质的子集合。QuickUnbiasedEfficientStatisticalTree(QUEST)：无偏误选择变量及迅速有效率建立二元树的算法5、决策树的应用：市场营销、数据库营销、教学研究、信用度研究、生物医学研究及质量管理研究。,第四课决策树,四、决策树方法总结,1、决策树1)一个树性的结构2)内部节点上选用一个属性进行分割3)每个分叉都是分割的一个部分4)叶子节点表示一个分布2、决策树生成算