第十讲Modeler分类预测：判别分析

1、分类预测：判别分析判别分析的一般内容 判别分析是一种实现统计分类的分析方法 例如：不同类型客户的预测应用 特点： 数据中包含用于预测的判别变量(自变量)，其类型可以为定距，也可以为定类 数据中包含已知所属类别的类别变量(因变量)，为定类型 判别分析可以根据已有数据，确定分类与判别变量之间的数量关系，建立判别函数，并可通过判别函数实现对未知数据类别的判定和预测判别分析的一般内容 判别分析与聚类分析的不同点： 聚类分析中的类别是未知的，完全通过数据来确定 判别分析，通过对已知类别的“训练样本”的学习，建立判别准则，具有“预测”意义 判别分析方法的划分： 根据类数：两组判别分析、多组判别分析 根据数

2、学模型：线性判别、非线性判别 根据判别准则：距离判别法、Fisher判别法、Bayes判别法距离判别 设有来自k2个总体的k组样本，每组样本有ni(i=1,2,.k)个关于X1，X2，Xp个输入(判别)变量的观察值(p k) 将n个样本数据看成p维空间中的点，计算出每个类别的中心(分类均值) 分别计算任一样本点到各个类别中心的马氏距离 根据距离最近的原则，距离哪个中心近，则属于哪个类距离判别 假设有两个总体G1和G2,从第一个总体中抽取n个样本，从第二个总体中抽取m个样本，每个样本有p个判别变量 (1), (2), (1), (2)分别为G1和G2的均值向量和协差阵,则点X到Gi的马氏距离定义

3、为:21 )()()(),()(1)()(2,iXXGXDiiii为什么用马氏距离？距离判别 根据D(X,G1)、D(X,G2)判断： 如果D(X,G1)D(X,G2),则:XG1 如果D(X,G2)0,则:XG1 如果W(X)0, 相应的特征向量为v1,vr. 则判别函数为：yi(x)=vix (= ax)记pi为第I个判别函数的判别能力(效率), 有：m个判别函数的判别能力为：最大的值为方程|B-l lE|=0的最大特征根l l11iirhhpll使a Baa Ea111mimiirihhpllFisher判别-基本计算 如果y空间是一维的，则只需要计算判别阈值y0，并将新样本的判别得分与

4、阈值进行比较即可得到判别结果 通常y空间不是一维的，需要在y维空间中建立基于距离判别的判别函数 对新样本，求出它们离各个类别中心的距离，依据判别函数，判别属于哪个类别-4-20246-4-3-2-101232122110nnynynyBayes判别 在先验概率的基础上，利用判别函数所提供的信息对先验概率进行调整，最后得到某个样本属于哪个类别的概率估计 首先，计算样本点X属于总体Gi（i=1,2,k）的概率 然后，根据k个概率值的大小决策，样本点X应属于概率最大的类别（总体）)|(XGpiBayes判别 第一，计算先验概率 ，设k个总体G1,G2,Gk的先验概率分别为q1,q2,qk 第二，计算

5、样本似然，即在总体Gi（i=1,2,k）中抽到样本X的概率 例如： 输入变量服从多元正态分布，且各总体协差阵相等，则在总体G1中抽到样本X的概率为)(iGp)|(iGXp)()()(21exp2|1)|()1(1)1(1XXGXp21exp2|1)|(211DGXp21exp2|1)|(222DGXpBayes判别 第三，计算样本属于总体Gi（i=1,2,k）的概率)|(XGpikiGXpqGXpqXGpkjjjiii,.2 , 1,)|()|()|(1kiDqDqXGpkjjjiii,.2 , 1,)2/exp()2/exp()|(12222/1ln)|(iiiDqxGp21 )()()()

6、,()(1)()(2,iXXGXDiiii判别分析的应用示例 采用一份某商学院招收MBA学生的数据：大学平均学分绩（X1）、管理才能得分（X2）以及录取结果（Y，1表示录取，2不录取，3待定）判别分析的应用示例-准备工作 均值检验 原假设：某输入变量各总体的均值无显著差异 操作：Means：输出输入变量的均值、方差等基本描述统计量；Univariate ANOVAS，进行Wilks均值检验SSTSSEWilksl 判别分析的应用示例-准备工作 方差齐性检验：直接观测 Matrix框下：Within-groups correlation；Within-groups covariance；Sepa

7、rate-groups covariance判别分析的应用示例-结果解读 Fisher判别函数 判别函数(选择Fishers选项) 原始变量对新空间中样本点位置确定的贡献程度Canonical Discriminant Function Coefficients4.086-1.831.007.014-15.595-1.470大学平均成绩管理才能评分(Constant)12FunctionUnstandardized coefficientsStandardized Canonical DiscriminantFunction Coefficients.913-.409.449.895大学平均成

8、绩管理才能评分12Function212211014. 0831. 1470. 1007. 0086. 4595.15xxyxxyFunctions at Group Centroids2.368.241-2.403.321-.236-.633录取结果录取不录取待定12FunctionUnstandardized canonical discriminantfunctions evaluated at group means判别分析的应用示例-结果解读 判别能力检验 哪个判别函数更重要iieigenvalueWilks11lWilks Lambda.165146.7104.000.84513.

9、7731.000Test of Function(s)1 through 22Wilks LambdaChi-squaredfSig.Eigenvalues4.110a95.795.7.897.184a4.3100.0.394Function12Eigenvalue% of VarianceCumulative %CanonicalCorrelationFirst 2 canonical discriminant functions were used in theanalysis.a. kiGXpqGXpqXGpkjjjiii,.2 , 1,)|()|()|(1 Bayes判别Classification Function Coefficients70.25550.61661.215.152.120.121-163.901-89.717-119.397大 学 平 均 成 绩管 理 才 能 评 分(Constant)录 取不 录 取待 定录 取 结 果Fishers linear discriminant functionsPrior Proba