判别分析PPT课件.ppt

1 判别分析 2 什么是判别分析 判别分析是判别样品所属类型的一种统计方法 其应用之广可与回归分析相媲美 在生产 科研和日常生活中经常需要根据观测到的数据资料 对所研究的对象进行分类 例如在经济学中 根据人均国民收入 人均工农业产值 人均消费水平等多种指标来判定一个国家的经济发展程度所属类型 在市场预测中 根据以往调查所得的种种指标 判别下季度产品是畅销 平常或滞销 在地质勘探中 根据岩石标本的多种特性来判别地层的地质年代 由采样分析出的多种成份来判别此地是有矿或无矿 是铜矿或铁矿等 在油田开发中 根据钻井的电测或化验数据 判别是否遇到油层 水层 3 干层或油水混合层 在农林害虫预报中 根据以往的虫情 多种气象因子来判别一个月后的虫情是大发生 中发生或正常 在体育运动中 判别某游泳运动员的 苗子 是适合练蛙泳 仰泳 还是自由泳等 在医疗诊断中 根据某人多种体检指标 如体温 血压 白血球等 来判别此人是有病还是无病 总之 在实际问题中需要判别的问题几乎到处可见 判别分析与聚类分析不同 判别分析是在已知研究对象分成若干类型 或组别 并已取得各种类型的一批已知样品的观测数据 在此基础上根据某些准则建立判别式 然后对未知类型的样品进行判别分类 对于聚类分析来说 一批给定样品要划分的类型事先并不知道 正需要通过聚类分析来给以确定类型的 4 正因为如此 判别分析和聚类分析往往联合起来使用 例如判别分析是要求先知道各类总体情况才能判断新样品的归类 当总体分类不清楚时 可先用聚类分析对原来的一批样品进行分类 然后再用判别分析建立判别式以对新样品进行判别 判别分析内容很丰富 方法很多 判别分析按判别的组数来区分 有两组判别分析和多组判别分析 按区分不同总体的所用的数学模型来分 有线性判别和非线性判别 按判别时所处理的变量方法不同 有逐步判别和序贯判别等 判别分析可以从不同角度提出问题 因此有不同的判别准则 如马氏距离最小准则 Fisher准则 平均损失最小准则 最小平方准则 最大似然准则 最大概率准则等等 按判别准则的不同又提出多种判别方法 本部分介绍四种常用的判别方法即距离判别法 Fisher判别法 Bayes判别法和逐步判别法 5 1距离判别法 基本思想 首先根据已知分类的数据 分别计算各类的重心即分组 类 的均值 判别准则是对任给的一次观测 若它与第i类的重心距离最近 就认为它来自第i类 距离判别法 对各类 或总体 的分布 无特定的要求 1两个总体的距离判别法 设有两个总体 或称两类 G1 G2 从第一个总体中抽取n1个样品 从第二个总体中抽取n2个样品 每个样品测量p个指标如下张灯片表 今任取一个样品 实测指标值为 问X应判归为哪一类 首先计算X到总体G1 G2 的距离 分别记为 和 按距离最近准则判别归类 6 7 则可写成 如果距离定义采用欧氏距离 则可计算出 然后比较 大小 按距离最近 准则判别 设 分别为 的均值向量 和协差阵 如果距离定义采用马氏距离即 8 这时判别准则分以下两种情况给出 1 当 时 考察 及 的差 就有 9 则判别准则可写成 当 已知时 令 则 10 为线性判别函数 a为判别系数 显然 是 的线性函数 称 当 未知时 可通过样本来估计 设 来自Gi的样本 i l 2 11 线性判别函数为 其中 当p 1时 若两个总体的分布分别为 和 判别函数 不妨设 这时W X 的符号取决于 看到用距离判别所得到的 但从下图又可以看出 用这个 我们 12 判别法有时也会得出错判 如X来自G1 但却落人G2 被判为属G2 错判的概率为图中阴影的面积 记为p 2 1 类似有p 1 2 显然 13 办法 错判概率都很大 这时作判别分析是没有意义的 因此只有当两个总体的均值有显著差异时 作判别分析才有意义 当两总体靠得很近 即 小 则无论用何种 2 当 时 按距离最近准则 类似地有 仍然用 14 作为判别函数 它是X的二次函数 2多个总体的距离判别法 类似两个总体的讨论推广到多个总体 设有是个总体 它们的均值和协差阵分别为 从每个总体Gi中抽取ni个样品 i 1 k 每个样品测p个指标 今任取一个样品 实测 指标值为 问X应判归为哪一类 总体 样本表见下张幻灯片 1 当 时 此时 判别函数为 15 16 相应的判别准则为 当 未知时可用其估计量代替 设从 抽取的样本为 则 的估计分别 17 为Gi的样本离差阵 其中 此时判别函数为 相应的判别准则为 18 未知时 可用 的估计量代替 即 例1人文发展指数是联合国开发计划署于1990年5月发表的第一份 人类发展报告 中公布的 该报告建议 目前对人文发展的衡量应当以人生的三大要素为重点 衡量人生三大要素的指示分别采用出生时的预期寿命 成人识字率和实际人均GDP 将以上三个指示指标的数值合成为一个复合指数 即为人文发展指数 资料来源UNDP 人类发展报告 1995年 今从1995年世界各国人文发展指数的排序中 选取高发展水平 中等发展水平的国家各五个作为两组样品 另选四个国家作为待判样品作距离判别分析 19 20 本例中变量个数p 3 两类总体各有5个样品 即n1 n2 5 有4个待判样品 假定两总体协差阵相等 两组线性判别的计算过程如下 1 计算两类样本均值 2 计算样本协差阵 从而求出 21 类似地 经计算 22 3 求线性判别函数W X 解线性方程组 得 23 4 对已知类别的样品判别分类 对已知类别的样品 通常称为训练样品 用线性判别函数进行判别归类 结果如下表 全部判对 24 5 对判别效果作检验 判别分析是假设两组样品取自不同总体 如果两个总体的均值向量在统计上差异不显著 作判别分析意义就不大 所谓判别效果的检验就是检验两个正态总体的均值向量是否相等 取检验的统计量为 其中 将上边计算结果代人统计量后可得 25 函数有效 故在 检验水平下 两总体间差异显著 即判别 6 对待判样品判别归类结果如下表 26 简短分析 回代率为百分之百 这与统计资料的结果相符 而待判的四个样品的判别结果表明 中国 罗马尼亚为中等发展水平国家即第二类 希腊 哥伦比亚为高发展水平国家即第一类 这是符合当时实际的 即与当时世界各国人文发展指数的水平相吻合 例2对全国30个省市自治区1994年影响各地区经济增长差异的制度变量 x1一经济增长率 x2一非国有化水平 x3一开放度 x4一市场化程度 作判别分析 27 28 29 1 两类地区各变量的均值 2 计算样本协差阵 从而求出 30 3 求线性判别函数 解线性方程组 得 经计算 31 4 对巳知类别的样品回判 由于 为第一组 为第二组 样品序号 W X 原类号 回判组别 样品序号 W X 原类号 回判组别 32 样品序号 原类号 回判组别 33 上述回判结果表明 第一组中只有第10个样品回判号2 与原号不同 其余品与原分号相同 第二组中的各样品回判号都是2 即与原分号完全相同 我们仔细研究第10号样品广西的指表数据 可以看到它有可能是属于原分组中的第二分组样品 第二分组的回代判率为96 3 5 对待判样品判别归类 结果如下 待判样品中江苏和安徽被判属第一组 陕西被判属第二组 这与实际情况较吻合 34 2费歇 Fisher 判别法 Fisher判别法是1936年提出来的 该法对总体的分布并未提出什么特定的要求 1 不等协差阵的两总体Fisher判别法 1 基本思想 从两个总体中抽取具有p个指标的样品观测数据 借助方差分析的思想构造一个判别函数或称 判别式y 其中系数 确定的原则是使两组间的区别最大 而使每个组内部的离差最小 有了判别式后 对于一个新的样品 将它的p个指标值代人判别式中求出y值 然后与判别临界值 或称分界点 后面给出 进行比较 就可以判别它应属于哪一个总体 35 2 判别函数的导出 假设有两个总体G1 G2 从第一个总体中抽取n1个样品 从第二个总体中抽取n2个样品 每个样品观测p个指标 列表如下 36 今将属于不同两总体的样品观测值代人判别式中去 则得 假设新建立的判别式为 对上边两式分别左右相加 再乘以相应的样品个数 则有 第二组样品的 重心 第一组样品的 重心 为了使判别函数能够很好地区别来自不同总体的样品 自然希望 37 1 来自不同总体的两个平均值 相差愈大愈好 2 对于来自第一个总体的 们的离差平方和 要求它 愈小愈好 同样也要求 愈小愈好 综合以上两点 就是要求 愈大愈好 38 记 为两组间 离差 为两组内的离差 则 利用微积分求极值的必要条件可求出使达到最大值的 为此将上式两边取对数 39 则 而 即 其中 40 而 41 其中 42 即 从而 令 方程组 是常数因子 不依赖于k 它对方程组的解只起到共同 扩大 倍的作用 不影响它的解 之间的相对比 例关系 对判别结果来说没有影响 所以取 于是 43 即 写成矩阵形式为 44 所以 有了判别函数之后 欲建立判别准则还要确定判别临界值 分界点 y0 在两总体先验概率相等的假设下 一般 常取y0为 与 的加权平均值即 45 46 3 计算步骤 1 建立判别函数 根据极值原理 需解方程组 点 求 的最大值 可得到 写出判别函数 47 2 计算判别临界值y0 然后根据判别准则对新样品判别 分类 3 检验判别效果 当两个总体协差阵相同且总体服从正态分布 检验统计量 48 其中 49 则H0被否定 认为判别有效 否则认为判别 给定检验水平 查F分布表 确定临界值 若 无效 值得指出的是 参与构造判别式的样品个数不宜太少 否则会影响判别式的优良性 其次判别式选用的指标不宜过多 指标过多不仅使用不方便 而且影响预报的稳定性 所以建立判别式之前应仔细挑选出几个对分类特别有关系的指标 要使两类平均值之间的差异尽量大些 例1利用距离判别法中例l的人文发展指数的数据作Fisher判别分析 1 建立判别函数 利用前例计算的结果 可得Fisher判别函数的系数 50 所以判别函数为 2 计算判别临界值y0 由于 51 所以 3 判别准则 4 对已知类别的样品判别归类 52 53 上述回判结果表明 总的回代判对率为100 这与统计资料的结果相符 而且与前面用距离判别法的结果也一致 5 对判别效果作检验 由于 所以在 检验水平下判别有效 6 待判样品判别结果如下 判别结果与实际情况吻合 54 例2用距离判别法中例2的制度变量对30个省市自治区作Fisher判别分析 1 建立判别式 经计算得 55 判别式为 2 求判别临界值 y0 对所给样品判别分类 56 由于 当样品代入判别式后 若 则判为第一组 若 则判为第二组 回判结果如下 样品序号 Y值 原类号 回判类别 样品序号 Y值 原类号 回判类别 57 上述回判结果表明 第一组的第10号仍被回判为第2组 说明第10号样品确为误分 而第二组的第16号被回判为第一组 仔细研究其指标 发现其数据介于第1组和第2组之间 差别不显著造成的 总的回代判对率为25 27二92 59 关于待判的三个样品的判别结果与用距离判别法的相同 说明其判别结果是比较好的 58 2多总体Fisher判别法 类似两总体Fisher判别法可给出多总体Fisher判别法 设有k个总体 抽取样品数分别为 令 为第i个总体的第 个样品的观测向量 假定所建立的判别函数为 其中 差阵 根据求随机变量线性组合的均值和方差的性质可知 y x 在Gi上的样本均值和样本方差为 分别是总体Gi内x的样本均值向量和样本协 59 记 为总的均值向量 则 在多总体情况下 Fisher准则就是要选取系数向量 c 使 达到最大 其中qi是人为的正的加权系数 它可以取为 先验概率 如果取 并将 代人上式可化为 其中E为组内离差阵 A为总体之间样本协差阵 即 60 利用对向量求导的公式 为求 的最大值 根据极值存在的必要条件 令 61 因此 的特征向量 由于一般都要求加权协差阵E是正定的 因此由代数知识可知 上式非零特征根个数m不超过min k l p 又因为A为非负定的 所以非零特征根必为正根 这说明 及c恰好是A E矩阵的广义特征根及其对应 记为 于是可构造m个判别函数 对于每个判别函数必须给出一个用以衡量判别能力的指标 定义为 62 m0个判别函数y1 ym0的判别能力定义为 如果m0达到某个定的值 比如85 则就认为m0个判别函数就够了 有了判别函数之后 如何对待判的样品进行分类 Fisher判别法本身并未给出最合适的分类法 在实际工作中可以选用下列分类法之一去作分类 1 当取m 1时 即只取一个判别函数 此时有两种可供选用的方法 63 1 不加权法 若 则判 2 加权法 相应判别函数的标准差重排为 将 按大小次序排列记为 令 则 可作为 之间分界点 如果x使得 则判 2 当取m0 1时 也有类似两种供选用的方法 1 不加权法 64 对待判样品 计算 2 加权法 考虑到每个判别函数的判别能力不同 记 65 3贝叶斯 Bayes 判别法 从上节看到Fisher判别法随着总体个数的增加 建立的判别式也增加 因而计算起来还是比较麻烦的 如果对多个总体的判别考虑的不是建立判别式 而是计算新给样品属于各总体的条件 大小 然后将新样品判归为来自概率最大的总体 这种判别法称为Bayes判别法 概率 比较这k个概率的 Bayes判别法的基本思想总是假定对所研究的对象已有一定的认识 常用先验概率来描述这种认识 设有k个总体 它们的先验概率 分别为 它们可以由经验给出 也可以估 出 各总体的密度函数分别为 66 在离散情形是概率函数 在观测到一个样品x的情况下 可用著名的Bayes公式计算它来自第g总体的后验概率 相对于先验概率来说 将它又称为后验概率 并且当 时 则判X来自第h总体 有时还可以使用错判损失最小的概率作判决函数 这时把x错判归第h总体的平均损失定义为 67 的样品错判为第h总体的损失 显然上式是对损失函数 其中 称为损失函数 它表示本来是第g总体 依概率加权平均或称为错判的平均损失 当h g时 有 当 时 有 建立 判别准则为如果 则判定x来自第h总体 原则上说 考虑损失函数更为合理 但是在实际应用 中 不容易确定 因此常常在数学模型中就假设 68 各种错判的损失相等 即 这样一来 寻找h使后验概率最大和使错判的平均损失最小是等价的 即 2多元正态总体的Bayes判别法 在实际问题中遇到的许多总体往往服从正态分布 下面给出p元正态总体的Bayes判别法 1 判别函数的导出 由前面叙述已知 使用Bayes判别法作判别分析 首先需要知道待判总体的先验概率qg和密度函数fg x 如果是离散情形则是概率函数 对于先验概率 如果没有更好的办法确定 可用样品频率代替 即令 69 其中ng为用于建立判别函数的已知分类数据中 来自第g总体样品的数目 且n1十n2 nk n 或者干 不起作用 这时可以认为先验概率 脆令先验概率相等 即 p元正态分布密度函数为 式中 阵 p阶 把 分别是第g总体的均值向量p维 和协差 代人 只关心寻找使 的表达式中 因为我们 最大的g 而分式中的分母不论 70 g为何值都是常数 故可改令 取对数并去掉与g无关的项 记为 则问题化为 71 2 假设协方差阵相等 值 而且对于x还是二次函数 实际计算时工作量很大 如果进一步假定每个总体协方差阵相同 即 中含有多个总体的协方差阵 逆阵及行列式 这时 两项与g无关 求 最大时可以去掉 最终得到如下形式的判别函数与判别准则 如果协方差阵不等 则有非线性判别函数 上式判别函数也可以写成多项式形式 72 此处 73 3 计算后验概率 就可以根据下式算出 作计算分类时 主要根据判别式 的大小 而它不是后验概率 但是有了 之后 其中 因为 是 中与g无关的部分 所以 74 由上式知使y为最大的h 其 必为最大 因此 我们只须把样品x代人判别式中 分别计算 则把样品x归入第h总体 75 例1继续用前面距离判别法例1的人文发展指数的数据作Bayes判别分析 这里组数k 2 指标数p 3 n1 n2 5 代人判别函数 76 得两组的判别函数分别为 将原各组样品进行回判结果如下一灯片表 待判样品判别结果如下 77 78 回判结果表明 总的回代判对率为100 这与统计资料的结果相符 并与前面的距离判别法 Fisher判别法的结果也相同 待判样品的结果表明 判属类别与前面的判属类别完 全相同 即中国 罗马尼亚属于第二类 希腊 哥伦比亚属于第一类 例2继续用前面距离判别法例2的制度变量的数据作Bayes判别分析 由前知 79 80 两组的判别函数分别为 判别原则 若样品的 则属于第一组 若 则属于第二组 回判结果如下 81 82 83 Bayes法的回判结果与距离判别法的结果是一样的 其判对率为96 3 待判样品判别结果如下 在Bayes法下 关于待判的三个样品的判别结果 江苏判属于第一组 安徽和陕西判属于第二组 其中 安徽的判属组别与前两种方法不一样 这与方法本身有差异有关 但也与安徽的数据有关 其数据介于一组和二组之间 差别不显著 84 4逐步判别法 前面介绍的判别方法都是用已给的全部变量 来建立判别式的 但这些变量在判别式中所起的 作用 一般来说是不同的 也就是说各变量在判别式中判别能力不同 有些可能起重要作用 有些可能作用低微 如果将判别能力低微的变量保留在判别式中 不仅会增加计算量 而且会产生干扰影响判别效果 如果将其中重要变量忽略了 这时作出的判别效果也一定不好 如何筛选出具有显著判别能力的变量来建立判别式呢 由于筛选变量的重要性 近三十年来有大量的文章提出很多种方法 这里仅介绍一种常用的逐步判别法 1基本思想 逐步判别法与逐步回归法的基本思想类似 都是采用 85 有进有出 的算法 即逐步引入变量 每引入一个 最重要 的变量进入判别式 同时也考虑较早引入判别式的某些变量 如果其判别能力随新引入变量而变为不显著了 例如其作用被后引入的某几个变量的组合所代替 应及时从判别式中把它剔除去 直到判别式中没有不重要的变量需要剔除 而剩下来的变量也没有重要的变量可引入判别式时 逐步筛选结束 这个筛选过程实质就是作假设检验 通过检验找出显著性变量 剔除不显著变量 2引入和剔除变量所用的检验统计量 设有k个正态总体 它们有相同的协方差阵 因此如果它们有差别也只能表现 在均值向量 上 今从每个总体分别抽取n1 nk 个样品 86 令n1 nk n 今作统计假设 如果接受这个假设 说明这k个总体的统计差异不显著 在此基础上建立的判别函数效果肯定不好 除非增加新的变量 如果H0被否定 说明这是个总体可以区分 建立判别函数是有意义的 检验H0的似然比统计量为 其中 87 由的定义可知 o l 而 E T 的大小分别反映了同一总体样本间的差异和每个总体所有样本间的差异 因此 值越小 表明相同总体间的差异越小 相对地 样本间总的差异越大 即各总体间有较大差异 因此对给定的检验水平 应由 分布确定临界值 使 当 时拒绝H0 否则H0 相容 这里 标下角标 是强调有p个变量 由于wilks分布的数值表 一般书上没有 所以常用下面的近似公式 Bartlett近似式 Rao近似式 88 为此先复习线性代数的一个定理 设 且将A剖分为 这里 是方阵且非奇异阵 则 另外在筛选变量过程中 要计算许多行列式 在建立判别函数时往往还要算逆矩阵 因此需要有一套方便的计算方法 这就是线性代数里的消去变换法 1 引入变量的检验统计量 89 假定计算 步 并且变量 已选入 L不一定等于 今考察第 步添加一个新变量 的判 能力 此时将变量分成两组 第一组为前L个已选入的变 量 第二组仅有一个变量 此时L 1个变量的组内离差 阵和总离差阵仍分别记为E和T 其中 90 其中 由于 其中 注意 上式行列式里是一个数 所以可去掉行列式符号 又r相当于2 91 同理 其中 于是 即 所以 其中 将上式代人Rao近似式中得到引入变量的检验统计量 我们将判别能力显著的变量中最大的变量 即使Ar为最小 若 则 判别能力显著 的变量 作为入选变量记为 92 值得强调的是 不管引入变量还是剔除变量 都需要对相应的矩阵E和T作一次消去变换 比如说 不妨设第一个引入的变量是x1 这时就要对E和T同时进行消去第一列的变换得到E 1 和T 1 接着考虑引人第二个变量 经过检验认为显著的变量 不妨设是x2 这时就要对E 1 和T 1 同时进行消去第二列的变换得到E 2 和T 2 对剔除变量也如此 2 剔除变量的检验统计量 93 在已入选的所有变量中 找出具有最大Ar 即最小F2r 的 显著 可把它从判别式中剔除 一个变量进行检验 若 则认为xr判别能力不 3具体计算步骤 1 准备工作 1 计算各总体中各变量的均值和总均值以及 和 94 2 规定引入变量和剔除变量的临界值F进和F出 取临界值F进 F出 0 以保证逐步筛选变量过程必在有限步后停止 在利用电子计算机计算时 通常临界值的确定不是查分布表 而是根据具体问题 事先给定 由于临界值是随着引入变量或剔除变量的个数而变化的 但是当样本容量n很大时 它们的变化甚微 所以一般取F进 F出 如果想少选入几个变量可取F进 10 F出 8 等等 如果想多选人变量可取F进 1 F出 0 5 等等 显然 如果取F进 F出 0 则全部变量都被引入 2 逐步计算 假设已计算L步 包括L 0 在判别式中引入了某L个变量 不妨设x1 x2 xL 则第L 1步计算内容如下 i 计算全部变量的 判别能力 95 对未选入变量xi 计算 对已选人变量xj计算 2 在已入选变量中考虑剔除可能存在的最不显著变量 取 最大的Aj 即最小的F2j 假设 这里 表示xj属已入选变量 作F检验 剔除变量时统计 量为 若F2r F出 则剔除xr 然后对W l 和T l 作消去变换 若F2r F出 则从未入选变量中选出最显著变量 即 要找出最小的Ai即最大的F1i 假设 96 表示xi属于末入选变量 作F检验 剔除变量 这里 时统计量为 若F2r F出则剔除xr 然后对E l 和T l 作消去变换 量为 若F2r F出则从未入选变量中选出最显著变量 即要 找出最小的Ai即最大的F1i 假设 这里 表示xr属于未入选变量 作F检验 引入变量时统计 若F1r F进 则引入xr然后对E l 和T l 作消去变换 在第l 1步计算结束后 再重复上面的1 2 直至不能剔除又不能引入新变量时 逐步计算结束 97 3 建立判别式 对样品判别分类 经过第二步选出重要变量后 可用各种方法建立判别函数和判别准则 这里使用Bayes判别法建立判别式 假设共计算l 1步 最终选出L个变量 设判别式为 将每一个样品 x可以是一个新样品 也可以是原来n个样品之一 分别代入k个判别式yk 中去 若 则 第h总体 顺便指出两点 在逐步计算中 每步都是先考虑剔除 后考虑引入 但开头几步一般都是先引入 而后才开始有剔除 实际问题中引入后又剔除的情况不多 而剔除后再重新引入的情况更少见 由算法中可知用逐步判 98 别选出的L个变量 一般不是所有L个变量组合中最优的组合 因为每次引入都是在保留已引入变量基础上引入新变量 但在L不大时 往往是最优的组合 例1再次利用人文发展指数的三项指标作逐步判别分析 计算两类各变量的均值 总均值 组内离差阵 总 离差阵如下 99 组内离差阵为 总离差阵为 100 逐步计算 设引入变量的临界值为F1 剔除变量的临界值为F2 今取 F1 F2 2 第一步 最小 本步无剔除 考虑引进x3 101 F F1 2故引进变量x3 对矩阵W T同时对x3作消去变换得W 1 及T 1 如下 102 第二步 L 1 最小 本步无剔除 因只引进一个变量x3 考虑引进变量x1 F F1 2故引进变量x1 对矩阵W 1 T 1 同时对x1作消去变换得W 2 T 2 如下 103 第三步 L 2 对已入选的变量计算 最大 104 对未入选的变量计算 考虑x1的剔除 F F2 2故x1不能剔除 考虑x2的引进 F F1 2故x2不能引进 此既无变量剔除 又无变量引入 故逐步计算结束 这时引入的重要变量为x1 出生时预期寿命 与x3 调整后人均GDP 105 计算结果 a 判别函数为 b 检验判别效果