判别分析(4)逐步判别.ppt

4 4逐步判别计算方法 由上节介绍的贝叶斯准则 我们可以建立多总体的判别函数为显然 在上式个判别函数的形成中 我们是将个特征变量一次性全部引入各类总体的判别函数中 如此一来 就会导致计算量增大 变量间可能出现相互不独立 方程组阶数太高 以及矩 阵奇异等问题 此外 由于不重要变量的引入还可能起反作用 干扰判别效果 经验表明 变量个数的增加并不一定能提高判别效果 因此很重要的一个问题是 如何从多个变量中挑选出若干个对于区分个总体最有效的变量 这就是逐步判别分析所要解决的问题 4 4逐步判别计算方法 逐步判别与逐步回归的形成思想相似 都采用有进有出的动态调节变量方法 即每一步都通过检验把判别能力最强的一个变量引入判别函数式中 同时也考虑到较早进入判别式的某些变量 其判别能力因其他变量的引入而可能下降 应及时从判别式中剔出 最终在判别式中只保留数量不太多而判别能力又较强的变量 逐步判别分析挑选变量的基本思想与逐步回归一致 所不同的是在逐步回归中剔除或引入变量的标准用的是 4 4逐步判别计算方法 变量对回归方程的方差贡献大小来度量 大的引入 小的剔除 而逐步判别分析用的是参加判别式的各变量的组合统计量 Wilks 值来度量哪些变量可以引入判别方程 哪些变量需从判别方程中剔除 4 4逐步判别计算方法 定义Wilks 统计量为 4 25 式 4 25 中 为已进入判别式的个变量所构成的组内离差阵与总离差阵 最初计算 时 其中 4 26 4 4逐步判别计算方法 称组均值 称总均值事实上式 4 25 的构造思想源于Fisher准则 即要使判别效果明显 组内离差平方和越小越好 两组间离差平方和越大越好 各总体总样品数 4 4逐步判别计算方法 对于式 4 25 一旦原始数据给定可看成不变 因此只要越小就说明判别效果越好 也就是越小 判别效果就越好 为此可考虑用统计量来度量变量是否重要 4 4逐步判别计算方法 4 4 1判别函数中变量引人过程形成思想 由式 4 21 可知 不妨设次迭代该判别式中已引入个变量 此时我们总可以由式 4 25 计算出相应个变量的Wilks 统计值 记为 此时在判别式外 还有个变量未引入判别式 于是我们总可以在剩下的个变量中用穷举的方法 让个变量中的每一个变量与已进入方程的个变量配对构成个变量的判别方程 用数学式子来说明问题 即将简记为 4 29 其中 表示已进入方程中的个变量 显然未进入方程组的变量为 记为 为了讨论方便 这里假设变量是按自然顺序选中的 即第步恰好选中 这并不失去一般性 因为把变量顺序重新编排总能保证这一点 按照穷举法 分别将引入式 4 29 并计算出相应的 1个变量的Wilks 统计值 记为 4 4 1判别函数中变量引人过程形成思想 显然只需选择与比较 如果则说明该变量引入判别方程后 判别效果有了改善 反之不能引入 但是用进行计算很复杂 于是我们给出一种便于计算 又与等效的另一个统计量的简化式 来衡量变量的的重要性 可以证明化简后有 4 30 4 4 1判别函数中变量引人过程形成思想 式中 表示通过S次迭代后W阵在行列的元素 表示通过S次迭代后阵在行列的元素 在开始时 首先考虑引入 为此需要计算所有变量所对应的 选取进入方程 不妨设能否最后进入方程 还需要与引入门坎值比较 为了确定引入门坎值标准 可用如下 4 4 1判别函数中变量引人过程形成思想 统计量 5 4 31 对于给定水平 查F分布表可得门坎值 如果 则认为变量重要 可以引入方程 否则变量不能引入方程 4 4 1判别函数中变量引人过程形成思想 4 4 2判别函数中变量的剔除过程形成思想 设通过S次迭代 判别函数中已引入个变量 为其对应的Wilks 统计值可算出为 现在考虑剔除 由于在判别函数中每次只能剔除一个变量 到底首先应剔除变量中哪一个呢 我们还是在中使用穷举的方法 为讨论方便 这里假设变量是按自然顺序考虑剔除 不妨首先考虑在判别函数式 4 29 中剔 除 此时判别函数记为由此式可算出个变量的Wilks 统计值记为 如果说明可以从判别函数中考虑剔除 否则不能剔除 同理剔除 此时判别函数应为 由此式可算出个变量的Wilks 统计值记为 如果 说明可以从判别函数中考虑剔除 否则不能 4 4 2判别函数中变量的剔除过程形成思想 除上述情形之外 如果对所有的变量都有到底首先该剔除中的哪一个呢 一般我们选择的最大者所对应的变量作为剔除对象 然而用穷举的方法来判断方程中哪一个变量应该被剔除本身是一个复杂的过程 为此理论上给出了一个简化公式 即 4 32 4 4 2判别函数中变量的剔除过程形成思想 来作为选择剔除变量的依据 4 具体操作只需在 中 分别计算出 所对应的取 此时所对应的变量可作为剔除对象考虑 能否真的被剔除还需要与剔除门坎值比较 为了确定剔除门坎值标准 可构造如下统计量 5 4 33 4 4 2判别函数中变量的剔除过程形成思想 对于给定水平 查F分布表可得门坎值 如果 则变量不重要 可从方程中被剔除 否则不能剔除 应保留在方程中 4 4 2判别函数中变量的剔除过程形成思想 4 4 3逐步判别的主要计算步骤 综上所述 我们给出逐步判别主要计算步骤如下 第一步 输入原始数据矩阵 第二步 计算变量的总均值 组均值 总离差 组内离差 按式 4 26 式 4 28 计算及第三步 给定挑选变量的F 检验门坎值 临界值 4 4 3逐步判别的主要计算步骤 第四步 逐步挑选变量 逐步挑选变量的思想与逐步回归中一样 这里不再重复 现假设迭代已进行了S步 引进了个变量 这个变量号构成的集合为 剩下的个变量号构成的集合为 则第S 1步迭代是 4 4 3逐步判别的主要计算步骤 1 首先考虑剔除变量先计算个引入变量的值 然后从中选取一个最大值 不妨设为 再求其 若 则认为变量判别效果不显著 可以从方程中剔除 然后转第3步作消去变换 否则不剔除 继续做第2步 2 考虑引入变量先计算个未引入变量的 然后从中选取一个最小的 不妨设为 再求其 若 则认为变量判别效果显著 应引入 再转第3步作消去变换 否则表示既无变量引入 也无变量剔除转第5步求判别函数 4 4 3逐步判别的主要计算步骤 3 作消去变换 4 4 3逐步判别的主要计算步骤 第五步 求判别函数设迭代步后 挑选变量结束 共选入个变