回归自变量的选择_Cp准则所有变量子集的回归.pdf

第1 3卷第 1期 1990 年 3月 Jo u rnalo fA u g 学院学报 u st lstAgr i 一 Col leg e V ol 1 3 N o I M ar 19 9 0 回归自变量的选择 Cp 准则 所有变量子集的回归 陈敬锋 基 础部 摘 要本文给出了一个计算所有可能变量子集的回归的 BAs lc程序 它充分考虑了 BAS IC语言内存较小的情况 并通过一个例子说用 Cp准则选择回归自变量的方 一 法 关键词 cp 准则 所有可能子集回归 扫描运算 应用回归分析处理实际 问题时 选择适 当 的回归自变量是 一个十分 重要的问题 逐步 回归方法 二 就是一 种常见 的选 择回归 变量的算法 但由于这种方法并不计算所有可能的 变量子集的回归 并且每人选或 剔 除一 个变 量 时 要作一次 F检 验 而事先确定 的显 著 性水平 二 的大小直接影响到最后得到 的回归子 集 因此所得到的变量子 集只是局部 最优 的 有 可能遗漏全局 最优 的变 量子集 1Cp 准则 所有可能变量子集的回归 c产统计量 2 作为变量选择准则 正广泛 地被采用 设于 x l x Z 一 x 冬 为所有 自变量 f x x 2 一 x 冬为人选变量 其中i 1 2 一 i 是 1 2 m的一个组合 e 一天5 5 泞 一 二 一2 一2 这 里 R S 助为变量 x x 对因变量 Y作回归的残差平方和 叮 为用全部变量 二 2 二 二 对 Y 作回归时 方差 的最 小二乘估计 一 Rssm n 一m一 l 为样本 容量 当 n一用 足够大 使 n 一m一 2 n 一m一4 1时 Cp是Y 的最小二乘估计均方误差 之和的一种较好的估计 并且若末人选的自变量对 Y是不相关的 则E cP p l 因 此 依c p 准则 应选择这样的 回归变量子集 即点 砂1 c功最接近以 砂1为横坐标 cp 为纵坐标的坐标平面中第一象限角分线且 Cp最小的变量子集 对m个自变量 的线性回归 间题 所有可能子集的 回归共2 爪 一 1个 计算量是相当大 的 Fu二i v a l 3 提 出的算法较好地解决了所有可能子集 回归 的计算问题 下面给出的是 一个所有可能子集回归的所谓 二进制 式的BAs l c 程序 这里充分考虑到了一般 BAs lc 版本内存较小的情况 收稿日期 198 9一11一10 l4 八一农学院学报 19 90 年 2 计算程序 叭 5 I N PuT N N M M 10DIMX N M l L M l M 1 E M十l Al M AZ M 15 Q l FOR I 1TOM Q Q 2 A l I 0 A Z任 0 N EXT I 20 FORI 1TOM 1 E I 0 FOR J 1 TOI L I J 0 NE XTJ NEX TI 2 5FO R I 1TO N FOR J 1 TO M l RE AD X I J E J E J X I J NEXT J NEXT I 30F ORI 1 TO M I FOR J 1TOI 3弓FO RR 1T ON L仃 J 二L I J X K 乃 X K J N E X TK 40 L I J L仃 J 一E D E J N L J I L仃 J NEXTJ NEXT I 45FOR K Q一1 TO1ST EP 一1 B K P 0 50F O RI 1 TOM A I I B 2 INT B 2 P P AI I B INT B 2 NE XT I 5 5 FO R S 1TO M IF A I S AZ S GO TO 65 60 H S G OSUB1 0 0 NEXT S IFK Q一1TH EN LETT L M 1 M 十1 70GOSUB200 7 5FORI 1T O M AZ I卜A I I NEXTI 80NEX丁K E ND 100 FORI 1TO M l FOR J 1 T O M l IF I H OR J H GOTO llO IOSL I J L仃 J 一L H J L仃 H L H H 11峨 NEXT J NEX TI 1 15FOR1 TO M 1 IFI H GQTO125 12 0 L I H 一L I H L H H L爪 I L H D L叮 H 12 5 NEXTLL 旧 H 1 L H H 130 R E TURN 200C E M l P R INT P P 205FORI 1 TO M IF A l I 0G O T O2 15 2 zo C e一E I L I M l PR INT x I I l 2 15 NEXT I C C N PR INT 220P RINT CP L M 十l M l T 困一M 一l卜N 2 P 2 230 P R INT Y 二 护 C 23 5F O R I 1TO M IF AI I 二0G OTO255 240IFL I M l 0 GOTO250 245P R INTL I M十1 X l I G OTO25 5 25 0 P R INT L I M l X I 255 NEXT I P R INT PR INT 260 R E TURN 程序说明 第 1期 陈敬锋 回归自变量的选择 C p准则 所有变量子集的回归 语句 5 键盘输人样本量 N和回归自变量总数M 语句1 0 一4 0 计算样本协差 阵 L 如果原始数据过多 可将这部分程序作如下改 动 以节约大小为M x N的三维数组x 这里应用了如下的样本均值向量 万和样本协差 阵 L 计算的递推公式 x 七 l L k 1 一 击 十1 一牙 L k 十 k 1 k x 十1 一牙 十 x 1 一王 十 式中牙 L 分别 为 由前 i个样本数据求得的样本均值向量和样本协差阵 怕 为第 i 个样本数据 10 DIML M 1 M l E M十l X M l AI M AZ M 1S Q l FO R I 1 TO M Q Q 2 AI I 0 AZ仃 0 N EX T I 20 F O RI二1T OM 1 RE ADE仃 F ORJ二1T OI L仃 J 0 N EXT J NE X TI 2 5F ORK 2 TON F ORI 1TO M l 30 R E AD X I E I E 习十浑 I 一E仃 K 35FORJ 1T OI L仃 J L I J X仃 一E任 X J 一E J K K 一l L J I L 仃 J 4 O NE X T J NE XTI NE X TK 语句 4 一8 0 以二进制数的顺序汁算所有可能子集回归 并输出结果 这个程序 先 计算全部M个变量的回归 而最后算第一个变量二 的回归 比与它相反的顺序算法要多作 M次扫描运算 闭 以此来换取节约一个2 一1的单下标数组 这个数组是用来存储每个 回归的残差平方和 的 语句 100一13 0 以L乙 H万 为轴心的扫描运算子程序 语句 20 0一2 60 Cp值的计算和回归方程输出子程序 娜 川 淤 工 3 一个例子 表 1 为木垒县 196 0 年到 1988 年旱作春 小麦平均单产和与之相关的各时期降水量数 据 表中 x 为前一年 8月 至 i 0 月的降水量 单位 m m 下同 xZ 为前一年 11月至当年3 月 的降水量扩 x x x x 分别 表示当 年四 五 六 七月份的降水量 y 为当年 春小麦平均单位产量 单位 kg h a 欲建立 一个包含较少自变量而预报误差最小的线性 预报 方程 利用上述程序计算 得到如表 2 的结果 2345已 尸妞 附图 cp图 以砂l为横坐标 以所有可能的p个 自变量的回归的最小Cp值为纵坐标 作 Cp 图 图 l 当 p 工 人选变量为 x Z x x 时 cp 4 03 9 达到最小 并且从 Cp 图可见到它对 应的点离分角线最近 由C p 准则 这时的回归方程是最优的 即 八一农学院学报 1990 年 Y 一05097 0 0403x 2 o 0282x 3 o o30ox s 表 1 原始数据 年 x x Z x x x x Y 196 0 1961 196 2 196 3 1964 1965 1966 19 67 1968 196 9 19 70 197 1 1972 197 3 1974 1975 19 76 1977 197 8 197 9 198 0 1981 1982 1983 1984 198 5 198 6 1987 1988 95 7 39 3 111 6 67 1 92 2 73 8 94 6 98 9 107 1 8 5 0 9 1 9 155 3 343 124 8 94 一4 87 0 68 0 102 4 9 6 l 73 5 60 6 392 20 一 3 4 1 8 59 9 25 7 5 6 5 441 4 0 5 44 2 441 64 7 70 1 7 5 17 0 23 甲2 201 54 8 17 7 19 7 26 甲8 27 8 36 2 402 4 9 一4 60 一0 5 6 7 27 一0 13 6 76 3 57 9 60 8 63 36 l 34 4 46 1 14 02 107 一 9 7 4 4 15 0 9 129 5 64 0 74 7 8 6 7 6 5 7 4 1 6 36 6 22 2 58 9 39 5 68 1 72 8 39 4 39 4 26 9 69 1 57 5 39 2 78 4 46 5 88 6 72 0 50 4 2 0 5 5 1 8 55 4 2 7 2 18 7 44 6 5 3 5 4 7 一3 30 3 16 4 4 7 8 4 9 5 33 8 83 8 38 4 19 1 2 1 2 29 6 4 8 5 3 9 8 19 0 15 8 8 4 2 31 l 7 0 3 9 5 4 3 5 61 0 22 一0 2 7 一 7 2 9 一 9 26 8 69 0 5 7 4 35 8 32 5 8 3 9 2 9 一4 3 9 8 5 6 1 49 一 2 2 8 1 17 1 15 1 37 9 35 4 20 一9 98 3 44 2 3 一2 43 1 4 0 8 21 7 48 7 15 0 181 9 0 4 89 一5 53 一2 2 8 1 2 8 5 24 8 7 1 5 10 1 102 2 117 7 36 一5 58 2 7 0 5 4 8 1 24 0 30 1 62 1 55 一9 51 5 16 5 11 4 19 5 19 9 27 4 18 9 2 4 5 3 5 77 7 20 0 33 2 103 6 9 6 6 7 616 74 2 3 0 43 3 337 1 84 0 4 18 0 1 643 1 157 4 740 3450 3 450 4 173 5 597 1 60 0 3 90 0 3 773 3 54 7 4 087 7 063 5 217 4 0 93 3 567 3 367 7 88 3 5 267 5 00 0 7 180 3 100 第 l 一 期 陈敬锋 回归自变量的选择 c p 准则所有变量子集的回归 l7 表 2 计算结果 P 变量子集 2 x 命 3 9 21 16 35 2 9 38 37 82 22 3 0 39 4 5 18 01 到 变量子集P J I I J j x l凡凡凡气气 2 文X 1 石I w e e s e s 3 x x x lx 戈 义 x 2x3 x 之x x 2x5 x Zx x 3x4 x 3x 礼 x x 4 x 5 x 4x x x 30 4 37 85 18 66 4 0 57 变量子集 x xZx3x x lxZx 3x x 一xZx x x xZx4x x 一xZx x x l x 3x x x 石x3x 4 x x xJxjx 气 x J x 艾 CP 4 13 20 8 9 7 40 20 0 1 8 22 8 0 7 3 0 8 3 8 8 6 21 01 5 14 18 16 17 00 16 42 6 71 18 35 27 7 3 8 2 3 3 0 41 2 334 38 22 2 2 80 补 二 二 下 占气 少 1 x U 占 毒 介 工 x x U x 5 x 6 粥 x x x 2 8 5 5 6 7 9 68 l l le e e s l JI L J e sle se s 4 孔气气 x 峪xsx x 一xZx3x 6 x xZx xjx x xJx 4 x s戈6 凡气气x产 x 一x之x3x一x x6 9 40 9 4 3 6 7 1 7 00 参考文献 1 华东师范大学数学系 回归分析及其试验设计 上海教育出版社 197 8 Z M al lows C L二Som e C o mr n e n ts on CP T e e h n o m e t r i e s 19 73 15 3 Furnival G M二 A1l Po ssible R egr e ssion wit h L e ss Compu tatio n T e ehno m e e s 197 一 13 4 张尧庭 方开泰 多元统计分析引论 科学出版社 1982 4 5 一5 1 一9 7 l8八一农学院学报 1990年 S eleeting R egression Equ atio n CP C rite ria AllPo s sibleSub set R egression CH e n Jingf e ng D ePartmentof B a sie C ours es Abstra et Cp s tatis iC a crite ria u sed to sele ctthe 扩be stl regr essionequat o n ha s g ain ed Pop ularity in reeent ye arsThispaPer g i v es a BASIC p rogr amevaluti n g all po ssib l esu b setsregressio na n d aspeeial a ttention 15 p ai d to t h e f a etthat the BA 51Cla n gu age h as lessm em ory sPaee A nexam Ple15 a lso give n to d e seribe the Pro e edure withthe help o ftheM allo w s Cp statisti c to sele et aregre ssionequation 户 K ey W ords Cp eriteria Al lpossible su bsets regr essio n sweep o p erator 的 析 的矽 必 叨 叨必 叨叨 功 的叨 的的叨 胡 的 柳柳 衍 夕宁 上接第8页 TheG r ey D eeisionon Sta n d一H o leR egeneratio no f S chren kSPru eeSta ndin the Mid 一Ea stern Seeto r o f the Tian sha n M ountains DingLiang ehe n zhang Siyu D ePar t m en t o f For e stry Ab staret o n t h e ba siso f in ve st igatio n ofnaturalregeneratio nofsehr e nksPr ue e af t e rseleeti n g eutting in