模式识别导论习题参考答案-齐敏.pdf

第第 2 章章 聚类分析习题解答聚类分析习题解答 2.1 设有 10 个二维模式样本，如图 2.13 所示。若21，试用最大最小距离算 法对他们进行聚类分析。 解： 取 T 11 0 , 0 XZ。 选离 1 Z最远的样本作为第二聚类中心 2 Z。 20101 22 21 D，8 31 D，58 41 D，45 51 D 52 61 D，74 71 D，45 81 D，58 91 D，65 1 ,10 D 最大者为 D71， T 72 7 , 5 XZ 74 2 1 21 ZZT 计算各样本与 21,Z Z间距离，选出其中的最小距离。 74 12 D，52 22 D，34 32 D，13 2,10 D 13,20,17, 0 ,2,5,4,8,2, 0),min( 21 ii DD 74 2 1 20),maxmin( 9221 TDDD ii , T 93 3 , 7XZ 继续判断是否有新的聚类中心出现： 58 74 0 13 12 11 D D D ， 40 52 2 23 22 21 D D D ， 1 13 65 3 ,10 2,10 1 ,10 D D D 1 , 0 , 1 , 0 ,2,5,4,8,2, 0),min( 321 iii DDD 74 2 1 8),maxmin( 31321 TDDDD iii 寻找聚类中心的步骤结束。 按最近距离分到三个聚类中心对应的类别中： 3211 ,:XXX； 76542 ,:XXXX； 10983 ,:XXX 1 3 5 79 1 3 5 7 X1 X4 X3 X5 X8 X9 X7 X10 X2 X6 x1 x2 图 2.13 10 个二维模式样本 2.2 设有5个二维模式样本如下： T 1 0 ,0X， T 2 1 ,0X， T 3 0 ,2X， T 4 3 , 3X， T 5 4 , 4X 定义类间距离为最短距离，且不得小于3。利用层次聚类法对5个样本进行 分类。 解：(1) 将每一样本看作单独一类，得 11 )0(XG， 22 )0(XG， 33 )0(XG， 44 )0(XG， 55 )0(XG 计算各类间欧氏距离： 2112 )0(XXD 21 2 2212 2 2111 xxxx110 21 2)0( 3113 XXD 同理可求得：)0( 14 D，)0( 15 D； )0( 23 D，)0( 24 D，)0( 25 D； )0( 34 D，)0( 35 D； )0( 45 D； 得距离矩阵D(0)为 D(0) )0( 1 G )0( 2 G )0( 3 G )0( 4 G)0( 5 G )0( 1 G 0 )0( 2 G 1 0 )0( 3 G 2 5 0 )0( 4 G 18 13 10 0 )0( 5 G 32 25 20 2 0 (2) 将最小距离1对应的类)0( 1 G和)0( 2 G合并为一类，得到新的分类 )0(),0() 1 ( 2112 GGG，)0() 1 ( 33 GG，)0() 1 ( 44 GG，)0() 1 ( 55 GG 按最短距离法计算类间距离，由D(0)矩阵递推得到聚类后的距离矩阵D(1)为 D(1) ) 1 ( 12 G ) 1 ( 3 G ) 1 ( 4 G ) 1 ( 5 G ) 1 ( 12 G 0 ) 1 ( 3 G 2 0 ) 1 ( 4 G 13 10 0 ) 1 ( 5 G 25 20 2 0 (3) 将D(1)中最小值2对应的类合并为一类，得D(2)。 D(2) )2( 12 G )2( 3 G )2( 45 G )2( 12 G 0 )2( 3 G 2 0 )2( 45 G 13 10 0 (4) 将D(2)中最小值2对应的类合为一类，得D(3)。 D(3) )3( 123 G )3( 45 G )3( 123 G 0 )3( 45 G 10 0 D(3)中的最小元素为310 ，聚类结束，结果为： 3211 ,XXXG， 542 ,XXG 2.3 用K-均值算法对下列6个模式样本进行聚类分析，设聚类中心数K=2。 T 1 0 ,0X， T 2 0 , 1X， T 3 1 , 1 X T 4 4,4X， T 5 4 , 5X， T 6 5 , 5X 解： 因2K，任选两个聚类中心 T 11 0 , 0)1 ( XZ和 T 22 0 , 1 )1 ( XZ。 计算距离，聚类： 1 X： 11000|) 1 (| 0|) 1 (| 22 212 111 ZX ZX D D )1 ( 1121 SX DD 2 X： 0|) 1 (| 1|) 1 (| 222 121 ZX ZX D D ) 1 ( 2212 SX DD 3 X： 1|) 1 (| 2|) 1 (| 232 131 ZX ZX D D ) 1 ( 2312 SX DD 4 X： 5|) 1 (| 24|) 1 (| 242 141 ZX ZX D D ) 1 ( 2412 SX DD 可得到：1,) 1 ( 111 NSX 5,) 1 ( 2654322 NSXXXXX 计算新的聚类中心： T 11 0, 0)2( XZ T 632 1 2 2 8 . 2, 2 . 3)( 5 11 ) 2( 2 XXXXZ X S N 判断：) 1 ()2( jj ZZ，2 , 1j，故返回第步。 由新的聚类中心得： 1 X： |)2(| |)2(| 212 111 ZX ZX D D )2( 11 SX 2 X： |)2(| |)2(| 222 121 ZX ZX D D )2( 12 SX 3 X： |)2(| |)2(| 132 131 ZX ZX D D )2( 13 SX 同理有：)2( 24 SX ， )2( 25 SX ，)2( 26 SX 得 3,)2( 13211 NXXXS 3,)2( 26442 NXXXS 重新计算聚类中心： T 321 2 1 1 3 . 0, 7 . 0)( 3 11 )3( 1 XXXXZ X S N T 654 2 2 2 3 . 4, 7 . 4)( 3 11 ) 3( 2 XXXXZ X S N )2()3( jj ZZ，2 , 1j，返回第步，以Z1(3)，Z2(3)为中心进行聚类。 按新的聚类中心分类，求得的分类结果与前一次迭代结果相同，即 )2()3( 11 SS，)2()3( 22 SS 9 计算新聚类中心向量值，聚类中心与前一次结果同，即 T 11 3 .0,7 .03)4( ZZ， T 22 3 .4,7 .43)4( ZZ 算法结束。聚类中心为： T 1 3 .0,7 .0Z， T 2 3 .4,7 .4Z 聚类结果为：,)2( 3211 XXXS，,)2( 6442 XXXS 2.4 用ISODATA算法对题2.1中的10个模式样本进行聚类分析。 解：10个模式样本为 T 1 0 ,0X， T 2 1 , 1 X，T 3 2, 2X， T 4 7 , 3X，T 5 6 , 3X T 6 6 , 4X， T 7 7 , 5X，T 8 3 ,6X， T 9 3 ,7X，T 10 4 , 7X (1)第一步：任意预选NC =1，T 11 0 , 0 XZ，K=3，1 N ，2 S ，4 C ，L=0，I=5。 (2)第二步：按最近邻规则聚类。目前只有一类，10, 110211 NS，XXX。 (3)第三步：因 N N 1 ，无聚类删除。 (4)第四步：修改聚类中心 1 1 1 1 S N X XZ 90. 3 80. 3 4 7 3 7 3 6 7 5 6 4 6 3 7 3 2 2 1 1 0 0 10 1 (5)第五步：计算类内平均距离 1 D。 1 1 1 1 1 S N D X ZX 1101211 10 1 ZXZXZX 222222 9 . 348 . 379 . 318 . 319 . 308 . 30 10 1 19. 388.31 10 1 (6)第六步：计算总体平均距离D。因只有一类，19. 3 1 DD。 (7)第七步：不是最后一次迭代，且2KNC，故进入第八步进行分裂运算。 (8)第八步：求S1的标准差向量T 12,111 。 2 111 ,10 2 1121 2 111111 10 1 zxzxzx 222 8 . 378 . 318 . 30 10 1 32. 26 .53 10 1 2 122,10 2 1222 2 121212 10 1 zxzxzx 222 9 . 349 . 319 . 30 10 1 39. 29 .56 10 1 得T39.2,32.2 1 。 (9)第九步： 1 的最大分量39. 2 max1 。 (10)第十步：因 S max1 且2KNC，将Z1分裂为两个新的聚类中心。因 max1 是 1 的第二个分量，故在Z1的 第二个分量方向上进行分裂，分裂系数k选为0.5，得 T TT max11 10. 5,80. 339. 25 . 090. 3,80. 35 . 090. 3,80. 3 Z T TT max11 71. 2,80. 339. 25 . 090. 3,80. 35 . 090. 3,80. 3 Z 令 11 ZZ， 12 ZZ，NC加1，迭代次数加1（I=2） 。跳回到第二步，进行第2次迭代运算。 (11)第二步：按最近邻规则对所有样本聚类。 78.2171. 2080. 30| 45.4010. 5080. 30| 22 2112 22 1111 ZX ZX D D 211112 SDDX 76.1071. 2180. 31| 65.2410. 5180. 31| 22 2222 22 1221 ZX ZX D D 222122 SDDX 22 2102,10 22 1101 ,10 71. 2480. 37| 10. 5480. 37| ZX ZX D D 1102,101 ,10 SDDX 得到两个聚类分别为 1076541 ,XXXXXS，N1=5 983212 ,XXXXXS，N2=5 (12)第三步：因N1和N2都大于 N ，无聚类删除。 (13)第四步：修改聚类中心，得 T 1076541 00. 6,40. 4 30 22 5 1 5 1 XXXXXZ T 983212 80. 1,20. 3 9 16 5 1 5 1 XXXXXZ (14)第五步：计算类内平均距离 1 D和 2 D，得 110171615141 5 1 ZXZXZXZXZXD 222222 00. 6440. 4700. 6640. 4300. 6740. 43 5 1 59. 1 29282322212 5 1 ZXZXZXZXZXD 222222 80. 1320. 3780. 1120. 3180. 1020. 30 5 1 85. 2 (15)第六步：计算总体平均距离D，得 22. 285. 2559. 15 10 1 55 10 11 2 1 21 j jj DDDN N D (16)第七步：因这是偶数次迭代，符合第七步的第（3）条，进入第十一步。 (17)第十一步：计算聚类中心之间的距离，得37. 4 2112 ZZD。 (18)第十二步：比较D12与 C ，这里 C D 12 。 (19)第十三步：根据上一步结果，聚类中心不发生合并。 (20)第十四步：不是最后一次迭代，不修改参数，迭代次数加1（I=3） ，回到第二步。进行第3次迭代运算。 (21)第二步到第六步：与前一次迭代计算的结果相同。 (22)第七步：不满足任何一种情况，继续执行第八步，进入分裂程序。 (23)第八步：计算S1和S2的标准差向量T 12,111 和 T 22,212 。 2 111 ,10 2 1171 2 1161 2 1151 2 114111 5 1 zxzxzxzxzx 22222 40. 4740. 4540. 4440. 4340. 43 5 1 50. 1 2 122,10 2 1272 2 1262 2 1252 2 124212 5 1 zxzxzxzxzx 22222 00. 6400. 6700. 6600. 6600. 67 5 1 10. 1 2 2119 2 2181 2 2131 2 2121 2 211121 5 1 zxzxzxzxzx 22222 20. 3720. 3620. 3220. 3120. 30 5 1 79. 2 2 2229 2 2282 2 2232 2 2222 2 221222 5 1 zxzxzxzxzx 22222 80. 1380. 1380. 1280. 1180. 10 5 1 17. 1 即：T 1 10.1,50.1和T 2 17.1,79.2 。 (24)第九步：5 . 1 max1 ，79. 2 max2 。 (25)第十步： S max2 ，且满足DD 2 和) 1(2 2 N N，Z2满足分裂条件。因 max2 是 2 的第一个分量，故在 Z2的第一个分量方向上进行分裂，分裂系数k选为0.5，得 T TT max12 71. 2,20. 571. 2,79. 25 . 080. 371. 2,5 . 080. 3 Z T TT max12 71. 2,41. 271. 2,79. 25 . 080. 371. 2,5 . 080. 3 Z 令 22 ZZ， 23 ZZ，NC加1，迭代次数加1（I=4） 。跳回到第二步，进行第4次迭代运算。 (26)第二步：按最近邻规则对所有样本聚类。 15.1371. 2041. 20| 38.3471. 2020. 50| 45.4010. 5080. 30| 22 3113 22 2112 22 1111 ZX ZX ZX D D D 3113 SDX最小 4.9171. 2141. 21| 20.5671. 215.21| 65.2410. 5180. 31| 22 3232 22 2222 22 1221 ZX ZX ZX D D D 3232 SDX最小 22.7371. 2441. 27| 4.9071. 2405.27| 11.4510. 5480. 37| 22 310310 22 2102,10 22 1101 ,10 ZX ZX ZX ， D D D 2102,10 SDX最小 得到三个聚类分别为 76541 ,XXXXS，N1=4 10982 ,XXXS，N2=3 3213 ,XXXS，N3=3 (27)第三步：因N1，N2，N3都大于 N ，无聚类删除。 (28)第四步：修改聚类中心，得 T 76541 50. 6,75. 3 26 15 4 1 4 1 XXXXZ T 10982 33. 3,67. 6 10 20 3 1 3 1 XXXZ T 3213 00. 1,00. 1 3 3 3 1 3 1 XXXZ (29)第五步：计算类内平均距离 1 D， 2 D， 2 D得 171615141 4 1 ZXZXZXZXD 2 222 50. 6675. 3350. 6775. 33 4 1 50. 6775. 3550. 6675. 34 2222 93. 0 21029282 3 1 ZXZXZXD 222222 33. 3467. 6733. 3367. 6733. 3367. 66 3 1 66. 0 3332313 3 1 ZXZXZXD 222222 121211111010 3 1 94. 0 (30)第六步：计算总体平均距离D，得 2 1 321 334 10 11 j jj DDDDN N D 85. 094. 0366. 0393. 04 10 1 (31)第七步：因是偶数次迭代，符合第七步的第（3）条，进入第十一步。 (32)第十一步：计算所有聚类中心之间的距离。 31. 433. 350. 667. 675. 3 22 2112 ZZD 15. 6150. 6175. 3 22 3113 ZZD 13. 6133. 3167. 6 22 3223 ZZD (33)第十二步：比较所有聚类中心间的距离与 C 的大小，这里均大于 C 。 (34)第十三步：根据上一步结果，聚类中心不发生合并。 (35)第十四步：不是最后一次迭代，不修改参数，迭代次数加1（I=5） ，回到第二步。进行第5次迭代运算。 (36)第二步到第六步：与前一次迭代计算的结果相同。 (37)第七步：此为最后一次迭代，置0 C ，跳到第十一步。 (38)第十一步：计算所有聚类中心之间的距离，结果同前。 (39)第十二步：与前一次迭代结果相同。 (40)第十三步：没有合并发生。 (41)第十四步：是最后一次迭代，故算法结束。 聚类结果为： 76541 ,:XXXX； 10982 ,:XXX； 3213 ,:XXX 2.5 给出最大最小距离算法程序框图，编写程序，自选一组分别属于三类的二维 模式样本，并对它们进行聚类分析。 （略） 2.6 给出K-均值算法的程序框图，编写程序，自选一组分别属于三类的三维模 式样本，并对它们进行聚类分析。 （略） 2.7 给出ISODATA算法的程序框图，编写程序，利用题2.1数据进行聚类分析， 在确认程序编写正确之后，选用附录C数据进行聚类分析。 （略） 第第 3 章 章 判别函数及几何分类法判别函数及几何分类法 习题解答习题解答 3.1 在一个10类的模式识别问题中，有三类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问 题所需判别函数的最少数目为多少？ 答：满足多类情况1的3类问题，需要3个判别函数， 满足多类情况2的7类问题，需要21 2 ) 17(7 个判别函数， 3+21=24 即共需24个判别函数。 3.2 一个三类问题，其判别函数为 42 211 xxdX， 44 212 xxdX， 3 13 xdX （1） 设这些函数是在多类情况1条件下确定的，绘出判别界面及每一模式类别的区域。 （2） 设为多类情况2，并使 XX 112 dd， XX 213 dd， XX 323 dd，绘出判别界面及每一模式类别 区域。 （3） 设 X 1 d， X 2 d和 X 3 d是在多类情况3的条件下确定的，绘出其判别界面及每一模式类别的区域。 解： （1）多类情况1时的判别界面及每一模式类别的区域如解图3.1所示。 （2）多类情况2时的判别界面及每一模式类别的区域如解图3.2所示。 （3）多类情况3： 三个判别界面方程为： 086)44()42()()( 2212121 xxxxxddXX，即043 2 x 0722) 3()42()()( 2112131 xxxxxddXX 0142)3()44()()( 2112132 xxxxxddXX 满足0)()( 21 XdXd且0)()( 31 XdXd的区域属于 1 类分布区域。 满足0)()( 12 XdXd且0)()( 32 XdXd的区域属于 2 类分布区域。 满足0)()( 13 XdXd且0)()( 23 XdXd的区域属于 3 类分布区域。 判别界面及各模式类的区域如解图3.3所示。 0)( 3 xd 1 2 1 3 2 x 1 x 0)( 1 xd 0)( 2 xd 2 23 4 0 -4 0)( 23 xd 1 1 3 2 2 x 1 x 0)( 12 xd 0)( 13 xd 2 23 4 0 -4 解图 3.1 多类情况 1 时的判别界面及各类别的区域 解图 3.2 多类情况 2 时的判别界面及各类别的区域 3.3 有5个良好分布的二维模式，问把它们任意线性地分为两组的概率是多少？ 解： nN nNC nNP n j j N N 11 12 ),( 0 1 1 2 0 2 4 1 4 0 4 4 15 51 6875. 0 16 11 )( 2 1 2)2 , 5( j j CCCCP 即所求概率为0.6875。 3.4 设准则函数为 2 TT 2 |)( |8 1 ),(bbbJXWXW X XW 式中实数b0，试导出两类模式的分类算法。 解：用梯度法求识别两类模式的判别函数权向量的递推式。 W XW bJ J , W XW XXWXW X b bb T TT 2 |)(2 |8 1 )(sgn|)( |4 1 TTT 2 bbbXWXXXWXW X 其中， 0, 1 0, 1 sgn T T T b b b XW XW XW 若 若 当0 T bXW时，0J； 当0 T bXW时，)( | 2)(2 |4 1 T 2 T 2 bbJXW X X XXW X 。 由此得： JckkWW1 2 1 3 2 1 3 2 2 x 1 x 0)( 21 XdXd 23 13 dd dd 0)( 31 XdXd 0)( 32 XdXd 32 12 dd dd 31 21 dd dd 0 3 4 1 4 解图 3.3 多类情况 3 时的判别界面及各类别的区域 0),( | 0, 0 TT 2 T bb c b k XWXW X X XW W 若 若 3.5 已知两类训练样本为 1 ： TTTT 0, 1 , 1,1 ,0, 1,0,0, 1,0,0,0 2 ： TTTT 1 , 1 , 1 ,0 , 1 , 0, 1 , 1 , 0, 1 , 0 , 0 设 T 0 , 2, 2, 1) 1 (W，用感知器算法求解判别函数，并绘出判别界面。 解：感知器算法为： 0, 0, 1 T T ii i kck kk k XWXW XWW W 若 若 ， c为正的校正增量。 首先，将所有样本写成增广向量的形式并编号，属于 2 的样本乘以(-1)： T 1 1 , 0 , 0 , 0X， T 2 1 , 0 , 0 , 1 X， T 3 1 , 1 , 0 , 1 X， T 4 1 , 0 , 1 , 1 X T 5 1, 1, 0 , 0X， T 6 1, 1, 1, 0X， T 7 1, 0 , 1, 0X， T 8 1, 1, 1, 1X 取c =1开始迭代： 第一轮： 00 1 0 0 0 0221) 1 ( 1 T XW，故 T 1 1 , 2, 2, 1) 1 (2XWW 00 1 0 0 1 1221)2( 2 T XW，故 T 2 2 , 2, 2, 0)2(3XWW 00 1 1 0 1 2220)3( 3 T XW，故 T 3 3, 1, 2, 1 )3()4(XWW 02 1 0 1 1 3121 )4( 4 T XW，故)4()5(WW 02 1 1 0 0 3121 )5( 5 T XW，故 T 5 2,2,2, 1 )5()6(XWW )6()7(02 1 1 1 0 2221 )6( 6 T WWXW ，故 T 77 T 1 , 2, 3, 1 )7()8(00 1 0 1 0 2221 )7( XWWXW，故 )8()9(03 1 1 1 1 1231 )8( 8 T WWXW ，故 第二轮： )9()10(01)9( 1 T WWXW，故 )10()11(02)10( 2 T WWXW，故 T 33 T 2, 1, 3, 2)11()12(00)11(XWWXW，故 )12()13(01)12( 4 T WWXW，故 T 55 T 1 , 2, 3, 2)13()14(01)13(XWWXW，故 )14()15(04)14( 6 T WWXW，故 )15()16(02)15( 7 T WWXW，故 )16()17(02)16( 8 T WWXW，故 第三轮： )17()18(01)17( 1 T WWXW，故 )18()19(03)18( 2 T WWXW，故 )19()20(01)19( 3 T WWXW，故 T 44 T 2, 2, 2, 3)20()21(00)20(XWXWW，故 T 55 T 1 , 3, 2, 3)21()22(00)21(XWWXW，故 )22()23(04)22( 6 T WWXW，故 )23()24(01)23( 7 T WWXW，故 )24()25(01)24( 8 T WWXW，故 第四轮： )25()26(01)25( 1 T WWXW，故 )26()27(04)26( 2 T WWXW，故 )27()28(01)27( 3 T WWXW，故 )28()29(02)28( 4 T WWXW，故 )29()30(02)29( 5 T WWXW，故 )30()31(04)30( 6 T WWXW，故 )31()32(01)31( 7 T WWXW，故 )32()33(01)32( 8 T WWXW，故 该轮迭代分类结果全部正确，故解向量 T 1 , 3, 2, 3W，对应的判别函数为： 1323 321 xxxd X 判别界面 0Xd如解图3.4所示，图中虚线为判别界面与坐标面 21ox x， 31ox x， 32ox x的交线。 x 3.6 已知三类问题的训练样本为 1 ： T 1, 1， 2 ： T 0 , 0， 3 ： T 1 , 1 试用多类感知器算法求解判别函数。 解：将训练样本写成增广形式： T 1 1, 1, 1X， T 2 1, 0, 0X， T 3 1, 1, 1 X 取初始值 T 321 0, 0, 0111WWW，c=1，迭代过程如下： 第一次迭代，以 1 X作为训练样本，计算得 011 1 T 11 XWd 011 1 T 22 XWd 011 1 T 33 XWd 因为 11 21 dd且 11 31 dd不成立，故 T 121 1, 1, 112XWW T 122 1, 1, 1 12XWW- T 133 1, 1, 1 12XWW 第二次迭代，以 2 X作为训练样本，计算得 122 2 T 11 XWd 122 2 T 22 XWd 122 2 T 33 XWd 因为 22 12 dd且 22 32 dd不成立，故 T 211 0, 1, 123XWW T 222 0, 1, 1 23XWW T 233 2, 1, 1 23XWW 第三次迭代，以 3 X作为训练样本，计算得 233 3 T 11 XWd 233 3 T 22 XWd 033 3 T 33 XWd 因为 33 13 dd，但 33 23 dd不成立，故 T 11 0, 1, 134WW T 322 1, 0, 034XWW 解图 3.4 判别界面 T 333 1, 2, 234XWW 第四次迭代：以 1 X作为训练样本，计算得： 244 1 T 11 XWd 144 1 T 22 XWd 544 1 T 33 XWd 因为 44 21 dd且 44 31 dd，故： 45 11 WW， 45 22 WW， 45 33 WW 第五次迭代：以 2 X作为训练样本，计算得： 055 2 T 11 XWd 155 2 T 22 XWd 155 2 T 33 XWd 因为 55 12 dd且 55 32 dd不成立，故 T 211 1, 1, 156XWW T 222 0, 0, 056XWW T 233 2, 2, 256XWW 第六次迭代：以 3 X作为训练样本，计算得： 366 3 T 11 XWd， 06 2 d， 26 3 d 因为 66 13 dd且 66 23 dd，故： 67 11 WW， 67 22 WW， 67 33 WW 第七次迭代：以 1 X作为训练样本，计算得： 177 1 T 11 XWd， 07 2 d， 67 3 d 因为 77 21 dd且 77 31 dd，故： 78 11 WW， 78 22 WW， 78 33 WW 第八次迭代：以 2 X作为训练样本，计算得： 188 2 T 11 XWd 088 2 T 22 XWd 288 2 T 33 XWd 因为 88 12 dd且 88 32 dd，故： 89 11 WW， 89 22 WW， 89 33 WW 第六、七、八次迭代中，对三个样本都已正确分类，故权向量的解为： T 3 T 2 T 1 2, 2, 20, 0, 0 1, 1, 1WWW， 相应的三个判别函数为： 1 211 xxdX 0 2 Xd 222 213 xxdX 3.7 用LMSE算法求解3.5题中两类模式的判别函数，并绘出判别界面。 解：规范化增广样本矩阵为： 1111 1010 1110 1100 1011 1101 1001 1000 X 首先求伪逆矩阵 T 1 T# XXXX ： 8444 4422 4242 4224 1111 1010 1110 1100 1011 1101 1001 1000 11111111 10110100 11101000 10001110 T XX * T T 1 T 1 XX XX XX 422 242 224 444 242 224 444 422 224 444 422 242 422 442 424 844 442 424 844 422 424 844 422 442 442 422 424 844 422 424 844 442 424 844 442 422 442 424 422 844 424 422 844 442 422 844 442 424 8444 4422 4242 4224 1 2111 1200 1020 1002 12 1 32161616 163200 160320 160032 192 1 11111111 10110100 11101000 10001110 2111 1200 1020 1002 12 1 T 1 T# XXXX 11010012 11111111 11111111 11111111 12 1 取初值 T1, 1, 1, 1, 1, 1, 1, 11 B和c=1，开始迭代： (1) 11BXW # 6 1 3 1 3 1 3 1 1 1 1 1 1 1 1 1 11010012 11111111 11111111 11111111 12 1 (2) 111BXWe T T 1, 1, 1, 1, 1, 1, 1, 1 6 1 , 6 1 , 2 1 , 6 1 , 6 1 , 6 1 , 2 1 , 6 1 T 6 5 , 6 5 , 2 1 , 6 5 , 6 5 , 6 5 , 2 1 , 6 5 此时， 1e的分量全部为负值，停止迭代。观察到 0 T 6 1 , 6 1 , 2 1 , 6 1 , 6 1 , 6 1 , 2 1 , 6 1 1XW 故有解，解为 T 6 1 , 3 1 , 3 1 , 3 1 1 W。 判别函数为： 6 3 1 3 1 3 1 321 xxxdX 判别界面如解图3.5所示，图中虚线为 判别界面分别与坐标面 21ox x， 31ox x， 32ox x的交线。 3.8 已知两类模式 1 ： TT 1, 0, 1 , 0； 2 ： TT 0 , 1,0 , 1 用LMSE算法检验模式样本的线性可分性。 解：规范化增广样本矩阵为： 101 101 110 110 X 求得伪逆矩阵为： 1111 0022 2200 4 1 T 1 T# XXXX 取初值 T1, 1, 1, 11 B和c=1，则 T0, 0, 011BXW # T 0, 0, 0, 0) 1 (XW T1, 1, 1, 1 2 1 111BXWe 0 1/2 -1/2 1/2 x2 x3 x1 解图 3.5 判别界面 因为) 1 (e的全部分量均为负值，停止迭代，可能为线性不可分情况。考虑此时0) 1 (XW不成立，故模式线性 不可分。 3.9 用二次埃尔米特多项式的势函数法计算3.8题中两类模式的判别函数。 解：埃尔米特多项式的前三项为： 24)(2)(1)( 2 210 xxHxxHxH， 根据题意，建立二维的正交函数集： 1)()(),()( 20102111 xHxHxxX 24)()(),()( 2 222102122 xxHxHxxX 24)()(),()( 2 120122133 xxHxHxxX 生成势函数： )24)(24()24)(24(1)()(),( 2 1 2 1 2 2 2 2 3 1 xxxxK kk i ikik XXXX 式中： T 21 T 21 , kkk xxxxXX，。 设初始积累势函数0)( 0 XK。逐步计算积累势函数)(XK： (1) 11 T 1 1, 0XX， 所以188),(),()()( 2 1 2 21101 xxKKKKXXXXXX (2) 12 T 2 1, 0XX，因09108) 1(8)( 22 1 2 XK