机器学习 习题答案

1、 因为 sigmoid 函数是值域在(0,1区间的递增函数，而输入样本为只有一位为 1 的八位二进制 码， 显然通过训练可以得到从第一个输入单元到第八个输入单元与隐藏单元的递增的连接权 重，从而使隐藏单元对于 10000000，01000000，00000001 八种不同的输入产生递增的 0.1，0.2，0.8 的隐藏单元输出编码。 2、不可能存在这样的输出单元权值，能够对以上八种不同的输入进行正确的解码。 因为根据目标输出结果，首先考虑第一种输入：10000000，对应 0.1 的隐藏单元编码， 隐藏单元与第一个输出单元的权值应为最大，而隐藏单元与其他输出单元的权值相对较小； 再考虑第二种输

2、入：01000000，它对应 0.2 的隐藏单元编码，隐藏单元与第二个输出单元的 权值应最大，而隐藏单元与其他输出单元的权值相对较小；其他输入情况与此类似。而因为 只有一个隐藏单元，它到每个输出单元的权值只有一个，所以这些权值的要求是相互冲突、 无法实现的。 3、由 2 可知，如果用梯度下降法寻找最优权值，对于不同的输入，权值将会被反复地向不 同方向调整，而最终无法收敛，解不存在。 习题 6.1 解：根据题意有： P(cancer=0.008, P(cancer=0.992 |cancer=0.98， |cancer=0.02 P( P( |cancer=0.03， |cancer=0.97

3、P( P( 第一次化验有其极大后验假设为： |cancer P(cancer0.98×0.0080.0078 P( |cancerP(cancer0.03×0.9920.0298 P( 则第一次化验后确切的后验概率是： 0.0078/（0.00780.0298）0.21 P(A=P(cancer | 0.0298/（0.00780.0298）0.79 P(B=P(cancer | 因为两次的化验是相互独立的，根据乘法原理有： P(A×P(A0.21×0.210.0441 P(cancer | P(B×P(B0.79×0.790.624

4、1 P(cancer | 习题 6.3 hMAP=argmaxhH P(h|D=argmaxhH P(D|hP(h/P(D=argmaxhH P(D|hP(h hML=argmaxhH P(D|h 为了使 FindG 保证输出 MAP 假设，则应该使 P(h=1/|H|，即无先验知识。 为了使 FindG 不保证输出 MAP 假设，则应该使假设 P(h不全相等，即存在先验知识，使得 P(h不全等于 1/|H|。 为了使 FindG 输出的是 ML 假设而不是 MAP 假设，则应该使得每个假设的概率 P(h不全相 等，但对任意一个假设成立的条件下所得到的结果是正类的概率相等，即 P(D|h相等（

5、对所 有的假设，样例为正类和负类的概率均一样） 。 8.1 给出公式 8.7 的推导过程 解：使用误差准则为如下公式： 6 E3 ( xq º 2 Ù 1 （ f(x - f (x ） K (d ( xq , x å 2 xÎxq的k 个近邻 Vwi = -h 因为： ¶E3 ¶wi 所以： 2 Ù ¶E3 ¶ 1 = ( （ f(x - f (x ） K ( d( xq, x å ¶w i ¶w i 2 xÎxq的k 个近邻 Ù w 在整个表达式中 i

6、尽能通过 f (x 来影响整个网络则上式可转化为 Ù ¶E3 ¶E ¶ f (x 1 ¶ f (x = Ù 3 = - ´ 2 å （f(x - f (x） K ( d ( xq, x ¶w i ¶ f (x ¶w i 2 xÎxq的k 个近邻 ¶w i Ù Ù Ù (1 ¶ f (x ¶w i 除了实例 x 的第 i 个属性值有非零值外其他值都为，则有： 又因为对于 ¶ f (x = ai ( x

7、82;w i Ù ¶E3 ¶E ¶ f (x = Ù 3 = - å （f(x - f (x） K ( d ( xq , x ai ( x ¶w i ¶ f (x ¶w i xÎxq的k 个近邻 代入(1式有： Ù ¶E3 = -h (- å （f(x - f (x） K ( d ( xq , x ai ( x ¶w i xÎxq的k 个近邻 Ù Ù Vw i = -h 习题 8.3 决策树学习算法 ID3 的消极版本，我觉得

8、可以借鉴 k-近邻算法思想，先不构造决策树，当 有一个新样例时，找到 k 个离新样例最近的样例，按照 ID3 算法，生成决策树，再由此树 判别新样例是正例还是反例。 优点： 可以把决策树建立的过程放到需要预测时再进行， 所以初始建立决策树的时间省略了， 并且在需要预测时只是选取最近的 k 个建立决策树， 所需时间较少。 当需要预测样例远小于 已有样例时效率比较高。 缺点：加大了预测时的时间开销，积极版本只需初始时建立一颗决策树，后面预测只要验证 一下即可，但消极版本每次均需重新建立决策树，当需要预测的样例太多时效率十分低下。 9.1 (1 对 PlayTennis 问题描述： 7 EQ DU MT MS DU NOT NOT CS CS NN NN 交叉算子的操作过程示例如下图： EQ EQ DU MT