机器学习方法及应用（第二版）课后习题及答案-第1-8-9章 - 2

《机器学习方法及应用（第二版）》课后习题参考答案第1章习题参考答案1. 什么是学习和机器学习?为什么要研究机器学习?答：学习是人类与动物通过经验、观察、练习不断改进行为、提高判断与决策能力的过程，本质是从数据和反馈中提炼规律、降低不确定性、增强泛化。机器学习是人工智能的核心分支，研究如何让计算机不用显式编程，就能从大量数据中自动学习模型与规则，并对未知样本做出预测、分类或决策。它把“人工总结规则”变成“算法自动拟合分布”，更适配复杂、高维、动态场景。为什么研究机器学习：现实问题往往规则模糊、变量海量、变化极快，传统程序难以穷举。机器学习能高效挖掘隐藏模式、自动迭代优化，在图像语音、自然语言、自动驾驶、科学计算、金融风控、医疗诊断等领域显著提升效率与精度。长远看，它是实现感知、推理、自适应通用智能的关键技术，也是赋能产业、加速科研突破的基础工具。2. 请简述人工智能、机器学习和深度学习三者之间的关系。答：从学科谱系看，三者呈严格嵌套递进关系。人工智能（AI）是顶层广义学科范畴，旨在构建具备感知、推理、决策、自适应等类人智能行为的计算系统，涵盖符号逻辑、知识工程、进化计算、机器人学与数据驱动方法等多元范式。机器学习（ML）是人工智能的核心子域与主流实现路径，以统计学习理论与优化方法为基础，研究如何使有限观测数据驱动模型自动泛化，解决分类、回归、密度估计与序列预测等任务，弱化人工规则强编码依赖。深度学习（DL）特指机器学习中基于深度堆叠非线性变换的表征学习分支，依托多层神经网络架构实现端到端高阶抽象特征自动提取，大幅降低传统特征工程约束，在复杂高维信号建模中具备显著容量优势。三者关系严谨归纳为：AI⊃ML⊃DL，体现范式从规则演绎到数据归纳、再到深度表征涌现的学术演进脉络。3.学习策略通常有哪几种形式?答：机器学习范式依据监督信息来源与优化准则，可划分为监督学习、无监督学习、半监督学习与强化学习四大经典策略。从统计学习理论视角审视，所有策略的核心收敛目标均为最小化期望风险，即模型在全概率分布上的全局泛化误差。然而由于真实分布不可知，算法首先直接拟合可观测数据，最小化经验风险（EmpiricalRisk），即训练集平均损失。单纯追求经验风险极小易导致过拟合，模型过度记忆噪声而泛化失效。为此，学习策略普遍引入结构风险最小化（StructuralRiskMinimization,SRM）准则。结构风险通过在经验风险后追加刻画模型复杂度的正则化罚项，兼顾拟合能力与泛化边界。例如监督学习SVM的间隔最大化、L1/L2正则，无监督聚类的密度约束，均是SRM的具体体现。不同学习策略差异仅在于监督信号形式与数据组织结构，底层收敛逻辑统一为：在控制结构复杂度前提下压制经验误差，从而逼近真实期望风险最优解。4.如何理解参数与超参数?答：在机器学习建模体系中，参数（Parameters）与超参数（Hyperparameters）是两类层级严格区分、优化机制迥异的核心变量，共同决定模型容量与泛化性能。参数为模型内部可学习变量，是算法训练的直接求解对象。其核心作用是拟合数据分布规律，无需人工预先设定，由损失函数结合优化器（梯度下降等）自动迭代更新收敛。例如线性回归的权重系数、神经网络的连接权重与偏置项，均通过最小化经验风险习得，直接承载模型表征能力。超参数为模型外部预设配置变量，用于约束搜索空间、调控训练动态与正则强度，不可由训练过程自动求解，需人工先验设定或外层策略调优。例如学习率、正则化系数、网络层数、树深度等，其本质服务于结构风险最小化，通过限制模型复杂度规避过拟合。二者核心层级差异：参数是“模型学出来的规律”，超参数是“人为定好的学习规则”；参数优化依托梯度反向传播，超参数调优依赖网格搜索、贝叶斯优化等外层验证策略。5.试分析监督学习、无监督学习和强化学习的关系与异同，并举例说明。答：监督学习、无监督学习与强化学习是机器学习三大经典范式，其核心差异在于监督信号形态与反馈延迟机制，共同构成从静态拟合到动态决策的方法论谱系。监督学习基于独立同分布标注数据(X,Y)，旨在学习从输入到输出的确定性映射，通过最小化经验误差实现预测泛化。典型任务如分类（图像识别）、回归（房价预测），反馈即时且静态。无监督学习仅利用无标签观测数据X，依据相似度、密度或隐变量结构挖掘内在分布规律，不引入外部先验标签。典型任务如聚类（用户分群）、降维（PCA特征压缩），侧重数据表征与探索。强化学习建模智能体与环境的序贯交互马尔可夫决策过程，通过最大化长期累积奖赏回报优化策略，监督信号稀疏、延迟且试错驱动。典型任务如博弈对抗（AlphaGo）、机器人控制。异同归纳：三者均依赖数据统计泛化；区别在于监督学习拟合静态映射，无监督学习解构固有结构，强化学习优化动态行为序列。6.试辨析判别模型和生成模型的联系与区别。答：在统计学习框架下，判别模型与生成模型是监督学习中两类底层建模范式，其核心分歧在于概率建模粒度与决策逻辑。判别模型直接对后验概率P(Y∣X)进行参数化拟合或学习确定性判别边界。它不显式刻画输入数据的边缘分布，专注优化类别区分超平面，训练目标聚焦条件风险最小化。代表算法包括逻辑回归、SVM、深度CNN，优势在于分类边界锐利、泛化效率高，适配高维复杂判别任务。生成模型则首先建模联合概率分布P(X,Y)=P(X∣Y)P(Y)，通过贝叶斯推理间接求得后验，即P(Y∣X)=P(X,Y)/P(X)。它致力于还原数据生成机理与密度流形，具备完备概率解释。代表算法有朴素贝叶斯、隐马尔可夫模型、GAN与VAE，优势在于可采样生成新样本、抗噪声先验嵌入能力强。二者根本区别：判别模型学习决策边界，是判别聚焦式；生成模型学习数据分布，是生成机理式。实践中前者判别精度常占优，后者表征与创作能力独特。7.试从一个角度简述机器学习系统的基本结构,并说明各部分的作用。答：从工程实现视角审视，经典监督学习系统呈五阶段链式流水线结构，各模块串行耦合、逐级抽象，完成从原始信号到决策输出的泛化映射。（1）原始数据(RawDataAcquisition)系统输入基底，为未经归一化的高维观测信号（像素、波形、文本字符）。其承载全域信息但含大量冗余噪声，分布无序，无法直接建模。（2）特征提取(FeatureExtraction)人工先验驱动的信息筛选层。依据领域知识剔除无关维度，统计关键物理量，将原始高维传感数据映射为低维语义向量，降维去噪、保留判别内核。（3）特征转换(FeatureTransformation)数值空间优化正则层。通过标准化、正交化、核映射等变换，解耦特征相关性、缩放梯度敏感区间，规整流形边界，极大提升后端模型收敛稳定性与泛化裕度。（4）预测器(Predictor/ModelInference)核心假设拟合模块。输入规整特征向量，依据习得参数计算条件概率或打分函数，输出对未知样本的类别判决或回归估值，实现经验风险最小化推理。（5）结果评估(ResultEvaluation)闭环反馈校验层。通过损失函数与泛化指标量化预测偏差，反向指导特征取舍、超参调优与结构更新，完成系统闭环迭代优化。8.通过网络查找资料,详细介绍一个深度学习典型应用。答：医学影像智能诊断是深度学习在医疗领域的成熟应用，以卷积神经网络（CNN）为核心技术，实现对CT、MRI、X光等医学影像的病灶自动检测、分割与分类，辅助临床诊断。技术架构：以UNet、ResNet等CNN模型为基础，构建端到端诊断系统。原始医学影像经预处理（归一化、去噪、增强）后，通过多层卷积与池化提取病灶纹理、形态、边界等深层特征，再经全连接层输出病灶类别与概率。3DCNN可处理三维影像，实现肿瘤、血管等结构的精准分割。核心流程：①数据层：构建标注数据集，涵盖正常与病变影像；②模型层：迁移学习预训练模型，适配小样本医疗数据，提升泛化能力；③推理层：实时处理影像，输出病灶位置、类型及置信度；④评估层：以准确率、AUC、漏诊率为指标优化模型。应用价值：肺部结节筛查中，UNet模型准确率达97.3%，较传统CAD系统漏诊率降低62%；糖尿病视网膜病变诊断中，ResNet50模型AUC达0.92。该应用可提升早期疾病检出率，缩短诊断时间，缓解医疗资源短缺，推动精准医疗发展。9.请列举出你生活和学习中遇到的机器学习系统安全问题。答：在日常交互与学术实验中，机器学习系统普遍暴露数据、模型、推理三层安全脆弱性，具体可归纳四类典型风险。训练数据投毒与隐私泄露日常推荐与校园考勤依赖用户行为画像，恶意样本混入训练集即可诱导标签偏移；同时人脸、轨迹等高维特征易通过模型记忆反向还原，引发成员推断与原始数据复刻泄露。对抗样本规避与物理世界鲁棒缺陷手机解锁、门禁人脸核验易受微小噪声扰动生成对抗贴纸，肉眼不可辨却可精准绕过分类边界；自动驾驶路标污渍、光影畸变亦可触发致命误判，体现梯度敏感性安全缺陷。模型权重窃取与知识产权侵权学术预训练开源模型与课堂实训微调权重，可通过查询API置信度分数进行模型萃取与超参复刻，导致科研成果与商用底座结构性盗用。后门植入与偏见决策安全数据集隐蔽触发器嵌入后，正常输入表现合规，特定水印激活恶意输出；同时招生、信贷模型继承数据固有偏见，引发算法歧视与决策不可信安全事故。10.机器学习系统的安全属性有哪些?谈谈你对它们的理解。答：由全国信息安全标准化技术委员会等部门发布的《人工智能安全标准化白皮书(2019版)》中给出了人工智能的安全属性，这些基本安全属性同样适用于机器学习系统。下面做简单介绍。（1）保密性（Confidentiality）:确保机器学习系统在生命周期任一环节（如采集、训练、推断等），算法模型和数据不被泄漏给未授权者。如防范模型窃取攻击。（2）完整性（Integrity）:确保机器学习系统在生命周期任一环节（如采集、训练、推断等），算法模型、数据、基础设施和产品应用不被植入、篡改、替换和伪造。如防范对抗样本攻击、数据投毒攻击。（3）可用性（Availability）:确保对机器学习算法模型、数据、基础设施、产品应用等的使用不会被不合理拒绝。可用性包括可恢复性，即系统在事件发生后迅速恢复运行状态的能力。（4）可控性（Controllability）:是指对机器学习系统资产的控制能力，防止机器学习系统被有意或无意的滥用。可控性包括可验证性（verifiability）、可预测性（predictability），可验证性是指机器学习系统应留存记录，能够对算法模型或系统的有效性进行测试验证。（5）鲁棒性（Robustness）:指机器学习系统面对非正常干扰或输入的健壮性。对机器学习系统而言，鲁棒性主要用于描述机器学习系统在受到外部干扰或处于恶劣环境条件等情况下维持其性能水平的能力。鲁棒性要求人（6）透明性（Transparency）:提供了对机器学习系统的功能、组件和过程的可见性。透明性并不一定要求公开其算法源代码或数据，而是根据机器学习应用的安全级别不同，透明性可有不同的实现级别和表现程度。透明性通常包括可解释性（Explicability）、可追溯性（Traceability），让用户了解机器学习系统中的决策过程和因果关系。可解释性是指在机器学习应用场景下，算法特征空间和语义空间的映射关系，使得算法能够实现站在人的角度理解机器。（7）公平性（Fairness）:指机器学习系统在开发过程中应当建立多样化的设计团队，采取多种措施确保数据真正具有代表性，能够代表多元化的人群，避免机器学习系统出现偏见、歧视性结果。（8）隐私（Privacy）:按照目的明确、选择同意、最少够用、公开透明、主体参与等个人信息保护原则，保护公民的个人信息。11.对于一个三分类问题,数据集的真实标签和模型的预测标签见表1-3。分别计算模型的准确率、错误率、精确率、召回率和F1值。答：请先回顾1.2.4节评价指标相关内容。已知样本总数N=9。

第8章习题参考答案1. 强化学习的核心机制是什么?答：强化学习是面向序贯决策的自适应学习范式，其核心机制建立在智能体与环境持续交互、试错反馈迭代、长期回报优化三者之上，区别于静态监督拟合与无监督结构挖掘。首先，系统将动态交互抽象为状态感知、动作执行、即时奖励评估与状态迁移的闭环流程。智能体依据当前状态选择行为，环境响应后给出即时奖惩并更新态势，以此形成时序经验轨迹。其次，学习不以瞬时对错为目标，而是权衡短期收益与长期累积价值，通过延迟稀疏反馈修正行为偏好。智能体不依赖固定标签，仅通过试错中优劣轨迹对比，逐步弱化低效动作、强化高回报策略。最后，核心收敛依赖探索与利用平衡：既尝试未知行为规避局部最优，又复用高置信经验稳定性能。通过价值估值或直接策略迭代，最终习得具备环境鲁棒性的稳态决策映射，实现动态不确定性下的自主优化控制。2. 马尔可夫决策过程包含哪几个模型要素?分别是什么含义?答：强化学习任务通常用马尔可夫决策过程（MarkovDecisionProcess，MDP）来描述。马尔可夫决策过程是在环境中模拟智能体的随机性策略与回报的数学模型,且环境的状态具有马尔可夫性质。马尔可夫决策过程被用于机器学习中强化学习问题的建模。通过使用动态规划、随机采样等方法,马尔可夫决策过程可以求解使回报最大化的智能体策略,并在自动控制、推荐系统等主题中得到应用。马尔可夫决策过程包含五个模型要素，给定一个马尔可夫决策过程模型M=<S,A,P,R,S是所有可能的状态(State)的有限集合；A是所有可能的动作(Action)的有限集合；P是一个状态的转移概率矩阵，Pss'R是奖励(Reward)函数，Rsγ是奖励衰减因子，γ∈[0,1]，该因素会在后面的长期回报中涉及3. 试推导马尔可夫决策过程的两个价值函数。答：参见教材公式(8-1)~(8-9)。4. 强化学习、监督学习和无监督学习的区别是什么?强化学习的应用场景有哪些?答：三者本质区别在于监督信号形态、反馈延迟机制及优化目标。监督学习依赖独立同分布人工标注数据，旨在静态拟合确定性输入输出映射，反馈即时完备；无监督学习仅利用无标签观测，依据密度相似度挖掘固有聚类流形结构，无外部奖惩引导；强化学习建模马尔可夫序贯交互，依靠稀疏延迟回报试错迭代，追求长期累积效用最大化，侧重动态行为控制而非静态数据重构。在应用场景维度，强化学习天然适配动态博弈、资源调度、自适应决策三大高维复杂领域。工业层面用于机器人精密操控、智能制造自适应排产；博弈推演层面支撑人机对抗、集群多智能体协同攻防；商业运筹层面优化大规模广告竞价、算力负载均衡与库存动态补货；前沿探索则赋能大语言模型人类偏好对齐（RLHF）、核聚变稳态约束与自动驾驶极限规划，解决传统范式难以建模的长周期、高随机、强依赖序列决策难题。5. 使用Q-Learning算法来运行井字游戏(也就是Tic-Tae-Toe)。答：下面给出基于Q-Learning的井字棋（Tic-Tac-Toe）算法实现思路。一、算法核心定位Q-Learning是一种离线策略（Off-Policy）、基于价值的经典强化学习算法，无需预先标注数据，仅通过智能体与环境不断对局试错，迭代更新状态-动作价值表（Q-Table），最终习得最优对局策略。将其应用于井字棋，核心是让智能体自主探索落子规律，掌握攻防博弈、抢先制胜与堵截对手的决策逻辑，适配井字棋有限离散状态、规则极简、胜负明确的博弈特性。二、环境与状态空间建模首先完成井字棋标准化建模，构建可交互的马尔可夫决策过程（MDP）。棋盘为3×3九宫格，定义三种格子状态：空位置（0）、智能体棋子（1）、对手棋子（2）。全局有限离散状态空间包含所有合法棋盘布局，剔除无效重复状态后规模可控，便于Q-Table存储检索。明确对局规则与终止判定：横向、纵向、对角线三子连线即获胜；棋盘填满无连线为平局；任意一方落子违规（重复落子）直接判负。每一步交互闭环为：观测当前棋盘状态→选择合法落子动作→环境更新棋盘→反馈即时奖励→进入下一状态。三、Q-Table初始化与超参数设定Q-Table是算法核心存储载体，为二维键值矩阵：行索引为所有合法棋盘状态，列索引为9个棋盘落子位置，单元格数值代表该状态下选择对应落子的长期期望价值。初始时所有Q值统一置0，无任何先验博弈经验，完全依赖后续试错更新。设定三大关键超参数：学习率α（通常0.1~0.5），控制新经验对旧价值的修正幅度；折扣因子γ（通常0.9~0.99），权衡即时奖励与未来长期制胜收益；探索率ε（ε-greedy策略，初始0.9逐步衰减），平衡随机探索新落子与复用最优经验，避免局部最优策略。四、奖励函数精细设计（收敛关键）奖励函数引导智能体博弈偏好，极简且梯度明确：非法重复落子，给予大额负奖励，杜绝违规操作；普通无胜负合法落子，给予微小零趋近奖励，不干扰长期决策；成功堵截对手必胜连线，给予小额正奖励，强化防守意识；本局直接获胜，给予大额正奖励；本局落败，给予大额负奖励。稀疏差异化奖励适配短周期对局，加速策略收敛。五、决策选择与Q值迭代更新对局每一步采用ε-greedy策略选动作：以ε概率随机选择合法空位置，探索未知博弈路径；以1-ε概率选取当前状态Q值最大的合法落子，复用最优经验。执行落子后套用经典Q-Learning更新公式修正价值：新Q值=旧Q值+学习率×[即时奖励+折扣因子×下一状态最大Q值-旧Q值]。若对局终止，直接截断未来价值项，仅用本局胜负奖励更新，精准复盘单局决策优劣。六、训练收敛与实战推演启动大规模迭代对局，前期智能体随机落子失误较多，随迭代轮数增加、ε逐步衰减，探索减少、利用增强，Q-Table持续拟合最优价值：优先抢占中心、角部关键点位，预判对手三连威胁主动堵截，构建自身双杀必胜格局。收敛后保存Q-Table，实战中无需迭代，直接查表输出最优落子，人类玩家难以轻易取胜，完美实现从零博弈习得强攻防策略。6.一幢10层的大楼有5架电梯。每一层都有两个呼叫按钮表示有人要上下楼,除了顶层和底层只有一个呼叫按钮。当一架电梯到达并且有人进入电梯时,他们按动想要到达楼层对应的数字按钮。每一架电梯存储数字并且上升或下降,停在要求的每一层。计算系统的状态和动作空间,然后对这个系统描述一个合适的强化学习器。你需要决定一个你认为最合适的奖赏函数和描述学习的方法。答：一、问题背景与系统约束建模本系统为典型大规模多智能体序贯资源调度MDP：一栋10层楼宇配置5部独立轿厢电梯；每层设上行、下行外部召唤按钮（底/顶层仅单向）；轿厢内部提供目标楼层选层按钮。系统核心动态耦合包含三类异步事件：厅外随机呼梯到达、轿厢逐站启停开关门、乘客出入流变化。优化目标并非单梯最短路径，而是在强抢占、高并发、随机泊松到达下最小化全局通行时延、能耗与拥堵概率。二、状态空间（StateSpace）严谨刻画状态必须完备马尔可夫、可数值嵌入，主要向量维度包含：每梯物理状态：当前楼层精确位置、运行方向（上/下/驻停）、剩余载重、开关门延时计数；分配任务队列：每梯内部目标停靠集合、已绑定厅外召唤驻留序列；全局未接请求：各层上行/下行等待队列长度、已等待最大时延；流量时空特征：时段归一化入流率、底层上行峰值、顶层下行峰值概率分布。状态空间离散组合虽大，但可通过栅格编码、嵌入网络降维表征，避免查表爆炸。三、动作空间（ActionSpace）规范定义不采用原始启停微操，RL决策定义为高层分配与换向驻停动作：对每一个新发厅外召唤，动作集合为5选1指派至某轿厢；同时对在役轿厢允许有限安全换向/优先跳停策略约束。动作施加必须硬约束安全规则：不可反向穿越载客、不可跳过已确认内呼、超载重强制直驶，将非法动作屏蔽于掩码，大幅降低无效探索。四、奖赏函数（Reward）工程正则化设计（收敛核心）采用稠密整形+终端稀疏耦合，保证安全优先、时延驱动、能耗抑制：安全硬惩罚：违规换向、超载开门、冲突抢层给予大额负奖赏；等待时延代价：每步对所有未接等待队列施加负时延积分，倒逼快速响应；启停能耗正则：无谓频繁启停、空载长距行驶给予小负奖赏，平滑震荡；回合终端稀疏回报：全局平均等待时延下降、最大滞留尾响降低、拥堵率下降给予正终奖。该奖赏可梯度分解、可解释、不稀疏难传，适合长序列调度。五、合适强化学习器与学习方法论证系统高维连续状态、离散大动作、多智能耦合、非平稳流量，因此优先采用集中式评分分布式执行的DuelingDQN/PPO掩码约束架构：输入用多层MLP/CNN嵌入时空状态；输出加合法动作掩码屏蔽非法指派；价值分支评估长期拥堵累积优势，策略分支平滑调度随机性。训练采用多进程并行环境采样、经验回放去相关、目标网络稳估值，并引入流量迁移泛化：早高峰/平峰/晚高峰分段预微调，实现在线增量适配。最终习得动态分区候梯、反向插空分流、峰值优先底层保通的稳态调度策略，显著优于传统固定就近贪心算法。

第9章习题参考答案1. 当将自注意力模型作为一个神经层使用时,分析它和卷积层以及循环层在建模长距离依赖关系的效率和计算复杂度方面的差异。答：在深度序列建模中，自注意力（Self-Attention）、卷积（CNN）与循环（RNN）三类神经层对长距离依赖的捕捉能力与计算代价存在根本性架构差异，直接决定模型的感受野、梯度流通与时空复杂度上限。首先从长依赖建模效率对比：循环层通过时序递推链式传递信息，理论感受野无限，但长序列梯度极易指数衰减，必须逐步迭代才能关联首尾，长依赖建模低效且脆弱；卷积层依靠局部滑动窗口堆叠深层扩张感受野，依赖多层叠加间接捕获远距离关联，远距离交互弱、归纳偏置强，缺乏动态权重适配；自注意力通过直接计算全局两两位置相似度，一步建立全序列长依赖关联，动态生成权重不受距离约束，梯度直通无衰减，是三者中长依赖建模最高效、最直接的范式。其次从计算复杂度严谨分析：设序列长度为n、隐维为d，循环层时序计算复杂度为O(nd2)，无法并行推理、时序延迟高；标准一维卷积复杂度约O(knd2)（k为卷积核尺寸），长依赖需增大k加深网络，代价线性攀升；自注意力原生复杂度为严格平方级O(n2d)，短序列优势显著，超长序列则算力显存开销激增。综上学术定论：循环层时序串行、梯度脆弱、低并行；卷积层局部归纳、间接扩野、中等算力；自注意力全局直达、动态适配、高效长依赖但平方复杂度昂贵，三者分别适配短时序稳态、局部纹理特征与超长语义关联三大场景。2. 请尝试使用预训练模型完成一个图像处理或自然语言处理任务。答：基于ResNet50预训练模型的医学X光肺炎影像分类。本任务旨在利用迁移学习解决小样本高维医学图像判别难题，核心遵循特征提取—微调适配—泛化推理三阶范式。首先，载入在ImageNet海量自然图像上收敛完备的ResNet50预训练权重。该深层残差网络已习得通用边缘、纹理、形态层级视觉基底特征，具备极强先验归纳偏置。输入医学影像经归一化、随机裁剪增强与维度对齐预处理。其次，采用冻结骨干+微调顶层策略。移除原生千类Softmax输出层，自适应接入双层瓶颈分类头，将全局平均池化特征映射为正常/病毒性肺炎二分类概率。冻结底层残差模块保留通用纹理，仅以极小学习率更新高层语义与分类权重，高效拟合病灶模糊斑片专属分布，规避过拟合与灾难性遗忘。最终测试推理，模型精准定位肺野透光异常区域，AUROC指标显著优于从零训练CNN，验证预训练在高门槛专业视觉任务中降参、提速、提泛化的核心优