雨课堂学堂在线学堂云《智能决策（国防科技大学）》单元测试考核答案

智能决策第1题决策理论可以应用到（）。A飞行器防撞B自动驾驶C癌症预警第2题决策的要素包含（）。A时间B观察C行动第3题智能体是可以基于观测而行动的实体。第1题强化学习需要预先知道模型才能在智能体与环境的交互中学习策略。第2题监督学习在场景变化的决策问题中的适应性会削弱。第3题显式程序对于复杂的决策问题表现优异。第1.3讲：决策的影响与内容（习题）第1题数据驱动的决策带来了偏见和风险，影响社会的公平和正义。第2题决策改变了人类生活，促进了人类文明的发展。第3题决策给社会带来的积极的影响，完全没有消极影响。第1.4讲：集合族与测度空间（习题）第1题下面哪个符号表示集合X是可数集合？ABC第2题在可测空间（X，A）中，A中的元素称为（）。A可测集B事件C样本点第3题集合X是有限集合，当且仅当。第1.5讲：距离范数特殊矩阵（习题）第1题对于Lp范数，参数p可以取小于1的值。第2题在距离空间中，距离函数d（x，y）必须满足对称性。第3题二元组（X，d）称为（）。A距离空间B质量C概率第1.6讲：凸组合与凸函数（习题）第1题所有凸函数都是严格凸函数。第2题称函数f为凹函数，如果-f为凸函数。第3题所有严格凸函数都是（）。A凸函数B凹函数C无法确定第1.7讲：随机变量的信息熵（习题）第1题随机变量的分布有多种可能。第2题相对熵又称为（）。A交叉熵BKL散度C随机熵第3题信息量是信息熵。第1.8讲：梯度采样压缩方法（习题）第1题梯度迭代算法包括梯度上升算法和（）。A梯度下降算法B梯度伸缩算法C梯度优化算法第2题在梯度迭代算法中，为了控制步长，有时候也用伸缩机制。第3题泰勒展式有（）种类型的展开式。A一B二C三第1.9讲：图论基本概念知识（习题）第1题一个有限的有向图中，边的个数可以是无穷的。第2题树是（）元组。A一B二C三第3题一个有限的有向图是一个二元组对。第1.10讲：几类典型概率分布（习题）第1题一维高斯分布需要有期望参数和（）。A方差参数B形状参数C上界参数第2题一维均匀分布需要有下界参数和上界参数。第3题决策算法中经常要用到概率分布。第1.11讲：讲时间与空间复杂度（习题）第1题PSPACE是只需要多项式个样本就能解决的所有问题的集合第2题NP-complete不是NP-hard与NP的交集第3题NP是能够在多项式时间内成功验证一个可行点是解的所有问题的集合第1.12讲：神经网络参数表示（习题）第1题为了逼近复杂的目标函数，非线性的激活函数是非常必要的第2题若数据集过大，目标函数的梯度计算复杂，通常采用（）方法可以有效降低计算复杂度A随机采样B批处理C直接采样第3题神经网络是非线性函数的参数化表示第1.13讲：神经网络激活函数（习题）第1题属于激活函数的有（）Aleakyrule函数Bswish函数Csoftmax函数第2题属于激活函数的有（）Atanh函数Bsoftplus函数Crelu函数第3题sigmoid函数不能作为激活函数第1.14讲：反向传播卷积网络（习题）第1题参数正则化不能避免过拟合现象第2题反向累计算法的原理基于链式法则第3题反向累计算法主要用于计算复杂函数的导数第1.15讲：传统与循环神经网络（习题）第1题梯度消失现象的解决主要方法是设计特定的循环层第2题梯度爆炸现象的解决主要方法有（）A梯度裁剪B梯度正则C参数初始小值化第3题传统神经网络很难处理时变以及维变数据第1.16讲：自编码与对抗神经网络（习题）第1题自编码神经网络的编码z是A确定的zB概率分布p(z)C无第2题对抗式神经网络由生成器网络和判别器网络构成，生成器生成理想的输出数据，判别器在理想输出和实际例子之间判别第3题自编码神经网络的过程是，其中的过程是编码过程由高维数据x发现了低维特征表示的概率分布，而由的过程是解码过程由低维特征表示分布再输出高维数据满足维度条件：z处形象地称为瓶颈，此处存在无法观察的隐空间第1.17讲：搜索问题定义表示（习题）第1题状态空间和动作空间有限的搜索问题可以表示为一张图。节点标志状态，有向边表示状态之间的转移，边上的符号表示动作第2题搜索问题是特殊的马尔科夫决策，特殊之处在于状态转移函数不是确定的，而是随机的第3题搜索问题是在确定的状态转移函数的条件下确定一组行动序列以取得最大收益的一类决策问题第1.18讲：前向与分支定界算法（习题）第1题分支定界算法的有效性依赖其启发性。第2题前向搜索算法的搜索可能是冗余的。第3题前向搜索算法是一种（）算法。A深度优先B宽度优先C无第1.19讲：动态规划与启发式算法（习题）第1题启发式搜索算法可以通过预先评估状态避免冗余计算。第2题启发式搜索算法需要引入（）函数。A盈利上界B盈利下界C盈利上界和盈利下界第3题动态规划算法中，某条路径是最优的，其子路径未必最优。第2.1讲：信念度和概率（习题）第1题如果事件A是完全不可信的，则P（A）=0。第2题事件信念度的赋值在0-1之间（包括0和1）。第3题对于事件来说，A≻B表示A比B更可信。第2.2讲：离散分布函数（习题）第1题根据随机变量取值的形态，概率分布一般划为（）。A离散概率分布B连续概率分布C奇异概率分布第2题概率分布是对所有可能发生的事件赋予数值。第2.3讲：连续分布函数（习题）第1题高斯分布密度函数只有一个最大值点，左边递减，右边递增。第2题高斯分布密度函数有（）个最大值点？A0B1C2第3题对于连续概率分布，必须满足。第2.4讲：联合概率分布（习题）第1题离散随机向量用决策树的方式来表达其联合分布具有某种优越性。第2题多变量分布本质上是多个单变量分布的联合分布第3题单个或者单维随机变量所产生的概率分布称为单变量分布或者单元分布。第2.5讲：条件概率分布（习题）第1题线性高斯模型的参数是（）。ABβCσ第2题条件高斯模型的参数是和共2n个。第3题对于条件概率，成立（）。A概率的和1准则B全概率准则C贝叶斯法则第2.6讲：贝叶斯网络（习题）第1题贝叶斯网络中，节点的概率计算不遵循链式法则。第2题有向性代表了逻辑概率方向，无圈性代表了时间因果法则。第2.7讲：条件独立性（习题）第1题d分离总共有（）种情形？A1B2C3D4第2题d分离是在贝叶斯网络（有向无圈）中考察节点A,B之间的所有的无向路径Udpath(A,B)。第3题在给定证据节点的情况下，我们要判断贝叶斯网络的结构是否影响两个节点的条件独立性。第3.1讲：贝叶斯网络推理（习题）第1题【3.1】精确概率推理计算可总结为（）？A因子乘积运算B因子边缘运算C因子条件运算D因子归一运算第2题【3.1】概率推理由精确概率推理和近似概率推理两种方法构成。第3题【3.1】概率分布不可用于推理。第3.2讲：简单贝叶斯推理（习题）第1题【3.2】简单贝叶斯网络中，类型C代表查询变量。第2题【3.2】贝叶斯网络结构越复杂，计算越复杂。第3题【3.2】贝叶斯网络中的概率推理不依赖网络的结构。第3.3讲：和积变量消除（习题）第1题【3.3】和积变量消除方法的计算开销在最坏情形其复杂度是网络尺寸的指数函数。第2题【3.3】在和积变量消除方法中，（）作为输入？A贝叶斯网络B变量集合C观测值D变量排序第3题【3.3】复杂的贝叶斯网络中，有多种方法用于高效推理，其中一种是和积变量消除的方法。第3.4讲：信念传播与计算复杂度（习题）第1题【3.4】如果网络具有（），那么可利用连接树图算法通过将多个变量合成为一个节点来转化为一棵树图。A无向圈B有向圈C/第2题【3.4】如果网络具有无向圈，那么信念传播方法在多项式时间内可以给出精确推断。第3题【3.4】信念传播是一种贝叶斯推断方法，运用和积变量消除的方法计算查询变量的边缘分布，并通过网络传播信息。第3.5讲：直接采样（习题）第1题【3.5】贝叶斯网络一定存在拓扑序,但是拓扑序（）。A是唯一的B不是唯一的C无法确定D/第2题【3.5】直接采样是随机从联合分布中抽取样本,通过频率来估计目标概率。第3题【3.5】贝叶斯网络中的精确推理具有很大的计算复杂度,我们经常采用近似的方法进行推理,一种方法是间接采样。第3.6讲：似然加权采样（习题）第1题【3.6】直接采样是从（）直接抽取变量的值。A条件概率B目标概率C先验概率D/第2题【3.6】似然加权采样抽取的样本符合观测数据也就是证据数据,并且赋予样本一定的权重。第3题【3.6】直接采样会抽取大量与观测数据也就是证据数据不一致的样本。第3.7讲：吉布斯采样（习题）第1题【3.7】（）采样是独立的？A直接B似然加权C吉布斯D/第2题【3.7】吉布斯采样是一种马尔科夫蒙特卡洛技术,其采样与证据数据一致,涉及权重计算。第3题【3.7】贝叶斯网络中的精确推理具有很大的计算复杂度,我们经常采用近似的方法进行推理。第3.8讲：高斯模型推理（习题）第1题【3.8】基于联合高斯分布的特征，能快速计算的是A联合分布B条件分布C概率密度最大值D随机变量的均值第2题【3.8】已知联合高斯分布，随机变量a在给定b下的条件分布不再是高斯分布第3题【3.8】随机向量a、b的联合分布是高斯分布时，a的边缘分布也为高斯分布第4.1讲：最大似然参数学习（习题）第1题【4.1】贝叶斯网络中，当节点Xi无父节点时，约定的qi值为（）A0B1CriDn第2题【4.1】最大似然参数学习会将对数似然函数作为目标函数进行优化第3题【4.1】p(D|θ)被称为参数θ关于数据集D的似然函数第4.2讲：贝叶斯参数学习（习题）第1题【4.2】贝叶斯参数学习中，参数的后验分布可通过哪两种主要方法进行估计？A期望估计B最大后验估计C最大似然估计D/第2题【4.2】在范畴分布贝叶斯学习中，若先验分布为狄利克雷分布，则后验分布仍是狄利克雷分布，参数更新为先验参数加上观测数据的计数。第3题【4.2】贝叶斯参数学习通过后验分布来处理参数的不确定性，而最大似然参数学习则假设参数是确定的。第4.3讲：非参与缺数据学习（习题）第1题【4.3】期望最大方法是一种用于缺失数据学习的迭代算法，包含E步和M步两个步骤。第2题【4.3】处理缺失数据时，可以直接删除含有缺失分量的观测数据，但这样会造成数据浪费。第3题【4.3】非参数学习是指参数的规模随着数据的变化而变化，而参数学习则是假定概率模型和参数集合固定。第5.1讲：贝叶斯网络评分（习题）第1题【5.1】在贝叶斯网络评分中，通常会对后验概率进行什么处理来得到评分？A取对数B取平方C取倒数D/第2题【5.1】贝叶斯网络评分的目标是根据数据评价网络结构的适应度分数，并寻找分数最高的网络结构。第3题【5.1】以贝叶斯评分为基础的结构学习的目标是在数据集合和模型复杂度之间取得平衡。第5.2讲：有向图上的搜索（习题）第1题【5.2】为了避免局部搜索陷入局部最优解，可以采用随机重启、模拟退火或遗传算法等策略来增强搜索的多样性。第2题【5.2】局部搜索在生成当前图的邻居图时，可以通过增加一条边、删除一条边或反转一条边这三种基本操作来实现。第3题【5.2】K2算法是一种用于贝叶斯网络结构学习的多项式时间复杂度算法，它能保证找到评分最高的网络结构。第5.3讲：马尔科夫等价类（习题）第1题【5.3】在贝叶斯网络结构学习中，同一个马尔科夫等价类中的不同网络结构，其贝叶斯评分通常是怎样的？A完全相同B不同但比较接近C完全不同D/第2题【5.3】两个有向无圈图是马尔科夫等价的,当且仅当它们满足：具有相同的不考虑方向的边集合；具有相同的不道德反叉结构集合。第3题【5.3】如果两个贝叶斯网络具有相同的条件独立性假设，则称它们为马尔科夫等价的。第5.4讲：部分有向图搜索（习题）第1题【5.4】如果选用恰当的网络结构先验分布，那么同一个马尔科夫等价类中的网络结构的贝叶斯评分是一样的，所以网络结构学习模型可以被替换。第2题【5.4】等价模型不需要重新定义局部图运算和图的邻居图。第3题【5.4】一个马尔科夫等价类可以表示为一个部分有向图，有时候也称为本质图或者有向无圈图模式。第6.1讲：理性偏好（习题）第1题【6.1】理性偏好关系是对人类真实决策的一种理想的近似，便于智能体建模和数学讨论。第2题【6.1】理性偏好关系的性质有完备性、（）、（）、（）。A传递性B自反性C连续性D独立性第3题【6.1】在明确决策问题所有可能导致的结果之后，决策者需要对结果进行排序，排序的表示方法有三种。第6.2讲：效用函数（习题）第1题【6.2】如果理性偏好关系的效用函数有上下界，那么可以实现归一化。第2题【6.2】理性偏好关系的效用函数不可以推广至乐透集上。第3题【6.2】如果能用一个实数函数来表示理性偏好关系，那么对于决策问题的模型构建和算法设计具有极大的好处。第6.3讲：效用设计（习题）第1题【6.3】风险热爱型的效用函数是凹函数。第2题【6.3】理性偏好具有完备性，一定存在最好的结果和最差的结果。第3题【6.3】风险中性型的效用函数是仿射的。第6.4讲：期望准则与决策网络（习题）第1题【6.4】决策网络包含（）、（）与效用节点。A机会B策略C行动D/第2题【6.4】决策网络包含（）、（）与功能边。A条件B信息C策略D/第3题【6.4】决策网络又被称为影响图，是贝叶斯网络的推广，决策者能够紧凑表示决策问题中的概率和效用模型。第6.5讲：信息价值与非理性（习题）第1题【6.5】决策理论是规范性理论，强调标准和指导，不是一种描述性理论。第2题【6.5】对于每个观测之后，信息的价值取决于没有被观测的随机变量，那么其中（）的未被观测变量就被选择为下一个观测。A信息价值最小B信息价值最大C随机选中D/第3题【6.5】一个随机变量的信息的价值在于这个变量被观测到以后期望效用的增加量。第7.1讲：马尔科夫决策的模型（习题）第1题【7.1】平稳MDP可用动态决策图紧凑表示，（）通用结构。A具有B不具有C不一定具有D/第2题【7.1】基于当前的状态和行动，状态会概率性演变，下一个状态仅仅取决于当前的状态和行动而不取决于任何先前的状态和行动的假设被称为马尔科夫假设。第3题【7.1】马尔科夫决策过程是用来表示行动效果不确定的序列问题，简称为MDP。第7.2讲：策略与值函数定义（习题）第1题【7.2】动态规划是一种通用技术，通常使用动态规划来解决MDP的算法比暴力求解方法更加有效。第2题【7.2】使用动态规划寻找最优策略时，会以递归方式将复杂问题分解为更简单的子问题来对问题进行简化。第3题【7.2】历史是状态和行动的交替而成的序列。第7.3讲：策略评估（习题）第1题【7.3】贝尔曼期望方程定义了一组N(S)线性方程，其中包含（）个未知数，分别对应每个状态下的值。AN(S)B2N(S)C3N(S)D/第2题【7.3】直接求解贝尔曼期望方程，无需迭代，就可以直接进行策略评估。第3题【7.3】策略评估用于计算值函数，可以用迭代的方式进行。第7.4讲：值函数策略与迭代（习题）第1题【7.4】策略迭代时，每次迭代中必须对策略进行评估。第2题【7.4】行动值函数有时候也被称为Q函数，表示从状态s开始，执行行动a，然后继续执行关于Q的贪婪策略时的预期回报。第3题【7.4】给定策略可以计算值函数，反过来给定值函数，也可以提取出策略。第7.5讲：值迭代（习题）第1题【7.5】在值迭代中，当贝尔曼残差低于δ时终止迭代，可以保证最优值函数的误差界限为ϵ=δ/(1−γ)。第2题【7.5】贝尔曼更新规则是压缩映射，因此值迭代保证收敛到最优值函数。第3题【7.5】值迭代算法必须从值函数U0(s)=0开始初始化。第7.6讲：线性规划（习题）第1题【7.6】在实践中，线性规划方法总是比值迭代更有效。第2题【7.6】线性规划公式中，约束条件的数量是状态数量和行动数量的乘积。第3题【7.6】线性规划方法用于求解MDP问题的时间复杂度是指数级的。第7.7讲：线性二次系统（习题）第1题【7.7】线性二次MDP的值函数始终是线性的。第2题【7.7】在线性二次MDP中，最优策略与随机扰动w的分布无关。第3题【7.7】线性二次系统只适用于离散状态空间的MDP问题。第8.1讲：参数化表示（习题）第1题【8.1】局部近似方法中，参数θ直接对应于状态集合S中的状态值。第2题【8.1】在参数化表示中，策略提取总是需要计算贝尔曼更新。第3题【8.1】参数化表示只适用于离散状态空间。第8.2讲：最近邻与核平滑（习题）第1题【8.2】在高斯核函数中，σ参数控制平滑度，σ越大平滑度越高。第2题【8.2】核平滑方法使用核函数来加权邻近状态的值，以产生平滑的近似。第3题【8.2】最近邻方法总是产生分段常数值函数。第8.3讲：线性与单纯形插值（习题）第1题【8.3】从多维网格开始，将每个单元格划分为d!个单纯形，单纯形是由（）个顶点的凸包定义的三角形的高维推广，这一过程被称为Coxeter-Freudenthal-Kuhn三角化，该过程确保共享一个面的任何两个单纯形将在面上产生相同的值，从而保证插值时的连续性。Ad+1BdCd-1D/第2题【8.3】双线性插值的本质是根据其相对象限的面积对每个顶点进行加权。第3题【8.3】线性插值可以推广到多维网格。第8.4讲：线性与神经网络回归（习题）第1题【8.4】尽管我们的近似值相对于基函数是线性的，但所得到的近似值对于基础状态变量可能是非线性的。第2题【8.4】使用神经网络来表示值函数，输入是状态变量，输出是效用的估计值，参数对应神经网络的权重。第3题【8.4】神经网络回归:是一种全局近似方法，放宽了条件，无需构造线性回归所需要的基函数。第9.1讲：滚动时域与前瞻算法（习题）第1题【9.1】前瞻算法与预演策略要结合，会产生比单纯的预演策略要好的行动，但是一定能保证最优性。第2题【9.1】预演策略不一定是最优策略，通常是随机的。第3题【9.1】对于某些问题，较浅深度的规划可能会非常有效，因为每一步都重新规划这一事实可以弥补缺乏长期建模的不足。第9.2讲：搜索分支定界与抽样（习题）第1题【9.2】为了便于修剪，按上界的降序方式进行遍历，如果采用更加严格的上下界限，通常会导致更多的分支的修剪。第2题【9.2】在最坏的情况下，分支定界法的复杂度与正向搜索相同。第3题【9.2】正向搜索也被称为前向搜索，通过将所有可能的转移扩展到深度d来确定从初始扎状态s采取的最优行动，这些扩展形成一颗搜索树。第9.3讲：蒙特卡洛树搜索（习题）第1题【9.3】蒙特卡洛树搜索算法的基本版本有多种变体，以用来处理复杂的行动空间和状态空间，可以使用渐进式扩展方式，而不是一次扩展所有的行动。第2题【9.3】在蒙特卡洛树搜索中，我们也可以基于先验专家的知识，将N和Q的值进行估算并初始化为一些其他的值，初始化完后，返回状态s的估算值。第3题【9.3】蒙特卡洛树搜索通过当前状态运行m次模拟来避免时域内的指数复杂性。第9.4讲：启发式搜索（习题）第1题【9.4】标记启发搜索使用值更新运行模拟，直到当前状态被解决为止，与传统的启发式搜索不同，带标记的过程将计算工作集中在状态空间的最重要区域。第2题【9.4】标记启发搜索是启发式搜索的一种变体，该算法在根据状态的值时候得到解决来标记状态的同时，使用值更新来运行模拟。第3题【9.4】启发式搜索的效率取决于上界的严密程度，但是一般很难获得严格的上界。第9.5讲：开环规划（习题）第1题【9.5】可能导致极端保守的行动，而且极大极小模型通常不是凸性的，导致计算困难。第2题【9.5】对于确定性的模型预测控制，我们可以考虑在最坏状态转移的情况下，如何选择最优的开环方案。第3题【9.5】与滚动时域控制一样，模型预测控制解决了开环问题，从当前状态执行行动，转换到下一个状态，然后重新规划。第10.1讲：近似策略评估与局部搜索（习题）第1题【10.1】局部搜索是常见的优化方法，首先对参数初始化，在搜索空间从一个邻居逐渐移动到另一个邻居，直到出现收敛。第2题【10.1】当从状态s执行策略π时，可以计算预期折扣回报，当状态空间是很大或者连续时，可以通过迭代或者矩阵运算的方式计算预期折扣回报，利用这些结果，假设初始的状态分布为，那么可以计算策略π的预期折扣回报。第3题【10.1】为了最大化效用值，策略优化可以优化参数化策略中的参数，这种参数化策略可以采用多种形式，比如A神经网络B决策树C计算机程序D/第10.2讲：遗传算法与交叉熵方法（习题）第1题【10.2】精英样本的拟合通常使用最大似然估计，运行固定次数的迭代之后或者搜索分布高度集中于最优值附近之后停止。第2题【10.2】交叉熵方法的目标是找到，当从搜索分布中提取参数时，该值最大化的期望值，也就是第3题【10.2】遗传算法类似于Hooke-Jeeves方法，局部搜索算法存在一个潜在问题，即优化可能陷入一个局部最优。第10.3讲：一般进化与各向同性进化（习题）第1题【10.3】从搜索分布中抽取个样本值，然后通过将这些样本镜像到均值来生成其他个样本，镜像样本减少了梯度估计的方差，具有优越性。第2题【10.3】在每次迭代时更新由向量参数化的搜索分布，然而进化策略并不是将分布拟合到一组精英样本，而是通过向梯度方向前进一步来更新分布。第11.1讲：有限差分与回归梯度（习题）第1题【11.1】策略表示对策略梯度无显著敏感性，参数规模不同不会导致有限差分性能不同。第2题【11.1】有限差分对策略梯度的准确估计所面临的一个主要挑战是轨迹奖励的方差可能相当高，减少方差的一种方法是让每个预演共享相同的随机生成器，由于共享随机生成器，所以其他预演具有相同的趋势，并且其奖励将倾向于以相同的方式有所偏好。第3题【11.1】有限差分方法是从函数的解析推导中计算出函数的梯度值，而非从函数求值中的微小变化来估计函数的梯度值。第11.2讲：似然比方法（习题）第1题【11.2】确定性策略和随机策略在似然比方法中，轨迹概率的表达式完全一致。第2题【11.2】似然比方法推导可得。第3题【11.2】若为随机策略且预演深度为d，轨迹对数梯。第11.3讲：之后奖励方法（习题）第1题【11.3】策略参数化θ下，若Q值已知，梯度可表示为。第2题【11.3】奖励方法中定义的表示从轨迹第1步到第k步的奖励加权和。第3题【11.3】似然比策略梯度估计是无偏的，但方差较高，且方差会随预演深度增加显著变大。第11.4讲：基线扣除法（习题）第1题【11.4】使用优势函数的策略梯度为，该梯度无偏且方差更低。第2题【11.4】基线扣除法的核心是关注行动的相对价值，优势函数。第3题【11.4】基线扣除法中，扣除基线会使策略梯度的估算值产生偏差。第12.1讲：梯度上升更新（习题）第1题【12.1】实际决策问题中管控梯度时，梯度缩放和梯度剪裁对梯度方向的影响效果完全相同。第2题【12.1】梯度上升更新中，部分方法通过缩减步长因子可收敛到局部最优。第3题【12.1】在参数θ处，若梯度估计为，则梯度上升参数更新公式为（为步长因子）。第12.2讲：有约束的梯度更新（习题）第1题【12.2】这个优化问题有解析解，并且可以精确知道的值。第2题【12.2】对于优化问题，可以从目标中剔除。第12.3讲：自然梯度更新（习题）第1题【12.3】梯度方法的敏感性很大程度上取决于策略参数的缩放选择，策略的自然梯度使得搜索方向∇U(θ)对参数缩放保持不变。第2题【12.3】敏感性是指一个策略的效用随其中多个参数的微小变化而变化的程度。第3题【12.3】自然梯度方法可以看作是一种步长限制方法的变形，用以更好地处理参数空间中某些分量比其他分量更加敏感的情况。第12.4讲：信任区域更新（习题）第1题【12.4】离越远，近似值的质量就越差。第2题【12.4】直线搜索的一个关键特征是近似目标和约束的评估不需要额外的预演模拟。第12.5讲：剪裁代理目标（习题）第1题【12.5】剪裁代理目标与信赖区域梯度更新一样，可以根据θ产生的经验计算参数化θ'的梯度值，因此可以使用同一组采样轨迹。第2题【12.5】取下限的最终结果是，当概率比的变化导致目标显著改善时，将忽略概率比的变化，因此使用下限可以（）。A防止在这些情况下进行大规模而且不利的更新B消除对信任区域方法中基于信息矩阵的约束C/第3题【12.5】剪裁代理目标可用来避免对信任区域代理目标的过度乐观估计导致的不理想策略更新。第13.1讲：行动者评论家（习题）第1题【13.1】在行动者评论家算法中，每次迭代时，我们朝着∇U(θ)的方向更新θ以最大化效用，同时朝着∇ℓ(ϕ)的方向更新ϕ以最小化损失。第2题【13.1】通常通过更新策略的频率高于值函数的方法来提高行动家评论家方法的稳定性。第3题【13.1】我们把（）称为行动家，把（）称为评论家。A策略B值函数C/第13.2讲：广义优势估计（习题）第1题【13.2】参数λ=0时，得到的是无偏差、高方差完全预演。第2题【13.2】广义优势估计仅需要少量样本即可得出精确估算值。第3题【13.2】广义优势估计是一种行动者评论家方法的更一般版本，允许偏差和方差之间进行平衡。第13.3讲：确定性策略梯度（习题）第1题【13.3】在确定性策略梯度算法中，行动者网络更新的目标是：A最小化Q函数的误差B最大化Q函数的输出C最小化策略的方差D/第2题【13.3】为了增加探索，确定性策略梯度算法通常在策略网络的输出动作上添加零均值高斯噪声。第3题【13.3】确定性策略梯度方法中的评论家使用时序差分误差来更新其参数。第13.4讲：融合蒙特卡洛树搜索（习题）第1题【13.4】MCTSAC中学习评论家（值函数参数ϕ）时，使用树搜索得到的最大Q值作为目标值来最小化误差。第2题【13.4】在MCTSAC的树搜索结束后，如何从访问计数中生成一个新的策略?A根据访问次数N(s,a)的比例确定B根据状态-动作值Q(s,a)的大小确定C随机均匀选择D/第3题【13.4】MCTSAC方法使用参数化策略和值函数来指导蒙特卡洛树搜索，并利用蒙特卡洛树搜索的结果来优化参数化策略与值函数。第14.1讲：性能指标评估（习题）第1题【14.1】对于概率很小的性能指标，使用相对标准误差可以更准确地反映估计的精度。第2题【14.1】当状态空间连续或规模很大时，估计整体性能f(π)的常用方法是：A解析计算B采样估计C直接忽略D/第3题【14.1】性能指标f(π)通常定义为轨迹度量的期望值。第14.2讲：罕见事件模拟（习题）第1题【14.2】在重要性抽样中，从提议分布采样的样本需要经过加权处理才能得到无偏估计。第2题【14.2】重要性抽样方法通过从以下哪种分布中进行采样来提高罕见事件模拟的效率？A原始分布B提议分布C均匀分布D/第3题【14.2】对于罕见事件，通过直接采样和模拟来准确估算其概率在计算上是容易实现的。第14.3讲：鲁棒性与权衡（习题）第1题【14.3】在实际中，我们通常可以排除被支配的策略，如果一个策略不受该空间中任何其它策略的支配，则称之为帕累托最优策略或帕累托有效策略。第2题【14.3】许多任务涉及多个目标，这些目标往往是冲突的，权衡分析研究随着设计参数的变化，各种性能指标是如何权衡的。第3题【14.3】在现实世界部署系统之前，有必要研究其对建模错误的鲁棒性，可以使用策略评估和重要性抽样进行，但是评估策略的环境需要与优化策略的环境不同，如果相关度量的性能在环境模型的合理扰动之下得以保持，那么更加确信我们的系统在部署时一定运行良好。第14.4讲：对抗性分析（习题）第1题【14.4】在某些问题中，故障可以定义为进入一个特定状态，在某些问题中，故障可能需要更加复杂的定义，而不仅仅是状态空间的子集。第2题【14.4】解决方案是将状态映射到状态的对抗性策略，给定一个初始状态，我们可以生成轨迹，在给定概率的情况之下，该轨迹可以最小化奖励。第3题【14.4】这种方法研究策略的稳健性很有用。在每个时间步骤上，对手从当前状态选择应用策略指定的行动所产生的状态，根据转换模型，对手有（）两个目标需要平衡。A最小化奖励B最大化生成轨迹的似然性C/第15.1讲：赌博机与贝叶斯估计（习题）第1题【15.1】贪婪行为是指在二元赌博机问题中，最大化预期的即时回报或者换言之，最大化获胜的后验概率。第2题【15.1】现实世界的很多问题可以被定义为多臂赌博机问题，包括二元赌博机、伯努利赌博机等。第3题【15.1】强化学习的智能体必须在（）二者之间作出平衡。A对环境的探索B通过交互所获得的知识的利用C对环境的利用D对知识的探索第15.2讲：赌博机的无向探索（习题）第1题【15.2】先探索后提交的探索策略，我们在前k个时间步骤中随机选择行动，从这一点开始，我们选择了贪婪行动，k值越大，实施次优行动的风险就越小，但会浪费更多的时间来探索潜在的次优行动。第2题【15.2】无向探索中较大的ε值会导致更多的探索，从而更快地识别最优拉杆位置但更多的次数被浪费在次优拉杆臂上。第3题【15.2】无向探索是一种用于对探索和利用的平衡，不使用以前结果中的信息来指导非贪婪行动的探索。第15.3讲：赌博机的有向探索（习题）第1题【15.3】有向探索的另一种通用方法是使用后验抽样，也称为随机化概率匹配或者汤普森抽样，基本思想是从与各种行动相关的奖励的后验分布中进行抽样，选择具有最大采样值的行动。第2题【15.3】有向探索中各种探索策略都基于不确定性下的乐观思想，如果我们在数据统计允许的范围内对行动结果感到乐观，则被隐式地驱动来对探索和利用进行平衡。第3题【15.3】有向探索方法是使用从以前的尝试中收集的信息来指导非贪婪行动的探索。第15.4讲：赌博机最佳策略探索（习题）第1题【15.4】信念状态可以用2n个数字来描述n个连续概率分布。第2题【15.4】基廷斯配置指数可以用于有限时域问题的求解。第3题【15.4】信念状态的数量与有关。第16.1讲：最大似然模型与更新方案（习题）第1题【16.1】贝叶斯方法包括计算模型参数的()A点估计B后验分布C最大似然估计D/第2题【16.1】更新方案中一个主要因素是计算效率，因为我们希望在于环境交互时频繁执行这些更新。第3题【16.1】基于模型方法可以通过最大似然和贝叶斯两种方法来学习潜在的动力学和奖励。第16.2讲：探索策略与贝叶斯方法（习题）第1题【16.2】R-MAX算法命名来源于()A将最小奖励分配给未被充分探索的状态行动对B将最大奖励分配给未被充分探索的状态行动对C将平均奖励分配给所有状态行动对D/第2题【16.2】模型参数可能包括控制即时奖励分布的参数，但不包括控制状态转移概率的参数。第3题【16.2】R-MAX算法命名来源于将最小奖励分配给未被充分探索的状态行动对。第16.3讲：贝叶斯自适应MDP与后验抽样（习题）第1题【16.3】后验抽样方法的优点是()A计算成本低B不必决定启发式搜索的参数C收敛速度快D/第2题【16.3】我们可以将具有已知模型的MDP的贝尔曼最优方程直接推广到模型未知的情形，并直接应用策略迭代或者值迭代的方法求解。第3题【16.3】BAMDP是贝叶斯自适应马尔科夫决策过程的英文简称。第17.1讲：均值的增量估计（习题）第1题【17.1】更新的幅度与样本和先前估计值之间的差异成比例，这种差异被称为时序差分误差。第2题【17.1】避免显式表示更具有优势，特别是当处理低维问题的时候。第3题【17.1】无模型的方法直接对Q函数进行建模。第17.2讲：Q学习与Sarsa（习题）第1题【17.2】关于Q学习与Sarsa的比较，下列说法正确的是（）AQ学习是一种异步策略方法BSarsa是一种同步策略方法CQ学习和Sarsa都收敛到最优策略D/第2题【17.2】Q学习和Sarsa都收敛到最优策略，但收敛速度取决于具体的应用第3题【17.2】Sarsa使用最大化所有可能得行动来更新Q函数第17.3讲：资格迹与奖励塑形（习题）第1题【17.3】当资格迹应用于异步策略算法时，不会导致算法不稳定第2题【17.3】奖励塑形可以通过与目标距离成反比的数量来补充奖励函数，也可以根据相距目标的距离添加惩罚项第3题【17.3】Q学习和Sarsa的缺点之一是学习速度很慢，特别是在奖励函数很稀疏的情况下第17.4讲：Q函数近似与经验回放（习题）第1题【17.4】Q函数近似的目标是最小化近似Q函数与最优Q函数之间的损失第2题【17.4】灾难性遗忘是指我们忘记了已经发现的糟糕策略，并可能重新返回低回报区域第3题【17.4】关于Q函数近似的描述，正确的是（）AQ函数近似希望最小化近似Q函数与最优Q函数之间的损失B最小化损失的常见方法是使用某种形式的梯度下降C在更新规则中，α表示步长因子或者学习率D/第18.1讲：行为克隆（习题）第1题【18.1】关于行为克隆的描述，正确的是（）A行为克隆是模仿学习的一种简单形式B行为克隆将模仿学习视为监督学习问题C行为克隆的目标是最大化专家的状态行动对数据集的行动似然性D行为克隆不需要专家演示数据第2题【18.1】行为克隆不会产生级联错误，因此非常适合长期使用的策略第3题【18.1】行为克隆是模仿学习的一种简单形式，将其视为监督学习问题第18.2讲：数据聚合与随机混合迭代（习题）第1题【18.2】SMiL在每次迭代中使用行为克隆，并将新训练的策略与先前的策略加以混合第2题【18.2】关于SMiL算法的描述，正确的是（）A通过对新训练的策略进行随机混合来迭代构建策略B在每次迭代中使用行为克隆C将新训练的策略与先前的策略加以混合D不涉及专家策略的使用第3题【18.2】DAgger是一种解决级联错误问题的方法，它使用额外的专家输入来纠正经过训练的策略第18.3讲：最大边际逆向强化学习（习题）第1题【18.3】我们不可以使用专家演示来估计专家特征期望值并且希望找到一个尽可能接近这些特征期望值的策略第2题【18.3】在逆向强化学习之中，我们假设专家正在优化未知的奖励函数，从专家预演数据D中，我们试图推导出奖励函数，利用该奖励函数，我们不可以使用既有的方法来推导出最优策略第3题【18.3】在很多应用领域，并不存在可以交互查询的专家，取而代之的是一批专家演示的轨迹，假设该轨迹集合D由m个轨迹组成，则D中的每个轨迹都涉及深度d的推演第18.4讲：最大熵逆向与对抗式学习（习题）第1题【18.4】生成式对抗模仿学习使用的算法过程包括两个交替进行的过程：训练判别器以更好地区分模拟和专家的状态行动对；训练策略以使其看起来与专家演示不相上下第2题【18.4】最大熵原则选择信息量最小的分布，这对应于熵最大的分布第3题【18.4】最大边际逆向强化学习有明确指定具体方法第19.1讲：信念与离散状态滤波器（习题）第1题【19.1】给定最近的行动和观测，可以使用递归贝叶斯估计来更新当前状态下的信念分布第2题【19.1】通常希望在缺乏信息的情况下使用扩散的初始信念第3题【19.1】对于POMDP，智能体接收的当前状态观测是完美的，是真实状态第19.2讲：卡尔曼滤波器与扩展版（习题）第1题【19.2】扩展卡尔曼滤波器使用非线性动力学的局部线性近似，从而产生新的高斯信念，该信念近似于真实的更新信念第2题【19.2】卡尔曼滤波器通常应用于实际上存在线性高斯动态和观测的系统第3题【19.2】卡尔曼滤波器分为两个步骤，一是预测，二是更新第19.3讲：无迹的卡尔曼滤波器（习题）第1题【19.3】无迹卡尔曼滤波器执行两个无迹变换，一是预测步骤，二是预测更新第2题【19.3】对于x上分布的均值μ，无迹变换不允许使用具有更大信息量的p（x）信息第3题【19.3】无迹卡尔曼滤波有导数第19.4讲：粒子滤波器与粒子注入（习题）第1题【19.4】粒子注入技术虽然能防止粒子匮乏问题，但会降低粒子滤波器所表示的后验信念的准确性第2题【19.4】粒子滤波器可用于表示连续状态空间中的信念状态第3题【19.4】粒子滤波器进行信念更新时，会先通过观测模型对状态加权，再从转移分布采样传播状态。第20.1讲：信念状态MDP与条件规划（习题）第1题【20.1】执行树的条件规划时，需从根节点开始执行对应行动，再根据观测结果沿树向下移动，并采取经过节点对应的行动。（）第2题【20.1】条件规划通常用什么数据结构来表示A数组B链表C树D图第3题【20.1】关于信念状态MDP（BSMDP），下列表述正确的有ABSMDP也可被称作POMDPBBSMDP的状态空间是所有信念的集合CBSMDP的奖励函数与状态、行动、信念均无关联D/第21.1讲：完全可观测值的近似（习题）第1题【21.1】QMDP方法的核心思想是假设智能体在执行完当前动作后，环境将变得完全可观测。第2题【21.1】QMDP算法的核心思想是对以下哪一对象进行迭代更新？A转移矩阵TB阿尔法向量集C奖励函数RD/第3题【21.1】QMDP算法无论在有限步还是无限步情况下，其解都会收敛到POMDP的最优解。第21.2讲：快速通知界限与快速下界（习题）第1题【21.2】快速下界通过在最坏状态采取最佳行动计算获得的折扣奖励第2题【21.2】快速下界不需要阿尔法向量的值函数上界第3题【21.2】快速通知界限提供了最优值函数的上界，而且这个上界比QMDP提供的更加严密第21.3讲：基于点与随机点的值迭代（习题）第1题【21.3】随机点值迭代是对点值迭代方法的改进第2题【21.3】在点值迭代中，该算法保持最优值函数的下界第3题【21.3】点值迭代中，（）算法为每个行动生成一个阿尔法向量AQMDPB快速通知界限C/第21.4讲：锯齿上界与点选择（习题）第1题【21.4】计算最优策略可达到的信念空间不需要了解最优策略第2题【21.4】点选择类似于基于点的值迭代和锯齿迭代算法第3题【21.4】表示值函数的方法有（）A阿尔法向量B锯齿上界C/第21.5讲：锯齿启发式搜索与三角化（习题）第1题【21.5】三角化值函数是一种特殊的局部近似值函数近似方法第2题【21.5】POMDP可以转换为BSMDP，其状态空间是不连续的第3题【21.5】锯齿搜索是一种离线的启发式搜索算法第22.1讲：前瞻策略正向搜索与分支定界（习题）第1题【22.1】为了更加深入，我们可以限制行动或者观测分支，如果事先拥有一些领域知识，那么可能会在（）的更深处限制行动集。A根B树C/第2题【22.1】该算法利用显式模型来进行转移、奖励和观测，因此该方法可以使其适应于高维状态和观测空间的相关问题。第3题【22.1】在线方法与完整的信念空间相比，当前状态可到达的信念空间通常比较小。第22.2讲：稀疏抽样与蒙特卡洛树搜索（习题）第1题【22.2】算法不需要在每次决策时重新初始化，可以在各个调用之间维护历史树以及相关的计算和估计。第2题【22.2】相较于MDP，POMDP的MCTS主要区别在于与状态相关联，而不是计数和历史相关联。第3题【22.2】算法的输入是（）。A信念状态bB深度dC探索因子cD预演策略π第22.3讲：稀疏树搜索与间隙启发式搜索（习题）第1题【22.3】存在许多其他形式的上界和下界可以提供更快的收敛，但是代价是（）。A运行时间B实现的复杂度C/第2题【22.3】间隙启发使用上界和下界之间的间隙来指导我们的搜索，以找到其相关值具有确定性的信念并作为我们何时可以停止探索的指示。第3题【22.3】确定性稀疏树搜索DSTS，通过执行行动所产生的观测结果具有一定的确定性，来努力减少稀疏抽样和蒙特卡洛树搜索中的总体采样数量。第23.1讲：控制器（习题）第1题【23.1】控制器本身基于每个观测而不是依赖于性能更新来选择一个新节点。第2题【23.1】条件规划将策略表示为（），制器将策略表示为（）。A树B有向图C/第3题【23.1】控制器是维护其自身内部状态的策略表示，被表示为由无穷个节点X所组成的图。第23.2讲：策略迭代（习题）第1题【23.2】在策略改进期间添加的许多节点往往（）改进策略。A会B不会C/第2题【23.2】算法从任意初始控制器开始，然后在策略评估和策略改进之间迭代。第3题【23.2】节点可以递增到控制器中，用来优化无限时域问题，尽管策略表示不同，但是POMDP和MDP问题的基于控制器的策略迭代具有相似之处。第23.3讲：非线性规划（习题）第1题【23.3】这个问题可以改写为二次型约束的线性优化QCLP问题，可以使用专业求解器进行计算。第2题【23.3】该方法无需在策略评估和策略改进之间交替，控制器节点计数保持固定。第3题【23.3】策略改进问题可以被构建为一个（）非线性规划模型，该方法涉及所有节点上同时优化心和n，模型可用通用求解器计算。A单一的B大型的C多样的D/第23.4讲：梯度上升（习题）第1题【23.4】根据初始控制器，正常的梯度上升可以收敛到局部最优解，（）的梯度算法可用于帮助平滑和加快收敛速度。A自适应B非自适应C/第2题【23.4】根据初始控制器，正常的梯度上升可以收敛到局部最优解，自适应的梯度算法可用于帮助平滑和加快收敛速度。第3题【23.4】固定大小的控制器策略可以使用梯度上升进行迭代改进，虽然梯度计算具有挑战性，但是这为控制器优化提供了多种基于梯度的优化技术。第24.1讲：简单博弈和响应模型（习题）第1题【24.1】对于一个智能体而言，最优响应是一个策略，在其他智能体固定策略的情况下，没有导致其改变策略的激励，可能存在多种最优响应。第2题【24.1】（）是多智能体推理的基本模型。A复杂博弈B简单博弈C/第3题【24.1】关注单个智能体的理性决策，这些模型（）自然推广到多个智能体模型，当智能体相互作用时，出现了新的挑战:智能体可以相互帮助，或者以自己的最大利益行事。A可以B不可以C/第24.2讲：支配