人工智能算法分析徐立芳课后参考答案

绪论选择题1-5ABCD、ABCD、ABCD、ABCD、ABCD6-10ABCD、ACD、ABC、BD、ACD二、判断题1-5√、√、√、×、√6-10√、×、√、√、√三、简答题1.什么是人工智能？人工智能（ArtificialIntelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。2．什么是机器学习？机器学习是人工智能(AI)和计算机科学的一个分支，专注于使用数据和算法，模仿人类学习的方式，逐步提高自身的准确性。3．请简要介绍人工智能的发展历程。推理时期、知识时期、机器学习时期。4．请简要介绍监督学习。监督学习是机器学习中的一种训练方式，是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习，是从标记的训练数据来推断一个功能的机器学习任务。5．人工智能的算法类型包括什么？监督学习类、无监督学习类、半监督学习类、深度学习类。6．人工智能的具体方法是什么？机器学习和深度学习。7．传统机器学习算法包括哪些？传统机器学习方法大致可以包括：支持向量机，决策树，随机森林，隐马尔可夫模型，主成分分析等等。8．人工智能的应用涉及哪些方面？农业方面、通信方面、医疗方面、社会治安方面、交通领域方面。9．什么是文本挖掘？文本挖掘，也称文本数据挖掘，这个过程旨在将非结构化文本转换为结构化格式，以发现有意义的模式和全新洞察。10．请简要介绍人工智能大模型的发展历程。从参数规模上看，AI大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段，参数量实现了从亿级到百万亿级的突破。从模态支持上看，AI大模型从支持图片、图像、文本、语音单一模态下的单一任务，逐渐发展为支持多种模态下的多种任务。第二章机械学习经典分类算法选择题1-5ABD、ABCD、CD、AB、AB6-10A、D、AB、D、B二、判断题1-5√、×、×、√、√6-10√、×、√、×、√三、简答题1.请列举至少5种机器学习方向的经典分类算法。回归算法、决策树算法、支持向量机、kNN算法、贝叶斯算法。2.请详细介绍线性回归算法与逻辑回归算法的相关概念。回归算法是指处理标签数值类型为连续型数值，通过训练已有的数据集生成预测模型，根据输入的特征值来预测标签值，是一种有监督的算法。线性回归试图找到一条合适的直线y=w*x+b，让直线尽可能多的穿过样本点来拟合数据，说明特征值与标签值之间的规律。达到通过特征值来预测标签值的效果，而要找到最优的直线，需要通过不断调整权重w来实现，直到w使得所有的预测值与真实值之间的误差之和最小化，也就是损失函数（也叫代价函数）最小化。同时，要想让直线尽可能多的接近样本点，还需要找到最优的截距b，因此b也是需要调整到最优解。逻辑回归的核心思想是通过对数几率函数（logisticfunction）将线性回归的输出映射到概率空间，从而实现分类。3．请概述线性回归算法的基本原理。线性回归试图找到一条合适的直线y=w*x+b，让直线尽可能多的穿过样本点来拟合数据，说明特征值与标签值之间的规律。达到通过特征值来预测标签值的效果，而要找到最优的直线，需要通过不断调整权重w来实现，直到w使得所有的预测值与真实值之间的误差之和最小化，也就是损失函数（也叫代价函数）最小化。同时，要想让直线尽可能多的接近样本点，还需要找到最优的截距b，因此b也是需要调整到最优解。4.举例说明回归算法在实际生活中的应用。流行病学：有关吸烟对死亡率和发病率影响。金融：资本资产定价模型利用线性回归以及Beta系数的概念分析和计算投资的系统风险。这是从联系投资回报和所有风险性资产回报的模型Beta系数直接得出的。经济学：用来预测消费支出，固定投资支出，存货投资，一国出口产品的购买，进口支出，要求持有流动性资产，劳动力需求、劳动力供给。5．请概述决策树的决策原理。决策树是基于树结构进行决策的,其机制就是通过判定每个属性分类的纯度来进行自上而下决策分类6．简要分析决策节点和叶子节点的区别。非叶子节点主要是做决策选择的，叶子结点是决策的结果。7.什么是Gim不纯度？表示在样本集合中一个随机选中的样本被分错的概率。Gini指数越小表示集合中被选中的样本被参错的概率越小。8，简要叙述SVM的原理。SVM算法的基本思想是将数据映射到高维空间中，并在该空间中找到一个超平面，使得各类数据点到该超平面的距离最大。具体来说，对于给定的训练数据集，SVM会通过计算每个样本点与超平面之间的距离，进而确定最佳的决策边界。为了避免过拟合和提高泛化性能，SVM还引入了核函数，可以将线性不可分的数据映射到高维空间，从而实现非线性分类。9．如何确定SVM的决策边界？决策边界是样本的边界的极限的情况，在边界的基础上偏差一点点都会导致不一样的结果，所以决策边界其实可以看成是极限的样本的一个集合。正因为决策边界理解为边界极限的样本，那么意思就是偏差一点点就会导致不一样的结果，也就是sigmoid函数里的分界线0，也就是在决策界限上θ^Tx=0，因而>0或者<0都会导致不一样的结果也就是1或者0。因此，θ^Tx=0转变为了|θ|*|x|*cosθ，所以决策边界和参数是正交的。而箭头的方向取决于你对于正类和负类的选择。同向的即为正类。10.请简要叙述贝叶斯算法。贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。具体来说，已知后验概率和条件概率，待分类样本取决于各类样本总体的方法，要求样本量足够大，且条件相互独立，大型数据库中，而且方法简单、分类准确率高、速度快，但同时一般条件独立性很难满足，效果难以达到理论值。第三章机器学习经典聚类及集成与随机森林算法选择题1-5AB、A、ABC、ABC、B6-10A、A、A、BC、AB二、判断题1-5×、√、√、√、√6-10√、√、√、×、×三、简答题1.请简要介绍k-means算法。k均值聚类算法（k-meansclusteringalgorithm）是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。2．请简要介绍曼哈顿距离和欧氏距离的关系。曼哈顿距离也叫出租车距离，用来标明两个点在标准坐标系上的绝对轴距总和。曼哈顿距离把两个点坐标的x坐标相减取绝对值，y坐标相减取绝对值，再加和。3．请简要叙述k-means算法的基本原理。K-means算法的思想利用相似性度量方法来衡量数据集中所有数据之间的关系，将关系比较密切的数据划分到一个集合中。（1）K-means算法首先需要选择K个初始化聚类中心（2）计算每个数据对象到K个初始化聚类中心的距离，将数据对象分到距离聚类中心最近的那个数据集中，当所有数据对象都划分以后，就形成了K个数据集（即K个簇）（3）接下来重新计算每个簇的数据对象的均值，将均值作为新的聚类中心（4）最后计算每个数据对象到新的K个初始化聚类中心的距离，重新划分（5）每次划分以后，都需要重新计算初始化聚类中心，一直重复这个过程，直到所有的数据对象无法更新到其他的数据集中。4．请简要叙述k-means算法的步骤。随机初始化k个点作为簇质心；将样本集中的每个点分配到一个簇中；计算每个点与质心之间的距离（常用欧式距离和余弦距离），并将其分配给距离最近的质心所对应的簇中；更新簇的质心。每个簇的质心更新为该簇所有点的平均值；反复迭代2-3步骤，直到达到某个终止条件；常用的终止条件有：1）达到指定的迭代次数；2）簇心不再发生明显的变化，即收敛；3）最小误差平方和SSE。5．请简要叙述随机森林。随机森林是一种由决策树构成的集成算法，不同决策树之间没有关联。当进行分类任务时，新的输入样本进入，就让森林中的每一棵决策树分别进行判断和分类，每个决策树会得到一个自己的分类结果，决策树的分类结果中哪一个分类最多，那么随机森林就会把这个结果当做最终的结果。如果进行的是回归的任务，最后结果取的是平均值。6．如何构建一个随机森林？一个样本容量为N的样本，有放回的抽取N次，每次抽取1个，最终形成了N个样本。这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m<<M。然后从这m个属性中采用某种策略（比如说信息增益）来选择1个属性作为该节点的分裂属性。决策树形成过程中每个节点都要按照步骤2来分裂（很容易理解，如果下一次该节点选出来的那一个属性是刚刚其父节点分裂时用过的属性，则该节点已经达到了叶子节点，无须继续分裂了）。一直到不能够再分裂为止。注意整个决策树形成过程中没有进行剪枝。按照步骤1~3建立大量的决策树，这样就构成了随机森林了。7．请简要分析随机森林算法和决策树算法的异同。决策树是一种有监督的机器学习算法，该方法可以用于解决分类和回归问题。决策树可以简单地理解为达到某一特定结果的一系列决策。随机森林是基于树的机器学习算法，该算法利用了多棵决策树的力量来进行决策。8．什么是Mahalanobis距离？马氏距离(MahalanobisDistance)是一种距离的度量，可以看作是欧氏距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题。9.什么是马尔可夫过程？MDP基于一组交互对象，即智能体和环境进行构建，所具有的要素包括状态、动作、策略和奖励。在MDP的模拟中，智能体会感知当前的系统状态，按策略对环境实施动作，从而改变环境的状态并得到奖励，奖励随时间的积累被称为回报。10．请简要介绍AdaBoost算法。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。第四章深度学习选择题1-5ABCD、BCD、ABCD、AB、ABD6-10A、ABC、A、AB、A二、判断题1-5×、×、√、×、×6-10√、√、×、×、√三、简答题1.简述人工神经网络的原理。人工神经网络由一个输入层和一个输出层组成，其中输入层从外部源（数据文件，图像，硬件传感器，麦克风等）接收数据，一个或多个隐藏层处理数据，输出层提供一个或多个数据点基于网络的功能。2．介绍3种激活函数。Step激活函数Step更倾向于理论而不是实际，它模仿了生物神经元要么全有要么全无的属性。Identity通过激活函数Identity，节点的输入等于输出。ReLU修正线性单元（Rectifiedlinearunit，ReLU）是神经网络中最常用的激活函数。3．说明BP算法的基本原理。BP神经网络是一种按误差反向传播(简称误差反传)训练的多层前馈网络，其算法称为BP算法，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。基本BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。误差反传是将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。4.简述GAN的基本原理。GAN由两个部分组成：判别器D(discriminator)和生成器G(generator)，前者负责区分真实data和由generator生成的data，而后者则是生成数据的模型。.discriminator的目标是最小化分类的损失函数，而generator的目标则是最大化分类的损失函数(即欺骗discriminator导致它无法区分真实和合成数据)，通过这样一个minimax游戏，最终两者达到一个纳什均衡。5，请举几个GAN的衍生模型的例子，并进行比较。DCGAN使用卷积层代替了全连接层，采用带步长的卷积代替上采样，更好的提取图像特征，判别器和生成器对称存在，极大的提升了GAN训练的稳定性和生成结果的质量。WGAN主要是从损失函数的角度对GAN进行了改进，这种改进即使在全连接层也能得到很好的表现结果，在理论上给出了GAN训练不稳定的原因，就是之前的损失函数交叉熵（JS散度）不适合衡量具有不相交部分的分布之间的距离，而使用文章提出的Wassertein距离来衡量数据分布和真实数据分布之间的距离，理论上解决了训练不稳定的问题，不再需要小心平衡生成器和判别器的训练。同时也解决了模式崩溃问题（collapsemode）（生成器倾向于生成一些有把握但相似的图片，而不敢轻易地尝试去生成没把握的新图片，从而缺乏多样性的情况），使得生成器生成结果更加多样。6．分析GAN的优势和劣势。GANs可以比完全明显的信念网络（NADE,PixelRNN,WaveNet等）更快的产生样本，因为它不需要在采样序列生成不同的数据。GANs不需要蒙特卡洛估计来训练网络，人们经常抱怨GANs训练不稳定，很难训练，但是他们比训练依赖于蒙特卡洛估计和对数配分函数的玻尔兹曼机简单多了。它很难去学习生成离散的数据，就像文本。相比玻尔兹曼机，GANs很难根据一个像素值去猜测另外一个像素值，GANs天生就是做一件事的，那就是一次产生所有像素，你可以用BiGAN来修正这个特性，它能让你像使用玻尔兹曼机一样去使用Gibbs采样来猜测缺失值。7．请简要叙述循环神经网络的基本原理。RNN的基本结构包括输入层、隐藏层和输出层。其中，隐藏层的状态会随时间步更新，并作为下一时间步的输入之一。这种循环连接使得RNN具有记忆能力，能够捕捉序列中的长距离依赖关系。8．请简要概括循环神经网络存在的问题及解决措施。梯度消失如何解决？长短时记忆模型LSTM、门控单元GRU、合适的初始化矩阵W正则化、选择ReLU而不是sigmoid和tanh作为激活函数梯度爆炸如何解决？梯度剪裁，梯度大于某个阈值进行等比收缩、修正激活函数等9．请分析循环神经网络的优缺点。循环神经网络(RNN)是一种连接主义模型，具有选择性地在序列步骤间传递信息的能力，同时一次处理一个元素的顺序数据。因此，它们可以模拟不独立的输入和/或输出。此外，循环神经网络可以同时对多个尺度的顺序和时间依赖性进行建模。梯度消失、梯度爆炸。10．请阐述styleGAN的优点。StyleGAN的设计相较于传统GAN的生成器结构更胜一筹，尤其是对高级属性和随机变化（的多样性）方面的分离、中间潜在空间的线性研究增进了我们对GAN的理解和可控性生成。第五章强化学习选择题1-5ABCD、ABCD、ABCD、AB、AB6-10BD、D、D、C、C二、判断题1-5√、×、×、×、√6-10√、×、√、×、√三、简答题1.简述强化学习的发展历程。尽管强化学习是由明斯基于1961年的论文中首次提出，但是这种试错学习在此之前已经开始发展。目前，大家认为强化学习的来源与两个领域密切相关：即心理学中的动物学习和最优控制的优化理论。2.请列举一些深度学习与强化学习的区别。深度学习：一切运用了神经网络作为参数结构进行优化的机器学习算法。强化学习：不仅能利用现有数据，还可以通过对环境的探索获得新数据，并利用新数据循环往复地更新迭代现有模型的机器学习算法。学习是为了更好地对环境进行探索，而探索是为了获取数据进行更好的学习。3．强化学习的要素有哪些？策略：定义了一个特定时刻智能体的行为方式。大概来讲，策略是一个从当前感知到的环境状态到改状态下采取的动作的一个映射。在某些情况下，策略可能是一个简单的函数或者是一个查找表，然而在其他情况下，也可能涉及大量的计算，比如搜索过程。回报信号：定义了强化学习问题的目标。每一个时间步，环境反馈给强化学习智能体一个单独的数字，叫做回报。智能体唯一的目标就是最大化整个运行周期收到的回报总和。值函数：不同于瞬时回报，值函数刻画了在长期状态下对于某个状态或者行为的偏好。粗略来讲，一个状态的值是一个智能体从这个状态开始一直运行下去能够得到的期望回报总和。第四个也是最后一个一些强化学习系统的要素是环境模型。环境模型就像一个仿真器，给定一个状态和动作，模型会预测这个动作导致的下一个状态和回报。4.请简要叙述Q-学习算法的基本原理。Q-learning的基本原理是学习一个称为Q值（Q-function）的函数，用于估计在给定状态下采取特定行动后可以获得的未来总回报。Q值可以表示为Q(s,a)，其中s表示状态，a表示行动。通过学习和更新这些Q值，智能体（agent）可以选择在给定状态下执行最佳行动。5.请简要叙述Q-学习算法的算法流程。建立Q表，行是每种状态，列是每种状态的行为，值是某状态下某行为估计获得的奖励。每次进行状态转移时有e_greedy概率选当前状态最优方法，有1-e_greedy选随机方法。选完之后就更新当前状态下对应所选行为的Q值（估计值）。更新方法：其自身=其自身+学习率*（估计-现实）—>(实际更新=实际未更新+学习率*（预测-实际发生）)现实值也是其自身，估计值是选择当前行为后的奖励及下一状态中选择与当前状态具有相同行为的Q值。6.什么是动态规划算法？动态规划（Dynamicprogramming）是一种在数学、计算机科学和经济学中使用的，通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。7.什么是蒙特卡洛算法？蒙特卡洛算法的应用有哪些？蒙特·卡罗方法（MonteCarlomethod），也称统计模拟方法，它是一种思想或者方法的统称，而不是严格意义上的算法。蒙特卡罗方法的起源是1777年由法国数学家布丰（ComtedeBuffon）提出的用投针实验方法求圆周率（具体算法见文末的好文推荐），在20世纪40年代中期，由于计算机的发明结合概率统计理论的指导，从而正式总结为一种数值计算方法，其主要是用随机数来估算计算问题。蒙特·卡罗算法在数学、增强学习、金融工程学，宏观经济学，计算物理学等领域应用广泛。求解积分问题对被积分函数的变量在某一区间内进行随机均匀抽样，然后对抽样点的函数值求平均，从而可以得到函数积分的近似值。此种方法的理论基础是概率论的中心极限定理，其不随积分维数的改变而改变。求解圆周率问题蒙特卡罗方法可用于近似计算圆周率，如本例所示。机器学习蒙特卡洛算法也常用于机器学习，特别强化学习算法。一般情况下，针对得到的样本数据集创建相对模糊的模型，通过蒙特卡罗方法对于模型中的参数进行选取，使之于原始数据的残差尽可能的小，从而达到创建模型拟合样本的目的。金融领域用随机过程理论进行理论建模，在必要时使用蒙特卡罗算法对模型做数值模拟，比如预测未来收益和走势，感兴趣的读者可以阅读好文推荐的内容。当然，一个复杂的问题不可能依靠一个蒙特卡罗模拟就解决，需要大量的其他方法如随机过程、机器学习相关方法、博弈论涉及的方法等。8.请简要叙述蒙特卡洛算法的算法流程。蒙特卡罗算法一般分为三个步骤，包括构造随机的概率的过程，从构造随机概率分布中抽样，求解估计量。构造随机的概率过程对于本身就具有随机性质的问题，要正确描述和模拟这个概率过程。对于本来不是随机性质的确定性问题，比如计算定积分，就必须事先构造一个人为的概率过程了。它的某些参数正好是所要求问题的解，即要将不具有随机性质的问题转化为随机性质的问题。如本例中求圆周率的问题，是一个确定性的问题，需要事先构造一个概率过程，将其转化为随机性问题，即豆子落在圆内的概率，而π就是所要求的解。从已知概率分布抽样由于各种概率模型都可以看作是由各种各样的概率分布构成的，因此产生已知概率分布的随机变量，就成为实现蒙特卡罗方法模拟实验的基本手段。如本例中采用的就是最简单、最基本的（0，1）上的均匀分布，而随机数是我们实现蒙特卡罗模拟的基本工具。求解估计量实现模拟实验后，要确定一个随机变量，作为所要求问题的解，即无偏估计。建立估计量，相当于对实验结果进行考察，从而得到问题的解。如求出的近似π就认为是一种无偏估计。9.请分析比较动态规划算法、Q-学习算法和蒙特卡洛算法。蒙特卡罗方法是一种基于采样的方法，也就是我们采样得到很多轨迹，然后根据采样得到的结果平均去算V(s)。动态规划的使用条件：最优化原理：如果问题的最优解所包含的子问题的解也是最优的，就称该问题具有最优子结构，即满足最优化原理。无后效性：即某阶段状态一旦确定，就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前状态有关。有重叠子问题：即子问题之间是不独立的，一个子问题在下一阶段决策中可能被多次使用到。Q-learning的基本原理是学习一个称为Q值（Q-function）的函数，用于估计在给定状态下采取特定行动后可以获得的未来总回报。Q值可以表示为Q(s,a)，其中s表示状态，a表示行动。通过学习和更新这些Q值，智能体（agent）可以选择在给定状态下执行最佳行动。10.介绍一些动态规划算法、Q-学习算法和蒙特卡洛算法的应用。用动态规划解决背包问题、图像数据压缩、矩阵连乘、有向图最短路径、无交叉子集、元件折叠以及最长公共子序列等应用问题。第六章迁移学习选择题1-5A、A、BCD、A、CD6-10ABCD、AD、A、CD、A二、判断题1-5√、×、√、×、√6-10×、√、√、×、√三、简答题1.请简要叙述迁移学习的概念迁移学习(TransferLearning)是机器学习中的一个名词,是指一种学习对另一种学习的影响，或习得的经验对完成其他活动的影响。2．根据性质、内容的不同，可以将迁移学习分为哪几类？根据迁移的性质和结果划分：正迁移、负迁移(1)正迁移：一种学习对另一种学习产生积极的促进影响作用。(2)负迁移：一种学习对另一种学习产生消极阻碍的影响。三、根据迁移内容的抽象与概括水平不同划分：水平迁移、垂直迁移(1)水平迁移(横向迁移)：处于同一抽象和概括水平的经验之间的相互影响。(2)垂直迁移(纵向迁移)：处于不同抽象、概括水平的经验之间的相互影响。四、根据迁移的内容不同划分：一般迁移、特殊迁移(1)一般迁移(非特殊迁移、普遍迁移)：是指在一种学习中所习得的一般原理、原则和态度对另一种具体内容学习的影响，即原理、原则和态度的具体应用。3．请简要叙述迁移学习的发展历程。迁移学习的发展历程随着深度学习的发展，迁移学习在自然语言处理、计算机视觉等领域得到广泛应用。早期的迁移学习方法主要集中在浅层模型和手工设计特征上，而近年来深度迁移学习因其能够更好地挖掘数据内部的规律和复杂性逐渐成为热门领域。目前最流行的深度迁移学习方法包括基于预训练模型的迁移、对抗生成网络（GAN）等。4．什么是TrAdaBoost算法？基于样本的迁移学习方法，重点在于怎样对源域样本进行权重调整，使其可用于提升目标域的模型效果。此算法基于adaboost的思路，在每一轮boosting中，都会调整相应样本的权重，达到迁移学习的目的。5.请简要叙述TrAdaBoost算法的算法流程第一步：归一化每个数据的权重，使其成为一个分布。第二步：调用弱分类器。将T_d和T_s的数据整体作为训练数据，过程和AdaBoost训练弱分类器一样。这一步也是我们的olddata对模型起作用的地方。第三步：计算错误率。6.请至少叙述一种TrAdaBoost算法的改进型算法，并简要叙述其原理。TrAdaBoost多分类算法的滚动轴承故障诊断方法。引入大量辅助标记数据和少量目标标记数据组成联合训练集使训练样本足够多,并应用异分布加权随机抽样对TrAdaBoost迭代过程中的联合训练集进行重组,获得与测试集"近似同分布"的优化联合训练集,降低不同分布数据间的差异性。7．什么是层次贝叶斯算法？层次贝叶斯模型是具有结构化层次的统计模型，它可以用来为复杂的统计问题建立层次模型从而避免参数过多导致的过拟合问题。8，请简要叙述层次贝叶斯算法与朴素贝叶斯算法的异同。朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。层次贝叶斯模型是具有结构化层次的统计模型，它可以用来为复杂的统计问题建立层次模型从而避免参数过多导致的过拟合问题。9．请简要叙述层次贝叶斯算法的基本原理。层次贝叶斯模型是具有结构化层次的统计模型，它可以用来为复杂的统计问题建立层次模型从而避免参数过多导致的过拟合问题。通过贝叶斯方法来估计后验分布的参数。我们对层次贝叶斯推断的策略与一般的多参数问题一样，但由于在实际中层次模型的参数很多，所以比较困难，在实际中我们很难画出联合后联合概率分布的图形。但是可以使用近似的基于仿真的方法.运用层次贝叶斯模型主要需要计算所有参赛在已知观察量下的条件后验概率。10.请比较TrAdaBoost算法与层次贝叶斯算法的适用范围和其他异同之处。TrAdaBoost算法，是一种从olddata中提取实例的方法，即将一部分能用的oldlabeleddata，结合newlabeleddata（可能是少量），构建出比单纯使用newlabeleddata训练更精确的模型。第七章联邦学习选择题1-5AD、AB、AB、ABCD、ABCD6-10B、AD、A、BC、AC二、判断题1-5√、√、√、√、√6-10√、√、√、×、×三、简答题1.请简要叙述联邦学习的概念和核心思想。联邦学习（FederatedLearning）是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，不需要交换本地数据，仅通过交换模型参数或中间结果来构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。2．请简要叙述联邦学习的发展史。联邦学习（FederatedLearning）作为人工智能的一个新分支，为机器学习的新时代打开了大门。如果投票问人工智能和大数据应用领域有什么好玩又好用的新技术。这项技术由谷歌在2016年首次提出，从2018年8月开始在国内快速发展和普及，截至2020年2月，有公开资料可查的联邦学习研究或应用单位已超过百家。3.联邦学习可以分为哪几类？各类又有什么特点？联邦学习可以分为三大类：横向联邦学习、纵向联邦学习和联邦迁移学习。横向联邦学习适用于两个数据集的用户特征重叠较多而用户重叠较少的情况。纵向联邦学习适用于两个数据集用户特征重叠较少，但用户重叠较多的情况。联邦迁移学习适用于两个数据集的用户特征和用户都重叠较少的情况。在这种情况下，我们不分割数据，但可以使用迁移学习克服数据或标签的缺乏。4．什么是横向联邦学习？什么是纵向联邦学习？横向联邦学习是对数据按行划分，每一行一个样本。不同行的数据有相同的数据特征，即数据特征是对齐的。纵向联邦学习是对数据按列划分，每一列一个特征。5．请简要叙述联邦平均算法的原理和流程。FedAvg的基本思想是将本地模型的参数上传到服务器，服务器计算所有模型参数的平均值，然后将这个平均值广播回所有本地设备。这个过程可以迭代多次，直到收敛。为了保证模型聚合的准确性，FedAvg算法采用加权平均的方式进行模型聚合。6、请简要叙述安全联邦提升树算法的基本原理。首先，从根节点开始，针对节点计算所有可能特征的信息增益。然后，选择信息增益最大的特征作为节点的特征进行分裂。然后，针对这个信息增益最大的特征，根据盖特征的不同取值简历子节点。7.横向联邦学习和纵向联邦学习的异同分别是什么？横向联邦学习是对数据按行划分，每一行一个样本。不同行的数据有相同的数据特征，即数据特征是对齐的。纵向联邦学习是对数据按列划分，每一列一个特征。8．横向联邦学习和纵向联邦学习的应用有什么不同？横向联邦学习适用于两个数据集的用户特征重叠较多而用户重叠较少的情况。纵向联邦学习适用于两个数据集用户特征重叠较少，但用户重叠较多的情况。9．请简要分析联邦学习的应用思想。联邦学习技术，可以实现多个机构间构建统一的数据安全、高效、合规的多源数据应用生态系统，实现跨机构的数据共享融合，通过系统扩大样本量、增加数据维度为大数据应用提供高精度模型构建的有力支撑，进而提供更丰富、高质量的大数据服务，为社会发展创造更多价值。10．对于联邦学习来说，未来可能的具体发展方向有哪些？未来几年研究趋势将更多涉及算法模型和安全隐私技术，如数据隐私、深度学习、差分隐私、边缘计算、物联网、云计算、移动设备、同态加密、优化问题、沟通效率等。第八章因果学习选择题1-5ABCD、AC、D、AD、ABCD6-10BCD、AB、BCD、ABCD、ABCD二、判断题1-5√、√、×、×、√6-10√、√、√、×、×三、简答题1.什么是因果学习？因果机器学习(CausalML)是将数据生成过程形式化为结构因果模型(SCM)的机器学习方法的总称。这使得人们可以对这一过程的变化的影响(即干预)和事后会发生什么(即反事实)进行推理。2．请简要叙述因果学习的分类。第一类：由原因推结果，又称为因果推断(CausalInference)；第二类：由结果找原因；第三类：原因和结果互推；3，因果学习主要应用在哪些领域？因果分析是数据分析、数据科学中重要的方法，广泛应用于A/B实验，异常分析，用户增长等领域。4．什么是SCM算法？SCM算法基于稀疏协同模型的鲁棒目标跟踪算法。利用一种全局模板和局部表示的鲁棒外观模型。提出一种基于稀疏的判别分类器SDC和基于稀疏的生成模型SGM。5．SCM算法有哪些改进型？对于两两相邻的变量，通过这两个变量做一个pairwise(成对)CGNN，然后两个方向分别去训练一波，得到最优的损失，选比较小的损失作为选定的方向。于是我们就得到了两两的方向，顺着目前得到图的任意一个节点，找找有没有环，有环则把他反转，这步就是保证不存在任意。对于目前的图，不断的尝试reverse（反转）其中某个边，然后再去训练，看最后损失能不能减少，如果可以就reverse。这步一般使用hill-climbing算法。6一单变量SCM算法和多变量SCM算法有什么异同？单变量分析是数据分析中最简单的形式，其中被分析的数据只包含一个变量。因为它是一个单一的变量，它不处理原因或关系。单变量分析的主要目的是描述数据并找出其中存在的模式。使用双变量分析来找出两个不同变量之间是否存在关系，在笛卡尔平面上（想想X和Y轴）将一个变量对另一个变量进行绘图，从而创建散点图（.plot），多变量分析是对三个或更多变量的分析。7.请简要叙述SCM算法的算法流程。首先是进行目标设定，通过算法计算得到决策的方向，然后通过实时数据的回流在结果上进行反馈，最后把结果与当初的目标进行比对，评估执行情况，如果未能达标就进入下一轮的循环，这就是供应链系统不断迭代和优化的过程。8.因果推理有哪些误区？时序性在不考虑量子力学的前提下，一般来说，原因都要发生在结果前面。但也有例外，比如鸡生蛋，蛋生鸡的问题，就很难界定谁先谁后。非对称性一般来说，因果关系是不对称的。9.因果推理的目的和意义分别是什么？因果推理是用于解释分析的强大建模工具，可以帮助恢复数据中的因果关联，用于指导机器学习，实现可解释的稳定预测。10．一请简要探讨因果推理在未来的发展方向和应用价值。1）评测技术需要发展。如开发一套模拟系统；2）现在很多工作会对于因果关系基于几个变量假设，而实际场景的影响因子很多，变量维度高，且可能还需要自己定义变量。3）同时处理多个问题，需要把多个问题结合起来考虑，比如不同的bias问题综合处理。4)推荐系统是一个动态运转的系统，推荐系统影响用户，用户也会影响推荐系统，此时无法用有向无环图。同时，人是不断成长，此时不仅需要捕捉不变信息，还需要结合变的兴趣，用因果方式来建模。5）将因果推理与推荐系统的结合的过程变得更加智能。第九章文本挖掘选择题1-5BCD、ABCD、ABCD、ABCD、B6-10BCD、ABCD、ABCD、ACD、D二、判断题1-5√、√、√、×、×6-10√、×、√、×、×三、简答题1．什么是NLP？自然语言处理（NLP）就是在机器语言和人类语言之间沟通的桥梁，以实现人机交流的目的。2、WordNet是什么？WordNet是一个在20世纪80年代由Princeton大学的著名认知心理学家GeorgeMiller团队构建的一个大型的英文词汇数据库。名词、动词、形容词和副词以同义词集合（synsets）的形式存储在这个数据库中。每一个synset代表了一个同义词集合。各个synsets之间通过语义关系和词性关系等边连接。3，WordNet存在哪些问题？汉语词条太少像我在上一篇中所说的，WordNet的英文词条共计：117659条，但中文对应词条却只有42312条。汉语词义存在错误词条少还可以补充，不过更为可怕的是，有的词条不明所以，甚至根本是错误的翻译！网球问题说了两个中文WordNet中存在的致命问题之后，我们再来讨论一下WordNet存在的结构性问题。消歧问题WordNet是以词义为主键构建的字典，可是当我们扫描一篇文章的时候，出现的都是具体的词，那么这一个词就对应多个词义，如何分辨出语境中这一词对应的是哪一个词义，才是跨语言识别和句意分析的重点。词性较少WordNet中的词性只有四种，即名词、动词、形容词、副词。4，Word2vec-词嵌入是什么？word2vec是一种将word转为向量的方法，其包含两种算法，分别是skip-gram和CBOW，它们的最大区别是skip-gram是通过中心词去预测中心词周围的词，而CBOW是通过周围的词去预测中心词。5，请简要介绍skip-gram算法。Skip-gram算法就是在给出目标单词（中心单词）的情况下，预测它的上下文单词（除中心单词外窗口内的其他单词，这里的窗口大小是2，也就是左右各两个单词）。6，请简要叙述t-SNE的概念和原理。t-SNE主要目的在最小化两种分布的差异性：第一个是度量输入实例成对相似性，另一种是嵌入在相应低维空间中的成对点的相似性。通过上述方式，t-SNE映射多维数据到低维空间中并且试图找到基于多个特征的数据点的相似性来区分观测数据群，从而发现数据中的模式。7.什么是RNN,它有哪些变体？RNN用于处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。8，请简要分析RNN、CNN和LSTM的区别。CNN(卷积神经网络)主要针对DNN存在的参数数量膨胀问题，对于CNN，并不是所有的上下层神经元都能直接相连，而是通过“卷积核”作为中介。同一个卷积核在多有图像内是共享的，图像通过卷积操作仍能保留原先的位置关系。CNN之所以适合图像识别，正式因为CNN模型限制参数个数并挖掘局部结构的这个特点。RNN(循环神经网络)针对CNN中无法对时间序列上的变化进行建模的局限，为了适应对时序数据的处理，出现了RNN。在普通的全连接网络或者CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立（这种就是前馈神经网络）。而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身。（t+1）时刻网络的最终结果O(t+1)是该时刻输入和所有历史共同作用的结果，这就达到了对时间序列建模的目的。存在的问题：RNN可以看成一个在时间上传递的神经网络，它的深度是时间的长度，而梯度消失的现象出现时间轴上。LSTM（LongShort-TermMemory，长短期记忆网络）是一种时间循环神经网络，是为了解决一般的RNN存在的长期依赖问题而专门设计出来的。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，对RNN做了改进，得到了RNN的特例LSTM（LongShort-TermMemory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。9，Word2vec-词嵌入的应用包括哪些？广泛应用在了推荐系统和文本分类中10，RNN的应用包括哪些？自然语言处理(NLP):主要有视频处理,文本生成,语言模型,图像处理,机器翻译。第十章图像处理选择题1-5BCD、ABCD、ABCD、ABCD、ABCD6-10AB、CD、ABC、ACD、BCD二、判断题1-5×、√、√、√、√6-10√、√、√、×、×三、简答题1.什么是图像处理？图像处理包含哪些内容？图像处理(imageprocessing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。2．什么是图像到图像翻译？图像预处理（去噪、归一化）图像分割（把重要的部分提取出来，例如ROI【感兴趣区域】、VOI【感兴趣体】等从原始图像内提取出来）特征提取（把关键性的特征提取出来，特征分为基础特征、高维特征）特征选取（根据当前任务主题，选取合适的特征，抛弃无用的特征）做出决策（如脑胶质瘤分级等）3．请简要叙述条件图像到图像翻译及其相关方法。图像到图像的翻译”的任务有两种解决方法：像素的回归或分类生成对抗网络(GenerativeAdversarialNets)利用GANs得到的结果具有较强的鲁棒性和较强的感知真实感，GAN在图像翻译任务上的方法有pix2pix，CycleGAN，UNIT，DTN，FaderNets，DistanceGAN，GeneGAN，pix2pixHD，StarGAN等等。4．请简要叙述解纠缠图像到图像翻译及其相关方法。图像到图像的翻译旨在学习两个视觉领域之间的映射。对于许多应用来说，有两个主要的挑战：(1)缺乏对齐的训练对；(2)从单一的输入图像中获得多种可能的输出结果。5．请简要叙述cd-GAN的原理。图片经过CNN网络中的一系列layer，逐渐的对图像进行细化，最终将图像从一个大的维度变成一个小的维度。在DCGAN中，判别器实际上就是一个CNN网络。输入一张图片，然后输出yesorno的概率。6．请简要叙述DosGAN的原理。将所有池化层用卷积层代替，以卷积的方法实现下采样和上采样（在G中使用逆卷积），使得其在上/下采样过程中可以自己学习参数。7．请简要叙述InterfaceGAN的原理。提出的InterFaceGAN可以学习到一种或多种语义特征在GAN中式如何编码的，观察到GAN在自发学习隐藏空间，这些隐空间对应某些特征。这些属性特征在一些线性转变后解耦（2）InterFaceGAN在任意固定的训练好的GAN模型基础上来进行语义人脸编辑。8.请简要叙述SeFa的原理。SeFa的封闭形式和无监督方法，可以无需数据采样和模型训练并找出这些方向向量来改变输出图像中的不同属性。9.图像到图像翻译的优点和缺点有哪些？翻译不准确；便于理解。10．图像到图像翻译的基础架构有哪些？生成器：生成器采用U-Net，这是在图像分割领域应用非常广泛的网络结构，能够充分融合特征；而原本GAN中常用的生成器结构是encoder-de