《通信原理》大学题集

《数值计算》笔记（十五章）第1章：引言1.1什么是数值计算数值计算是利用计算机来解决数学问题的一门学科，它涉及到近似解的求解方法。与解析解不同，数值解通常不能给出精确的答案，但可以提供足够接近真实值的结果。在很多情况下，特别是当面对复杂的实际问题时，获取解析解可能是不可能的，这时数值方法就显得尤为重要。1.2数值计算的重要性在科学研究、工程设计以及金融分析等领域，数值计算扮演着不可或缺的角色。通过数值方法，我们可以模拟物理现象、优化系统性能、预测经济趋势等。此外，随着计算机技术的发展，处理大数据和进行复杂模型的计算变得更加高效，这进一步推动了数值计算的应用范围。1.3计算机在数值分析中的角色现代计算机强大的计算能力使得处理大规模数据集和执行复杂的数值算法成为可能。计算机编程语言如Python,MATLAB,C++等提供了丰富的库函数，极大地简化了开发过程。同时，高性能计算（HPC）平台支持并行运算，加速了数值解的获得速度。1.4精度与误差在数值计算中，由于存在舍入误差等原因，结果总是带有一定程度的不准确性。因此，了解不同类型的误差来源及其对最终结果的影响至关重要。主要的误差类型包括：绝对误差：测量值与真实值之间的差。相对误差：绝对误差除以真实值。截断误差：由使用有限项级数代替无限项级数引起。舍入误差：由于数字表示精度限制导致的数据丢失。1.5算法稳定性一个稳定的算法是指即使输入数据有轻微变动，输出也不会发生显著变化。稳定性对于确保数值结果的可靠性非常重要。评估算法稳定性的方法之一是考察其条件数；另一个关键因素是选择合适的步长或迭代参数，以避免振荡或发散行为。第2章：浮点数运算2.1浮点表示浮点数是一种用来近似表示实数的方法，在大多数计算机体系结构中采用IEEE754标准定义。根据该标准，浮点数由三部分组成：符号位（S）：指示数值正负。指数（E）：决定了小数点的位置。尾数（M）：存储了有效数字信息。2.2浮点数的加减乘除执行基本算术操作时，需要考虑规格化和非规格化两种形式的浮点数。规格化的浮点数保证最高有效位为1，而非规格化则允许这个位置为0，用于表示非常小的数值。这些规则影响着加减乘除的具体实现方式，并可能导致额外的舍入误差。2.3舍入误差和截断误差由于内存资源有限，浮点数必须被限定在一个固定长度内。当超出这一范围时，就必须进行舍入。常见的舍入模式包括向零舍入、四舍五入、向上舍入等。除了舍入外，某些操作如取平方根也可能引入新的误差源——截断误差。2.4IEEE754标准IEEE754是一个国际公认的标准，规定了浮点数的表示格式及运算规则。它定义了几种不同的精度级别，最常用的是单精度（float32）和双精度（float64）。此外，该标准还涵盖了特殊值处理，例如无穷大、NaN（NotaNumber）以及下溢/上溢情况下的行为规范。第3章：非线性方程求解3.1二分法二分法是最简单直接的寻找非线性方程根的方法之一。给定连续函数f(x)，如果存在a<b且f(a)*f(b)<0，则说明[a,b]区间内至少有一个根。通过反复将区间分为两半并选取包含根的新子区间，最终能够逼近到任意指定精度内的解。3.2不动点迭代不动点迭代基于这样一个事实：如果x满足g(x)=x*，那么x*就是f(x)=0的一个解。选择适当的g(x)函数后，从某个初始猜测开始迭代更新x值直到收敛。这种方法的成功依赖于g(x)的选择及其导数性质。3.3牛顿-拉夫森方法牛顿-拉夫森方法是一种高效的局部搜索技术，适用于求解可微函数的零点。每次迭代中，算法构造当前估计点处的切线，并沿着这条直线移动至与x轴相交的新位置作为下一个估计值。尽管收敛速度快，但它要求用户提供良好的起始点并且目标函数具有连续导数。3.4割线法割线法是对牛顿-拉夫森方法的一种改进，它用两个最近的点之间的连线代替了切线。这样做的好处是可以减少每次迭代所需的计算量，因为它不需要显式地计算导数。不过，这也意味着割线法的收敛速度可能会稍慢一些。第4章：线性代数基础4.1向量和矩阵向量是具有大小和方向的量，通常用一列数字表示。在数值计算中，我们经常处理的是n维向量，其中n代表向量中的元素数量。矩阵则是一组排列成矩形阵列的数字，它由行和列组成。一个m×n的矩阵有m行n列。向量可以视为特殊的矩阵，即只有一列或一行。向量运算：包括加法、减法、标量乘法以及内积（点积）。矩阵运算：包含加法、减法、标量乘法、矩阵乘法等基本操作。4.2行列式行列式是一个与方阵相关的标量值，它可以用来判断方阵是否可逆。对于一个2x2的矩阵A=[a,b;c,d]，其行列式的定义为det(A)=ad-bc。更一般地，对于任意阶数的方阵，可以通过展开来递归地定义行列式。行列式的几何意义是该矩阵所代表的线性变换对体积的影响程度。性质：行列式满足一些重要的代数性质，如交换两行（或两列）会改变符号；如果某一行（或列）全为零，则行列式为零；行列式关于任一行（或列）是线性的。4.3矩阵的逆当且仅当一个方阵的行列式不为零时，这个矩阵才存在逆矩阵。给定一个n×n的非奇异矩阵A，它的逆记作A^(-1)，满足AA^(-1)=I，其中I是单位矩阵。求解逆矩阵的方法之一是使用高斯-约旦消元法，将增广矩阵[A|I]通过初等行变换转换为[I|A^(-1)]。应用：逆矩阵广泛应用于解线性方程组、最小二乘问题以及其他需要“撤销”线性变换的情况。4.4特征值与特征向量如果存在非零向量v使得Av=λv成立，那么实数λ称为矩阵A的一个特征值，而v称为对应于λ的特征向量。特征值问题的核心在于找到那些能够使线性变换保持方向不变的特殊方向及其缩放因子。求解方法：常用的求解特征值的方法包括幂迭代法、QR算法等。物理意义：在许多实际问题中，特征值提供了系统稳定性的重要信息，例如振动系统的自然频率。第5章：线性方程组直接解法5.1高斯消去法高斯消去法是一种经典的解决线性方程组Ax=b的方法。该过程分为两个阶段：前向消去：通过一系列行操作将系数矩阵A转化为上三角形式。回代：从最后一个方程开始逐步向上求解未知数。部分选主元策略：为了提高数值稳定性，通常采用选择绝对值最大的元素作为主元的做法。5.2LU分解LU分解是将一个矩阵A分解为下三角矩阵L和上三角矩阵U的乘积，即A=LU。这种方法可以看作是对高斯消去过程的一种结构化描述，它的好处在于一旦完成分解后，对于不同的右端项b，可以直接利用L和U快速求解新的方程组。变体：还有其他类型的分解方法，比如带有部分选主元的PLU分解（P代表置换矩阵），以及针对正定矩阵的乔莱斯基分解。5.3乔莱斯基分解对于对称正定矩阵A，可以进行乔莱斯基分解，即将A写成A=LL^T的形式，这里L是一个下三角矩阵。这种分解特别适用于求解对称正定线性系统，并且比一般的LU分解更加高效。优点：由于L是下三角矩阵，因此在求解过程中只需要进行一次前向替换和一次回代，减少了计算量。5.4条件数条件数衡量了线性方程组对于输入数据扰动的敏感度。对于矩阵A而言，其条件数定义为cond(A)=||A||*||A^(-1)||，这里的范数可以选用任何合适的矩阵范数。条件数越大，表明方程组越不稳定，小的误差可能导致大的相对误差。影响因素：条件数受矩阵本身的性质影响很大，特别是当矩阵接近奇异或者特征值分布很宽泛时，条件数往往会很大。第6章：线性方程组迭代解法6.1迭代法概述与直接法不同，迭代法不是一次性给出精确解，而是通过多次重复计算逐渐逼近真实解。这类方法尤其适合处理大型稀疏矩阵，因为它们往往不需要存储整个矩阵，只需知道如何计算矩阵-向量乘积即可。6.2雅可比迭代雅可比迭代基于这样的思想：将原方程组重写为x=D^(-1)(b-(L+U)x)，其中D、L、U分别是A的对角、严格下三角和严格上三角部分。每次迭代更新所有变量同时考虑上次迭代的结果。收敛条件：如果A是对角占优矩阵或严格对角占优矩阵，则雅可比迭代必定收敛。6.3高斯-赛德尔迭代高斯-赛德尔迭代改进了雅可比迭代，它在每次迭代中即时使用最新的分量估计值而不是上一轮的结果。具体来说，它是按照顺序依次更新每一个未知数，并立即用新值参与后续计算。优势：相比雅可比迭代，高斯-赛德尔迭代通常收敛得更快，尤其是在某些特定类型的矩阵上表现尤为突出。6.4SOR（逐次超松弛）方法SOR方法是在高斯-赛德尔基础上引入了一个松弛参数ω（0<ω<2）。通过适当调整ω值，可以在一定程度上加速收敛速度。当ω=1时，SOR退化为普通的高斯-赛德尔迭代。最佳松弛因子：理论上存在最优的ω*使得SOR达到最快收敛速率，但实践中很难精确确定，通常通过实验手段选取。6.5共轭梯度法共轭梯度法是一种专门用于求解对称正定线性系统的迭代算法。它通过构造一组相互共轭的方向来进行搜索，从而避免了传统梯度下降法中的锯齿状路径问题。共轭梯度法不仅具有良好的理论收敛性质，而且在实际应用中表现出色，特别是在大规模问题上。特点：无需显式构造矩阵，仅需执行矩阵-向量乘法；内存需求低；每步迭代都保证目标函数值下降。第7章：插值7.1引言插值是数值分析中的一个重要领域，它旨在根据一组给定的数据点来构造一个函数，该函数能够通过这些数据点或在某些条件下尽可能接近这些点。插值方法广泛应用于科学计算、工程设计以及图像处理等领域。7.2拉格朗日插值拉格朗日插值法是一种多项式插值技术，其基本思想是构建一个n次多项式，使得这个多项式恰好通过给定的n+1个数据点。对于给定的一组点{(x_0,y_0),(x_1,y_1),...,(x_n,y_n)}，拉格朗日插值多项式可以表示为：P(x)=∑i=0nyiLi(x)P(x)=∑i=0n​yi​Li​(x)其中，Li(x)Li​(x)是基础拉格朗日多项式，定义为：Li(x)=∏j=0,j≠inx−xjxi−xjLi​(x)=∏j=0,j=in​xi​−xj​x−xj​​优点：形式简单直观。缺点：当数据点较多时，多项式的次数增加，可能会导致龙格现象（Runge'sphenomenon），即在端点附近出现振荡。7.3牛顿差商插值牛顿插值公式利用差商的概念来构造插值多项式。差商类似于导数，但不需要知道函数的具体形式。给定数据点集后，可以通过递归地计算差商表来得到插值多项式的系数。牛顿插值多项式可写成：P(x)=a0+a1(x−x0)+a2(x−x0)(x−x1)+...+an(x−x0)...(x−xn−1)P(x)=a0​+a1​(x−x0​)+a2​(x−x0​)(x−x1​)+...+an​(x−x0​)...(x−xn−1​)其中aiai​由差商表确定。优点：易于添加新数据点，因为新的插值多项式只需要基于已有项进行调整。缺点：与拉格朗日插值一样，在数据点较多时也可能遇到稳定性问题。7.4样条插值为了克服高次多项式插值可能带来的不稳定性，样条插值采用分段低次多项式来逼近数据。常用的样条类型包括线性样条、二次样条和三次样条。特别是三次样条，它不仅保证了各段之间的连续性，还确保了一阶导数和二阶导数的连续性，从而提供了平滑的结果。边界条件：常见的边界条件有自然边界条件（二阶导数为零）、夹持边界条件等。7.5Hermite插值Hermite插值进一步扩展了普通多项式插值的概念，除了要求插值多项式通过给定的数据点外，还要求在这些点上满足特定的导数值。这使得Hermite插值能够在保持较高精度的同时提供更好的局部适应性。应用：特别适合于需要精确控制曲线形状的情况，如计算机辅助设计(CAD)中。第8章：曲线拟合8.1最小二乘法最小二乘法是一种常用的数据拟合技术，其目标是最小化观测值与模型预测值之间差异的平方和。这种方法特别适用于存在噪声的数据集。假设我们有一组数据点(xi,yi)(xi​,yi​)，并希望找到一个形如y=f(x;a0,a1,...,am)y=f(x;a0​,a1​,...,am​)的模型，其中a0,a1,...,ama0​,a1​,...,am​是待定参数，则最小二乘问题可以表述为求解下列优化问题：min⁡a0,a1,...,am∑i=1N[yi−f(xi;a0,a1,...,am)]2mina0​,a1​,...,am​​∑i=1N​[yi​−f(xi​;a0​,a1​,...,am​)]2线性最小二乘：当

f(x;a0,a1,...,am)f(x;a0​,a1​,...,am​)

是关于参数

aiai​

的线性组合时，可以直接使用解析解来求得最优参数。非线性最小二乘：如果

f(x;a0,a1,...,am)f(x;a0​,a1​,...,am​)

非线性依赖于参数，则通常需要迭代算法如梯度下降法来求解。8.2多项式拟合多项式拟合是最小二乘法的一个特例，这里选择的基函数为幂函数1,x,x2,...,xn1,x,x2,...,xn。通过对数据点进行最小二乘拟合，可以获得一个最佳拟合多项式。需要注意的是，随着多项式次数的增加，虽然拟合误差会减小，但过高的次数可能导致过拟合问题，因此需要谨慎选择合适的多项式阶数。正则化：引入正则化项可以帮助防止过拟合，例如岭回归（RidgeRegression）就通过添加惩罚项来限制参数的大小。8.3正交多项式使用正交多项式作为基函数进行拟合可以简化计算过程，并提高数值稳定性。常见的正交多项式系列包括勒让德多项式、切比雪夫多项式和埃尔米特多项式等。这些多项式在一个特定区间内具有良好的正交性质，使得拟合过程中系数的确定变得更加容易。优势：由于正交性，每个系数的计算独立于其他系数，避免了矩阵求逆带来的数值不稳定问题。8.4非线性最小二乘拟合对于非线性模型，直接应用最小二乘原则往往难以获得闭式解，此时就需要借助迭代算法。高斯-牛顿法是一种流行的非线性最小二乘拟合方法，它将原问题转化为一系列线性最小二乘子问题来解决。另一种有效的方法是莱文贝格-马夸特算法，它结合了高斯-牛顿法和梯度下降的优点，既保持了快速收敛的特点又增强了鲁棒性。初始估计：好的初始参数估计对于非线性拟合至关重要，因为它影响着最终结果的质量和算法的收敛速度。第9章：数值积分9.1数值积分概述数值积分是指用离散的方法近似计算定积分的过程。当被积函数无法解析求解或者解析表达式过于复杂时，数值积分成为一种有效的替代手段。常见数值积分方法依据不同的原理和适用场景分为多种类型。9.2牛顿-科特斯公式牛顿-科特斯公式是一类基于多项式插值的数值积分规则。这类方法的基本思路是在积分区间内选取若干个节点，然后用通过这些节点的插值多项式代替原函数进行积分。最简单的例子就是矩形法则和梯形法则。辛普森法则：使用二次多项式插值，对于光滑函数来说通常比梯形法则更准确。复合规则：通过将整个积分区间分割成多个小区间并在每个小区间上应用基本的牛顿-科特斯公式，可以显著提高积分精度。9.3辛普森法则辛普森法则是一种特殊的牛顿-科特斯公式，它使用三个点上的函数值来构造一个抛物线插值多项式，并以此为基础计算积分。具体而言，若考虑区间[a,b]，则辛普森法则给出的近似积分为：∫abf(x)dx≈b−a6[f(a)+4f(a+b2)+f(b)]∫ab​f(x)dx≈6b−a​[f(a)+4f(2a+b​)+f(b)]误差分析：辛普森法则的截断误差与四次导数相关，这意味着对于足够光滑的函数，辛普森法则能提供较高的精度。9.4复化求积公式复化求积是通过将大区间细分成若干个小区间，并在每个小区间上单独应用基本的数值积分公式，最后将所有小区间的积分结果相加得到总积分的一种策略。这种方法特别适用于积分区间较长或函数变化较快的情形。自适应积分：一种更加智能的复化求积方式是自适应积分，它根据局部误差估计动态调整步长，以达到指定精度的同时尽量减少计算量。9.5高斯求积高斯求积是一种特别高效的数值积分方法，它通过精心选择积分节点的位置来实现最高的代数精度。对于给定的节点数量n，高斯求积可以精确计算最高达2n-1次多项式的积分。常见的高斯求积类型包括高斯-勒让德求积、高斯-切比雪夫求积等。权重与节点：高斯求积的关键在于正确选择节点位置及其对应的权重系数，这些参数可以通过解特定的方程组得到。第10章：常微分方程初值问题10.1引言**常微分方程（ODEs）**描述了自变量与未知函数及其导数之间的关系。在许多科学和工程领域中，ODEs被用来模拟各种物理、化学及生物过程。初值问题是ODEs的一个重要类别，它要求解一个或一组ODE，并给定初始条件来确定唯一的解。10.2欧拉方法欧拉方法是最基本的数值求解ODE的方法之一，基于泰勒展开的一阶近似。对于形式为y′=f(t,y)y′=f(t,y)的一阶ODE，如果给定初始条件y(t0)=y0y(t0​)=y0​，则从t0t0​到tn+1=tn+htn+1​=tn​+h的步进公式为：yn+1=yn+hf(tn,yn)yn+1​=yn​+hf(tn​,yn​)优点：简单易懂。缺点：精度较低，稳定性差，尤其对于较大的步长h。10.3改进欧拉方法为了提高欧拉方法的准确性，可以采用改进欧拉法或者称为修正欧拉法。这种方法结合了显式和隐式的欧拉步骤，即预测-校正过程。首先用标准欧拉方法进行预测，然后用梯形法则进行校正：yn+1∗=yn+hf(tn,yn)yn+1∗​=yn​+hf(tn​,yn​)yn+1=yn+h2[f(tn,yn)+f(tn+1,yn+1∗)]yn+1​=yn​+2h​[f(tn​,yn​)+f(tn+1​,yn+1∗​)]优点：比普通欧拉方法更准确。缺点：计算量稍大，但通常仍然易于实现。10.4龙格-库塔方法龙格-库塔（RK）方法是一类广泛使用的高精度单步算法，用于解决非刚性ODE问题。其中最著名的四阶RK方法由四个阶段组成，每一步都使用当前点的信息来预测下一步的位置。对于同样的形式y′=f(t,y)y′=f(t,y)，四阶RK方法的更新公式如下：k1=hf(tn,yn)k1​=hf(tn​,yn​)k2=hf(tn+h2,yn+k12)k2​=hf(tn​+2h​,yn​+2k1​​)k3=hf(tn+h2,yn+k22)k3​=hf(tn​+2h​,yn​+2k2​​)k4=hf(tn+h,yn+k3)k4​=hf(tn​+h,yn​+k3​)yn+1=yn+16(k1+2k2+2k3+k4)yn+1​=yn​+61​(k1​+2k2​+2k3​+k4​)优点：具有较高的精度和良好的稳定性。缺点：计算成本相对较高，尤其是对于更高阶的RK方法。10.5多步法与单步法不同，多步法利用前面几步的结果来计算下一步的值。常见的多步法包括亚当斯-巴什福思（Adams-Bashforth）方法和亚当斯-莫尔顿（Adams-Moulton）方法。这些方法通常需要几个初始点才能开始迭代，但一旦开始，它们就能提供较高的精度和效率。预测-校正对：亚当斯-巴什福思方法作为预测器，而亚当斯-莫尔顿方法作为校正器，两者结合起来形成了有效的多步积分方案。第11章：偏微分方程数值解11.1偏微分方程简介**偏微分方程（PDEs）**涉及多个自变量和未知函数的偏导数。根据类型的不同，PDEs可分为椭圆型、抛物型和双曲型等。数值求解PDEs是科学计算中的一个重要课题，因为许多自然现象都可以通过PDEs来建模。11.2有限差分法有限差分法是一种将连续问题离散化的方法，它通过在空间和时间上引入网格点来近似PDE。核心思想是用差商代替偏导数，从而将PDE转化为代数方程组。例如，对于一维热传导方程ut=uxxut​=uxx​，可以使用中心差分格式来近似：uin+1−uinΔt=ui+1n−2uin+ui−1nΔx2Δtuin+1​−uin​​=Δx2ui+1n​−2uin​+ui−1n​​稳定性分析：通过冯·诺伊曼稳定性分析可以判断差分格式是否稳定。边界条件处理：正确设置边界条件是确保数值解合理的关键。11.3有限元方法简介**有限元方法（FEM）**是一种强大的数值技术，适用于解决复杂几何形状和多种类型的PDEs。FEM的核心在于将整个区域划分成小的子区域（单元），并在每个单元内构造基函数来逼近原问题的解。这种方法特别适合于处理不规则域和复杂的边界条件。变分原理：FEM通常基于能量最小化或加权残差原则构建弱形式。组装过程：通过局部到全局的过程将各个单元的贡献组合起来形成整体系统矩阵。11.4稳定性和收敛性无论采用哪种数值方法，都需要关注结果的稳定性和收敛性。稳定性指的是算法不会放大输入数据中的误差；而收敛性则指随着网格细化，数值解会趋向于真实解。对于不同的方法，稳定性条件和收敛速度可能有所不同。CFL条件：对于时间依赖问题，特别是波动方程，满足CFL（Courant-Friedrichs-Lewy）条件是保证稳定性的必要条件之一。收敛阶：数值方法的收敛阶决定了其精度随网格尺寸减小的变化率，高阶方法通常能够以更快的速度达到所需精度。第12章：随机数生成12.1伪随机数生成器**伪随机数生成器（PRNGs）**是用来产生看似随机但实际上可重复序列的算法。这些序列具有一定的统计性质，但不是真正的随机数。常用的PRNG包括线性同余生成器（LCG）、MersenneTwister等。种子：通过设置相同的种子，可以在不同的运行中重现相同的随机序列，这对调试和验证非常重要。周期：一个好的PRNG应该有足够长的周期，以避免过早出现重复模式。12.2分布函数抽样在很多应用中，我们需要从特定的概率分布中抽取样本。逆变换采样法是一种通用的技术，它首先生成均匀分布的随机数，然后通过累积分布函数（CDF）的反函数转换得到所需的分布样本。此外，还有直接采样、拒绝采样、重要性采样等多种方法。常见分布：如正态分布、泊松分布、指数分布等，都有专门的高效抽样算法。12.3MonteCarlo方法MonteCarlo方法是一种基于随机抽样的数值计算方法，广泛应用于模拟、优化以及积分等领域。它的基本思想是通过大量的随机试验来估计某个期望值。对于求解定积分的问题，可以通过以下步骤实现：定义积分区间[a,b]和目标函数f(x)。在[a,b]上生成N个独立且均匀分布的随机点

x1,x2,...,xNx1​,x2​,...,xN​。计算平均值

fˉ=1N∑i=1Nf(xi)fˉ​=N1​∑i=1N​f(xi​)。积分估计为

(b−a)fˉ(b−a)fˉ​。误差估计：MonteCarlo方法的误差通常与样本数量N的平方根成反比。12.4Quasi-MonteCarlo方法虽然传统的MonteCarlo方法简单有效，但在某些情况下，使用低差异序列（如Sobol序列或Halton序列）代替完全随机的样本可以进一步提高精度。这种技术被称为Quasi-MonteCarlo(QMC)方法，它利用更加均匀地覆盖空间的点集来减少方差，从而获得更好的收敛速率。适用场景：QMC方法特别适用于高维积分问题，尤其是在金融工程和物理学模拟中表现突出。第13章：优化技术13.1优化问题概述优化是寻找函数最大值或最小值的过程，在科学、工程、经济学等领域有着广泛的应用。根据变量的约束情况，优化问题可以分为无约束优化和约束优化两大类。此外，根据目标函数的性质，还可以进一步细分为线性规划、非线性规划等。13.2单变量无约束优化对于单变量无约束优化问题，即在没有其他限制的情况下找到使函数f(x)f(x)最小（或最大）的点x∗x∗，有多种方法可供选择。常见的算法包括：黄金分割法：通过不断缩小搜索区间来逼近最优解。二分法：类似于黄金分割法，但每次将区间对半划分。牛顿法：利用导数信息快速收敛到局部极值点，迭代公式为

xn+1=xn−f′(xn)f′′(xn)xn+1​=xn​−f′′(xn​)f′(xn​)​。拟牛顿法：当无法直接计算二阶导数时，使用一阶导数信息近似构造Hessian矩阵。13.3多变量无约束优化多变量无约束优化处理的是多个自变量的情况，例如求解f(x)f(x)的极值点x∗x∗。一些常用的方法包括：梯度下降法：沿着负梯度方向逐步更新参数，直到收敛。共轭梯度法：改进了梯度下降法，通过构造一组共轭方向来进行搜索，特别适用于二次型函数。拟牛顿法：如BFGS(Broyden-Fletcher-Goldfarb-Shanno)和DFP(Davidon-Fletcher-Powell)方法，它们利用历史信息来估计Hessian矩阵的逆。信赖域方法：结合了全局模型与局部模型的优点，确保每一步都在一个可信赖的区域内进行更新。13.4约束优化约束优化问题需要在满足某些限制条件下寻找最优解。这类问题可以通过引入拉格朗日乘子来转化为无约束问题。主要方法包括：拉格朗日乘子法：定义拉格朗日函数

L(x,λ)=f(x)+∑λigi(x)L(x,λ)=f(x)+∑λi​gi​(x)，其中

gi(x)gi​(x)

是不等式或等式约束。KKT条件：Karush-Kuhn-Tucker条件提供了判断约束优化问题最优解的必要条件。罚函数法：通过添加惩罚项将约束问题转化为一系列无约束问题。内点法：从可行域内部开始搜索，并逐渐向边界移动，直至达到最优解。第14章：快速傅里叶变换14.1离散傅里叶变换**离散傅里叶变换（DFT）**是一种将时域信号转换为频域表示的方法。对于长度为N的序列{x0,x1,...,xN−1}{x0​,x1​,...,xN−1​}，其DFT定义为：Xk=∑n=0N−1xne−i2πkn/NXk​=∑n=0N−1​xn​e−i2πkn/N其中XkXk​表示频率分量。逆DFT：用于从频域恢复原始信号，公式为

xn