算法设计与实践（基于MWORKS）课件 第七章 线性代数

第七章线性代数7.1线性方程组与矩阵7.2行列式与向量空间7.3特征值与特征向量7.6矩阵分解CONTENTS目录7.4MWORKS.Syslab内置线性方程函数7.5特征值与奇异值7.7矩阵运算7.8矩阵结构7.9矩阵属性7.10稀疏矩阵7.11应用实例：机器学习中的线性代数

线性方程组定义线性方程组是由多个线性方程组成的数学模型，包含系数、常数项、未知数三类要素。

解的存在性定理线性方程组的解存在三种不同情况，是判断方程组解的关键依据。

唯一解当系数矩阵的秩等于增广矩阵的秩且等于未知数个数时

无穷多解当系数矩阵的秩等于增广矩阵的秩但小于未知数个数时

无解当系数矩阵的秩小于增广矩阵的秩时7.1线性方程组与矩阵7.1.1线性方程组的基本概念矩阵乘法定义设A为m×n矩阵，B为n×p矩阵，乘积C=AB是m×p矩阵，对应元素为对应行与列元素乘积之和。矩阵运算律说明包含加法交换律、乘法结合律、分配律、数乘结合律，明确各类运算的等价变换规则。7.1.2矩阵的运算7.1线性方程组与矩阵算法核心步骤将线性方程组转化为增广矩阵，经行变换化为行阶梯形，再进一步化为简化行阶梯形，从中读取方程组的解。行变换理论依据行变换不改变线性方程组解集，因交换两行是换方程顺序，行乘非零常数是方程两边同乘常数，行加另一行倍数是方程代入。代码示例说明以高斯消元法为例的Julia代码，可依托上述算法步骤与理论依据实现线性方程组的求解。7.1.3高斯消元法7.1线性方程组与矩阵1.高斯消元函数定义前向消元流程构造增广矩阵，遍历每一行做主元归一化，再对后续行进行消元操作，将矩阵转化为上三角形式。回代求解过程创建全零解向量，从最后一行倒序计算，通过减去已求解变量的贡献，逐步得出所有解。7.1线性方程组与矩阵

2.方程组求解示例示例展示解方程组x+2y=5、3x+4y=11，通过定义矩阵A、向量b，调用高斯消元法求解并输出结果。7.1线性方程组与矩阵

行列式递归定义n阶矩阵A的行列式通过递归方式定义，依托去掉第i行第j列后的子矩阵展开计算。

行列式核心性质涵盖单位矩阵行列式为1、行列交换变号、行乘常数行列式扩倍等五大关键性质。7.2行列式与向量空间7.2.1行列式的定义与性质

向量空间的基本概念向量空间：非空集满足加法、数乘封闭及八条公理；线性无关：组合为零仅系数全零成立。7.2.2向量空间的基本概念7.2行列式与向量空间线性变换核心定义设T是向量空间V到W的映射，若对任意u、v∈V和标量k，满足T(u+v)=T(u)+T(v)且T(ku)=kT(u)，则称T为线性变换。线性变换矩阵关联每个从ℝⁿ到ℝᵐ的线性变换T，都可表示为m×n矩阵A，满足T(x)=Ax这一对应关系。行列式计算代码实现通过Julia代码，调用LinearAlgebra库，定义矩阵A=[12;34]，计算并输出该矩阵的行列式值。线性变换可视化演示用Julia代码定义可视化函数，绘制原始单位正方形，通过旋转变换矩阵R，展示变换后的图形。7.2.3线性变换7.2行列式与向量空间特征值与特征向量的定义1.特征值与特征向量：n阶方阵A，若有数λ和非零向量v使Av=λv，则λ是A的特征值，v是对应特征向量。2.特征方程：λ是A的特征值等价于|λE-A|=0，此为A的特征方程。7.3特征值与特征向量7.3.1特征值与特征向量的定义矩阵对角化定理3.2：n阶矩阵A可对角化的充要条件是A有n个线性无关的特征向量。对角化四步骤：求特征值、求特征空间的基、构造矩阵P、算对角矩阵D7.3.2矩阵对角化7.3特征值与特征向量

二次型相关定义n个变量的二次型是齐次二次多项式，对应表达式为Q(x)=xᵀAx，其中A为对称矩阵。

主轴核心定理内容任意二次型Q(x)=xᵀAx，经正交变换x=Py可化为标准形，系数为A的特征值，P的列是对应单位特征向量。

Julia实现特征计算借助LinearAlgebra库，先定义对称矩阵，再调用eigvals、eigvecs函数计算并输出特征值与特征向量。

#3.2矩阵对角化验证定义特征向量矩阵P、特征值对角矩阵D及P的逆矩阵P_inv，验证A是否近似等于PDP⁻¹。7.3.3二次型7.3特征值与特征向量

用Julia代码实现矩阵求逆，附输出结果，知识点：方阵且行列式非零才有逆，是解线性方程组基础。7.4.1矩阵求逆7.4MWORKS.Syslab内置线性方程函数

7.4.2Moore-Penrose伪逆用Julia代码计算矩阵A的伪逆A_pinv，伪逆属广义逆，适用于非方阵或奇异矩阵。7.4.2Moore-Penrose伪逆7.4MWORKS.Syslab内置线性方程函数Julia求解代码示例定义矩阵A、向量B，通过A\B求解Ax=B，通过B'/A'求解xA=B并输出结果代码运行输出结果Ax=B的解为二维向量[-4.0,4.5]xA=B的解为1×2矩阵[[-4.0,4.5]]相关知识点说明知识点：线性方程组的求解是线性代数的核心问题之一，`\`和`/`分别用于求解左除和右除问题。7.4.3求解线性方程组7.4MWORKS.Syslab内置线性方程函数7.4.4最小范数最小二乘解最小范数最小二乘解用Julia代码lsqminnorm函数求解欠定方程组，得最小范数最小二乘解，保证解的唯一性。7.4MWORKS.Syslab内置线性方程函数7.4.5线性方程组求解线性方程组求解用Julia代码，通过定义矩阵A、向量B，调用通用函数linsolve求解线性方程组，得解[-4.0,4.5]7.4MWORKS.Syslab内置线性方程函数7.4.6存在已知协方差的最小二乘解协方差最小二乘解用Julia的lscov函数，可求解带已知协方差的最小二乘问题，示例解得x为[-4.0,4.5]7.4MWORKS.Syslab内置线性方程函数7.4.7非负线性二乘问题非负线性二乘问题用Julia代码求解非负线性二乘问题，要求解向量元素非负，示例输出解为[0.0,1.5]7.4MWORKS.Syslab内置线性方程函数7.4.8Sylvester方程Sylvester方程给出Julia代码求解西尔维斯特方程AX+XB=C的示例，方程解为特定2×2矩阵，该方程在控制理论等领域应用广泛。7.4MWORKS.Syslab内置线性方程函数

Julia特征值计算代码定义矩阵A，用eig()函数计算其特征值与特征向量，最后打印输出结果。

代码运行输出结果特征值：[-0.372281,5.37228]特征向量：[[-0.824565,-0.415974],[0.565767,-0.909377]]

特征值向量知识点知识点：特征值和特征向量用于分析矩阵的性质，如稳定性和振动模式。7.5.1特征值与特征向量7.5特征值与奇异值Julia代码示例定义矩阵A，对其做特征值分解，分别输出特征值与特征向量的Julia代码示例。代码输出结果特征值：-0.372281、5.37228；特征向量：[[-0.824565,-0.415974],[0.565767,-0.909377]]相关知识点说明知识点：特征值分解将矩阵分解为特征向量和特征值的乘积，用于矩阵的简化。7.5.2特征值分解7.5特征值与奇异值Julia奇异值分解代码Julia实现奇异值分解：先定义矩阵A，再用svd()函数分解得U、S、V，最后输出各结果。7.5.3奇异值分解(SVD)7.5特征值与奇异值奇异值分解输出结果

01左奇异向量详情为3×3的Float64类型矩阵，具体元素为[-0.2298480.8834610.408248;-0.5247450.240782-0.816497;-0.819642-0.4018960.408248]。

02奇异值向量信息为2元素的Float64类型向量，具体数值为[9.52552,0.514301]。

03右奇异向量详情为2×2的Float64类型矩阵，具体元素为[-0.619629-0.784894;-0.7848940.619629]。7.5.3奇异值分解(SVD)7.5特征值与奇异值奇异值分解知识点知识点：奇异值分解用于降维、数据压缩和噪声过滤。7.5.3奇异值分解(SVD)7.5特征值与奇异值Julia代码示例定义矩阵A，对其进行Schur分解得到T和Z，最后打印输出分解结果T、Z。分解结果展示Schur分解T为对角矩阵：[-0.3722810.0;0.05.37228]，分解Z为矩阵：[-0.824565-0.415974;0.565767-0.909377]Schur分解知识点知识点：Schur分解将矩阵分解为上三角矩阵和酉矩阵的乘积，用于数值稳定性分析。7.5.4其他相关函数7.5特征值与奇异值

LU分解用Julia代码对矩阵[12;34]做LU分解，得到下三角矩阵L和上三角矩阵U，LU分解可解线性方程组。7.6.1LU分解7.6矩阵分解

Julia代码示例定义对称正定矩阵A，对其进行Cholesky分解得到C，并打印输出该分解结果。

代码输出结果Cholesky分解结果为Cholesky{Float64,Matrix{Float64}}，对应3×3上三角矩阵U有明确数值。

分解相关知识点知识点：Cholesky分解适用于对称正定矩阵，用于高效求解线性方程组。7.6.2Cholesky分解7.6矩阵分解Julia实现QR分解代码定义矩阵A，调用qr()函数对A做QR分解，将结果赋值给Q、R，最后打印Q、R。QR分解输出结果QR分解Q为3×3Float64矩阵，QR分解R为2×2Float64矩阵，附对应元素值。QR分解核心知识点知识点：QR分解将矩阵分解为正交矩阵和上三角矩阵的乘积，用于最小二乘问题。7.6.3QR分解7.6矩阵分解

Julia矩阵操作代码1.定义矩阵A=[12;34]2.用transpose()求A的转置3.用adjoint()求A的复共轭转置

代码运行输出结果A的转置为2×2整数矩阵：[[1,3],[2,4]]；A的复共轭转置与转置结果相同。

相关知识点说明知识点：转置和共轭转置用于矩阵的对称性和正交性分析。7.7.1转置与共轭转置7.7矩阵运算

矩阵乘法与幂用Julia代码实现矩阵乘法与幂运算，输出运算结果，其可用于线性变换和动力系统分析。7.7.2矩阵乘法与幂7.7矩阵运算Julia代码示例

定义矩阵A，依次计算矩阵平方根A_sqrt、矩阵指数A_exp，并分别打印结果。代码运行结果

A的平方根为2×2浮点矩阵：[[0.553689,0.806976],[1.21043,1.75809]]A的指数为2×2浮点矩阵：[[51.969,74.7366],[112.105,164.074]]矩阵函数知识点

知识点：矩阵函数用于求解微分方程和动力系统的稳定性分析。7.7.3矩阵函数7.7矩阵运算矩阵带宽用Julia代码定义矩阵A，调用bandwidth函数算出其上下带宽为(1,1)，矩阵带宽可分析稀疏矩阵存储与计算效率。7.8.1矩阵带宽7.8矩阵结构矩阵类型判断用Julia代码定义矩阵A，调用isdiag函数判断其为对角矩阵，矩阵类型判断可优化算法与性能分析。7.8.2矩阵类型判断7.8矩阵结构矩阵范数Julia代码示例：定义矩阵A，用opnorm函数计算其范数，输出约5.46499。矩阵范数可衡量矩阵大小、用于误差分析。7.9.1矩阵范数7.9矩阵属性矩阵行列式用Julia代码定义矩阵A=[12;34]，调用det函数算出其行列式为-2.0，行列式可判断矩阵可逆性等。7.9.2矩阵行列式7.9矩阵属性

稀疏矩阵特性稀疏矩阵是特殊矩阵，大部分元素为零，非零元素占比低，适合采用稀疏存储格式。

稀疏存储优势采用稀疏存储格式可大幅降低内存占用，同时有效减少相关运算的计算复杂度。

Syslab操作介绍MWORKS.Syslab提供丰富稀疏矩阵操作函数，将详述用法并通过代码实例演示功能。7.10稀疏矩阵2.`spzeros`-创建稀疏零矩阵Julia中spzeros可创建全零稀疏矩阵，示例：spzeros(3,3)生成3×3零稀疏矩阵，适用于初始化。7.10.1创建稀疏矩阵7.10稀疏矩阵3.`speye`-创建稀疏单位矩阵使用Julia代码`speye(4)`可生成4×4的稀疏单位矩阵，运行后能输出含4个存储元素的矩阵结构。`speye`函数专门用于创建稀疏单位矩阵，主要应用于线性代数领域的恒等变换场景。1.`spalloc`-为稀疏矩阵分配空间展示Julia中用spalloc(5,5,10)分配5x5稀疏矩阵的代码及对应输出结果。spalloc用于预先分配稀疏矩阵存储空间，可避免动态分配带来的性能开销。7.10.1创建稀疏矩阵7.10稀疏矩阵4.`sprandsym`-创建稀疏对称随机矩阵通过Julia代码调用sprandsym函数，创建5x5、密度0.3的稀疏对称随机矩阵并打印输出。`sprandsym`函数用于生成稀疏对称随机矩阵，适用于各类模拟场景与测试环节。5.`spdiagm`-创建稀疏带状对角矩阵使用Julia代码spdiagm([1,2,3])可生成对角线为[1,2,3]的3×3稀疏对角矩阵并输出。该函数用于创建稀疏对角矩阵，在带状矩阵的存储与相关计算场景中适用。6.`sprand`-创建稀疏单位矩阵通过Julia代码sprand(3,3,0.5)创建3x3、密度0.5的稀疏随机矩阵，输出含4个存储条目。`sprand`函数用于生成稀疏随机矩阵，该函数适合在模拟和测试场景中使用。7.10.1创建稀疏矩阵7.10稀疏矩阵7.`sparse`-创建稀疏矩阵指定索引创建矩阵通过定义行索引I、列索引J和对应值V，调用sparse函数创建自定义稀疏矩阵。矩阵输出展示输出结果显示为3×3的SparseMatrixCSC类型矩阵，包含3个已存储条目知识点：`sparse`可从三元组格式创建稀疏矩阵，适用于自定义稀疏矩阵的构建。8.`sprandn`-创建稀疏正态分布随机矩阵通过Julia代码sprandn(3,3,0.4)生成3x3、密度0.4的稀疏正态分布随机矩阵，并打印输出结果。`sprandn`函数用于生成稀疏正态分布随机矩阵，该工具适用于模拟和测试场景。7.10.1创建稀疏矩阵7.10稀疏矩阵9.`spconvert`-从外部格式导入稀疏矩阵通过Julia代码sprand(3,3,0.5)创建3x3、密度0.5的稀疏随机矩阵，输出含4个存储条目。`sprand`函数用于生成稀疏随机矩阵，该函数适合在模拟和测试场景中使用。7.10.2操作稀疏矩阵7.10稀疏矩阵1．“issparse”——判断是否为稀疏矩阵知识点：“issparse”用于判断矩阵是否为稀疏矩阵，适用于类型检查和优化。2．“nnz”——计算非零元素数量知识点：“nnz”用于计算稀疏矩阵中非零元素的数量，适用于性能分析和优化。3．“nonzeros”——获取非零元素知识点：“nonzeros”用于获取稀疏矩阵中的非零元素，适用于数据提取和分析。4．“spones”——将非零元素替换为1知识点：“spones”用于将稀疏矩阵中的非零元素替换为1，适用于布尔矩阵的构建。7.10.2操作稀疏矩阵7.10稀疏矩阵5．“find”——查找非零元素的索引和值知识点：“find”用于查找稀疏矩阵中非零元素的索引和值，适用于数据提取和分析。6．“full”——将稀疏矩阵转换为满矩阵知识点：“full”用于将稀疏矩阵转换为满矩阵，适用于与其他库的兼容。7．“permute”——置换矩阵元素知识点：“permute”用于对稀疏矩阵的行和列进行置换，适用于矩阵重排序。8．“dropzeros”——删除存储的零元素知识点：“dropzeros”用于删除稀疏矩阵中存储的零元素，适用于数据清理和优化。线性回归算法概述线性回归是机器学习基础算法，以最小二乘法求解线性方程，通过最小化误差平方和拟合数据，适用于连续值预测。7.11.1线性回归7.11应用实例：机器学习中的线性代数数据集定义与预处理定义特征矩阵X与目标值y，为特征矩阵添加偏置项，构建适用于线性回归的输入数据。回归参数求解与预测利用最小二乘法求解线性回归参数θ，基于新输入数据X_new计算并输出对应的预测值y_pred。Julia实现代码示例7.11.1线性回归7.11应用实例：机器学习中的线性代数

代码输出结果展示线性回归参数为[1.0,2.0]，预测值为[11.0,13.0]，二者均为2元素浮点型向量。7.11.1线性回归7.11应用实例：机器学习中的线性代数PCA算法基础介绍PCA是一种降维算法，通过奇异值分解（SVD）提取数据的主成分。7.11.2主成分分析(PCA)7.11应用实例：机器学习中的线性代数数据预处理环节定义特征矩阵X，通过减去均值完成数据中心化，为后续主成分分析的协方差计算做准备。PCA核心运算步骤计算中心化数据的协方差矩阵，对其做奇异值分解，提取前1个主成分实现数据降维并输出结果。Julia实现PCA代码7.11.2主成分分析(PCA)7.11应用实例：机器学习中的线性代数代码输出结果展示降维后的数据为4行1列的浮点型矩阵，具体数值依次为：-1.41421、-0.707107、0.70710