2025年大学《数理基础科学》专业题库- 线性代数在人工智能中的应用

2025年大学《数理基础科学》专业题库——线性代数在人工智能中的应用考试时间：______分钟总分：______分姓名：______一、简述向量空间的基本性质，并说明基变换对向量坐标表示的影响。二、设向量空间V上定义了一个线性变换T，且T在基β={v₁,v₂,v₃}下的矩阵表示为A=[[1,2,0],[0,1,3],[-1,2,1]]。求T在基γ={w₁,w₂,w₃}下的矩阵表示，其中γ={T(v₁),T(v₂),T(v₃)}。三、证明：一个线性变换T是可逆的当且仅当T是双射（保序）。四、计算矩阵A=[[3,1],[1,3]]的特征值和特征向量。五、解释奇异值分解（SVD）的基本思想，并说明其如何用于降维。六、设M是一个m×n的实矩阵。解释什么是矩阵M的秩，并说明其与线性方程组解的存在性和唯一性之间的关系。七、简述线性回归模型中，正规方程的推导过程，并说明其数学原理。八、在向量空间模型（VSM）中，如何计算两个文档向量d₁和d₂的余弦相似度？解释余弦相似度的意义。九、描述神经网络中，前向传播过程中输入层到隐藏层（或隐藏层到隐藏层）信息传递的数学模型，主要涉及哪些矩阵运算。十、已知一个用户-物品评分矩阵R，解释如何利用矩阵分解技术（如奇异值分解或非负矩阵分解）来构建推荐系统，并简述其基本原理。十一、设A是一个n阶正定矩阵。解释Cholesky分解的原理，并说明其在求解线性方程组Ax=b中的应用优势。十二、讨论在处理高维数据时，主成分分析（PCA）的优缺点，并说明其如何帮助缓解“维度灾难”。十三、为什么欧氏距离在衡量向量空间中向量相似度时经常被使用？它适用于所有类型的向量数据吗？请说明理由。十四、结合矩阵运算，简要解释K近邻（KNN）算法的核心思想。试卷答案一、向量空间V中的加法和标量乘法满足封闭性、结合律、分配律、存在零向量、存在负向量等性质。基变换是指从一个基β到另一个基γ的转换。若向量v在基β下的坐标为(x₁,x₂,...,xₙ)ᵀ，基β的基向量为{v₁,v₂,...,vₙ}，基γ的基向量为{w₁,w₂,...,wₙ}，且基变换矩阵为P（P的列向量为基γ的基向量在基β下的坐标）。则v在基γ下的坐标y可以通过矩阵乘法y=Pᵀx得到。反之，若已知v在基γ下的坐标y，则其基β下的坐标x可以通过x=Py得到。二、因为γ={T(v₁),T(v₂),T(v₃)}，所以基γ的基向量可以表示为T(v₁)=Av₁,T(v₂)=Av₂,T(v₃)=Av₃。设基γ在基β下的矩阵表示为B。则T(w₁)=T(T(v₁))=A²v₁=A(Av₁)=ABv₁。同理T(w₂)=ABv₂,T(w₃)=ABv₃。因为{v₁,v₂,v₃}是基，所以任何向量v可以表示为v=c₁v₁+c₂v₂+c₃v₃，且v=βᵀcᵀ。则T(v)=T(c₁v₁+c₂v₂+c₃v₃)=c₁T(v₁)+c₂T(v₂)+c₃T(v₃)=c₁(Av₁)+c₂(Av₂)+c₃(Av₃)=A(c₁v₁+c₂v₂+c₃v₃)=Acβᵀ。另一方面，T(v)=γᵀdᵀ，其中d是T(v)在基γ下的坐标，即d=Bβᵀ。因此，Acβᵀ=γᵀ(Bβᵀ)=γᵀ(Bβᵀ)ᵀ=γᵀ(βB)ᵀ=(γᵀβ)Bᵀcᵀ。因为β和γ是基，所以βᵀγ是可逆矩阵，其逆为Pᵀ。所以cᵀ=(βᵀγ)⁻¹Aᵀ(γᵀd)ᵀ=(γβ)⁻¹Aᵀ(γᵀd)ᵀ。因为cᵀ=βᵀxᵀ，所以βᵀxᵀ=(γβ)⁻¹Aᵀ(γᵀd)ᵀ。两边右乘β，得到xᵀβ=(γβ)⁻¹Aᵀ(γᵀd)ᵀβ。所以xᵀ=(γβ)⁻¹Aᵀ(γᵀd)ᵀ。即T(v)在基γ下的坐标d=Bx，其中x是v在基β下的坐标，B=(γβ)⁻¹Aᵀ(γᵀ)。因为γ={T(v₁),T(v₂),T(v₃)}=A{v₁,v₂,v₃}=Aβ，所以γβ=Aββ=A。所以B=A⁻ᵀAᵀ=A⁻¹。故T在基γ下的矩阵表示为A⁻¹Aᵀ=I，即单位矩阵。三、必要性：若T是双射。任取v₂∈Im(T)，存在v₁∈V使得T(v₁)=v₂。若存在v₃∈V使得T(v₃)=v₂，则T(v₁-v₃)=T(v₁)-T(v₃)=v₂-v₂=0。因为T是单射，所以v₁-v₃=0，即v₁=v₃。故Im(T)中元素唯一，所以T是满射。因为T是线性变换，所以ker(T)={0}。由秩-零度定理，dim(V)=dim(ker(T))+dim(Im(T))=0+dim(V)=dim(V)。故T是可逆的，其逆T⁻¹将Im(T)映回V。充分性：若T是可逆的，则T⁻¹存在。任取v₂∈Im(T)，存在v₁∈V使得T(v₁)=v₂。令w=T⁻¹(v₂)，则T(w)=T(T⁻¹(v₂))=v₂。所以T是满射。任取T(v₁)=T(v₂)，则T(v₁-v₂)=0。因为T是可逆的，所以ker(T)={0}。故v₁-v₂=0，即v₁=v₂。所以T是单射。由单射和满射的定义，T是双射。四、det(A-λI)=det([[3-λ,1],[1,3-λ]])=(3-λ)(3-λ)-1*1=λ²-6λ+8=0。解得λ₁=2,λ₂=4。当λ₁=2时，(A-2I)x=0=>[[1,1],[1,1]][[x₁],[x₂]]=[[0],[0]]=>x₁+x₂=0。令x₂=t，则x₁=-t。特征向量为k₁[[1],[-1]]，k₁≠0。当λ₂=4时，(A-4I)x=0=>[[-1,1],[1,-1]][[x₁],[x₂]]=[[0],[0]]=>-x₁+x₂=0。令x₁=s，则x₂=s。特征向量为k₂[[1],[1]]，k₂≠0。五、奇异值分解（SVD）将一个m×n矩阵A分解为A=UΣVᵀ，其中U是m×m的正交矩阵（列向量是AᵀA的特征向量），Σ是m×n的对角矩阵（对角线元素是AᵀA的非负平方根，称为奇异值），V是n×n的正交矩阵（列向量是AAᵀ的特征向量）。降维通常通过保留最大的k个奇异值对应的奇异向量来近似原始矩阵。例如，在文本处理中，A可以是文档-词项矩阵，Σ的对角元（奇异值）反映了词语和文档的重要性。保留前k个最大奇异值意味着保留最重要的k个特征方向，忽略噪声和次要信息，从而达到降维的目的。六、矩阵M的秩是指其列向量组的极大线性无关组所含向量的个数，或者说，是M中非零子式的最高阶数，也等于M的行秩（行向量组的极大线性无关组所含向量的个数）。在线性方程组Ax=b中，若秩(r(A))=r(A|b)（增广矩阵的秩），则方程组有解。若r(A)=r(A|b)=n（未知数个数），则方程组有唯一解。若r(A)<r(A|b)，则方程组无解。若r(A)=r(A|b)<n，则方程组有无穷多解。秩也可以理解为矩阵行空间的维数或列空间的维数。七、线性回归模型y=Xβ+ε，其中X是n×p的设计矩阵（包含自变量），β是p×1的回归系数向量，y是n×1的因变量向量，ε是n×1的误差向量。正规方程旨在最小化残差平方和||y-Xβ||²。求导得到∇(||y-Xβ||²)=-2Xᵀ(y-Xβ)=0。解得(XᵀX)β=Xᵀy。假设XᵀX可逆，则β=(XᵀX)⁻¹Xᵀy。这个推导利用了矩阵乘法的结合律、转置的性质(Xᵀ)ᵀ=X，以及标量与矩阵乘法的性质。八、在VSM中，文档d₁和d₂可以表示为向量v₁和v₂。余弦相似度计算为cos(θ)=(v₁⋅v₂)/(||v₁||||v₂||)。其中v₁⋅v₂是向量点积（对应元素乘积之和），||v₁||和||v₂||是向量的欧氏范数（模长）。余弦相似度的值范围在[-1,1]之间，通常用于[0,1]之间。它衡量的是两个向量方向上的相似程度，值越接近1表示方向越接近，即内容越相似。它不受向量模长的影响，只关心向量间的夹角。九、神经网络前向传播中，输入层到隐藏层（或隐藏层到隐藏层）的信息传递模型是加权求和与激活函数。设输入层节点为x=[x₁,...,xₙ]ᵀ，隐藏层节点为h=[h₁,...,hₘ]ᵀ。权重矩阵为W（n×m），偏置向量为b（m×1）。则隐藏层的净输入（加权求和）为z=Wx+b。每个净输入zᵢ通过一个激活函数σᵢ产生输出hᵢ，即hᵢ=σᵢ(zᵢ)=σᵢ(Wx+b)ᵢ。其中σᵢ可以是Sigmoid、ReLU等函数。这个过程涉及矩阵乘法Wx和向量加法b，以及逐元素的激活函数应用。十、用户-物品评分矩阵R是一个m×n的矩阵，行代表用户，列代表物品，元素rᵢⱼ代表用户i对物品j的评分。利用矩阵分解技术（如奇异值分解SVD或非负矩阵分解NMF）可以构建推荐系统。SVD将R分解为R≈UΣVᵀ。其中U的行代表用户的隐含特征，Σ的对角元代表特征的重要性（奇异值），V的列代表物品的隐含特征。对于未评分的物品，可以预测评分rᵢⱼ≈uᵢᵀsⱼ，其中uᵢ是用户i的隐特征向量，sⱼ是物品j的隐特征向量（sⱼ可以从ΣVᵀ中获取）。推荐系统可以将预测评分最高的若干物品推荐给用户i。其基本原理是利用用户和物品的隐含特征来捕捉用户偏好和物品属性，认为用户倾向于对具有相似隐特征的物品给出相似评分，物品也倾向于吸引具有相似隐特征的用户。十一、Cholesky分解是指将一个对称正定矩阵A分解为一个下三角矩阵L和其转置Lᵀ的乘积，即A=LLᵀ。其中L的主对角线元素为正。原理基于对称正定矩阵的性质：其所有特征值均为正，因此其Cholesky分解总是存在的，并且L是唯一的（如果不考虑行交换）。在求解线性方程组Ax=b时，利用Cholesky分解可以将问题转化为Ly=b和Lᵀx=y两个三角方程组。求解三角方程组相对简单高效（例如使用前向替代和后向替代）。因为L和Lᵀ都是可逆的，所以分解不引入额外的数值不稳定性，通常比LU分解在求解对称正定矩阵方程组时更稳定、计算量更小。十二、PCA的优点在于它可以将高维数据投影到低维子空间，同时保留数据的主要变异信息（通过保留较大的奇异值对应的特征向量）。这有助于降维，减少计算复杂度，缓解“维度灾难”（高维数据中数据点稀疏、距离度量失效等问题）；可视化；以及去除噪声和冗余信息。缺点在于它是一种线性降维方法，可能丢失数据中非线性结构的信息；降维后的表示可能不完全保留原始数据的判别性（例如在分类问题中）；结果的解释可能比较困难；对某些类型的非线性关系效果不佳。十三、欧氏距离在衡量向量空间中向量相似度时经常被使用，因为它直观地表示了两个向量在几何空间中的直线距离，符合人们对“接近”或“相似”的直观理解。它计算简单，易于实现。它适用于数值型向量数据，特别是当各个维度具有相似的量纲和重要性时。然而，它不一定适用于所有类型的向量数据或所有场景。对于不同量纲的数据（如年龄和收入），欧氏距离可能不成比例地放大某些维度的差异。对于具有稀疏性的数据（如文本向量），欧氏距离可能无法很好地衡量语义相似性。在某些情况下，如当数据分布极度偏斜或存在异常值时，欧氏距离可能不是衡量相似性的最佳选择，此时曼哈顿距离、余弦相似度或其他距离度量可能更合适。十四、K近邻（KNN）算法的核心思想是基于“近朱者赤，近墨者黑”的假设，即相似的样本可能具有相似的目标标签。算法分为两个阶段