矩阵分析和流形学习

1、重庆邮电大学研究生堂下考试答卷2011-2012学年第 1 学期考试科目 高等代数与矩阵分析 姓 名 李淑芳 年 级 2011级2班 专 业 计算机技术 电 话2011年 12 月 27 日矩阵分析和流形学习课本矩阵分析的内容主要包括：线性空间和线性变换、矩阵的性质及其基本运算、矩阵分解、矩阵函数、矩阵的广义逆等。以课本详细详系、系统、全面地介绍矩阵分析的主要理论、方法及应用。在信息化时代，数学应用于诸多方面，甚至涉及到现实世界的第一个方面，特别是应用在计算机领域，矩阵分析是数学的一个分支，其中的方法或是算法加上适当的工具，为计算机领域的发展提供了一个好的平台。现在，

2、随着信息时代的到来，使得数据集更新更快、数据维度更高以及非结构化性等问题更突出。在科研研究的过程中不可避免地遇到大量的高维数据，这就需要一种技术能够使在保持数据信息足够完整的意义下从海量数据集中提取出有效而又合理的约简数据，满足人的存储需求和感知需要。流形学习这一非监督学习方法应运而生，引起越来越多机器学习和认知科学工作者的重视。而在海量的高维数据中，往往只有少量的有用信息，如果想快速高效的搜集到人们想要的、有用的那些少量信息且快速的处理信息，这就需要一些关键技术的支持，即是必须采用相应的降维技术。而流形学习正是在数据降维方面有着重要的贡献。然而，降维的过程与矩阵分析中的内容有着密切的关系。基

3、于流形的降维方法能充分利用数据中所隐藏的低维有价值信息，进一步提高检索性能。Seung从神经心理学的角度提出“感知以流形的形式存在，视觉记忆也可能是以稳态的流形存储”，为流形提供了与人类认识相关的理由。流形学习的方法主要有主成分分析（PCA）、多维尺度化（MDS）、基于局部切空间排列法（LTSA）和基于等度规映射（ISOMAP）、局部线性嵌入算法（LLE）、拉普拉斯特征映射（LE）等。另外，流形学习方法在人脸识别、图像处理、模式识别、计算机视觉、认知科学、人工智能、人机交互等众多学科中有着广泛的应用。流形学习的定义：流形是局部具有欧氏空间性质的空间。假设数据是均匀采样于一个高维欧氏空间中的低维

4、流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质，找到产生数据的内在规律。流形学习用数学语言描述是：令Y且¦: Y是一个光滑的嵌套，其中D >> d。那么流形学习的目标是基于上的一个给定被观测数据集合去恢复Y与¦ ，也就是在Y 中随机产生隐藏的数据，然后通过¦ 映射到观测空间，使得。从流形学习的定义中可以看出，这是一个把数据从高维映射到低维的过程，用到了线性变换，当然少不了矩阵的分解及其基本运算。下面用流形学习算法中的一种算法多维尺度

5、分析（Multidimensional Scaling, MDS）来说明矩阵分析这一课和的内容与流形学习研究的相关度。多维尺度分析（Multidimensional Scaling, MDS）是一种经典的线性降维方法，其主要思想是：根据数据点间的欧氏距离，构造关系矩阵，为了尽可能地保持每对观测数据点间的欧氏距离，只需对此关系矩阵进行特征分解，从而获得每个数据在低维空间中的低维坐标。设给定的高维观测数据点集为，观测数据点对, 间的欧氏距离为，传统MDS 的算法步骤如下：a) 首先根据求出的两点之间的欧氏距离构造n阶平方欧式距离矩阵。b) 将矩阵A进行双中心化计算，即计算（其中H 为中心化矩阵，将矩阵H左乘和右乘时称为双中心化）。c) 计算低维坐标Y。即将B奇异值分解，设B的最大的d个特征值，对应特征向量，则d维低维坐标为。虽然作为线性方法，MDS在流形学习中不能有效发现内在低维结构。但是从这一基本的算法中我们可以清楚的看出矩阵分析在流形学习研究中的应用。在这个MDS算法中，运用到了矩阵中的线性空间变换、矩阵特征值和特征向量的计算、矩阵的中心化计算、矩阵的奇异值的分解等相关知识点。想象一下，如果没有这些知识点做基础，这些算法如何进行。总结：在流形学习中的各个算法中大都用到矩阵的相关的许多知识点，特别是矩阵分解、线性空间变换等。当然，只用矩阵中知识来解决在流形学习算法研