（计算机软件与理论专业论文）李群机器学习模型及应用研究.pdf

李群机器学习模型及应用研究中文摘要 李群机器学习模型及应用研究 中文摘要 本文将李群理论引入到机器学习当中，结合s i m o n 对机器学习的定 义，论述了李群和机器学习之间的必然联系，建立了李群机器学习的基 高 本理论框架。主要包括以下几方面内容： 1 给出了李群机器学习的基本概念； 乏，给出霄掣薜机器学习模型，包括代数模型和几何模型； 3 给出了李群机器学习的d y n k m 图几何算法； 4 给出了李群机器学习线性分类器的设计方法以及李群机器学习 s o ( 3 ) 分类器的设计； 5 实现了基于李群机器学习的晶体计算机辅助分类系统。 通过本文的研究。 方面，丰富了李群机器学习的研究内容，为李 群机器学习的进一步探讨提供了理论依据；另一方面，将李群机器学习 方法引入晶体分类当中，初步实现了基于李群机器学习的晶体的计算机 辅助分类系统，为李群机器学习找到了应用领域。 关键词：李群；李群机器学习；d y l l l d n 图；线性分类器 作者：许欢 指导老师：李凡长( 教授) 李群机器学习模型及应用研究 a b s t r a c t r e s e a r c ha n da p p l i c a t i o no nl i eg r o u pm a c h i n e l e a r n i n g m o d e b a b s t r a c t t h i sp a p e ri n t r o d u c e sl i eg r o u pt om a c h i n el e a r n i n g , w h i c hc o m b i n e st h e d e f i n i t i o no fm a c h i n el e a r n i n gb ys i m o n ，d e m o n s t r a t e st h ei n t r i n s i cr e l a t i o n s b e t w e e nl i eg r o u pa n dm a c h i n el e a r n i n ga n db u i l d s t h eb a s i ct h e o r e t i c a l f r a m e w o r ko f l i e g r o u p m a c h i n el e a r n i n g t h ec o n t e n t i sa sf o l l o w s ： 1 t h eb a s i cc o n c e p t i o n s0 f l i eg r o u pm a c h i n el e a r n i n ga r eg i v e n ； 2 t h em o d e l so fl i eg r o u pm a c h i n el e a m i n ga l eg i v e n ，i n c l u d i n gt h e a l g e b r am o d e la n dt h eg e o m e t r i cm o d e l ； 3 t h eg e o m e t r ya l g o r i t h m so fd y n k i nd i a g r a m si nl i eg r o u pm a c h i n e l e a r n i n ga r eg i v e n ； 4 t h em e t h o dt od e s i g nt h el i n e a ld a s s i f i e r so f l i eg r o u pm a c h i n el e a n d n g i sg i v e na n dt h es o ( 3 ) c l a s s i f i e ro f l i eg r o u pm a c h i n el e a r n i n gi sd e s i g n e d ； 5 t h ec o m p u t e ra i d e ds y s t e mo ft h ec l a s s i f i c a t i o no fc r y s t a l sb a s e do bl i e g r o u pm a c h i n el e a r n i n gi sc o m p l e t e d t h r o u g ht h ew o r ko ft h i sp a p e r , o no n eh a n d ，t h ec o n t e n to fl i eg r o u p m a c h i n el e a r n i n gi se n r i c h e da n dt h et h e o r e t i c a lb a s i sf o r t h ef u t u r er c s e a l c h o fl i eg r o u pm a c h i n el e a r n i n gi & f o u n d e d ；o nt h eo t h e rh a n d ，t h ea p p l i c a t i o n i sf o u n df o rl i eg r o u pm a c h i n el e a r n i n g ：t h em e t h o do fl i eg r o u pm a c h i n e l e a r n i n gi si n t r o d u c e dt ot h ec l a s s i f i c a t i o no fc r y s t a l sa n dt h ec o m p u t e ra i d e d s y s t e mo f t h ec l a s s i f i c a t i o no f c r y s t a l sb a s e do nl i eg r o u pm a c h i n el e a r n i n gi s c o m p l e t e d o nt h ew h o l e k e yw o r d s ：l i eg r o u p ；l i eg r o u pm a c h i n el e a r n i n g ；d y n l d nd i a g r a m ；l i n e a l c l a s s i f i e r w r i t t e nb y ：h u a nx u s u p e r v i s e db y ：l if a n z h a n g 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不含其他个人或集 体已经发表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的学 位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文 中以明确方式标明。本人承担本声明的法律责任。 研究生签名： 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合作部、 中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电子文 档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸 质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅， 可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 苏州大学学位办办理。 研究生 导师 期： 期： 李群机器学习模型及应用研究第一章 ! 。1 课题研究背景 第一章引言 2 0 0 0 年，s e u n g o l 等人在s c i e n c e 上发表文章，指出在人类认知过程 坤，高维信息一般嵌入于一个低维流形中，而认知过程在很大程度上就是 通过这种低维流形来识别各种事物。在同一期杂志上，r o w e i s 与s a u l l 2 1 发表了局部线性嵌入( l o c a l l yl i n e a re m b e d d i n g ，简称l l e ) 算法，它利用 线性重构的局部对称性找出高维数据空间中的非线性结构，并保持各数据 点邻近位置关系情况下，把高维空间数据点映射为低维空间对应的数据 点；t e n e n b a u m 与s i l v a l a i 发表了等距映射( i s o m 印) 算法，通过构造邻域求 出数据点之间的测地距离来代替欧氏距离，再用多维尺度算法进行降维， 从而既实现了数据的维数约简，又保留了数据分布的全局上的非线性特 征。而后，s i l v a 与t e n e n b a u m 正式提出了“流形学习”的概念。 流形学习建立在流形理论的基础上，其本质就是局部化。换句话说， 琉形就是一个局部可坐标化的拓扑空间。从而，“局部坐标”使得我们可 以将问题分解为局部问题进行计算，而拓扑空间又能保证将局部计算的结 果合理、光滑地拼接起来，即是问题的整体结构。也就是说，利用流形的 这种特性，我们就可以将机器学习在一维空间上的研究结果推广到高维空 间上。 近几年，许多研究者在l l e 和i s o m a p 算法的基础上做了进一步的拓 展和改进。如d o n o h o 等人1 4 l 提出了海赛局部线性嵌入( h e s s i a nl o c a l l y l i n e a re m b e d d i n g ，简称h l l e ) 算法，该算法能够发现流形上局部的潜在 等距映射参数；张长水等人1 5 1 在l i 点的基础上，提出一种从低维嵌入空间 向高维空间映射的方法，并在多姿态人脸图像的重构实验中得到有效的验 证，进一步完善了非线性降维的方法；詹德川和周志华1 8 1 针对i s o m a p 算 法的不足，提出了一种新方法，通过引入集成学习技术，扩大了可以产生 有效可视化效果的输入参数范围，并降低了对噪声的敏感性。除此之外， 第一章 李群机器学习模型及应用研究 流形学习还有拉普拉斯特征映射( l a p l a c i a ne i g e n m a p ) 算法悯、局部切空间 排列( l o c a lt a n g e n ts p a c ea l i g m e n t ，简称l t s a ) 算法1 7 j 以及基于划分的局 部切空间排列( p a r t i f i o n a ll o c a lt a n g e n ts p a c ea l i g m e n t ，简称p l t s a ) 算法 1 9 1 等。这些算法特点都是考虑观测数据整体的性质，同时，又可以从局部 出发，来完成这个整体的计算。 李群( l i eg r o u p ) 是挪威数学家李( 1 l a r i u 8s h o p h u sl i e ) 在18 4 7 年创建 的一门数学理论。李群是一类重要的微分流形，同时，它也是一个群，并 且群运算是光滑的。也就是说，李群是代数和几何的自然结合体，具有更 加丰富的内在结构。1 1 0 i 李群从产生至今，已在计算机视觉与模式识别、神经网络、机器学习 等领域引起了广大研究者们的兴趣并取得了一些成功的应用。现就相关成 果综述如下： 1 。1 1 李群在计算机视觉与模式识别中的应用 ( 7 ) 1 9 9 9 年r a j e s he n r a o 和d a n i e ll r u d e r m a n l l l i 提出了基于 李群理论的一个贝叶斯方法来学习不变的视觉感知，运用基于指数矩阵 的图像生成模型，从包含极小变换的输入数据得到一个学习李群算子的 非监督学习算法。， 首先，用来描述图像上变换的属性有如下一些：点向量i 。是空间f 中的一个元素；t i o 表示点i o 到另一点i i 的变换；t 表示变换算符；f 为 算符族，它亦是一个群。假设每一个t e 鲥规行一个从f f 的连续映射。 为了使其离散化，设t 被单个实数x 参数化，那么如果函数1 ( x ) ：r t 是连续的，那么彳就是连续的。即任何t 彳是特定x r 的图像，并且x 的任何连续变换诱导一个t 的连续变换。让t ( 0 ) 表示一个恒等变换，那 么当x 一0 ，i 融) 就趋于恒等。它在i o 上的作用可以写成1 ( x ) i o - = ( 1 + x g ) i o ， 其中矩阵g 是变换群的生成子。可见变换1 1 爿( x m ( x ) i o 可通过将许多这 样的极小变换连接起来生成。例如，将参数x 分为n 等份，轮流执行每 个变换：i ( x ) = ( 1 + 倒n ) g ) n b 当n 一时，这个表达式可以约简为一个指 数矩阵方程： i ( x 产e l o( 1 1 1 1 ) 2 李群机器学习模型及应用研究第一章 其中i o 是原输入或者说“参考”输入。因此单参数李群中的每一个元素可 以写成t ( x ) = ：e x g 。李群的生成子g 与t ( x ) 关于x 的导数兰t ：g t 相关。 将输入i o 变换后的i ( x ) 的泰勒级数展开： n ；i ( 】( ) = i ( o ) 十警x + 百d 2 i ( 0 ) _ + x 2 ” ( 1 1 1 2 ) 甚中x 表示i ( x ) 与i ( o ) 间的相对变换。再为算符矩阵x 定义昙i _ g i ，那么 稍1 1 2 ) 式可重写为i ( x ) = 竹d ，当i o = i ( 0 ) 时，它与( 1 1 1 1 ) 式相同。因此， 传统的基于一阶泰勒级数的方法只是李群方法的一个特例。 。 在李群方法中，当要学习一个变换的生成子时，允许保持该变换的不 变性，它对应独立于真实像素的变换的确定集。用n x l 维向量i ( 0 ) 表示变 换“之前”的图；i ( x ) 为包含极小变换的变换“之后”的图。那么可以得 到随机图像生成模型： a i = i ( x 卜i ( o ) = - x g i ( o ) + n 虽然此模型是线性的，但该模型中由无穷小变换学习到的生成子g 与在 + 指数模型中使用的是相同的矩阵，所以此模型对于不管是“小的”图像变 谈，还是“较大的”图像交换都是适用的。这样就能从简单给出的一系列 “变换“之前”和“之后”的图像中学习到李群的生成子。 ( 二) v e n um a d h a vg o v i n d u l l 2 i 使用运动表示的内在李群结构来求平 均，用特殊正交群s o ( 3 ) 和特殊欧几里德群s e ( 3 ) 的李代数来定义李群上 的平均值，提出了全局相容运动估计的李代数求均值法。此方法能够线性 计算所有可能的相对运动以及对运动估计快速求平均。 文中，将群g 中的元素看成是嵌入在一个是向量空间中的，那么可 用外平均来表示样例平均数。群g 首先嵌入在一个欧氏空间由：gv - 争r “ 中，它引导出在此空间上的一个矩阵，样例平均数被定义为 万( ) 【) = 寺n _ ，4 ( x 。) n 。 因为此样例平均并不一定就是群中的一个元素，所以将它投影到流形g 上，x = p ( 巾( x ) ) 。 令d ( ，) 为一个流形上两点间的黎曼距离，那么内平均数可定义为： 3 第一章李群机器学习模型及应用研究 p = 雄卿d ：( x k ，x ) p _ 鹕珊刍d 2 【x k ， ： 因为此处，内平均数是由计算群元素间的黎曼距离得到的，所以它一定是 群中的元素。；： 对于矩阵群，黎曼距离可由矩阵对数运算来定义，即对矩阵群元素x 和y 有d ( x ，y ) = l l l o s ( y x l ) l l = l l o g ( y ) - l o g ( x ) l l = l l y - x l l ，x 和y 分别是矩阵x 和y 的对数。由此看出，个李群中元素间的距离可用其李代数中的“欧 氏距离”来近似，即它是一个切空间的近似值。对于一个群元素集 x l j ， x n ) ，n x ；- r i l 2 的最小值由李代数 x l ，确) 的样例平均数来估计。 给定这个平均值的估计、 ， p = 唧( 二1 己；n 爿x i ) 通过肛的逆左乘来重新映射样例，得x ；卜p x ；。此操作一直执行到估 计值达到一个局部最小值。因此求李代数上内平均的算法描述为： 输入： x l 一，x n ) g 输出：g ( 内平均) 初始化：一 d o x i = p x i x i = l o g ( a x i ) 却= e x p ( 二1 己瑚nx 肛= 心p r e p e a tt i ui i 却i j e o 。是t 的下降函数。 其中，假设1 把判断一条曲线是否在另一条曲线的轨迹上转化为判断 j 个给定向量是否在特定向量空间中，从而降低了问题求解的难度。假设 2 中的进化方程完全满足了通过变换群来限制曲线进化的要求。在t 的切 空间t y ( g 们到轨迹g r 就是g 的群作用下的极小生成子。 因此，在李群g 的作用下，限制丫。在1 ，。的轨迹g 丫0 上的进化与估计 一个单参数族q 。) 硼+ c g 以使得对于所有t ，一7 。= g 。吖。是等价的，从而在 李群g 中的下降方程为： 里叠：一8 ( eo ( g t - y o ) ) ：一8 e ! ! 曼! ：! q ! ，dt 8 9 。 研豫。， 通过它求出丫。和的丫。变换中的参数，从而实现了曲线在李变换群轨道上 的进化。 。 。， 1 1 4 李群在分布式控制网络中的应用 2 0 0 0 年，g e o r g ea k a n t o r 和p s k r i s h n a p r a s a d l l 埘引入一个能够在一 个分布式控制网络上执行的线性算子类，称为回归正交变换( r o t s ) 。r o t s 可以表示特殊正交群s o ( n ) ( i l = 4 ) 。作者就是通过在其对应的内在的李群 结构中提取梯度流来找到一个适合工作的r o t 。 一个回归正交变换( r o t ) 是 = p i o t p 2 0 2 p l o l 的一个线性算符。其中， 李群机器学习模型及应用研究第一章 0 i = 0 ：0 0 铊 ： o 0 ： - - 0 0 e l m ： o ；s o ( n 日) ，三n i j = n ，p l 是n n 恒等矩阵的置换，n 二d e t ( e ) = 1 ， 所以r o t 是特殊正交群s o ( 3 ) q b 的一个元素。一个给定构造的所有r o t s 被称为一个r o t 族。由于r o t 的这种块状结构，每个o ；可用来表示在 独立处理器上的平行算符，而置换矩阵可以用于表示节点间的通信。 对于一个固定构造，其r o t 族给出了一组s o ( n ) 中的元素的候选表 示集。然后，要对给定的一个n n 对称矩阵h i 和它的r o t 的构造参数找 出 ， 一， 。以使矩阵h = 6 7 h 。6 是近似对角化的。这要分两步操作： 第一步是找到一个“对角线”函数由0 峨第二步就是搜索( o 。，o ：， 。) ， 它通过沿着在o ；的构造空间上的梯度向量域v 由上流动来最小化由。经过 证明，此向量域是具备以下两个属性唯一的梯度向量域： v 巾( 甲) 巳m ，v t p m ， d v 0 l ，( x ) = ( v 由( 、王，) ，x ) ，奶( r m 。 这样，通过李群中的梯度流就可以找到一个合适的r o t 。 1 1 5 李群在度量学习中的应用 2 0 0 6 年，g u yl e b a n o n t z o i 提出了一种新的度量学习问题的框架结构， 将候选度量集限制在一个参数族中，此度量是在一个李群变换下的费雪信 息量的拖回度量。 度量学习可形式化描述为：给定一个微分流形m 和一个数据集 d = x 1 ，x n ) c _ m ，在度量候选集g 中选取一个黎曼度量g 。在此，g 是 一个参数族g = g x ：x e a c r k ) 。用 e i ) i 表示切空间t x m 的基。g 在x 的 体元被定义成d v d g ( x ) = 毖好( x ) ，其中g ( x ) 是 g ( x ) 】= 既( e i ，e j ) 。当g ( x ) 是正定时，沈灯( x ) 0 。在此学习方法中，从度量候选集中选取的度量是 基于给定数据点集的逆体元的最大化的。度量选择的目标方程是： 第一章李群机器学习模型及应用研究 。( g ，d ) = f f ；：i ，1 ( l d 口v 删。l g 趴( x x i ) ) - 一i 忑，一 ( 1 1 5 1 ) 该方法的主要思想是把度量候选集描述为一个李群变换下的拖回度 量：考虑下列微分同胚族f x ：p n p n ， 驰) 筌稿，酱) ，九e p n 族f x 是一个在参数空间为人- - p 的成分下的变换的李群，恒元是( ， 击) ，啪龊1 = f n 濮响t2 盎。 j 以上变换群通过在单形中保持不变时，增加有较高k 值的x 的成分在 x p n 上作用。再通过作为度量参数族g = f i a ：九p n ) 的变换群来考虑费 雪信息量f 的拖回度量。因为费雪信息量本身是一个从在平方根变换下 的球体中得来的拖回度量，而巧亨通过变换 dcf r ( x ) = ，陲婶) ，九p n ， 一v ( x ，九) p 一 巧也是一个的拖回度量。 通过上面的观察，可得下列在e 9 下的测地线距离的封闭形式。 ”炉a c o s c 善感蕊， n + l = a c o s ( i - l 上述距离与t f i d f 余弦相似度量非常相似，不同点就在于平方根、范式和 在式( 1 1 5 1 ) 中非i d f k 参数的选择。最后，通过计算e f 的体元，将( 1 1 5 2 ) 中描述的框架应用于度量e 9 。 用这种方法所得度量是局部的，从而可以在指定空间中获取局部变量 并且它也是定义于整个嵌入空间上的。一个候选度量集用一个变换参数族 表示，所得度量就是基于某些执行标准从候选度量集中抽取出来的。在文 本文件分类的试验结果中也表明，模型所产生的测地距离要优于伍d f 余 弦相似度量。 赢 李群机器学习模型及应用研究 第一章 1 2 李群机器学习的提出 机器学习是人工智能和计算机科学研究的一个永恒的课题1 2 7 】。从 19 4 3 年m c c u l l o c h 与p i t t s 对神经元模型( 简称为m p 模型) 的研究开始 至今，经过了6 0 多年的发展，虽然产生了许多机器学习范式，如统计机 器学习、流形机器学习、增强机器学习、半监督机器学习、量子机器学习、 关系机器学习、贝叶斯网络学习、支持向量机学习、集成学习等，但到目 前为止，对于机器学习的概念还没有一个统一的说法。目前比较公认的关 于机器学习概念的说法是s i m o n 对学习的阐述：“如果一个系统能够通过 某个过程而改进它的性能，这就是学习。”郾j 这个说法的要点是：其一， 学习是一个过程；其二，学习是对一个系统而言的；其三，学习能够改变 系统性能。即“过程”、“系统”与“改变性能”是学习的三个要点。我们 将这种说法结合李群的内在性质，发现李群的定义和机器学习的定义有着 对应的关系，即李群本身就是一个非空的集合且是一个系统，学习过程对 应一个可微映射，然后通过解析性质来降低数据维数、处理学习问题，从 而达到改变系统性能的目的。用数学语言可以这样描述：令g r d ， m r d ，d d ，借用李群的定义将g 对m 的左作用用如下映射g o 表示： ：g x m - - - - m ，g ，x g o ( g ，x ) 要求妒( g l ，g o ( 9 2 ，x ) ) = g o ( g _ 1 9 2 ，x ) ，g o ( e ，x 皿；右 作用也可以类似定义。所以说，它是能够满足机器学习的一般概念的。 因此，李凡长教授及其李群机器学习研究小组从2 0 0 4 年开始这方面 的研究工作，提出了“李群机器学习( l i eg r o u pm a c h i n el e a r n i n g ，简记 l m l ) ”的概念并建立了其基本理论框架1 2 1 - 2 6 1 ，其目的就是基于i p 上的一 个给定的被观测数据集合，用李群中的可微性把被观测数据集合的非线性 结构进行线性化，使其约简成易于理解、表示和处理的线性数据，然后通 过局域李代数和李群之间的一一对应关系映射到观测空间中去。从目前取 得的成果看，其基础理论主要来源于两个方面：一方面是继承了流形学习 的优点，另_ 方面是充分利用李群的代数结构和几何结构的数学本质。鉴 于目前李群机器学习方法还处于初步阶段，因此本文做进一步研究，给出 了李群机器学习模型及应用研究。 李群机器学习模型及应用研究 1 3 内容安排 本文的研究内容分为六章： 第一章主要介绍了李群机器学习研究背景和研究现状。 第二章介绍李群机器学习的相关理论基础。 第三章给出了李群机器学习模型，包括代数模型和几何模型。 第四章给出李群机器学习的d 明i k i n 图几何算法。 第五章给出了李群机器学习的线性分类器的构造方法并设计实现晶 体计算机辅助分类系统。 第六章是论文总结。 李群机器学习模型及应用研究第二章 第二章相关理论基础 李群是与拓扑群和微分几何有着密切联系的一个数学分支。本章就 主要介绍了李群理论的这些相关预备知识以及基于拓扑学和微分几何理 论建立起来的流形学习的主要算法。 2 ) 1 拓扑群 李群论起源于s 。l i e 的连续群论，它是s ，l i e 在研究求解微分方程时 提出来的。当时所指的群是变换群。人们发现，几何或分析领域的自同 构变换群本身常常会具有自然的几何或分析的结构，拓扑群和李群就是 这样的结合体。拓扑群同时具有群的结构和拓扑的结构，而且群的运算 对于其拓扑结构来说是连续的。经过长期地不懈努力，g 1 e 雒o n ， m o n t g o m e 巧和z i p p i l l 证明了一个拓扑群在一定条件下可以具有李群结 构：如果g 是拓扑流形，并且乘法和取逆运算都是连续的，则在g 上存 在解析结构，使得乘法和取逆元算都是解析的，因而g 成为一个李群。 因此，拓扑群成为李群的条件，即每一个局部欧几里德群都是一个李群。 本节主要就是介绍拓扑群的一些基本概念和性质。1 2 9 1 定义2 1 1 拓扑群是具有下述性质的集合g ： 1 ) g 是一个群； 2 ) g 是一个h a u s d o m 空间； 3 ) g x g 到g 的映射( x ，y ) 一巧1 连续。 性质3 ) 称为g 的群结构与拓扑结构相容。也可以写成下面的 3 ) ( x ，y ) 一x y 1 ，x x - 1 分别是g x g 到g ，g 到g 的连续映射。 定义2 1 2 设g 是一个拓扑群，对任一g e g 称g 到g 的映射 l g ：x 一麟，v x e g ， ；x + x g ，v x e g ， 分另为g 的左平移，右平移。 显然下面四个性质成立。 蔓三雯奎登! 递堂翌堡垒垦壅旦堑基 1 ( u “2 l 一，o u “2 r 一。 2 l g ，以及映射x x 1 均是g 的自同胚映射。 3 a d g = l g r 一也是g 的自同胚映射，_ r v x g ，a d g ( x ) = g x g 。 4 对任何自然数n ，映射 一( x l ，x 2 ，io 0 1 , ) 【1 1 ) 寸父l 憨而 是q g q 到g 的连续映射。 i 布一， 引理2 1 1 设e 为拓扑群g 的单位元，则存在e 的基本邻域组彩 它适合下面的条件： 1 ) v l ，v 2 彩则v i n v 2 锄， 2 ) v 彩而w v ，则w 铌。 。3 ) n v = e ) ； v e 韶 f 4 ) v v 铌，j 、彩j 使得v v 1 v ； 5 ) - w 铌。a g ，则a v a 1 够 反之，给定一个群g 及一个包含e 的集族彩的满足上述五个条件， 则g 可唯一地定义为拓扑群，使彩为e 的基本邻域组。 设g 是一个拓扑群，h 是一个子群，是g 的开集族，则h 的子集 族舒 o nh i o e 研满足开集定理。于是在h 中引进拓扑，成为拓扑群g 在h 上的诱导拓扑。易证，对此拓扑，h 为拓扑群。 定义2 1 3 若拓扑群g i 到 内的群同态q ，又是拓扑空间的连续映 射，则称9 为同态映射。若平是群同构，又是同胚映射，则称平为同构 映射，上述了两种情形分别简称同态，同构。 定理2 1 1 设每是拓扑群g l 到g 2 上的群同态，又若在g l 在单位元 处连续，则为拓扑群的同态。 证设v 2 是g 2 的单位e 2 的邻域。由于q 在e l 连续，且p ( e l h ，故 有e l 的邻域v 1 ，使得甲( 、) ( ) 。故对任何a g l ，9 ( a ) 的邻域为v 2 q ) ( a ) 。 于是a 的邻域v n a 使得c p ( v l a ) = c p ( v 1 ) 9 ( a ) ( v 2 ) 叩( a ) ，即9 在a 处连续。 故叩连续，即甲为拓扑群的同态。 定理2 1 2 连通拓扑群g 由任一单位邻域v 生成，且 。 李群机器学习模型及应用研究 第二章 g = n v “。 n = i j 证由于v 是单位邻域，故有单位开邻域、c v 。于是v 2 = 、n v l - 1 亦 为单位开邻域，且吁= 。令g ，为由v 2 生成的g 的子群，因此有 g 。= u w u v l n _ u v “c g n = ln = ln = l 又是开集，故g 。是g 中开集。g ，是g 的闭子群，又g 连通，故 g = - g ，因此定理成立。 定义2 1 4 若拓扑群g ，g 各有单位邻域v ，v 作为局部群是拓扑同 构的，则称g 与g 是拓扑同构的。 显然，同构的拓扑群一定是局部同构的。反之，则不然。 定理2 1 3 设g 是一个群，v 是包含单位e 的一个子集，v 生成g ， 对g 的乘法，v 是连通局部群，则由唯一的方式将g 定义为拓扑群，其 在v 上的诱导拓扑为原来的拓扑，其群结构为原来的群结构，且g 连通。 证设眈是v 的包含e 的基本邻域组，令 伊 w 冬g i w n v 彩 。 显然，满足引理2 1 1 中的条件1 ) 一3 ) 。 设w 似于是w n v a 2 v 为局部群，故有v l 彩使得 v l v , - 1 w ，且v l 似故引理2 1 1 中条件4 ) 也成立。下面证明引理 2 1 1 中条件5 ) 也成立。为此先证明下述命题： 一 设w 似b e v ，则存在u e 彩使得b u b 。1 w 。 事实上，( w n v ) b n v 是b 的一个邻域，由护b 连续，故有u 彩 使得u b 互( w m y ) b a y 。又b e = b 连续。故有u e 够使得b u u 。b 。 故b u b _ 1 ( u b ) b 。1 ( w f l v ) b b 一= w n v w 。 现设a g ，w 似因v 生成g ，故有a - - - a l a 2 - a k ，a i v n v 一。 u i a 6 使得a l u a i l w ，u 2 彩使得a 2 u a ；1 u l ，一般，有u i 彩 使得a ；u a , 1 互u i - 1 ，2 i k 。因而 a k u = a l a z a k u k a - 1 。a 9 1 a - i w 。 即u k a - l w a 。所以有a 1 w a 似即俐也满足引理2 1 1 之5 ) 。于是g 可以定义为拓扑群，w 为单位e 的基本邻域组，币p 警晓器而且w e 母以 l q 第二章李群机器学习模型及应用研究 则w nv 晓器因此此拓扑在v 上诱导原来的拓扑。由于v 是单位邻域， 0 0 故由定理2 1 2 知g = v “。由v 连通，v n 是连通集v x v x y 的连续 函：f一 映射象，故v n 连通，而且e 、，i i ，因而g 连通。 “ 定义2 1 5 拓扑空间m 若有连续变换群g 在其上可逆作用，则称为 齐性空间，即v x ，y m ，存在g g 使得颤x 一。 我们主要考虑m 是h a u s d o r f f 空间的情况。 定理2 1 4 设g 是h a u s d o r f f 空间上的连续变换群，则下述结果成立。 1 ) v x m ，h 。是g 的闭子群。 - 2 ) y g ( x ) 当且仅当h 。与h ，共轭，且如果y = g o ( x ) ，则h ，= g o h 。酥1 。 3 ) m 是一些互不相交的轨道之并，即 m 2 u g ( x 。) ， 这里，当g ( x 。) g ( x p ) 时，8 ( x 。) n g ( x b ) = g 。 r 证因为映射g 专g ( x ) 是g 到r a 的连续映射， x 是m 的闭集，故其 原象h 是g 中闭集，因而是闭子群。 设g o ( x ) = y ，于是该g e h ，t 当且仅当g ( y ) - - - y ，即g ( g o ( x ) ) = g o ( x ) ， 也就是说g i l g g o h 。，故2 ) 成立。 在m 中定义关系一：x y 如果存在g g 使得y = g ( x ) 。显然这是等 价关系，x 所在等价类为g ( x ) ，故3 ) 成立。 2 2 微分几何 微分几何，尤其是黎曼几何的一些相关事实是李群的重要基础，本 节简要介绍了微分几何的相关概念。【2 9 ，3 0 l 设m 是一个n 维微分流形( 流形) 。以双m ) 表示m 上可微函数的 集合。自然，我们可以视钗m ) 为实数域上的结合代数。 以9 1 表示m 的所有可微向量场的集合。也就是说，v x 9 1 ( m ) 是鬏m ) 的一个变换，而且满足下列两个条件： x ( a + 1 3 9 ) = a x t y ) + p x ( g ) ，v a ，p r ；f ，g 多( m ) x ( 店) = ，x ( g ) + g x ( ，) ， 即x 是莎( m ) 的导子。 李群机器学习模型及应用研究第二章 国1 ( m ) 中可定义加法，也可定义9 1 0 田与实数域r 中元素的乘积。 9 1 ( m ) 成为r 上线性空间。如果再在9 1 中定义括积 ) 【，y 】习b 卜y x ，v x ，y 9 1 ( d ， 则9 1 ( m ) 是r 上的李代数。 ：9 1 也可以看成一个g 上的左模，因此我们可以考虑它的对偶 檩9 t o 田，9 。中的元素称为一次微分形式。从多0 旧，9 1 ( m 污9 - 出发可以构造m 上的混合张量代数，记为9 ( m ) 。 j 。从几何的观点来看，如果以m 。表示m 在点的切空间，那么国1 ( 咖i 中元素x 在p 点的值x p 就是m 在p 点的一个切向量，即x p 嗨。在流 形m 中取好坐标系之后，9 1 0 田中元素可以用坐标的解析式来表达。当 然，9 1 0 田中元素也可以用坐标的解析式来表达。 定义2 2 1 所谓m 的一个仿射联络v ，是9 1 q 田9 1 ( h d 到9 1 ( 旧的 _ 个映射，一般记为 v ，y ) = v x ( ， 法足下面三个条件 dv 是双线性的， 2 = ) v x , y 9 1 0 田，v ( y ) = j v x ( y ) ，f 莎( m ) ； 3 ) v f e 乎t m ) ，x ，y 9 1 ，v x ( ) = x ( f ) y + 夕x ( y ) 。 对一个固定的x 9 1 0 田，则v x 是9 1 a ) 到d 1 0 旧的线性映射。但 v x 不是左即旧模9 1 q 田的模同态。我们称v x 为y 在x 方向的协变 微分 定义2 2 2 假设v 是微分流形的一个仿射联络。称9 1 0 田9 1 到 9 1 ( m ) 的映射y o r ： t o r ( x ，y 产v ) 【y _ v y x i x ，y i 为m 关于v 的挠率运算，则国l ( d 9 1 0 田9 1 0 田到乎( m ) 的映射t ： t ( o ，x ，y ) = o ( t o r ( x ，哪 为m 关于v 的挠率张量( 这是一个( 1 ，2 ) 型张量) 。 又称9 1 0 讧) d 1 0 旧到 a 岭：9 1 一9 1 0 旧) 中的映射r ： r ( x ，y ) = v x v y - v y v x - v 硼 第二章 李群机器学习模型及应用研究 为m 关于v 的曲率运算，而9 1 0 田9 1 0 田9 1 0 旧9 1 0 田到鬏旧中的映 射r r ( ，x ，yz ) = c o ( r ( x ，z ) 为m 关于v 的曲率张量( 这是一个( 1 ，3 ) 型张量) o ，定义2 2 3 设y ( t ) 是流形m 在点丫( t ) 处的一个切向量，即y ( t ) e t v ( 0 ( m ) 。如果y ( t ) n - f f 丁微地依赖于t ，则称y ( t ) 为定义在丫( t ) 上的向量场。 因为有y e d l 使得y 在丫( t ) 上的限制为y ( t ) ，即有y x 0 = y ( t ) ，t i 。特别对于尹( t ) ，有x 9 1 0 田使得礴t ) _ 夕( t ) 。这时，记 v ，( t ) y ( t ) = ( v ；y ) ，to 、 、 如果定义丫上的向量场y i ：t ) 满足 v ，( t ) y ( t ) = 0 ， v t i ， 则称y ( t ) 沿丫平行。 从微分方程的理论可知，沿丫平行的向量场构成一个n 维向量空间， 记为p ( m ，丫) 。如果t l i ，则p ( m ，丫) 到m ，( t 1 ) 鼍m ) 的映射e ( t o - e ( t 1 ) 产x t “) = x ( t 0 ， 是线性空间的同构。 定义2 2 4 对于t l ，t 2 i ，定义m t o 。) 到m t ( 1 2 ) 的映射叭t l ，i 2 ； 0 ，( t l ，t 2 ) = e ( t 2 ) - e ( t 1 ) _ l 称为m 沿丫的由1 ，( t 1 ) 到y ( t 2 ) 的平行移动。 也就是说，v y , em t “) ，有y ( t ) 定义在丫上，且y 水1 ) 2 y l ，v ，t o y ( t ) = 0 ， - y 是l l ，( t l ，t 2 ) y i = y ( t 2 ) 。 定义2 2 5 流形m 中曲线丫( t ) 若满足v 巾) 7 7 ( t ) - - - 0 ，则称为测地线。它 是流形中一类特别重要的曲线。 2 3 流形学习算法 流形学习是基于拓扑学和微分几何理论发展起来的一种机器学习范 式，用数学语言可以这样描述：令y c r d 且y r d 是一个光滑嵌套， d d 。流形学习的目标是基于i p 上的一个给定被观测数据集合 x i ) 去恢 复y 与，在y 中隐藏的数据 y i ) 被随机地产生，然后被厂映射到观测空间， 李群机器学习模型及应用研究 蔓三雯 使得 x i 哟i ) ) 。流形学习主要包含以下一些经典算法： 2 3 1 局部线性嵌入( l l 功 l l e 算法认为在局部意义下，数据的结构是线性的，或者说局部意 义下的点在一个超平面上。因此任取一点，可以使用它的邻近点的线性 组合来表示。图2 3 1 1 中b 的三维数据由a 中的二维流形采样而来，彩 ：色带表明了l l e 映射处理后保留的邻域带情况。b 与c 中用黑线圈出了 单个点的邻域部分。 ， 图2 3 1 1l l e 的基本思想 ， l l e 算法描述如下： 。 输入：样本输入x - x l ，x 2 , ，r d ，样本真维数d ，邻域参数k 输出：低维嵌入y 2 y l ，3 2 ，y n r d ) 1 计算每个点的近邻点( 用k 最近邻或球邻域) 。 ：计触凯= 群，其中g k = 隔咐阶籼啪为毪躺醮，使 得1 】v i i 把冯用它的k 个近邻点线性表示的误差最小，即通过最小化| | ) ( ；二x ，l 来 求出w u 3 保持权值不变，求】【i 在低维空间的象y l ，使得低维重构误差最小。 t - j 、化嵌入成本函数为m ( y 户i x 一州y j l 2 m = ( i w ) r ( 1 一w ) ，低维嵌入是m 的最小的第2 到第d + 1 个特征向量 l l e 算法可以学习任意维的局部线性的低维流形，它的待定参数很 少，只有系数d 和k 。l l e 算法中每个点的近邻权值在平移、旋转、伸缩 变换下是保持不变的，并且有解析的整体最优解，不需迭代。l l e 算法 2 3 第二章 李群机器学习模型及应用研究 归结为稀疏矩阵特征值计算，计算复杂度相对较小，容易执行。但u 扭 算法要求所学习的流形只能是不闭合的且在局部是线性的，要求样本在 流形上为稠密采样，参数d ，k 有过多的选择且对样本中的噪音很敏感。 2 3 2 等距映射0 s o m a p ) 、 i s o m a p 建立在多维尺度变换( m d s ) 的基础上，力求保持数据点的内 在几何性质，即保持两点间的测地距离。它用流形上的测地距离代替经典 m d s 方法中的欧氏距离。该