（控制科学与工程专业论文）局部线性嵌入的流形学习算法研究与应用.pdf

蓬跨搴 学技术大学硪毵生貌学链论文 撼要 当今社会孛数掇维数熬大糕发撬离缭数据鲶理王捧带来了蘸所寒寄静爨难，鲡侮麸这 些裹缝数据巾找出事甥鲍本矮擞搏残炎遭壤震螫解捩懿超题。黪维技术是熹维数据处臻串 非常重要的翦处理步骤，是指榉本从裹维溉测空闻遴过线性残嚣线性唳射投影劐一个低维 空间，从丽找出隐藏在离维观测数撰中蠢意义鳃低维结搪。 现实中的高维数据大多是非线性的，这时线性方法很难发握商维数据蛇续毒奄秘相关 性，揭示其流形分布。针对高维数据的非线性特性，一些基于溅形学习规理灼j 线性降维 方法被提出，打破了以主成分分析为主的传统线性降维方法的横架，很快得到圜内外的广 泛关注。本文主要对基于流形学习的局部线性嵌入( l l e ) 算法进行了深入的研究与改进， 具体工作包括以下四部分： 1 简要综述了当前流形学习的发展概况，对现有各种非线性降维方法的特点进行转 析，阮较优赢和不足，并进行了相关的计算机仿真实验。 2 弓| 入扩散生长型岛组织神经网络模型( _ d o s o m ) 算法，在深入研究l l e 的基础上提 爨了勰静叁缀绥l l 嚣算法并给密理论分斩。该算法能够自动确定l l e 中对数攒点邻域值 的选择，估计原始数据静本征维数，减少运算量，并对噪声有一定酌抑铡俸用。我们通过 诗算毫睦魏囊实验验涯了该算法懿有效经。 3 。绘出噪声滚形学习瓣理论分撂，并提港爨部邻壤平滑方法，驽当前鑫税豹凡种嗓声 滤形学习方法傲如对毖。 4 。邋过使用三静不阉数擐库灼仿真实捌，掇讨了是部线性嵌入及其渡进簿法在蒜维数 摄约筒、可视化与人脸识别领域中的应用。 【关键镝】j # 线性降维流形学两厢部线性嵌入维数 蠢计统一框架 嗣黪科学技术大学疆究生虢学位论文 阁5 5 把i r i 8 数据降到二维后使用s v m 的分类误差柱状图5 0 圈5 + 6i r i s 数据簿类样本数逐渐增加时不同方法对应的误差曲线5 0 豳5 7 把手写数字4 ，7 ，9 图像降到二维并用k n n 分类器分类5 l 图5 8 在测试集对手写数字4 ，7 ，9 图像迸行识别的误差及对应识剐率5 l 嗣5 9 手写数字4 ，7 ，9 图像在调练集和测试集的误差曲线5 2 鬻5 1 0 0 r l 入舱萄像奁训练集和澍试集的误差曲线一5 3 舀5 1 l 选择静1 0 类久黢蘑像在测试集得到的谖剐率s 3 袭2 1l 己e 箨法总结9 表3 1d g s 0 m 模型懿爨令缀成机制2 3 表3 2皂组织局龌线性嵌入算法归纳2 5 表4 ，l 邻域乎滑算法的具体步骤4 1 鬓防辩学技术大学毛拜究生院学位论文 筻一章绪论 1 1 谋题背景 在当今不叛发震酌物簇毽器嗣人类社会中，久臂j 麓来越多静接触到嵩维数据，魏全球 气候横式、靛天遥感数据、毽星光谱、消赞市场数据、入豹基因分布、受光照影稍静多姿 态鄹表揍黪人黢躅缘黟列等。这些鼗壤集懿鬟罄特点必：舞数据豢、嵩维数、离数据增长 率、非结构佳。一方殛，隧蓑缎数豹不叛掇毫，数据集& 够提供更多蠢嚣懿更宠整戆馈患， 来翅助人 f 】更好认识隐藏程这些纷繁甏杂袭象下螅事物、现象驰客双勰律；另一方瑟，维 数的膨胀会引发“维数灾鼹( c l l r s e so fd i m e n s i o n a l i t y ) 1 1 p ，即：为达到预计驰估计耪度，酝 需的样本数随维数的增力量指数增长，绘数学和数据分柝帮来了重大挑战。 为了解决“维数灾难”问题，人们期黛从离维数掇中提取有效的、紧致的描述，即在 保持数据信息损失最小的情况下，发掘数据集鼹现的内在规律。以人脸识别为例，受光照 影响的多姿态人脸序列包含大量人脸图像，萁部分袭示如图1 1 ( a ) 。每幅图像太小为 6 4 6 4 ，通过行堆叠的方式将箕转化为6 4 6 4 = 4 0 9 6 维向鬟，对计算机来讲，这要求徽大 的存储空间和计算蘸，识别是相当困难的，但怒大脑却能在瞬间识别同一个人在光照、姿 态发生变仡后的身份。颓圜楚大脑自然的感知了数据的内在低维结构，这种感知以流形方 式存在，将久验闺像按照从左劐右姿态、从下到上姿态，阪及光照方向分为三个模式进行 存麓，魏鹜1 1 ，捷识剐河题得猁了简俄。这一典羹衡予表明，将数据的维数降低蓟合 适豹大小，阉对尽胃能多酌傈警原数据集的信惑，然后将降维詹的数据送入数稻处理系统， 这晕孛方式奁缀多情掇下，经常燕有翔静甚至是努须靛。 ( 砖( 辚 蚕1 1 受党照影晌的多姿态夫验黼像举铡觳其在低维串的表示 降维是指样本从高维输入空问通过线性或非线性映射投影到一个低维空间，从而找出 隐藏在高维观测激掰中有意义的低维结构。从本质上看，降维实质上是要解决一个“流形 第1 页 蓬防科学技术大学骚究生院学位论交 学习”问题，即当数据集所在空间表现为流形结构时，要从存在于这种空间结构的数据集 中提取其相应的内在几何结构及规律性。在信息处理的许多领域，包括机器学习、数据压 缩、科学可视化、模式识别和神经计算等，都需簧解决原始数据的降维问题。对观测数撼 降维主要有西个目的j ： 夺腿缩数据到低维空间，可以降低存储要求，并简化计算复杂度。 夺在剔除冗余信息的同时，也降低了噪声对原始数据的影响。 夺从非结构化数据集( 如人脸图像) 中提取出某种结构化成分来反映原始数据集的特 征，以便更好的用于识别问题。 夺把数据投影到低维空间，特别是二维威三维入眼可观测的空间，可以实现高维数 精可撬化，认清数据的本质藏律。 降维的方式可分为两类：特征选择和特征提取。特征选择是指在满足损失最小的前提 下，选取能够代表数据集的一些相关特征子集。特征提取是措通过对已有特征的结合，形 成一些新的特征。这墅方法可以规为“潜变量模型”，即数据的低维表示可以看住潜在( 或 隐藏) 落子的空间。阵维的舀标是保存数据点间的相似性，也就是说，原始空间中楣邻的点 获薷季至8 低维投影空间中仍然保持稠邻。本文率涉及到的均为特征掇取技术。 传统静线经洚维方法包括主分鲎分析( p c a ) 臻醇，多缭尺度交换( m d s ) 溺，线性翔掰分 耩 通过求鼹糕葳矩阵的特缓起爨润题，褥到一个与原始数攒集大，l 、栏弱 的非迭代解，避免了遗代算法中产生的局部极小馕，豌化了运算鬟。 l l e 的低维嵌入结果能够很清晰的显示出赢维数据集的本征特性。图l 。2 是l 嚣秘 p c a 分别把同一高维数据集映射到三维空间的结果对比。我们把一幅嚣合芘图像在一个大 的带有随机噪声的背景中左右上下平移，得到一个高维图像序列，维数d = 1 7 4 8 ，数据个 数 = 4 8 0 ，如中间一捌所示。l l e 和p c a 将其映射到三维中的结果分别如左图和右图所 示。通过对比，可以看出l l e 清晰展现了流形分布，而p c a 由于发生了明显扭曲而失效。 图i 。2l l e ( 左) 和k a ( 右 分嗣将一幅百合花翻像在二维噪声背最中平移得到的图像序捌映射到三维 空闻，暂疆蓍出毛l e 清掰震现了流形分布，丽p c a 发生了萌驻的扭曲而失散 以l l e 为代表的基于流形学习的非线性降维方法舆有广泛的皮用背景，主要表现为以 下几方面： 夺用于不同领域高维数据的非线性降维，使数据处理撂以简化。 夺对雾类问题进行聚类分析，如手写数字图像分析，为识别提供更多的有用信息。 在字符识别等领域将同样得到较好的应用。 第3 贾 国终科学技术大学研究警虢学位论文 夺应用在基于流形分析的视频图像序列人脸识别中，这也将是最近以及今威模式识 别和计算机视觉领域中一个非常活跃的研究方向。 尽管l l e 是一种有效的j e 线性降维方法，其自身也不可避免的存在一些闯题，表现在 以下几方两：1 ) 必颁事先设定两个参数，设定参数值的好坏对结果会产生较大影响：2 ) 要 求初始采样空间是平滑、非闭合的；3 ) 对噪声非常敏感；4 ) 可以很好的用于可视化，但 用于识别的能力较差。本文对l l e 的原理进行了深入探讨，并针对上述不足之处进行研究 并予以改进。 1 2 全文组织结构 本文静内容按以下方式组织： 夺第一章是绪论，介绍局部线性嵌入算法的研究背景和研究意义。 夺第二章对现有的各种纂于流形学习的降维方法进行了详细分析，说明我们选挥局 部线毪嵌入作为研究对象的依据。归纳了非线性降维的统一框架，并通邈分析比 较总缩出些需要解决的闯题和改进方向。 夺第三章锌对前褥奔绍静局都线性嵌入算法盼不是之处，提出了稀新的菲线镶降 缝算法蠡缓织届都线谯嵌入，详纲描述了该算法源毽并瓣其进行分析，然后 逶过各秘接囊实验验遂敬进箨法弱熬能。 夺第瞪章详缨分梗了噪声对流形 线性降维熊影晌，奔缨爨蓠黪些辩决办法，奁 此基础上我们继承局部线性嵌入算法的思想，提墩一； 孛奏效的瘸予降噪静方法， 并通过实例进行分橱与比较。 夺第压章探讨了局部线性嵌入算法穰模式识别中的应用情况，邋过不同的数据集进 行仿真实验，并通过实验结果对几耪改进方法避行e b 较。 夺第六章总结了我们在局部线性嵌入算法研究中所做的工作，展望了局部线性嵌入 在非线性降维和模式识别中的应用前景，并提出我们今后的研究方向和目标。 第4 页 潮茨辩学技术大学辑究生院学整论文 第二牵基于流形学习的降维方法概述 本章综述了基于足傅滚形学习毂几秘降维方法，通过魄较绘惑各方法靛钱蛱瘴。涉及 到的降维方法蠢： 令线性方法：主成分分拆( p c a ) 、多维尺度变挠( m 蛰s ) ； 线性方法；等距离漩辩( 1 s 娃a 玲、禺部线牲嵌入( l l e ) 、拉鸷拉新特征浃射 鬈8 群粘i 皴e i g e 翻越鑫癣、隧极邻域嵌入( s 夺国、强溪流形 ， j = l ，2 ， = 氐，毪，嘞 ( 2 ，2 ) 搬撵不羼豹选取辫剐，胃戬遴一步选取合适豁投彩瓯，减少的维数，如采塌方差准 则，翱对予选定豹蔬选取投影矩阵，使誓蘸方差 ，善? 孥p 丢羔l 妒n ：杰丑 ( 2 3 ) 酢铒一一 l 智“j 智 、。 这弼壤小。前d 个主成分所占总方差的比率为 曼囊删c e ( 碟) ( 2 4 ) 在给宠比翠下，胃戬道过式稽4 ) 确定合适的d 值。 出于羚a 魏线性届陵性，对爨有非线往缩褐静数据繁浚甜效果不好，如鞫1 2 。关予 p e a 豹一些最耪逡震霹参照文献f 2 5 _ 3 0 】。 2 1 2 多缎尺度变换洲d s 多维尺度变换( h f u l t i d i m e n s i o n a ls c a l n 舀m d s ) f 4 ，3 1 3 2 】是一种传统的寻求保持数据点之 间差异性( 藏相似健) 的降维方法，它可以使得原数据集合中相近的点在低维空间仍然保持 稻近，远离的点仍然远离。m d s 的这种特性便其得到了广泛应用，特别是在行为学、经 济举、社会学、心理学等研究领域，用来对成对的实体( 如市场调查中的商品) 进行相似性 评结。 对数据集 置) 二腮。，通常我们感兴趣的数据特性不是每个点的舆体位置，而是像们 之间有什么不同。m d s 的纂本出发点是数据点阅的差异性( 或相似性) 撼述。记鼹点鼍与石， 之阆差异度( 或楣似度) 为d ( 盖。，x ，) ，i ，歹= l ，2 ，裁记必磊。蓑冥嶷( 或摆锨蕃逶鬻是 一秘距亵测量，即题个数据点越楗4 蛙，它稍之褥静距离越小。鬻雳静躐离溺量方法包括欧 式距离( 如莲数) 、m a n h 髓t a n 距离、m i n k o w s 越距离、最大范数等。m i n k o 梆缸距离提供了 定义高维空蔺躐离的一般程方法： 第6 页 i 羽防科学技术大学研究生院学位论文 略： 兰陬一汗 ( 2 _ 5 ) j 代表数据维数，当，= 2 时，上式即为欧式距离。 设数据榘 五 当r 。的距离矩阵为= 西，f ，= l ， ，m d s 的降维结果怒一个d 维数据集 誓 二蕊。，使得数据点在低维空阔的距离= d ( 鬈，r ) 与高维空间相应距离的 函数，( 或) 尽可麓接邋。m d s 采用s 舵s s 函数来评估厂( 或) 和的接近程度： s 抛哆( 矗， 誓惑，) = q 。6 ) 尺度爨予透常在u 矗略) | 或u 2 静基硝上选择。当呜墩致式距离时，m d s 等价子 对a 。游数援点阕熬鼹离毽被缳持，诧薅静氧s 称秀戴度m d s ：若袋傈持差异度( 或穗 似度) 的顺序，面非它靠】的舆体数值，此时的m d s 称为 s 尺度m d s 。 m d s 的一个应用实例如图2 2 ，由于其线性映射的局限性，图中比较相似的数字之间发 生了交鼹。疑n e n b a _ l 】融等人继承并发媵了m d s 的思想，掇出i s o m a p 算法，引入测地距离， 嫒茭鼹够缀姆的然理；# 线篷离绻数撂集【1 4 】。有关褥o m a p 簿法虢其体夯缁觅2 2 1 节。农 m d s 算法中，涉及到原始数据集中任豫点之阅的距离，逡算量较大。f 越跳t s 糖等人提出了 快速m d s 方法，提高了运算有效性【3 孤。 酎2 2m d s 用于手写数字翻像降维实例 2 。2 菲线性降维方法 设初始数据荣为高维空阐中的个实德向量 互癌芒瓞。，通过j # 线性降维方法映射到 低维空闽醒4 ( 矗d ) 。本节介绍了各耱菲线性繇维算法鹃簇本琢瑾，并给密详缩静算法分 毽防科学技术大学磷究生巯学位论文 别信息。因此，一种商监督的l l e 算法被提出，并取得较满意的结果f 2 1 ，3 7 + 3 8 1 。硒d d e r 等人 把l l e 和有璇督的线性f i s h e r 判别映射结合超来，通过实验证明萁具有较好的分类和判别 能力【4 。l 。 2 2 3 拉瞀拉新特征浃射m a p l a c i a b 嚣i g e n m a p s ) l 嘲a c i 8 n 特缝映魅1 q 也楚一孛使爝特征趣量求群煞方法，采耀与蒋瑟类 蛙鲍方法梅造 邻域燃，綦予谱躁理谂，可以构遗攘应嵌入空闽爨标殛数为： 一嚣) 2 往。8 ) j ， 其中权值矩阵采用= e x p ( 一胁一t r 加，f r 的核函数，在满足低缎结构对域的约束 y 功，= l 为对角矩阵，坟= s 甜m ，魄) 及防止数搬集收缩歪单点灼约寒y 7 三曙= o 愤况下， 最小他误麓方程可对应于求解下式戆最小特锺囱鳖： 黟= 盖醪( 2 蛰 其中d 为对角权觚阵，三= d 一矿为l a p l a c i a n ( 对称、半正定) 矩阵。 可戳证讶式( 2 + 9 ) 能够近似对应于l a p l a c i a l l b e i 旄辶炬琅村飨痒晃礤髋铄眑霸淄搿。襁鬟霍蜜接f 褥 襄强i妻羹塑妻囊!ili；张薛馥锺嗣懿潮澎鬣彰誊iq圜副豢强豢鲑鞠嚣， 垂ii：争霸懿萄叠眵羹鬻鬻藏 褪露lp藜g毒酝释篓i薹羹藕蒙羹爨戳淄，塞蠹垂；g弱警圭囊筒垂a-bel勰雌i算子酌内在特歪浃射。 l a p l a c 泌特缝映射逸是基予局部邻域，矩阵袭璎鸯臻骧籍阵，困魏，霹戳逶避对稀疏 矩阵的处理来加速谱分板的算法实墁。图2 4 显示了l a p l a c i a n 特征 映射姆一个三维空避下鲍环形螺旋状趣线( 墅2 4 鑫) 映射至二维坐标下，诳以看出三维环形螺 旋状丝线本质是一个一维溅彤( 图2 。4 酗。( a )( 婶墼2 ，4l雄l嚣ci鞠特 x 羹鬻翟黍舞：秀鬟鬻喧；誊鳖鼍爨等蓁瀑强塑； 冀冀裳誊蓍矗囊鞠基蠹蠢娶套稳鞭! 蓁嚣耋誓跫霉紊g 氧囊冀；礴鹭隧稳弱疆：? 蓥 耋蠡i 雾i 目霎i | i 蔫蠹；蚕薹垂| i l 薹强强弱娄熊鎏；囊l j 噔i 燮；i 攀q 蓄鬻 k 墼鬣戮戮氧羹2 f i 耋辇囊鞫琴西群到：弭斑羹靼 j ；。* 墓，；磊甓雀 型筛弱琶曩糕礤髅蠖嫂建蠼塑酒懋塔吁灞懑囊啉5 f 目捌渤魂募妻蠢辆继。醒套訇射翮砂超堰 馐霹搿07 簿蠢葶薹篓蕴整理器墼囊豁豫蕊戮鞫掣j 硷蝌謦耄| 幽 簖霪戮兰剿逊f 磐翅， 蛙i 。4 嘎渤浇尊差瓣滔肖滏；荇断酗瞄瓣珏霾甄# i 厕灞戮猎麓露羹；删翟黔篓善董i 墼萋薹鬟 囊宙! ! ；：蒌；* l 鬟l l 辜垂i 霪羹鞠阮骺娩戳錾：；j 连i 淄滗臀k 醛翮糖。 姜日：i 臻数豢| 藿髓蓊甜姒基毒螽济罐尚珥薹剧 蠢；i 。蠢 萎薷缮仃瓤璐往酊固工翼射口套 嚣域中魔用纂于流形掌习艘睁帮。曩魏固1 c ：鹅甥闭懑藿甄 浊； 姗季麓鬣魏臻娶芯 骝。款鐾 x 黧茨科学接术大学磷究生院学位论文 第三章自组织局部线性嵌入s e l f _ o r g a n i z e dl l e ) 从翦顿各羊孛基于波形学习驰嚣线性隆维方法豹分橇霹知，尽簿弱部线惶嵌入l 王纛) 能 够有效的慰裹维 萎线性数据降维，其本身还存在一些帮其它 # 线性降维方法共性的缺点： 随机点邻域值足的选择和本征维数d 的估计，这鼹个参数灼设定壹接影响到匿嚣的殃射结 果；对初始随机样本比较敏感，样本过少褰易丢失局部信恿，愿榉本过多则容易弓l 起嵌入 子流形不能完金展开，并使得郝分数据发生收缩( 与邻域选择也有关系) ；另钋，l l e 对初 始样本含有的噪声也非常敏感。为了克服l l e 的上述缺点，我倪弓i 入了扩散生长型自缎织 映射模型( d g s o m ) 删，提i 担了新的自组织l l e 算法【7 4 1 。d g s o m 是以生长型非拓扑保持 自组织网络为藜础，结合n o 扩散机制而得到的一种新的自组织神经网络模型。它不仅能 够映射出输入空间的概率分布，而且能够很好地估计出输入空间的真实维数1 6 l ”j 。因此， 我们提出的自组织局部线髋嵌入算法能够解决原始l l 嚣存在的三个问题：1 ) 邻域值的自动 逸耩；2 ) 零征缩数盼估计；3 ) 在保证输入样本依概率分布的同时显著降低算法复杂度，提 高浚射效巢。另井，该算法对输入数蓿中毯含的嗓声其有一定的撺铡作用，这一特点我们 将在第露章避 子讨论。 3 。l 局部线性嵌入舞法 在2 2 + 2 节我们对髑部线性嵌入l o e a l l yl i 毂e 越嚣m 捌瓠毽l l 嚣) 算法遂孽亍了裙步奔绍， 本节将对其原理傲以详细阐述。l e 的基本愚爨是以黪郏线性嵌入式浃射来实耀全局浆菲 线性流形展开。作为一秘秃鉴蛰蛉学习舞法，l e 保整了艨滚影中局部铝域闻楣要关系， 将高维数据映射到个低缎全局坐标系中。设初始数攒榘为寒维空阀中的个实篷囊量 置j 墨g r 。，映射到低维空间中的嵌入向堂 墨犁。具体算法分为三多，参照熙3 1 ： 1 ) 鼹部邻域熹搜索：计算盘每一向鬟五的邻域赢 五，= l ，。，筐 ( 取欧式距离最小的 五个点藏者以梭函数形式选择邻域，如固定半径的球状邻域) ，并假定置及其邻域点构成 线健超平面。 2 ) 在五的邻域中，计算重构每个置的投值，使重构代价误差最小。 定义代价误差为： 岛) = 陋一，毛l ( 3 1 ) 权值代表第，个点对第，个点的重构，满足两个条件：蓿爿，不属于一的邻域时， 睨= o ；权值矩阵矽的每一行相加为1 ，即，= l 。对任一个数据点五，具有旋转、 第2 0 页 鬟蚓掣势孰露# 囊翩融氢掣甄蚕 蘸确辖；藕# j 一翊艟翳酗鹫誊鍪受囊篓残阳融。露鳞照鳆蓄意键砂襁i ；i i i ! 。；j 嫂耍? i 鞭蹩 姥彗薹霉嗡旧潞磅溺群罐雾l 笔g 酾帑巍裁箭副粪嚣! 雒罂淄酬嚣戥骥雕匙鞫鳃箩h 配燃凇鞠 醚嚣；o ；i 与二；i g 强国攀鬻蒙戮剽蛰篓；塞l i 鑫韭蘩l 铲受耋! ! 耋鍪| | l 蓬掰锻繇5 4 童臻趔一；囊反爰奉离酾蕹藩缮烈玛毡。袭骠蝥曼2 篙! 薹簿淄謦曩囊 蠢霖酾；醚黼醵豁释箝j 荐菇蓉套嚣鬣强爨馨螽攀鞠融靼眵j 羹骥一霸。霎 枣= | ； ；j 矧善翻骧鞣髓骥孳患饔m | | l 灌一襄l 薹j ；。纠熙蓼捌蕹i 鹭旺疆黧鞫e i 鞫疆冀鬣荔凌 番i 荤t ；& 篓囊羹薹霪= 萋。l 妻妻i 鳓；囊薹羹霎篓霉虿啷矬弗暇翁臻黑襄7 薹墓* 摹姻强鐾= 西溪囊攀蒸蘩鍪奏纛慧窭嚣篓嚣薹鬟翳整笺醵嚣融j 蒸* 喜鎏； i 蔫 童话蓑翟必裂婆罨戳；器n 由一嘣瘩堡= ! ；i i ；i 三l 鼍簇i 霪诿淹i 嚣罄。 璧蒌野氨i 雾i 量i 躺端攥黼瓢琏褊鍪i b b i ! ；：篓； 垦堕型堂垫查奎兰翌塑生堕登些篓苎 表3 1d g s o m 横垄的西个缎成杭制 嘲络不需要事先知道有关输入的分布范围、实际维效等信息， 萤点生长规蠢4 通过资源竞争能使节点合理的分布于输入空阀中 拓扑建立与更毅 采熙h o b b 援则建立网终蛇挺扑连接，；l 入年龄极剑瓣踩老佳 机制 的连接，完成对嬲络拓卦静更掰 使得早先迸入阏络的输入信号对网络的作用逐渐减弱，而最近 遗惑规剑 的一部分输入储号比警先进入网络的信号对网络产生更大影响 扩散与动态平筑 由n o 扩教模型瓤近距竞争远距会作的节点调整原则缀残，攘 机制网络溉具有稳囊性又具有抉速爱应能力 d g s o m 算法的流程如下： 初始化：网络包含炉2 个节点，每一个节点r 的参考囱量w ，照规选择；每个苇点弱获胜次 数计数变量魃设为o ；设鬟获胜次数阑僮嗽。逮恚阕隔? ；设置全髑常数参数 嚣n o ，o ，g ，舔，识，辨；裙始静训练步数f 设为o ；确定最大的留f 练多数岛。 s 1 ：根据概率密度p ( x ) 随机产生一个输入信号x s 2 ：选出距糍x 最_ i 凌的获胜节点s l 黧蹬离第二近鼢节点娩 点= 圳8 x w 刘l x 一、，8 ，v r ) ( 3 6 ) 嚷= 岛| l x w 。l 4 x w ，8 ， v r r 墨)( 3 7 ) s 3 ；里瑟s i 瓣获胜次数强= 强+ 1 夺如果心 圩协，m “，将在网络中捶入毅节点譬，撅带点暂时不和葵他经髂节点骞撂 扑连接。裁节点静参考淘量和获胜次数计数变堂设置为w g = x ，峨= 强2 。 节煮s l 的获胜次数计数变赞更新为= 2 ，节点数目加1 ，肘= 肿1 夺如果以翮m 一，则调整网络节点的参考向量 对予获髓节点s - w = 。( x w )是常数 ( 3 8 ) 对于其它节点r w ，= 。( x w 。) l x w ；器 ( 3 9 ) 如果节点，位于获胜节点姐产生的n o 扩散范围内，并且和获胜节点之间有拓扑 遂接，那么巳= c ( w ，) 一k 一 如果节点，位于获胜节点s l 产生的n o 扩散范围走，健是帮获胜节点之闻没裔拓 扑连接，那么0 = c ( w ，) 筻2 3 硬 国防科学技术大学研究生院学位论文 s 4 ：如粜s 。、晚之间没有连接，则创建= 者之间的连接，并设该连接的年龄为o ；姻果s l 、 也之间有遣接则将该连接的年龄置为o ；所有和获胜穆点s l 相连的拓势连接年龄烟l 魄 2 0 ( 3 织，一+ l 如果，和s l 之间有拓乎卜逑接( 3 。1 1 ) s 5 ：如果节点之间连接的年龄大于阈值。则去掉这条连接线 织。p ) = 鲣( 舔锻) ”。 ( 3 。l 冷 s 6 ；如果训练步数f = 詹正则当前网络中所有节点的获胜次数计数变量减l ，囊一l ，2 ，3 c ，= c r l ，v r s 7 ：训练步数f 翱i ，如果f 盏酞。作为d g s o 耐模翟的输入，得酬 第一步 节点数箍著减少( ) 并带有拓扑连接的新嗣络，并通过其确定本 征维数d 在新网络中，每个节点的曩值簿予与之带有拓扑连接的节点的数目， 第二步 不同节点的邻域值可能不同 第三步 在满足代价误差最，j 、条件下，求解维衩德矩阵矽 计算，维矩跨吖= ( ，一矽) ( j 一) ，低维嵌入向爨l 出掰蜒赡最 第四步 ，j 、的疗个特征俊对应的特征向鬣得蓟 3 3 2 自组织褥部线往嵌入算法简要分析 在盘缎织鼹部线性嵌入算法中，我们通过弓 入d g s o m ，得剜一个新的带有拓扑连接 瀚弼络缩构，懿够较好的解决原始l l e 算法存在的不慰。新的网络结构中节点数比原始数 据的个数显著减少，这些减少的节点是否还能覆盖原始数据空间的支撑域，并反映其本征 流形分布，我们将对此给出证明和分析。 原始l l e 算法求解过程其实是一个带约束最小二莱坶题的求鳃，联以，皂组织局部线 性嵌入算法的重构误差计算也与之楣似。已知条件鲣下： 夺l l 嚣的重构误差： 岛( 矽) = 陋一，畋墨艘一。 ( 3 1 3 ) 勤( 矿) = k 一，r l ( 3 1 4 ) 夺l l e 的约束条l 牛： 。= l ，= o ，去盯7 = ， ( 3 1 5 ) 夺d g s o m 的已知豢l 孛： f = 妻l 矿；一厶秭1 2 ，其中层8 埂一& 秭1 2 】呻o ( 3 。l 求艇：s ；与s ； 使用矢爨表示，爿岳酸。为初始数摆嶷矩黪，w ，疑“为扩展耩骧矩薄瓣第歹行，坪，鼗。 为玉的荤个邻域点，误差计算描述为： t = 卜一，叱氆| 2 = l ，哆。一曝) 1 2 = 。擞q ( 3 。1 7 ) 第2 5 页 鐾茨科学按术太学磺究生院学经论文 ( c ) 图3 3l l e 对s 曲面的展开。( a ) 原始s 曲面：( b ) 对s 曲面的采样，毪0 0 0 ：( c ) 最1 2 ，较好的展开； ( d ) j 4 ，发生严重交叠；( e 膨8 0 ，发生变形 香诸多文献对如何确定最忧世值绘出了不艮途径l ，删，但是没有文献给出其锋对映射 空间的相应足值，只是给出了大致的关系黔l d ，更没有每个数据点邻域值的选择，包援对 内部与边界不阿情况的分析等等。丽在自组织局部线性嵌入算法中，由竞争h e b b 规则c h l 保证，节点的邻域值彪由与之其有拓扑连接的节点数自动确定，得到每个节点对映射空间 的最往邻域。 对于均匀分布情况，节点邻域值菇的最优选择应使得残差最小； 辰0 = 喵哑n ( 1 一露。岛) ( 3 2 1 ) 其中，圾与d y 为x 和r 的欧式距离矩阵，蕊p 为标准线性攘关系数。理论上，残蒺越小， 表明嵌入效果越好。但是由于欧式距离的不可靠性，随簧影值的变化，霆枣句误蓑有势有酶。 图3 ，4 为对人脸数据，不同邻域值对应的残差曲线及最优邻域傻，在的地方有个金羼 最小值，这是因为对于大量的样本，在足值比较小的时候均是其最佳邻域，所以每增加一 个邻域其重构误差都会减小。只有在值为2 2 时，才是满足残差最小购全局擐优解。 匿3 。4 对入脸数据，不潮邻域残差曲线及聚优魏差德 透过计算和统计实骏，潋迸箨法中鬈值的自动选择基本上研以确保蘑构误蓑与凰n t 保 持一致，丽鬣卣于其邻域选择的宙适应链，磁固定凰。t 值的原始l l e 算法具有更小的残麓。 3 4 2 本征维数的估计 在l l e 算法中，本征维数d 过高会增加噪声的影响，d 过低则压缩出现重叠( 压缩过度) 。 第2 7 页 练循环次数，一般取霸1 0 即可取得良好效果。 夺d g s o m 自鳃织过程时间代价( 包括网络训练、寻找最近邻、重构权薰计算) ：强 d ( l o g r w ) + d ( d 帆2 ) 夺计算最小特征值：d ( ，岛。勰2 ) 比较原始l l e 算法与改进l l e 算法的对闻瀵耗，由予虬，_ ( m 。* 民。，则可以 明显鬻出斑组织局部线性嵌入算法时间消耗要远邀小予原始l l e 舞法，特别是当韧始榉本 增大时，原始l l e 算法的时间消糕呈攒数上升，赋改进l l 基算法基本上怒线性增加。 图3 6 为两者的时间消耗对比，横坐标为秘始榉本，纵坐标为赋闯，环境为c p u ：a 妣雠 x p2 5 0 0 + ，w i n d o w sx p 操作系统下m a t l a b6 5 计算的时间代价。 图3 6 原始l 嚣与岛组织l l e 的黠闻代价比较 3 4 4 自组织届帮线毪嵌入算法的应瑚 在三缎空闻嵌入滤形鼹开实验中，我织默光滑子滚形s 蛾s s 羚l l 黢s 麴嚣俸必震扦对 象，原始l l e 展开蜃的结槊均出瑷一定程度如收缨，姻露3 裂协，经d g s 0 燃自继织矮豹 网络覆蓣了原始数据的支撑域，如图3 7 ( c ) ，展开到二缎空阀的结果非零理想，如图3 7 ( 鸯， 并克服丁原始算法中产生的收缩现象。通过对比可以糟出囊组织l l e 算法明显伏予照始 l l e 算法，流形得到了充分的展开。另外，在小样本情况下进李亍l l e 展开，对s 懒 葜箐辜镜角度肟沼尉仓嘁坏阆拢患吲膳 他的残点考虑，是豹楚发歪撼堪上婆墼耋萄裂繇。 萎；蛙囊簖嚣蜡；噬勰臻囊誊两2 自薹1 名l 勘赢珏繇? ；霎拦j 璃羹羹列鹫开。另外，在小样本情况下进李亍l l e 展开，对s 懒s sr o l l 和s 曲面分别取 酗5 0 0 ，可以看出映射到= 维后予流彤上出现交叠或断裂，如图3 。7 ( e ) ， 失去了“局部线性”的条件，原始l l e 算法很难正确展开。 原始lle算法很难处理有孔洞流形的展开，对大容量不规则分布外观流形的可视化也 鬻媸毯殍鞠二驱稳雾鞭i 蚕絮孺蜷连萼需鏊摹； 囊菱嚣毳爱缫霎翌型麓嚣嚏荔垂羲i 淄圆蔼瑟蒌暖。夔藩嘲婺融；割裂辩制瑟囊；羹 芎兰l 雪j d 奏摹i | i 蚕旅i 鬃篓i 8 ； 啦藩鞠强滔溺蹭嚏；囊i | 甄：戮9 警鬻凄甬零耋鬟澜嚣弱嚣蘩酿i i 鋈翻禾试勒蜒蓄铎j 睁需藿搿蓍；i a 8 。* 鬈。一辇麓莪 淘熬藉荔窆蘩釜缓疆鬓鹱瑟蜓缝醐醺瓣明嚣踺辨i i 殂骟酾鍪妻雾髻蠢i 漆国疆凌薄匿越臻 碥逢霉誊。磊鹾翼羹量馐嚷漤嗡蔫雯霆叁移本荔露；塑霸目孽i 蚕嚣酲羹；黧型鋈溪隧蘧。 美i j i 墨娶鬻慧笙警曩潼港嚆。苍篷熏意藏醐醢鞠豇；嚣赞赠吁鳓藏餮；姒彩圳萋萎要 囊雾雾釜 霪藿i 善；讲 莹；i i # 雾0 套罄餐攀奁磊i i l 目薹i 醪秘囊商驰鞠。 蘩7 * 也爰蠡f 囊餐薹烛明耋塑蓬0 噼骥霹墓鞫 薹：。妻 鐾| 黪强弱强弱塑臻强鞲燃窿贯嗡 弼臻纂轰螽疆礞基耍琴引产嚣孽：会墼| 雾薹i i l i 雕= = 酗函薹器二弹? ! 聚羹落 x 鬻辩辩掌技术大学研究警隧学位论文 通过以上这些仿真实骏可以瓣出，在自组织局郝线性嵌入算法中，幽d g s o m 生成的 网络能够合理殿映输入样本之阃的拓扑关系以及输入数据的本征维数，嘲络节点的分农密 度鄹输入数据分布窿窝相对应，融 毙蛊组织l l e 缀好解决了瘗l 始l l e 巾参数选择超题。 藏辩，峦予葛患数霆戆丈量藏多，巍簿鼹了藤媾毛毛嚣豹运雾量鼗空瘸誊籀，箍薅了运簿效 率。关于鑫缀缓l l e 辩噪声静掷铡情况我督j 将在第鞠帮进行讨论。新酌黯组织l l e 冀法 在入工生成数掭s 、】l ，i s sr o l l 和s 曲黼实验，以及现燕数据多姿态人脸图像中，笱原始l l e 相院较均褥到了较疆葱的结栗，簸诞了该算法的性熊。 第3 页 藩防科学技术大学磺究生院学位论文 即d 吖不仅与翻有关，还与毋缈7 孵有关。 通过上面分析可以得出，噪声对误差的影响与跏和拶矽缈均有关系，因此，我们可 以通过采取改变邻域的选取方式来改变权俊矩阵，或者采用直接改进矿的计算方法，使 得引入噪声后，矽对误差的影响交为最小。 4 2目前降嗓问题的解决方法 由于噪声对菲线挫降维其裔穰大影嫡，为了解决遮一替速存在于各种；# 线性豫维方法 中灼蹲题，一些提应约改进媸魏相继毒瑗。其孛孵狭较好静有筵予届鄂切线空润鹃主流形 学习算法，以及局部线牲乎潺算法，本节将对这蘧秘方法遴嚣分缓和分橱。 4 2 + l 基于局部切线空问的主流形学习算法 基予局罄切线空闽黥主滚形学习算法，餐称简部切线空溺结合( l o c a l 孙g e 牡ts p 裙e a l i 辨嫩e n t ，l t s a ) 【3 4 】。英基本爨怒蹩，慰予含蠢噪声懿原始数据集，奁每个数据煮豹邻域 中使用切线空间来表示流形豹局部几鳄特镬，褥到一令浃射子空闼，逶过对邻域述接籍阵 的部分特征分解方法把这些切线空阅结合为一令包会聚鸯数据点黔全局坐撂系统，劳保持 流形的拓扑结构。可以诞明褥出重构误差具毒二阶糙确度。 l t s a 基于l l e 算法，_ 并对之做以改进，搿辟了非线性流形学习的凝方自。算法本赛 包含两个互相联系的目标：1 ) 构造通过效攒点中间的“主流形”；2 ) 得到自然参数化空闻 下的低维全局坐标系统，并保持数据点的流形结构不变。这两个步骤互相作用，使算法的 功能得以增强。 l 1 s a 算法的具体步骤如下：给出个包含噪声的m 缎数据点，从一个本征维数是d 维的拓扑空间采样得到，目的是在保持流形拓扑结构不变的前掇下，由量个局部邻域点重 构出个d 维向量r 瓞“”。 s 1 ：提取局部信息。对每一个f = l 、， 审定义t 的七个最近邻点鼍，歹= i + ，是； 夺计算裾关矩阵置一；，) 。( 墨一；。，) 的d 个最大特征向量岛，其中g 是 维攀位歹囱爨，弗设定 g f * 1 、，g 。，踟l ( 4 1 0 ) s 2 ：构遗合并矩阵。若采用奠接的本征处理法，矩阵占可由下式局部求鄱德到： 丑( 互，互) 扣嚣( 五，互) + j g 辞，f = l ，( 4 1 1 ) 否则对锓意秘量”，按照矩阵商量乘积加来计算。 s 3 ：结合成全局坐标系统。计算矩阵b 的舟1 个最小特征向员，并选取第2 到第出1 个最 第3 5 页 国防科学技术大学研究生院学位论文 存在时，菜浆误差值将会非常大。局部线性平滑方法采用加权p c a 方法，将每个点薯投 影到一个点鼍处估计得到的切线空间内，并采用迭代的方法选取加权p c a 中的权值。每一 次迭代将按照下面步骤进行： s i ；确定点t 的竞个最近邻点，记为x 。，黾； s 2 ：采用迭代权值选取方法计算权傻向量w ，并垮其正交化，堆。一l ； s 3 ：采用加较王c a 方法计算点x 处切线空间的彳舂计值 弛i ”+ q 彰。道2 勰孙舢嘭遗 ( 4 ，。) s 4 ：把薯投影到估计的切线空间内，得到 ；，= 嚣+ q 辞， e = w f 鼍i ) ( 4 1 3 ) 髑部线牲平滑箱予去除奇异值及降嗓酌承橱如图4 4 。原始1 2 0 个数据点其有抛物线 分布，其中包含2 0 个奇异值。使甬局部线性平滑方法进行一次迭代后数据点分布如图4 4 ( b ) 所示，除了3 个点远离抛物线分布外，萁钌点都映射至嘞物线上。进行两次迭代厨数据点 分布如图4 4 ( c ) ，所有带奇异值的点均被投影到原始抛物线上。该示例可以看出，局部线 性平滑确实是一种有效的去除奇异慎和降嗓的方法，将该方法用于非线性降维方法的藏处 理步骤，可以更好的揭示a 线性流形的本镬分毒。 图4 4 局郯线性平滑用于去除奇异毽。( 站蒙始数攒点，肘= 1 2 0 ，其中题含2 0 个鸯髯僮，孀嚣圈袭录； ( b ) 迭代一次矗麴数据虑分摩，孓3 0 ；( c ) 遮代嚣敬蜃的数据点分布 局部线性平滑算法本身迭代的特点，使其在菜些地方还需进一步探讨。迭代的权值选 取方法较复杂，容易陷入局部极小值；算法的收敛性还鼹进一步诞明；邻域值童的选取方 法有待进步改进。局部线| l 生平漏方法只能用作j 线性降维过程的翦处爨步骤，我们还是 褥望自够从非线性峰维方法本是如发，将其做以改进，壤其能够巍降维熬同时达到降噪的 照的。 第3 7 页 圜防科学技术大学研究生院学位论文 4 3 基于局部线性嵌入的噪声流形学习改进算法 通过前两节分析噪声对非线性降维的影响，以及从耳前对膳噪问题处理较好的两种方 法中碍到的经验，我们提出了些毅的咚噪思想，对u e 算法傲了一些改进，基的是馊其 在完成非线性降维的月时达到降噪螅曩的，同时总结了一些成功葙失败抟经验。 4 3 ，l 臭缎织局部线性嵌入算法 在第三章我们针对l i m 需要人为设定参数以及对样本数耳和噪声非常敏感的特点，弓 入扩散生长型自组织瞬络，提出了薪的改进算法一自缎织局部线性嵌入。透过对算法懿 分援及仿真实验均可以想娃l ，改进算法g 够缀好懿克缀l 量本身存在憋这些缺轰。另终， 渡避算法还g 够较好戆消除噪声对； 线性降维的影鹰龟。 在爨缀织局部线性嵌入葬法串，将秘始酌大量商维数裾点缗为d o s o m 模燮的输入， 遥遘窝组绞网络豹形成得劐一个新豹拓扑结构。该拓扑结构覆盖了原始流形的整个支撑 域，其中的节点数目显著减少，并且节点问带有拓扑连接。带有拓扑连接的嘲络不仅可以 囱动确定邻域值，醣及估计流形的本征维数，而且减少的节点可以很好的反映出原始数据 集的本征分布，因此降维后的低缎嵌入结果仍然能够较好体现流形的拓扑结构，这一特点 使得该算法对噪声具有一定程度的抑制份用。 我们仍然以本征维数是二维的s 姻藤为铡。从图4 。l 可以看出，当趣入方差为o 8 5 的 藏擐自噪声聂，器始l 器已经褥不到正确戆二维嵌入结栗。对圈4 2 国所示含有甥傻为o ， 方差为转0 5 寒辫是噪声的s 魏褥，我档栗瘸鑫缀织局部线往嵌入方法，经d g s o m 生成的 鼹络摇豳4 5 ( a ) 所示，节点数减少为1 5 5 ，并能够较好反浃流形的二维本征分布。图4 5 ( b ) 为将减少的节赢映射掰二维坐标中的结栗，与圈4 2 ( d ) 相比，改迸后算法使含噪声的数据 煮在二维中同样得到很好的展开。因此，自组织局部线性嵌入算法能较好的抑制噪声的影 晌，降维后仍能较好的反映流形的拓扑结构。 ( a ) ( b ) 图4 5 自组织局部线性 衙游滋羹蓊 燃彰黔爨辆刻酬。网络，节点数减少至155；(b)将减少后的节点映射到二维坐标，原 鑫组织l l 嚣算法孛得到了一个样本数显著减少的节点组成韵拓扑网络，鼢够自动确定 两个参数，邻域值k 和本征维数j ，并在降维的间时达到了降嗓的目的。但是，减少的样 本与初始样本缺少对应关系，只是对扔媲样本点本征结构的反映，赡倪出这些少照样本的 低维嵌入蠖采重构轫始榉本熬瓣题辫需进一步解决。 | | 3 2 局部r c a 算法 从前面噪声对非线性降维影响的分析得出，l l e 对于光滑连续的流形降维有效，而当 原始数据存在噪声时，降维结果将产生严重变形，如图4 。6 ( a ) 。薹 c a 能够保蜜原始数撂的 主成分，揭示出实际滚形静分奄，爨_ l 毙能有效去除噪声，餐悬作为线性降维方法，群j 在非 线性降维对将产生器曲现象，如醋4 6 ( b ) 。因诧，我们想到将局部p c a 的思想运用到l i e 中，使其在非线性降维的同时能够去除噪声。 ( a )( b ) 图4 6l l 琶( a ) 和p c a ( b ) 用于含方差为0 1 高斯自噪声的s 曲面降维 熙部p e a 算法是恕艨始大量数据分为一些，l 、嚣域，在每个小区域内采掰p c a 进行处 理鞲舶。算法分为黻下三步： s l ：恕致。空阕划分为q 个溪域； s 2 ：对每个区域计算局部协方差矩阵和特征向量，并按照特征值从大到小的顺序标志相应 的特征向量； s 3 ：选取娶捶维数，缮到最大懿个特铥囱羹缎成的本征方向。 我们采取局部p c a 与l l e 稆结合的方法。其体步骤分为以下三步： 夺憋每令区域中憋样零按照届豁p c a 得到的主成分降维； 夺把降维后所有区域按照原来的划分顺序连成一个整体，为瓶阵弛 夺对样本矩阵仃使用l l e ，再次降缎到出褥到去除噪声慰约低维数攥分毒。 其中区域划分可采用不同的方法，我们将按照三种方式进行划分，以s 曲面实验为例， 下面分别对其进行掐述井壤取得的结果傲以比较： 1 ) 入为翊分区域。我们人为地将含噪声的s 曲面平均划分为六段，在每一段内使用p c a 降维，把降维后的样本连接成一个整体，再运行l l e 鼹到s 魃强在二维中鳇本缝分毒。觅 慰4 7 第一学。 2 ) 用d g s o m 划分区域。原始样本为= 2 0 0 0 个含噪声的s 曲面采样点，运行d g s o m 第3 9 页 国防科学技术大学研究生院学位论文 德至4 样本点数减少至m 鳇拓扑结构，将毖辫个点髂为聚类中心，将原始样本按照最_ i & 邻撬 援| j 聚类，这样就将原始样本翔分成m 个小区域，辩用局部p c a 降维，并对得到盼整体运 行u 愚。见图4 7 第二行。 3 ) 赠平均聚类划分区域。将愿始。转2 o 个含噪声的s 曲面采样点按照k 平均聚类 蕊刚分为1 0 个小区域，采用局部p c a 对冀进行降维，把降续后的样本连接成一个整体， 再运行l l e 。见图4 。7 繁三行。 圈4 7 ( a ) 是禽有均值为o ，方差为o 。l 毫簸自噪声螅s 姻蠢采样点，a 芦2 0 。豳4 + 7 ( b 是对划分区域岳的s 洼箍采掰局部p c a 降刮二维，将簿个区域得到的缩渠连接成一个整 体衙在二维坐标中的显示。可以看到对于人为划分区域的方法，淀彤摄然褥到了展开，但 是与圈4 。7 黼中s 曲瑟摆比，颜色倦患发生了混乱；磷采用d g s o m 和k 平均聚类捌分区 域静方法将二维中的s 馥面分成了一些不稠邻的小块，丧失了原始s 曲砸乎游的特性。图 4 7 ( c ) 是对图4 7 ( b ) 中局部p c a 褥到的缕果运抒l i 点，霹以番到第一种方法二维展开霉发 生了部分收缩，整颜琶倍息仍然发生瀹乱，第二种方法跌射到三个分离点，第三种方法映 射结果发生严重交叠。图4 7 ( d ) 是对划分区域后的s 曲面在三维空阕中遴弦局部p c a ，并 将每个区域褥烈鲍结果连接成一个整体疆在三维坐标中韵显示，流形均分成了分离的小 段，丧失了源始s 曲面早游韵特性。闰4 7 ( e ) 是对图4 7 ( d ) 中局部p c