（模式识别与智能系统专业论文）独立分量分析及其在遥感动态监测中的应用研究.pdf

博士论文 独立分量分析及其在遥感动态簸测中的应用研究 摘要 独立分量分析是信号处理技术的新发展，它作为盲信号分离的一种有效方法丽受 到广泛的关注。独立分璧分析算法通过计算数据的高阶统计信息，可以从观测信号中 估计出相互统计独立的、原始的、被未知因素混合的信号。由于算法能够反映图像数 据的高阶统计特征，在图像处理中得到成功的应用。本文对独立分量分析快速算法及 其在遥感图像处理的应用进行了深入研究，主要有以下几方面的工作： 研究了独立分量分析算法，特别是独立分量分析算法中的快速算法f a s t l c a 。在 分析f a s t i c a 算法的核心迭代过程的基础上，提出了改进算法m - f a s t l c a ，改善了算 法的收敛性能，减少算法的迭代次数。针对m 。f a s t i c a 算法的收敛依赖于初始权值的 问题，在算法过程中加入松弛因子，提出l m - f a s t c a 算法，改善了算法对初始权值 的依赖性。 对卫星多光谱遥感图像的成像机理进行分析，认为多谱段遥感图像是地物的谱段 信息的随机混合结果。应用独立分量分析算法对其进行分离，使每个独立分量尽量集 中某些地物的信息，比主成分分析算法具有照好的可分离性，并得到了更好的分类结 采。 将l m f a s t l c a 算法应用到常州地区农业用地和环境动态监测卫星遥感系统中， 利用i c a 算法的优点对原始遥感图像进行预处理，然后用神经网络算法或者自适应 最小距离分类算法，进行农作物分类、林地提取、水面提取。 基于独立分量分析算法构建了一个针对常媸地区的可运行遥感系统，可以实现自 动提取水稻、油菜和小麦等农作物信息，得到温场分布图，提取林地和水面的分布图。 另外，它还可以查询和发布系统获取的信息。 关键词；独立分量分析，f a s t l c a ，l m f a s t i c a ，遥感图像分类，神经网络，最小 距离分类法，遥感系统 博士论文 a b s t r a c t i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) w a san e wd e v e l o p m e n to fs i g n a lp r o c e s s i n g a sa l le f f e c t i v em e t h o dt ot h es e p a r a t i o no fb l i n ds i g n a l s ，i c ah a da t t r a c t e db r o a da t t e n t i o n c a l c u l a t e dh i g h e r - o r d e rs t a t i s t i c si n f o r m a t i o n ，i c ac o u l de s t i m a t et h es o u r c es i g n a l s ， w h i c hw a ss t a t i s t i c si n d e p e n d e n ta n dm i x e db yu n k n o w nf a c t o r , f r o mt h eo b s e r v e ds i g n a l s b e c a u s ei c ar e f l e c t e dh i g h e r - o r d e rs t a t i s t i c sc h a r a c t e r i s t i co fi m a g ed a t a , i th a ds u c c e s s f u l a p p l i c a t i o ni nm a n yf i e l d so fi m a g ep r o c e s s i n g 。t l l i sp a p e rd i s c u s s e di c a sf a s ta l g o r i t h m a n di t sa p p l i c a t i o ni nr e m o t ei m a g ep r o c e s s i n g ： i c aa l g o r i t h ma n di t sf a s ta l g o r i t h m ( f a s t i c a ) w e r ei n t r o d u c e d m - f a s t l c aw a s a d v a n c e db a s e da n a l y z i n gk e m e li t e r a t ec o u r s eo ft h ef a s t l c aa l g o r i t h m 。m - f a s t l c a i m p r o v e dc o n v e r g e n c ep e r f o r m a n c ea n dr e d u c e di t e r a t i o n s a i m e da tt h ec o n v e r g e n ts p e e d o fm - f a s t l c aw a sd e p e n d e n to ni n i t i a lw e i g h t s ，l m f a s t l c aw a sa d v a n c e db yi m p o r t e d l o o s e n e s sa g e n t , a n dr e d u c e dt h ed e p e n d e n c eo ni n i t i a lw e i g h t s a n a l y z i n gt h ei m a g i n gm e c h a n i s mo fs a t e l l i t em u l t i - s p e c t r a lr e m o t es e n s i n gi m a g e s ， w ec o n s i d e r e dt h eb a n d si m a g e so fr e m o t es e n s i n gw e r em i x e db yt h es p e c t r a lf e a t u r e so f d i v e r s es u r f a c ef e a t u r er a n d o m l y t h ei n d e p e n d e n tc o m p o n e n t ss e p a r a t e df r o mt h er e m o t e s e n s i n gi m a g e sb yi c ac o u l dc o n c e n t r a t et h es u r f a c ef e a t u r e si n f o r m a t i o n , a n di t s s e p a r a b i l i t yw a sb e t t e ra n dc o u l do b t a i nb e t t e rc l a s s i f yr e s u l tt h a np c a l m - f a s f l c aa l g o r i t h mw a sa p p l i e dt ot h er e m o t es y s t e mo fc h a n g z h o uc i t y f i r s t l y , t h er e m o t ei m a g e sw e r ep r e - p r o c e s s e db yu s i n gt h ei c aa l o r i t h m sa d v a n t a g e s e c o n d l y , n e u r a ln e t w o r ka l g o r i t h mo rm i n - d i s t a n c ea l g o r i t h mw e r eu s e dt oc l a s s i f y , a n dt h e c r o p p e r , f o r e s t , w a t e r sr e m o t ei n f o r m a t i o nw e r er e c o v e r e d f i n a l l y , ap r a c t i c a lp r o c e s s i n gs y s t e mo fr e m o t es y s t e mo fc h a n g z h o uc i t yw a s i n t r o d u c e d i tc o u l da u t o m a t i c a l l yr e c o v e rt h ec r o p p e rr e m o t ei n f o r m a t i o n ，s u c ha sr i c e ， r a p ea n dw h e a t ；c o u l do b t a i nt h ed i s t r i b u t i o nm a po ft h e r m a lf i e l d ；c o u l dr e c o v e rt h e d i s t r i b u t i o nm a po ff o r e s ta n dw a t e r , r e s p e c t i v e l y i na d d i t i o n ，i tc o u l dq u e r ya n dd e l i v e r t h ei n f o r m a t i o nw h i c hw a so b t a i n e db y 证es y s t e m k e yw o r d ：i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，f a s t l c a ，l m - f a s t l c a , r e m o t es e n s i n g i m a g ec l a s s i f y , n e u r a ln e t w o r k ，m i n d i s t a n c ea l g o r i t h m ，r e m o t es e n s i n gs y s t e m i i 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 讪壮| 日 博士论文 独立分蹩分析及其在遥感动态靛测中的应用研究 1 1 卫星遥感对地观测技术 1 绪论 所谓遥感( r e m o t es e n s i n g ，r s ) ，顾名思义，就是遥远地感知，即不直接接触有关 隧标物或现象而能收集信息，能对其进行分橱、解译和分类等的一种技术。人类通过 大量的实践，发现地球上每一个物体都在不停地吸收，发射信息和能量，其中有种 人类已经认识到的形式一电磁波，并且发现不同物体的电磁波特性是不同的。遥感就 是根据这个原理来探测地表物体对电磁波的反射和其发射的电磁波，从而提取这些物 体的信息，完成远距离识别物体。收集电磁波信息的装置( 如摄影机和扫描仪等) 叫做 传感器。遥感的实现还需要遥感平台，像卫星、飞机、气球等，它们的作用就是稳定 地运载传感器。当在地面试验时，还会用到地面如三角架这样简单的遥感平台。针对 不霹盼应用和谱段范围，人们已经研究出很多种传感器，探测和接收物体在可见光、 红外线和微波范围内的电磁辐射。传感器会把这些电磁辐射按照一定的规律转换为原 始图像。原始图像被地面站接收后，要经过系列复杂的处理，才能提供给不同的用 户使用【1 堋。 遥感卫星是人类开发的一种重要的应用卫星，诞生于2 0 世纪5 0 年代末、6 0 年 代初，是航天技术和电子计算机技术发展的产物。遥感卫星是卫星遥感( 又称航天遥 感或太空遥感、空间遥感) 活动的主体，包括气象卫星、资源( 陆地) 卫星、海洋卫星和 雷达卫星，统称环境卫星。卫星遥感霹应用于农业、水利、地质、海洋、环境监测、 城市规划等几十个领域，其广泛和巨大作用正在被越来越多的人所认识【5 1 。 卫星遥感技术有以下特点【纠l ： ( 1 ) 宏观效果好 卫星轨道高度最低距地面1 5 0 公里，最高可达3 万多公里，在太空俯视地球，能把 很大范围的地面展示在一张很小的遥感像片上( 如一张1 7 8 米长、o 2 米宽) 的国土普查 卫星像片，可覆盖4 0 0 多公里长、4 0 多公里宽的地面) ，通过这张卫星像片，可以获取 到该区的宏观概貌。 ( 2 ) 不受自然条件限制 我国国土辽阔，自然条件差异很大。高出、荒漠、戈壁、溜泽等分布广泛。其气 候环境差异大，地形复杂，人烟稀少，利用卫星遥感技术，就比较容易越过自然条件 1 绪论 博士论文 的障碍，取得预期目的。 ( 3 ) 快速经济 为编制溺规划和地区经济规划需要的国资源和环境资料，以往多由综合计划 等主管部门提供。现在，可利用卫星像片，进行快速同步调查，提取各自所需要的信 息。2 0 世纪8 0 年代开展的中国土地资源普查，使用5 6 4 幅美国陆地卫星像片，组织1 0 0 多位专业人员，在两年内完成了全国1 5 种土地类型调查，工作费用仅1 0 0 多万。大大 节省了时间、人力和物力。卫星遥感不仅可以快速、经济地编制医士规划，丽且能与 计算机结合，分析规划方案，为宏观决策服务。 ( 4 ) 动态决策 极轨气象卫星遥感每天可对同一个地区重复观测i 9 1 次，得到嚣张卫星像片：地球 资源卫星，每隔十几天可得到同一地区的卫星像片。根据不同时间、不同季节的卫星 像片，可收集某地区瓷源、环境变化和遭受破坏情况鹩信息，不仅对规划实施可进行 督促检查，还可以根据动态变化规律，修改、完善规划。 1 2 常州遥感研究项目背景 常州地区位于长江三角洲的经济发展的热点地区，工业、农业均突飞猛进的发展， 全市的g d p 总量位于全国城市发展的前列。经济开发区的发展更是雨后春笋般地飞 速前进。在经济的发展过程串，各种基磁设施，道路、桥梁、新的建筑、居民区均不 断涌现。 经济的快速发展对农业用缝和生态环境的合理规划发展提出了一系列的要求。采 用卫星遥感高技术手段对城市的发展进行动态监测，提供数据，可以将城市建设与发 展纳入合理的发展轨道。 利用我囡美国l a n d s a t 卫星t m 图像数据和中巴地球资源卫星( c b e r s 1 ) 数据， 实时提供常州一市二县的城市发展、农村主要农作物用地和多种生态环境信息，将会 对整个常娴地区的各项事业的发展产生非常巨大的作用。其研究内容包含以下五部 分。 1 2 1 农作物估产 本系统将给出常州地区一市四县的主要农作物用地，及主要农作物的估产信息。 遥感信息技术作为现代信息技术的翦沿技术，能够快速准确地收集农业资源和农 业生产的信息，结合地理信息系统和全球定位系统等其他现代高新技术，可以实现信 2 博士论文 独戥分量分析及其在遥感动态监测中的应用研究 怠收集和分析的定时、定量、定位，客观性强，不受入为干扰。美国、欧盟、澳大利 亚等国家和地区的遥感估产运行系统从上世纪8 0 年代开始陆续投入使用，为其粮食 生产、贸易及食物安全预警发挥了重要作用。我国运用这一技术齐震农业监测，将促 使农业决策科学化提高到新的水平，也将为农业生产提供高质量的服务。 目蒋在主要农作物面积变化监测方面，主要是利用我匡的资源一号、美圜陆地卫 星等资源类遥感卫星的图像量算作物面积，可以在作物收割前一个月完成种植面积变 化的计算，并获得作物种植面积当年比上年的变化量。 利用遥感技术、地理信息系统和全球定位系统等现代空间信息技术，结合地面调 查方法，建立一个满足决策部门需求的、可长期业务化运行的主要农作物遥感估产系 统，对于及时准确地掌握农业生产情况，科学指导农业生产、合理应对农业结构战略 性调整、优化农业种植结构均有十分重要的意义。 1 2 2 温场分布信息 对常州一市四县的城市温场分布、热岛效应等温度环境进行研究，并提供温场分 布的图件，确定城市的热岛所在。 在生态环境信息中，温场特 芷信息是很重要的信息。全市的温场分布直接影响着 城市规划，工农业生产等各个方面。城市中某些点温度足够高时，形成所谓热岛效应。 热岛效应是指城市发展到一定规模时，城区某些区域温度可能明显高予周边其它区域 的温度，形成类似高温弧岛现象。 根据温场分布提取可以了解南常髑地区的温度分布情况，对提高工农业生产，城 市环境评价和城市规划具有一定的指导意义。 1 2 3 生态环境信息 本系统将实时地提供常州一市四县的生态环境信息，包括林地面积和水域面积信 息。 环境与资源是遗球科学的一个重要鲶研究领域，也是以遥感技术为核心的对地观 测技术最具有应用潜力的领域之一：我国面临着日益严重的环境与资源问题，本世纪 将是我蓬环境与资源闻题最为尖锐的时麓，如果处理不好，必将影响到嚣民经济的持 续发展。利用卫星遥感对自然生态进行监测，了解森林覆盖状况以及分布，对环境的 保护，经济的可持续发展有着重要的意义。 3 1 绪论 博士论文 水资源短缺是世界上面临的一个严重问题，我国可更新的淡水资源总量居世界第 六位，但人均占有量低、且分布很不均衡，水资源并不丰富，过分利用地表和地下水， 造成湖泊萎缩，大面积地下水位下降，出现连片的下降漏斗、地谣下沉、地面沙化和 水质污染等问题，严重危及城市和农业的持续发展。利用遥感技术调查和监测河流、 湖泊等的交化，为有关部门进行水资源管理与治理规划提供科学依据。 1 2 4 网络信息 构建网络结构，通过本系统向常州地区和各有关部门发布城市、开发区等城市发 展信息，主要农作物用地和主要作物估产等农业信息，及林地、水面、温场等环境信 息，为政府决策提供依据。 1 3 独立分量分析( i c a ) 算法以及其研究进展 独立分量分析算法是解决盲信号分离的有效方法之一。按照以下基本假设条件来 解决盲信号分离问题的方法称为独立分量分析法【1 7 2 0 ： ( 1 ) 各源信号s j ( f ) 均为零均值、实随机变量，各源信号之间统计独立。如果 每个源信号s j ( ) 的概率密度函数( p r o b a b i l i t yd i s t r i b u t i o nf u n c t i o n ，p d f ) 为a ( s f ) ，则s ( t ) 的癣伪p ，( s ) ，可以用式( 1 1 ) 计算以( s ) ， p ，( s ) = i lp i ( s ，)( 1 1 ) ( 2 )源信号数m 与观测信号数n 相3 同，嚣j 1 m = n ，此时混合阵矗是一个确定盈 未知的n x n 维方阵。假设a 是满秩的，则逆矩阵a - 1 存在。 ( 3 ) 各个s ；( ) 的p d 绅只允许有一个具有高骜分布，如果具有高靳分布的源信 号个数超过一个，则各源信号是不可分的。d a r m o i s 定理严格证明了此结论。 ( 4 )各观测器引入的嗓声很小，可以忽略不计。 独立分量分析的思路为设置一个n n 的反混合矩阵w ，观测信号x ( t ) 经过w 变换 后得到n 维输出列向量y ( ，) = 陟。o ) ，y 2t ) , - - - , y ( f ) 】r ，即有： y 卿= w x ( t ) = w a s ( t )( 1 2 ) 如果通过学习得以实现w a _ i ( i 为n n 维单位阵) ，则y 舻s ( t ) ，从而获得了源信 号的信息，也即达到了源信号分离的罄标。由予没有任何的参照露标，w 的学习只熊 是自组织的。学习过程的第一步是建立一个以w 为变元的目标函数l ( 、聊，如果某个w 能使l 洲) 达到极大( 小) 值，该w 即为所需的解。第二步即为用一种有效的算法估计 w ，按照l 定义的不同和求w 的方法不同，可以构成各种不同的独立分量分析算 4 博士论文独立分量分析及其在遥感动态监测中的应用研究 法【3 2 1 。 独立分量分析算法作为一种新兴的信号处理方法，是从上个世纪八十年代后期随 着盲信号分离技术的发展而发展起来的，由于其对源信号所需要的先验知识极少和良 好的信号分离性能，在越来越广泛的领域获得成功的应用。在目前的独立分量分析算 法的研究进展中，最主要有以下几种趋势 3 3 8 4 - ( 1 ) 将独立分量分析算法应用到更 加广泛的领域；( 2 ) 对现有算法的性能、速度进行改进；( 3 ) 建立有噪的独立分量分析 模型；( 4 ) 非线性独立分量分析算法深入开展的研究。由于独立分量分析算法的性能 的卓越性，更多的研究者将其应用到各式各样的领域中，如在图像处理方面的部分应 用；在信号处理如通信信号、水声信号、地震信号、医学信号、语音信号、金融信号 等也有着很广泛的应用。对现有独立分量分析算法的改进一般集中在如何改善算法的 处理速度，特别在f a s t i c a 算法提出后，独立分量分析算法的效率大大提高，使得实 时处理信号成为可能，此后诸多学者在此基础上又做了进一步的改进。i c a 算法最初 提出时，考虑算法的简单性，没有考虑信号的噪音，即提出的是无噪独立分量分析模 型，在没有噪声或者噪音很小时有很好的应用，随着i c a 发展，无噪模型已经不能 满足要求了，因此对于可以处理信号噪音的独立分量分析算法模型i f a ( i n d e p e n d e n t f a c t o ra n a l y s i s ) 就随之而产生了，它结合了独立分量分析算法的分离效果好的特性和 因子分析( f a c t o ra n a l y s i s ，f a ) 的处理噪音性能 1 2 4 】。一般而言独立分量分析算法得出 的独立分量的数目小于等于观测信号的个数，但在观测信号数目有限的情况下如何获 取更多的需要信息呢? 因此一些学者通过o v e r c o m p l e t er e p r e s e n t a t i o n s 的方法，获取 超过观测信号数目的独立分量个数。独立分量分析算法的基本模型为求出混合矩阵的 逆矩阵即分离矩阵，显然是一个线性分离的过程，然而，在实际应用中的混合模型是 非线性的，使用线性独立分量分析算法进行处理就会存在着一定误差，特别是在实时 处理中产生的累积误差，甚至会导致算法的不可用，关于对i c a 的非线性模型的建 立当然也就是今后研究的一个重点了。 1 4 本文研究工作和内容安排 本文以常州地区农业用地和环境动态监测的卫星遥感系统研究项目为背景， 开展的研究工作主要有：对独立分量分析算法的快速算法f a s t l c a 的改进研究；独立 分量分析算法、自适应最小距离分类法和b p 神经网络在遥感图像自动分类中的应用 研究；将独立分量分析算法和遥感图像处理系统构建成一个可运行的系统。 本文内容安排如下： 第1 章简单介绍了本文的研究背景。首先阐述了卫星遥感对地观测技术的现状； 1 绪论 博士论_ 文 然后对独立分量分析算法以及其研究进展进行了摇述；最后介绍了本文的内容安排。 第2 章介绍了独立分量分析算法的改进算法：松弛因子改进f a s t l c a 算法。并将 改进算法和原始算法在模拟信号、语音数据和模拟图像混合数据进行图像分离实验， 证明了改进算法的有效性。 第3 章对卫星遥感图像的自动分类方法进行研究，并弓l 进独立分量分析算法应惩 到遥感图像分类中，从遥感图像的成像机理角度说明了独立分量分析算法在遥感图像 处理应用中的合理性和有效性，并在实验结果中得到了验证。 第4 章使用松弛因子改进f a s t l c a 算法进行农作物分类，同时与未使用f a s t l c a 算法和原始算法的效果进行比较，最后给出了结果图件。 第5 章使用松弛因子改进f a s t l c a 算法进行森林和水面分类，并和未使用f a s t l c a 算法和原始算法的效果进行比较，并最后给出结果图件。 第6 章通过遥感图像获取获得温场分布信息，了解城市的热岛分布情况。 第7 章总体介绍常州地区农业用地和环境动态监测的卫星遥感系统研究项目 的功能。 第8 章为结束语，总结全文并提出下一步研究工作展开的方向。 重。5 本文工作的创薪点 1 本文对独立分量分析算法进行研究，特剐是独立分量分折算法孛西前公认为 其快速算法的f a s t c a 进行研究，在用原始算法处理遥感图像的过程中发现算法不能 收敛，经过分析，发现是遥感图像的谱段之间的独立性不是很好，导致算法在迭代时 处于振荡状态，因此在对算法的核心迭代过程进行分析的基础上，研究了如何改进提 高迭代效率，进而提出了松弛改进的f a s t c a 算法，通过引进松弛因子，使得算法不 依赖于初始值。该方法在模拟混合信号分离、混合语音分离和模拟混合图像分离上 均能提高算法的收敛性能，并在其他图像处理应用方面应用也改善了算法的收敛性 能。本文对卫星遥感图像的成像机理进行了分柝，认为多光谱遥感图像的各令谱段图 是独立的地物谱段信息的一种随机混合的结果，应用独立分量分析算法对其进行分 离，在遥感翟像的谱段多到和地物类型近似的理想情况下，可以认为分离嵩来的结果 谱段对应于每种地物的光谱反映，在这种情况下只要找到地物对应的结果谱段，就可 得到对应地物的分类结果图像。当然由予卫星的技术问题，不可能有与地物类型同样 多的谱段，所以独立分量分析只能使得每个结果谱段里面尽量集中某些地物的信息。 虽然主成分分析能将得出的去相关性的结果谱段图像应用到分类中，明显的是独立分 量分析可以得出更好的分类结果。 6 博论文 鍪皇兰蔓里分橱及其旋遥感动态监测中的废用研究 2 。本文针对常州地区遥感系统的需求，将松弛改进独立分量分析算法和遥感图 像处理系统构建成一个可运行的系统。分析了遥感图像的特性，根据图像的性质选取 不同谱段的遥感图像进行独立分量分析处理，然后选用合适的分类方法，以获取主要 农作物产量，林缝，水面，温场分布等环境信惠。 7 2 松池因子改进f a s t l c a 算法博士论文 2 松弛因子改进f a s t i c a 算法 2 1 独立分量分析方法的提出 假想一下，在一个宴会厅里的不同位置放着两个麦克风，同时有两个人说话，两 个不同位置的麦克熙能同时记录下两个时闻信号，如果仅用这两个记录的信号来信计 出原始的两个语音信号，那将是一件非常有意义的事情，这也就是所谓的“鸡尾酒会” 问题。如何将这些混合的话语分别分辨出来成为了盲信号分离( b l i n ds i g n a ls e p a r a t i o n ， b s s ) 的第一批标准研究课题。独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 最 初就是用来解决“鸡尾酒”问题的。b e l l 和s e j n o w s k i ( 1 9 9 5 ) 对此问题的研究成为独立分 量分析算法发展史昀里程碑之一，其研究能分辨密王。个说话人的话语，显示了独立分 量分析算法的巨大潜力圈。 j u t t e n 和h e r a u l t ( 1 9 8 8 ) 首次提出了独立分量分析的思想【7 6 】，他们对该想法给出了 一种简单的描述：通过神经网络的方法，从一组观测信号x ( t ) = 【x 1 ( f ) ，x ：( f ) ，x ，p ) 】r 中得出相互统计独立的原始的，被未知矩阵混合的信号s q ) = i s , ) ，s ：) ，s ) 】r 的 估计值y ( t ) = 【y 1 0 ) ，y 2 ( t ) , - - - , y o ，而y 也是统计独立。j u t t e n 和h e r a u l t ( 1 9 9 1 ) 首创 将人工神经网络算法用于盲信号分离问题【2 0 j ，从而开启了一个新领域。虽然他们的学 习算法是痘发式的，并且没有明确指出需利用观测信号的高阶统计信息( 与二阶统计 信息比较而畜) ，但是其迭代计算公式已经具备独立分量分析算法的雏形。 e o 鼬n ( 1 9 9 4 ) 首次提出独立分量分析的概念网，并在文中系统阐述了薹泓的概念， 提出了基于高阶累积量构造算法的目标函数，通过该目标函数达到最大值来消除观测 信号中的高阶统计关联，从而得出一种是适应求分离矩降的方法，使褥在线进行盲信 号分离成为可能。他还指f l s i c a 是主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 的推 广。 b e l l 和s e j n o w s k i ( 1 9 9 5 ) 提出独立分量分析的信息最大化( i r 痢m 觚) 方法翮，认为神 经网络输出信号差熵的最大化即意味着输入与输出之间的交互信息的最大化，并且利 用随机梯度下降的学习方法实现了差熵的最大纯。该文献是i c a 发展史上的里程碑文 献，因为：( 1 ) 利用神经网络的非线性特性来消除观测信号中的高阶统计关联( 由于他 们采用了用s i g m o i d 丞数的神经元，因此只适用于具有超离斯概率分布蘧数的信号； ( 2 ) 使用信息最大化准则建立网标函数，从而将信息论的方法和i c a 结合了起来；( 3 ) 8 博士论文独立分量分析及其在遥感动态监测中的应用研究 给出了神经网络式的最优分离矩阵w 的迭代学习算法，成为后续各种算法的基础；( 4 ) 成功地对具有1 0 个说话人的“鸡尾酒”问题给出了很好的分离效果，用实例证明了i c a 是解决盲铸号分离阍题的简单、高效算法，也带动了独立分量分析的发展【翔。l e e ( 1 9 9 7 ) 等对b e l l 的算法进行了扩展，提出可以通过估计信号的峰度( k u r t o s i s ) 来区别超高斯和 亚高额信号，突破了信息最大豫算法不笺同时用于超离蓊翻亚高薪信号分离的局限 0 0 o h y v 荟, r i n e n 秘o j a ( 1 9 9 7 ) 提出了独立分量分析的基于固定点算法( f i x e d - p o i n t ) 的 f a s t l c a 算法f 3 l 3 习，该算法每次从混合信号中提取出一个独立分量出来，通过多次运 算将混合信号进行分离。f a s t l c a 算法是i c a 的种快速算法，它的目标函数是基予非 高额性度量的负熵。由于f a s t l c a 算法使用固定点算法，每次只提取一个分量，使得 算法的计算效率大为提高，是独立分量分析算法的快速算法。 2 2 独立分量分析算法定义 独立分量分析算法是近年才发展起来的一种新的统计方法。该方法的最初目的是 将观察到的数据进行某种线性分解，使其分解成统计独立的分量。j u 鼓e n 和h e r a u l t 最 早将独立分量分析定义为：i c a 是从线性混合信号里恢复出一些基本的源信号的方 法。 假定第i 个观测信号x i 是由n 个榻互独立的未知信号s j 线性混合丽成罄5 】： x j = a i l s l 十a i 2 s 2 + + a 加s n ，f = 1 ，2 ，m( 2 1 ) 假定每个观测变量x i 翻未知源变量s j 都是随机变量。不失一般性，设观测变量和源变 量为零均值变量，如果不是，可以通过减去样本的均值而获得。用矢量x 表示观测变 量【x l ，x 2 ，x 魏】r ，矢量s 表示源变量【s l ，s 2 ，s 拉】r ( 畦竭，a ( m 国表示混合矩阵箍 i 。 式( 2 1 ) 可用矢量一矩阵形式表示： x = a s ( 2 2 ) 也可以写成： j l x f 一a i s j f ( 2 3 ) i ，i l 统计模型式( 2 2 ) 称为独立分量分析( i c a ) 模型湖。该模型描述了观 舞| | 数据是如何由未 知源信号s 混合生成的。源信号s 是隐藏变量，不能直接观测到，而且混合矩阵a 也 是未失鼙。所有毙观测到数据是随机变量x ，所以独立分堑分析算法必须估计出混合矩 阵a 和s 。 7 独立分量分析的起始点基于一个非常简单的假设：源信号s 是相互统计独立的， 同时要求源信号为非高斯分布。显然，在基本模型中源信号分布是未知的( 如果分布 9 2 松弛因子改进f a s t i c a 算法博士论文 已知，阔题就已经解决了) 。在估计混合矩阵a 后，需要计算混合矩阵a 的逆，即分 离矩阵w = a 一，从而得到独立分量s 的估计y ，模型如图2 1 所示： y = w x( 2 碡) sx y 图2 1i c a 模型 由于有多种w 的可能值满足i c a 模型，即w 可以乘以某个常数或者数据行列可 以交换，这样得到的w 仍然满足i c a 模型。因此式( 2 2 ) 中的i c a 模型存在两个不确 定性因素：( 1 ) 不能确定独立分量的方差；0 ) 不熊确定结果独立分量的顺序。 2 3i c a 与p c a 的关系 与独立分量分析法类似的传统统计方法有主成分分析法( p c a ，p r i n c i p a l c o m p o n e ma n a l y s i s ) 等。虽然独立分量分析法同主成分分析法从定义到应用等方面有 相似点，但也有着它本身的特点。 主成分分析法是一种对数据进行分析的技术，最重要的应用是对原有数据进行简 化。正如它的名字，这种方法可以有效的找出数据中最“主要”的元素和结构，去除 噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优 点是简单，而且无参数限制，可以方便地应用到各个场合。因此应用极其广泛，被誉 为应用线形代数最价值的结果之一。在图像处理方面，主要用于图像压缩与重建。 独立分量分析可以认为是主分量分析在信号处理领域的延伸。在模式识别领域， 两者在处理具体问题的思路和方法上存在很多相似之处。其基本思想都是通过对样本 信息进行分解，获取样本的特征分量，并以特征分量为基向量构造特征空闻。虽然它 们基向量的物理意义不同：在p c a 中是将样本在基向量中投影，获得样本特征值； 面i c a 中是通过求样本在特征空闻的投影系数获得样本特征值。但最终它们都是在 特征空间，通过构造适当的分类器，实现模式分类识别【l 删。 独立分量分析与主成分分析的关系可简述如下【s o 】： 1 从定义看，独立分量分析算法可以看作是一种去冗余的方法。实际上，实验 结果表明对于某些传感器数据，传统i c a 算法确实是找池和存在的假定要去冗余的 神经生理学数据一致的方向。 1 0 博论文独立分量分析及其在遥感动态监测中的应用研究 2p c a 和i c a 之间的联系是很明显的。两种方法均是用来定义“感兴趣的”线 性表示的一般目标函数，然后最大( 最小) 化该函数。p c a 和i c a 的第二个联系是它们 都和因子分析有联系，尽管是在相反的假设情况下的联系：高斯数据和非高斯数据。 但是p c a 和i c a 之间的差异也和其相似处一样明显： p c a 和i c a 以不同的方式定义它们的目标函数，p c a 只是使用二阶统计信息， 而i c a 使用到高阶的统计信息。 p c a 侧重于降维而i c a 可能降维、升维或者维数不变。 p c a 得到的各分量之间是不相关的，而i c a 不仅实现了p c a 的去相关特性， 而且得到的分量还是相互独立的。 p c a 表示数据的分量之间的关系是正交的，而i c a 的目的是寻找一个线性但 不一定正交的坐标系来表示多维数据。 p c a 处理的信号为高斯信号，而i c a 处理的信号为非高斯信号。 当然，i c a 的计算复杂度比p c a 要高。 总之，i c a 得到的分量是尽可能互相独立的，而p c a 得到的分量则只是不相关但不 一定相互独立的。在许多实际应用中，如果用于降维或者压缩数据方面，应用p c a 较多，但是对于源信号是非高斯的，而且其相互关系也是非正交的情况下，i c a 较 p c a 更接近实际情况，具有更大的应用潜力。对于非正交数据的表现形式，p c a 和 i c a 所得到的结果是不同的，其表示示意图如图2 2 所示，从图可以看出，对于非正 交数据，i c a 较p c a 能获得更接近于真实数据的投影方向因此应当可以获得更好 的性能。而它们处理数据的性能比较则可从图2 3 比较直观地看出。 扩i 。疆；妒 o，o ： ? o ? 。 j c a 。 图z 2 p c a 与i c a 鼓据表现形式图 p c a 2 松弛因子改进f a s t c a 算法 博士* 女 撬薹 图2 3 p c a 与i c a 处理数据示意图 f a s t l c a 算法是芬兰赫尔辛基工业大学计算机及信息科学实验室h & 血e n 等人提 出并发展起来的1 3 1 3 6 o f a s t l c a 算法基于非高斯性最大化原理使用固定点( f i x e d d o l 叫 迭代理论寻找w t x 的非高斯性最大值，该算法采用牛顿迭代算法对观测变量x 的大量 采样点进行批处理，每次从观测信号中分离出一个独立分量，是独立分量分析的一种 快速算法。该算法的非高斯性度量函数为p ”： d ( y ) * e g ( y ) 卜e g ( v ) ) 2( 25 ) 为了减少算法需要估计的参数，简化算法的计算在运行f a s t l c a 算挂之前，需 要对数据进行预处理过程，即去均值和白化过程。 2 4 1f a s t i c a 预处理 f a s t l c a 预处理包括去均值和白化两个部分。对观测信号去均值是f a s t l c a 算法 最基本的预处理步骤，其处理过程是从观测信号中减去信号的均值向量m = i j ， 使得观测信号成为零均值变量。这意味着i c a 得到的源信号s 的估计信号y 也是零均 值的日”。该预处理只是为了简化f a s t l c a 算法并不意味着均值不能估计出来。用去 均值的数据估计分离矩阵w 后，可咀在源信号的估计值y 加上均值，此时所加的均 值矢量应为a m ，m 为在预处理过程中所减去的均值向量。 f a s t l c a 另外一个有用的预处理步骤是对观铡信号进行白化处理。在f a s t i c a 算 法实际计算之前，对观测信号进行白化处理，使得白化后的分量i 为非相关的，且为 单位方差，即满足式( 2 6 ) “ ： e i x ) = i ( 2 6 ) 常用标准独立成分分析算法进行白化处理。式( 27 ) 即给出了p c a 的白化算法f 3 i ： 博i 。独立分量分析及其在遥感动态监测中的应用研究 呈= e d q 理e f x 0 7 ) 式中d 一1 心= d i a g d ( i n , d 。- 1 1 2 ，町w 2 】是n n 的对角特征值矩阵，e 黧【c 1 ，c 2 ，c 。】是 m x n 的特征蠢量矩阵，文为观测信号的协方差矩阵e x x r 的第i 个特征值，辍为建 对应的特征向量。 很容易验证露 焱r ) = l 。由式x = a s 和式( 2 。7 ) 可得8 0 】： 董= e d 州2 e f a s = x s ( 2 8 ) e 簿r ) = 妇 s s r x r = 瓢r = i ( 2 9 ) 一般焉言，f a s t l c a 算法进行预处理蜃收敛更快，能获得更好的稳定性。但是当 混合矩阵a 为病态矩阵或者某些源信号较其它源信号的强度弱得多时，预处理可能 使f a s t i c a 很难实现，甚至不可麓实现分离。 2 4 2f a s t i c a 算法原理 基于非高斯性最大化的独立分量分析算法判断分量之间是否独立等价于求取各 分量之间的非高额性的最大值，即求e g ( w r x ) 的最大值。 对于非高斯性最大化方法中，f a s t i c a 算法利用基于式( 2 1 0 ) 的负熵表达式来估计 i c a 。首先为了找出第i 个独立分量，或求出y ；= w r x 的投影方向，使式( 2 1 0 ) 的值最 大化【3 5 j ： 如( w ) = 【e g ( w 1x ) ) 一露徊( v ) 撑 ( 2 1 0 ) 式中w 是m 维变量，由于v 是与y 具有相同均值和协方差矩阵的高斯变量，在预处 理后( v 是零均值、单位方差的高斯变量，可以忽略不计) ，式( 2 1 0 ) 的最大化问题可以 转化为e g ( w f x ) ) 的优化闯题。按照k u l m - t u c k e r 条件，e g ( w r x ) 的优化在约束条 件e ( w r x ) 2 ) = i l w l l 2 = 1 ( 约束条件通过白化处理获得) 下可以通过式( 2 1 1 ) 获得【3 5 】： e x g ( w 。砖 一触= 0( 2 1 1 ) 式中p 是常量，很容易通过胪e w j 鹋( w ；妁 获得，而w 0 是w 的初始值，函数甙) 为： g l ( u ) = t a n ( a , u ) 9 2 ( u ) = u e x p ( - a 2 u 2 2 )( 2 1 2 ) 9 3 如) = u 3 式中常量l 鱼l 盈，a 2 l 。用牛顿迭代法解式( 2 1 1 ) 。式( 2 1 1 ) 函数等式左边部分记为 尺w ) ，其雅可l t ( j a c o b i a n ) 矩阵j f ( w ) 为： j f ( w ) = e x x 2g 神? x ) 卜摩 ( 2 1 3 ) 为了简化求矩阵的逆，对