（应用数学专业论文）karhunenloeve变换及其在信号处理中的应用.pdf

k a r h u n e n - l o e v e 变换及其在信号处理中的应用 专业：应用数学 硕士生：周小玲 指导教师：王其如教授 摘要 数字信号处理是当前科学和工程最强有力的支持技术 之一。k a r h u n e n l o e v e 变换( k l t ) 是建立在统计特性基础 上的一种变换，其去相关性好，且为均方误差( m s e ) 意义 下的最佳变换。k l t 不仅在数据压缩技术中占有重要地位， 在语音增强等领域中也有重要应用。本文探讨了 k a r h u n e n l o e v e 变换的m a t l a b 实现，编写了k l 变换函 数，在实际应用中可以方便地调用它。同时，本文还介绍了 k l t 在信号处理( 主要是图像处理和语音增强) 中的应用。 关键词：k a r h u n e n l o e v e 变换，m a t l a b 实现，信号处理 t i t l e ：k a r h u n e n - l o e v et r a n s f o r ma n di t sa p p l i c a t i o n si n s i g n a lp r o c e s s i n g m a j o r ：a p p l i e dm a t h e m a t i c s n a m e ：z h o ux i a o l i n g s u p e r v i s o r ：p r o f w a n gq i r u a b s t r a c t d i g i t a ls i g n a lp r o c e s s i n g i so n eo ft h em o s tp o w e r f u l t e c h n i c a ls u p p o a si ns c i e n c ea n de n g i n e e r i n g k a r h u n e n - l o e v e t r a n s f o r m ( k l t ) i sat r a n s f o r mb a s e do ns t a t i s t i c a l l ys p e c i f i c p r o p e r t y k l ti s e i t h e rg o o de l i m i n a t i o no fc o r r e l a t i o no rt h e b e s tt r a n s f o r ma c c o r d i n gt ot h em e a ns q u a r ee r r o r ( m s e ) k l t h a sb e e n a p p l i e dc o m p r e h e n s i v e l y i nd a t a c o m p r e s s i o n t e c h n i q u ea n ds p e e c he n h a n c e m e n ta n ds oo n i nt h i sp a p e r , w e s t u d yt h em a t l a bi m p l e m e n t a t i o no fk l t a l s o ，w ed i s c u s s t h ea p p l i c a t i o n so fk l ti ns i g n a lp r o c e s s i n g ，m a i n l yi ni m a g e p r o c e s s i n ga n ds p e e c he n h a n c e m e n t k e y w o r d s ：k a r h u n e n - l o e v e t r a n s f o r m ， m a t l a b i m p l e m e n t a t i o n ，s i g n a lp r o c e s s i n g 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指 导下，独立进行研究工作所取得的成果。除文中已经注明引 用的内容外，本论文不包含任何其他个人或集体已经发表或 撰写过的作品成果。对本文的研究作出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的 法律结果由本人承担。 学位论文作者签名：内小掩 日期：2 0 0 7 年，立月日 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规 定，即：学校有权保留学位论文并向国家主管部门或其指定 机构送交论文的电子版和纸质版，有权将学位论文用于非赢 利目的的少量复制并允许论文进入学校图书馆、院系资料室 被查阅，有权将学位论文的内容编入有关数据库进行检索， 可以采用复印、缩印或其他方法保存学位论文。 学位论文作者签名：闷d 玲导师签名：歹廖砌 日期：2 。0 7 年1 月f 日日期：j 唧年，2 月 f 日 引言 1 - 选题意义 数字信号处理( d i g i t a ls i g n a lp r o c e s s i n g ，d s p ) 是当前科学和工程最强 有力的支持技术之一。它在语音处理、数字通信、医学影像、雷达、声纳、控 制、石油勘探以及金融等广泛领域中都有非常重要的应用。通常，数字信号处 理的过程为：输入x a ( ，) 一预滤一模数转换一信号处理一数模转换一平滑滤波 一输出儿( ，) 。 若数字信号处理过程中，数字信号向量经过正交变换后的协方差矩阵为一 对角矩阵，且具有最小均方误差，则该变换称为最佳变换，也称k a r h u n e n l o e v e 变换( k a r h u n e n l o e v et r a n s f o r m ，k l t ) 。k - l 变换( k l t ) 是建立在统计特性 基础上的一种变换，不仅具有去相关性好的突出优点，而且是均方误差( m e a n s q u a r ee r r o r ，m s e ) 意义下的最佳变换。它在数据压缩技术中占有重要地位， 并在语音增强、雷达、声纳等领域中有非常重要的应用。 2 主要研究工作 本人在研究和总结前人成果的基础上，主要做了以下几方面的工作： ( 1 ) 探讨了k l 变换的m a t l a b 实现，用m a t l a b 语言编写了k l 变换函数 程序，在实际运用需要时，可以方便地调用它。 由于数字信号处理是要研究如何用数学方法来处理信号的( 数字信号处理 的基本工具包括微积分、概率统计、随机过程、线性代数、数值分析、微分方 程和差分方程、小波分析等) ，它的实现就必须借助于计算机。因此，计算机的 硬件要求是研究数字信号处理的条件之一，而选择适当的软件是另一个重要条 件。十多年来，由m a t h w o r k s 公司开发的 i a t l a b 软件已经成为国际信号处理 界公认的数值计算和算法开发的标准平台。虽然它主要用来做非实时的计算， 但也可以对实时算法进行仿真，而且已经有m o t o r o l a 和t i 等公司用m a t l a b 语言作为开发其d s p 芯片的顶层软件。另外，m a t l a b 和其他语言的接口能够保 证它可以和各种各样的强大计算机软件相结合，发挥更大的作用。这是本人在 实现k l 变换时选择m a t l a b 语言的理由。 ( 2 ) 探讨了k l 变换在图像处理方面的应用，对图像信号数据进行k l 变 换，变换后的样值更独立和有序，便于在量化操作中有效压缩数据。 图像变换编码的主要目的是，将在空间域里描述的图像，在某种变换域罩 进行描述。一般来说，在变换域罩描述要比空间域罩简单，而且图像相关性明 显下降，这样变换本身就能实现编码率的压缩。若再对变换域图像进行某种处 理( 如频域中的二维滤波) 以及熵编码，则可进一步压缩图像的编码比特率。 对变换处理后的图像信号施以上述对应的逆变换，即可获得空阳j 域图像。 本人在应用k l 变换及其逆变换进行图像变换编码方面，作了一定的研究。 ( 3 ) 介绍了k l 变换在语音增强中的应用基于信噪k l t 方法的语音 增强。 语音增强的主要目的是提高带噪语音的语音可懂度。传统的谱减法的主要 缺陷是残余音乐噪音。而信号子空白j 法只能处理白色噪声，对于有色噪声，此 方法必须先进行噪音白化处理。基于信噪k l t 方法的的语音增强在处理有色噪 声方面，可以克服上述缺陷，获得较好效果。 3 本文概貌的说明 本文在第l 章中介绍了信号处理的基本概念和相关知识，着重于介绍数字 图像处理和语音信号处理两大领域的基础知识。 第2 章介绍了k l 变换的概念及数学背景，并对k l 变换的关键环节 矩阵的特征值分解作了较详细的阐述。 第3 章探讨了k l 变换的m a t l a b 实现，用m a t l a b 语言编写了k l 变 换函数的程序，在实际运用需要时，可以方便地调用它。 第4 章探讨了k l 变换在图像处理方面的应用，对图像信号数据进行k l 变换，变换后的样值更独立和有序，便于在量化操作中有效压缩数据。 第5 章介绍了k l 变换在语音增强中的应用基于信噪k l t 方法的语 音增强。该方法在处理有色噪声方面，与传统的谱减法、维纳滤波法以及信号 子空间法相比，都具有一定的优越性。 1 1 信号 1 1 1 信号的概念 第1 章信号处理 任何携带信息的物理量都可称为信号( s i g n a l ) 。现实世界中充满了信号， 其中有的是自然和物理信号，如语音、图像、地震信号、生理信号等；有的则 是人工产生信号经自然的作用和影响而形成的信号，如雷达信号、通信信号、 医用超声信号和机械探伤信号等。 不管是哪种形式的信号，它总是蕴含一定的信息。比如，语音信号含有声 频、声压、声强、纯音、复音和谐音等丰富的信息。又比如，人们通过研究地 震波信号，可以推断出震源、震级等信息。因此可以这样说，信号是信息的表 现形式，信息( i n f o r m a t i o n ) 则是信号的具体内容。 数学上，信号可以描述为一个或若干个自变量的函数或序列的形式。比如 一维信号厂( f ) ( 语音信号等) ，其中r 是抽象化了的自变量，它可以是时间，也 可以是其它物理量。又如黑白信号或地形图等，可用二维信号f ( x ，_ ，) 表示，它 们以x ，y 两维坐标为自变量。又比如三维信号中，彩色电视图像信号则既有三 个自变量，又有三个因变量( 如红、绿、蓝三色) 。 1 1 2 信号的分类 对于信号，主要可以从以下几个不同的角度进行分类。 ( 1 ) 确定性信号与随机信号 若信号可以由一确定的数学表达式所表示，或者信号的波形是惟一确定的， 这种信号就是确定性信号。反之，如果信号具有不可预知的不确定性，则称之 为随机信号或不确定信号。任意给定一个自变量的值，对确定性信号，可以惟 一确定其信号的取值；而对随机信号，其取值却是不确定的。 ( 2 ) 连续时日j 信号与离散时间信号 在自变量的整个连续区间内都有定义的信号是时间连续信号或连续时间信 号( c o n t i n u o u s t i m es i g n a l ) ，简称连续信号。其自变量连续取值，而其因变量 可以在一定动态范围内连续取值，也可不连续取值。 仅在一些离散的点上才有定义的信号称为时间离散信号或离散时间信号 ( d i s c r e t e - t i m es i g n a l ) ，简称离散信号。类似，离散信号的定义域是离散的， 而其值域可为连续也可为不连续。 一个离散时白j 信号，其信号源可能本来就是离散的，比如每天计算一次利 息。但在很多情况下，离散时白j 信号是由连续时间信号经过采样后得到。例如， 每秒测定十次目标坐标等。对连续信号f ( t ) ，每问隔f 取一个值，就可以得到 离散信号g ( n ) = f ( n t ，) ( r l z ) 。通常，离散信号也可称为序列。 ( 3 ) 模拟信号与数字信号 模拟信号( a n a l o gs i g n a l ) 是指定义域和值域均连续的信号。物理世界的 大多数信号属于这个范围。显然，模拟信号肯定是连续时间信号。 数字信号( d i g i t a ls i g n a l ) 是指定义域和值域均离散的信号，因此数字 信号必为离散时间信号。数字信号一般是通过把模拟信号经过模数转换 ( a n a l o g t o d i g i tc o n v e r s i o n ，a d c ) 后得到。例如，计算机中的声卡就是按 每秒8 0 0 0 个样点( 即采样率为8 k h z ) 或每秒1 6 0 0 0 个样点( 采样率为1 6 k h z ) 等的速率把声音电信号的取值转换为1 6 b 或8 b 宽度的整数。 1 2 信号处理 对于物理世界存在的信号，要增强或提取它的某些成分和特征，又要抑制 和消除它的一些有害成分，并把信号变成易于进行分析、识别、传输、交换与 存储的形式，为此而采取的措施都可以称为信号处理( s i g n a lp r o c e s s i n g ) 。 人们最早处理的信号局限于模拟信号。随着大规模集成电路和数字计算机 的飞速发展，信号处理的理论和方法也得到发展。于是可以先把模拟信号转换 为数字信号，然后利用高效的数字信号处理器或计算机对其进行数字信号处理。 4 数字信号处理( d i g i t a ls i g n a lp r o c e s s i n g ，d s p ) 是当前科学和工程最强有力 的支持技术之一。它在语音处理、图像处理、数字通信、医学影像、雷达、声 纳、控制、石油勘探以及金融等广泛领域中都有非常重要的应用。通常，数字 信号处理的过程可用图1 1 来表示。 图1 - 1 致字信号处理过程框图 数字信号处理与模拟信号处理相比，具有下述许多优点： ( 1 ) 高精度和高稳定性 模拟系统的精度是由元件决定，模拟元器件的精度很难达到1 0 4 以上。而 数字系统中，1 7 位字长就可以达到1 0 - 5 精度。数字系统二进制位数现已提高到 3 2 位、6 4 位，其精度之高是模拟系统无法相比的。在稳定性方面，模拟系统的 特性会随温度、湿度等环境条件而变，数字系统的特性一般不会随使用条件变 化而变化。尤其使用了超大规模集成的数字信号处理芯片，设备简化，更提高 了系统的稳定性和可靠性。 ( 2 ) 灵活性 数字信号处理系统( 简称数字系统) 的性能取决于系统参数，这些参数保 存在存储器中，很容易修改，因此系统的性能容易通过修改程序来调整。灵活 性还表现在数字系统可以分时复用，用一套数字系统可以分时处理几路信号。 ( 3 ) 易于大规模集成 由于数字部件具有高度规范性，便于大规模集成，大规模生产，对电路参 数要求不严，故产品成品率高，且具有体积小、重量轻、性能好等优势。尤其 在低频信号方面，如地震波分析，需要过滤几h z 至几十h z 的信号，用模拟系 统处理其电感器、电容器的数值，体积，重量非常大，且性能也达不到要求， 而数字信号处理系统就具有非常大的优越性。 ( 4 ) 便于开发和升级 同样的数字芯片，在通用的硬件平台上，可以开发不同软件来完成多种功 能，服务于多种系统。由于软件可以方便地传送、复制和升级，系统的性能可 以得到不断改善。 ( 5 ) 可获得高性能指标 例如，对信号进行频谱分析，模拟频谱仪在频率低端只能分析到l o h z 以上 频率，难于做到高分辨率( 也即足够窄的带宽) ；而在数字的谱分析中，己能做 到1 0 。h z 的谱分析。 又如，有限长冲激响应数字滤波器，则可实现准确的线性相位特性，这在 模拟系统中是很难达到的。 ( 6 ) 二维与多维处理 数字系统利用庞大的存储单元，可以存储一帧或数帧图像信号，实现二维 甚至多维信号包括二维或多维滤波，二维及多维谱分析等。 1 0 1 3 数字图像处理 在人类己进入信息化时代的今天，计算机在处理各种信息中发挥着重要的 作用。人类从自然界获取的信息中，视觉信息占7 5 8 5 。俗话说“百闻不如 见”，有些事物或场景，用语占很难描述清楚，然而，用一幅图像表示，可以 做到“一目了然”。比如，在家电、儿章玩具、各种仪器等的使用说明书中，一 般附有外观图、结构图和使用操作图等，方便使用者了解它的基本构造和基本 使用法。 人们可以通过各种观测系统从被观测的场景取得图像。包括：用照相机或 摄像机拍摄图像；用显微图像摄像系统观察微小细胞；利用安全监控系统观察 现场情形；各种医学仪器获得的医学图像等。 图像处理就是对图像信息进行加工处理，以满足人的视觉心理和实际应用 的要求。在图像处理领域，数字图像处理技术取得了飞速发展，并在国民经济 6 的各个领域得到广泛应用。 1 3 1 数字图像 用计算机进行图像处理的前提必须以数字格式存储，我们把以数字格式存 放的图像称之为数字图像。常见的各种照片、图片等均属模拟图像，要将模拟 图像数字化后生成数字图像，必须对连续图像函数进行空间和幅值数字化。空 间坐标( x ，) ，) 的数字化称为图像采样，而幅值数字化被称为厌度级量化。数字图 像一般有两种常用的表示方法。 ( 1 ) 灰度图像的阵列表示法 设连续函数g ( x ，y ) 按等间隔采样，排成m n 阵列，如式( 卜1 ) 所示 g = g ( 0 ，0 )g ( 0 ，1 ) g ( 0 ，n 一1 ) 9 0 ，o )9 0 ，1 ) 9 0 ，n 一1 ) g ( m l ，o ) g ( m l ，1 ) g ( m 一1 ，n 1 ) 图像阵列中每一个元素都是离散值，称为像素( p i x e l ) 。 ( 2 ) 二值图像表示法 在数字图像处理中，为减少计算量，常将灰度图像转为二值图像处理。所 谓二值图像就是只有黑白两个灰度级，即像素灰度非0 即1 ，如文字图片，其 数字图像可用每个像素为l b i t 的矩阵表示。 二值图像还可以采用一些特有的表示方法，如链码( 又称f r e e m a n 码) 适 合表示直线和曲线组成的二值图像，以及描述图像的边界轮廓。规定了链的起 点坐标和链的斜率序列，就可以完全描述曲线或直线。根据斜率分别是 4 5 。，6 0 。，9 0 。的倍数，可组成八向、六向、四向链码。常用链码是4 5 。的倍数组成 的八向链码。 1 3 2 数字图像处理的主要内容 不管图像处理是何种目的，都需要用计算机图像处理系统对图像数据进行 7 输入、加工和输出，因此数字图像处理研究的内容主要有以下几个方面： ( 1 ) 图像分割 图像分割是将图像中有意义的特征部分提取出来，包括图像中物体的边缘、 区域等。图像自动分割是图像处理中最困难的问题之一，将各种方法融合在一 起并使用知识来提高处理的可靠性有有效性是图像分割的研究热点。 ( 2 ) 图像分析 图像处理应用的目标几乎都涉及到图像分析，即对图像中的不同对象进行 分割和表示，从而有利于计算机对图像进行分类、识别和理解。 ( 3 ) 图像变换 由于图像阵列很大，直接在空间域中进行处理，涉及计算量很大。因此， 往往采用各种图像变换的方法，如傅立叶变换、哈尔变换、离散余弦变换、k l 变换等日j 接处理技术，将空间域的处理转换为变换域的处理，这不仅可减少计 算量，而且可获得更有效的处理。 ( 4 ) 图像压缩编码 数字图像的特点之一是数据量庞大。尽管现在有大容量的存贮器，但仍不 能满足对图像数据( 尤其是动态图像、高分辨率图像) 处理的需要，因此在实 际应用中图像压缩是必需的。如果数据不压缩，则在存储和传输中要占用很大 的容量和带宽，图像压缩的目的就是压缩数据量。压缩可以在不失真前提或在 允许的失真条件下进行。编码是压缩技术中最重要的方法，其目的是：减少数 据存储量；降低数据率以减少传输带宽；压缩信息量，便于特征提取，为后续 识别作准备。 ( 5 ) 图像增强和复原 图像增强和复原的目的是提高图像的质量，如去除噪声，提高图像的清晰 度等。图像增强不考虑图像降质的原因，突出图像中所感兴趣的部分。图像复 原要求对图像降质的原因有一定的了解，一般讲应根据降质过程建立“降质模 型”，再采用某种滤波方法，恢复和重建原来的图像。 1 4 语音信号处理 8 语音是人类交流信息的基本手段。随着信息科学技术的飞速发展，语音处 理技术在近年来取得了重大进展。语音信号处理技术的四大分支语音识别、 语音合成、语音编码和说话人识别都在蓬勃发展。 1 8 7 6 年贝尔( b e l l ) 发明电话，那是首次采用声电、电声转换技术实现远 距离语音通信。一百多年来，人们在语音信号处理及其应用研究中取得了一个 又一个重大突破。 语音处理技术能将输入的语音转化为语言代码，不仅大幅度降低了存储或 传输所用的数码率，而且还把连续的语音信号变成了有限符号集中的符号( 或 代码) ，容易被计算机( 或专用信息处理单元) 理解其含义。语音处理技术现已 广泛应用于声控、自动口语翻译等方面。 语音合成技术也在实际中有诸多应用。例如，交通中的自动报站、各种场 合的自动报时、自动告警、电话自动查询服务、文本较对中的语音提示等等。 说话人识别主要是在近2 0 年中发展起来的，现在已在安全加密、银行信息 电话查询服务以及公安机关的刑侦调查和法庭取证等方面有着重要应用。 语音编码技术的根本作用是使语音通信数字化，使通信技术的水平有了大 幅度的提高。在当今迅速发展、与人们生活密不可分的移动通信和个人通信中， 语音编码技术是其中非常重要的支撑技术。 1 4 1 语音产生的声学原理 声波是一种机械振动，它必须借助介质质点的振动而传播。要描述发音系 统中空气的振动，必须借助质量守恒、动量和能量守恒以及热力学、流体力学 的基本定律，建立一组偏微分方程，但是这种方程的表述和求解是极端困难的。 我们用图1 2 所示的最简单物理模型来解释语音产生过程。在这个图中， 声道被假定为一根不均匀的管子，其截面积是一个随纵向位置石和时间t 而变的 函数，即a ( x ，f ) 。对于波长大于声道长度的频率而言，我们可以假定它是沿管 轴方向传播的平面波。同时进一步简化假设，认为无论在流体中还是管道壁上 都不存在热传导和粘滞带来的损耗。根据以上假设，以及质量、能量和动量守 恒定律，p o r t n o f f 证明了管中的声波满足以下波动方程： 9 f 一瓦o p = p _ 丁a ( u l a ) 1 一丝：一1 曼螋+ 丝 【苏p c 2 o to t 其中p = p ( x ，f ) 是管内纵向x 位置处f 时刻的声压；“= u ( x ，t ) 是工位置处 t 时刻的体速度；p 是管内空气的密度：c 是声波传播速度；a = a ( x ，t ) 是管子 的面积函数。 图1 - 2 简化声道示意图 1 4 2 语音信号的时域处理方法 语音信号是随时间变化的一维信号，它所占据的频率范围可达1 0 k h z 以上， 但是对语音清晰度和可懂度有明显影响的成分，最高频率约为5 7 k h z 。语音信 号数字化之前，必须先进行防混叠滤波，滤除高于l 2 采样频率的信号成分或 噪声。目前，语音信号的数字化的质量是有保障的，语音处理技术几乎都是以 数字化的语音信号为基础进行处理的。 语音信号是一种典型的非平稳信号。但是，由于语音的形成过程与发音器 官的运动密切相关，这种物理运动比起声音振动速度来讲要缓慢得多，因此语 音信号通常可假定为短时平稳的，即在l o 2 0 m s 这样的时| 日j 段内，其频谱特性 和某些物理特征参量可近似地看作是不变的。这种时日j 依赖处理的基本手段， 一般是用一个长度有限的窗序列 w ( 朋) 截取一段语音信号来进行分析，并让这 个窗滑动以便分析任一时刻附近的信号，其一般式为： q o = r 【x ( 聊) 】w ( n m ) ( 1 2 ) 其中t 【】表示某种运算，扛( 历) j 为输入信号序列。几种常用的时间依赖处理 方法是： 当丌x ( 肌) 】为z 2 ( 卅) 时，q 相应于短时能量； 当丁【x ( 肌) 】= l s g n x ( m ) 一s g n x ( m 一1 ) 】| 时，q 就是短时平均过零率； 当兀工( m ) 】为x ( m ) x ( m + k ) 时，q 相应于短时自相关函数。 式( 1 2 ) 是眷积形式的，因此q 可以理解为离散信号研工( 胧) 】经过一个单 位冲激应为 w ( 肌) j 的f i r 低通滤波器产生的输出，如图1 - 3 所示。 。_ _ - i 线性滤波器 语音信号：一q 图1 3 短时分析原理的一般表示 这样的冲激响应所对应的滤波器具有低通特性，其带宽和频率响应取决于窗函 数的选择。用得最多的三种窗函数是矩形窗、汉明( h a m m i n g ) 窗和汉宁h a n n i n g 窗，其定义分别为： w = 忙巍虬。 、。，、i o 5 4 一o 4 6 c o s ( 2 n n ( l 一1 ) ) ，0 n s l 一1 q 眦啼w ( 卅) 2 1 o ，其他“ 。一 c ，汉宁窗w c ，挖，= 。5 ：5 ：一c 。s 2 翮篓乞。疗一1 其中三为窗长。 第2 章k - l 变换的概念及数学背景 2 1k a r h u n e n l o e v e 变换的概念 2 i 1 协方差矩阵 定义2 1 ：给定胛维随机向量x = ( x 1x 2 ，x 。) 7 ，若 = c o v ( x i ，x j ) = 联 x ，一e ( x ，) 似厂e ( x 川) ， f ，= 1 , 2 ，n 都存在，称矩阵b = b t ib 1 2 - - b h b 2 lb 2 2 一b 2 ” 吒。b 。：屯 为- 维随机向量x 的协方差矩阵。 其中“e ”是求期望，“c o v ”是求协方差。 显然，协方差矩阵口具有以下性质： 性质1b 为对称矩阵； 性质2 对任意实向量f = ( t i , f 2 ，t 。) ，有 t b t 720 ： 性质3 b 的对角线上的元素b ，为x ，的方差，即 匆，= d ( x ，) = 盯2 ( x i ) ，f _ 1 , 2 ，n ； 性质4b 的对应于不同特征值的特征向量必正交。 2 1 2k a r h u n e n l o e v e 变换 若数字信号处理过程中，数字信号向量经过正交变换后的协方差矩阵为一 2 对角矩阵，且具有最小均方误差，则该变换称为最佳变换，也称k a r h u n e n l o e v e 变换( k a r h u n e n l o e v et r a n s f o r m ，k l t ) 。k l 变换( k l t ) 是建立在统计特性 基础上的一种变换，不仅具有去相关性好的突出优点，而且是均方误差( m e a n s q u a r ee r r o r ，m s e ) 意义下的最佳变换。它在数据压缩技术中占有重要地位， 并在语音增强及雷达、声纳等领域中有非常重要的应用。 定义2 2 ：根据线性代数理论，可以求出协方差矩阵口的n 个特征值和相应 的特征向量。假定旯，( f = 1 , 2 ，n ) 是按递减顺序排列的特征值，其相应特征向 量为 i = ( u i l 甜加，u j h ) 7 则k l 变换矩阵彳定义为 a = 12 1 2 2 2 1u 2 2 。 u m“n 2 。 从而可得k l 变换的变换表达式为 y = a ( x m 。) ， 其中所，= e x 2 2 矩阵的特征值分解 ( 2 1 ) k l 变换的关键在于矩阵的特征值分解。矩阵的特征值分解有多种方法， 如j a c o b i 法和q r 法等。 2 2 1j a c o b i 方法 甩维随机实向量x 的协方差矩阵口为实对称阵，则其特征值分解可用j a c o b i 方法实现。该算法思想如下： 在n 阶对称矩阵且的非对角线元素中选取一个绝对值最大的元素，设为 b 胛。利用平面旋转变换矩阵月。( p ，q ，p ) 对口进行正交相似变换： b l = r 。( p ，q ，口) 7b r 。( j p ，q ，0 ) 其中珂x 玎矩阵r 。( p ，q ，0 ) 的元素为 2c o s ；= c o s l 9 ；r , q2 一s i n o ；= s i n o = l ，( f p ，g ) ；= 0 ，( f ，j p ，q ) 如果按下式确定角度0 t a l l 2 口：竺l d 一n q 4 则对称矩阵日经上述变换后，其非对角线元素的平方和将减少2 口乙- 对角 线元素的平方和将增加2 d 乙。由此可知，矩阵b 每经过一次变换，其非对角线 元素的平方和“向零接近了一步”。因此，只要反复进行上述变换，就可逐步将 b 变为对角矩阵。对角矩阵中对角线上元素五，( f = o ，l ，珂一1 ) 即为特征值，而 每一步中的平面旋转矩阵的乘积的第f 列即为与 对应的特征向量。 j a c o b i 方法适用于较低阶的实对称阵。而一般实矩阵的特征值通常用q r 方法来求。q r 方法是目前公认精度、稳定性和收敛性均较好的方法。 2 2 2q r 方法 ( 1 ) 用正交相似变换约化一般矩阵为上海森伯格阵 设爿= ( 口。) r ，下面来说明，可选择初等反射阵u ，u ：，u 一使爿经正 交相似变换约化为一个上海森伯格阵。 设 a = 口l ig 1 2 一 0 2 11 2 2 2 口 a 月2 。 = 其中c i = ( 口2 l ，口。i ) 7 r 川，不妨设q 0 ，否则这一步不需要约化。于是 可选择初等反射阵r i = i - i 1 i “i 使蜀q = 一q e l ，其中 4 、，卅钍 令 则 月 盯l = s g n ( a 2 i ) ( 口栌2 ， ，_ 2 “l 5 c l + o l e l ， 届= q ( 盯l + a 2 1 ) 叫蜀 ， 爿：= u 。彳u = 0 1 1 胄a ，彳拦i ) ? r 尺i 。 = 其中c 2 = ( d 乳，口密) 7 r ”2 ， a l l 口援 一q 口芝 0 口曼 口譬 口罢 盯量 口p 口辨 口野 0 口2a 。( 2 ，a m ( 2 爿 ；r ”2 州”2 1 。 第k 步约化：重复上述过程，设对a 已完成第1 步，第k l 步正交 相似变换，即有 a t = u k - ! a k _ l u t l ， 或a t = u i l u i a l u i u i i ， 且 伽 j 4 1 k 爿驯n k 其中q = ( 托扣，a 。( k ) 7 r ”，爿f 为k 阶上海森伯格阵，爿苎r ”协”n 。 式为 设0 ，于是可选择初等反射阵r i 使r k c t = 吼e l ，其中，r t 的计算公 、稚磋习色 彳o ，jl 兰 月 吼= s g n ( 口) ( ( 口譬) 2 ) 2 ， i = k + i “t = q + o k e i ， 风= o k ( 口：0 t + 吼) ， r = i - 所1 ： 令以：f 7 l 则 a t “= u i a u t 。 重复上述过程，则有 u n 一2 u 2 u l a u l u 2 u 月一2 = 口l i - 一q口墨 一o r 2 口岔 + 一盯月一2 口 ( n 一- 12 月) 一l 一o n 一1 m ( n - l = a 一1 总结上述讨论，有 算法2 1 ( 豪斯霍尔德约化矩阵为上海森伯格型)设a r “”，本算法 计算u j 彳u o = h ( 上海森伯格型) ，其中u o = u l u 2 乩一2 为初等反射阵的乘积。 卜， 对于k = 1 , 2 ，h 一2 ( a ) 计算初等反射阵r t 使 ( b ) 约化计算 ( c ) u o ( - - u o u i r q = - - o t e a 挑地m = 寸 ( 2 ) 上海森伯格阵的q r 算法 算法2 2 给定矩阵h 尺“”为上海森伯格阵，本算法计算 6 i l 一时= q 。r l( o r 分解) ( 取j = ) 【h 2 = r l o l + s l 且h 2 覆盖h ( h = h 1 ) 啊i 卜啊i s 对于七= 1 , 2 ，玎一1 ( a ) h k + 1 i + l 卜h k 十l ， “一j ( b ) 确定p ( k ，k + n 使 ( 三。：耽m ( c ) 左变换 对于，= i ，r l 卜( 0 。乏 ( 盘， 对于k = 1 , 2 ，疗一1 ( a ) 右变换 对于i = 1 , 2 ，t - i - 1 ) 卜( 囊刊 ( b ) h 从卜+ 5 h m 七一h 。n + s 如果用不同的位移= 磷，反复应用上述算法，就产生正交相似的上海森 伯格阵序列h l ，h 2 ，h - 。当 龆l 充分小时，可将它置为零，就得到h 的 近似待征值 a 碟：。再将矩阵降阶，对较小矩阵连续应用算法。 1 7 第3 章k - l 变换的m a t l a b 实现 m a t l a b 语言由c l e v em o l e r 教授首创，目前已成为国际上最流行的科学 与工程计算的软件工具。m a t l a b 语言不仅具有强大的数值计算和图形功能， 它的编程效率与可读性、可移植性要远远高于其他语言，而且，它和其他语占 的接口能够保证它可以和各种各样的强大计算机软件相结合，发挥更大的作用。 矩阵的特征值分解在m a t l a b 中很容易实现。因此，m a t l a b 是实现k l 变 换的有效工具。 3 1 编写m a t l a b 函数k i t ( ) 为在计算机上方便地实现k - l 变换，笔者编写了m a t l a b 函数胁( ) ，文 件名为肼f m 。 3 1 1 算法描述： 设k 维随机向量x 的第f 个采样值为 x = ( 工n ，x 1 2 c x * ) 7 ，i = 1 , 2 ，n x 备一，x 】r 则求向量x 的k l 变换的步骤如下 ( 1 ) 求向量x 的协方差矩阵c o v x a ，、 c o v x = e x e x ) 7 ( x e x ) ；喜x r x e x r + e 髀) 。 其中畔专缸 ( 2 ) 求协方苹销阵c o v x 的特秆佰分解 c o v x = u 人【， 其中u 为k l 变换矩阵； ( 3 ) 求得x 的k l t 的变换表达式 y = ( z 一三 ) u 。 3 1 2 函数程序( 文件名：k i t m ) ： f u n c t i o ny = k i c ( x ) x 是k 维向量x 的n 次采样值所组成的n k 矩阵； c o v x 为向量工的协方差矩阵； y = l d t ( x ) 将得出x 的k l 变换； k l t ( x ) 将显示k l 变换矩阵u ： d e s i g n e db yz h o u x i a o l i n g 2 8m a r c h ，2 0 0 6 i fn a r g o u t 1 ，e r r o r ( w r o n gn u m b e ro f o u t p u ta r g u m e n t s ) ；e n d i f n a r g i n 1 ，e r r o r ( 。w r o n gn u m b e r o f i n t p u ta r g u m e n t s ，；即d 【nk 】2 s i z e ( x ) ； m e a n x = m e a n ( x ) ； c o v x = x ”x n - m e a n x + m e a n x ； 【usv = s v d ( c o v x ) ； 【ud 】e i g ( c o v x ) ； f o ri = l ：k z ( ：，i ) 2 x ( ：，i ) 一m e a n x ( i ) ； e n d y i = z + u ： i f n a r g o u 户i ，y = y i ；e l s e i f n a r g o u l = o ，d i s p l a y ( u ) ；e n d 注：引导的是注释语句。 3 2 函数v a t ( ) 应用举例 例3 1 ：求4 x 3 矩阵【1 00 50 3 ；0 5o 30 2 ；0 3o 20 3 ；0 20 2o 3 】的k l 变 换。 程序及运行结果： 1 9 a = 【1 00 50 3 ；0 50 3o 2 ；0 30 2o 3 ；0 20 2o 3 】； y = k l t ( a ) y = 0 0 0 2 10 0 2 5 00 5 3 8 5 00 0 7 5 00 0 0 19 40 0 2 5 00 2 2 2 8 0 0 1 7 30 0 2 5 0 0 3 1 5 8 在m a t l a b 环境下，直接调用函数k i t ( ) 求向量或矩阵的k l 变换，就 显得非常方便和直接。不过，要注意的是，在不同问题中，协方差矩阵的生成 方法也不尽相同，如需要可对协方差矩阵的算法进行修改。另外，为适应不同 问题的精度要求，有时也有必要对算法进行修改。 2 0 第4 章k - l 变换在图像处理中的应用 4 1 图像变换编码概述 图像变换编码的基本概念是：将在空间域罩描述的图像，在某种变换域里 进行描述( 通常采用正交变换，如傅里叶变换、沃尔什变换、k l 变换、离散 余弦变换等) 。一般来说，在变换域里描述要比空间域里简单，而且图像相关性 明显下降，这样变换本身就能实现编码率的压缩。若再对变换域图像进行某种 处理( 如频域中的二维滤波) 以及熵编码，则可进一步压缩图像的编码比特率。 对变换处理后的图像信号施以上述对应的逆变换，即可获得空间域图像。变换 编码原理框图见图4 1 g ：输入数字图像g ：逆变换后的复原图像u ：正交变换 u ：与u 相应的逆变换 a ：变换域中的变换系数a ：量化后的变换系数 图4 1 变换编码原理框图 4 2k - l 变换在图像处理中的应用 对图像信号数据进行k - l 变换，变换后的样值更独立和有序，便于在量化 操作中有效压缩数据。另外，由于k l 变换具有去相关性好的优点，可用于图 2 l 像旋转。 4 2 1k - l 变换应用于图像旋转示例 图4 2 给出了一个利用k l 变换进行对角化的例子。如将图4 2 ( a ) 中的 物体看作一个2 维分布，则其上每个点都可用一个2 维向量表示为x = ( 口，6 ) 7 ， 其中口和b 是物体上该点对应而和x 2 轴的坐标值。进一步，可用表示物体上各 点的向量来计算物体的均值向量和协方差矩阵。 ( b ) 图4 2k l 变换应用于图像旋转示例 用k l 变换将x 映射到y 实际上是建立了一个新的坐标系，其坐标轴在协 方差矩阵的特征向量方向上( 如图4 2 ( b ) 所示) 。借助这个坐标系可看出，式 ( 2 1 ) 的变换是一个将物体主轴沿特征向量对齐的的旋转变换( 如图4 2 ( c ) 所示) ，这个变换将数据解除了相关。 4 2 2k l 变换应用于图像变换编码示例 在式( 2 1 ) 中，k l 变换矩阵a 的各行都是正交向量，a 一= a 7 ，所以 可得k l 反变换式： x = a 7 y + m j 设用对应协方差矩阵中前个( l x = i m r e a d ( f l o w e r s t i f ) ； f i g u r e ；创建图形窗 s u b p l o t ( 1 ，l ，1 ) ；创建子图 i m s h o w ( x ) ； ”t i t l e ( 1 原图。) ； x = i m 2 d o u b l e ( x ) ； 【rcn b a n d s = s i z e ( x ) ；保存形状 n p i x e l s - - r + c ： x = r e s h a p e ( x n p i x e l sn b a n d s ) ； y = k l t ( x ) ；调用m a t l a b 函数k l t ( ) k l t ( x ) 显示k l t 矩阵u u = 0 4 2 9 20 4 6 7 10 7 7 3l 0 8 1 8 3- 0 1 6 1 2 0 5 5 1 7 0 3 8 2 30 8 6 9 40 3 1 3 l u 2 【o 4 2 9 2 o 4 6 7 1 0 7 7 3 1 ；- 0 8 1 8 3 o 1 6 1 2 0 5 5 1 7 ；0 3 8 2 3 o 8 6 9 4 0 3 1 3 l 】； 反变换并重构图像 y 2 r e s h a p e ( y , n p i x e l sn b a n d s ) ； y i = y + u ： y 1 = r e s h a p e ( y 1 ，【rcn b a n d s ) ； s u b p l o t ( 1 ，l ，1 ) ； i m s h o w ( a b s ( y 1 ) ) ； t i t l e ( 重构图) ； 图4 3 ( a ) 和图4 3 ( b ) 分别为“原图”和“重构图”的图像： 图c a