（通信与信息系统专业论文）基于sofm神经网络的码书设计及其在图像传输中的应用.pdf

基于s o f m 神经网络的码书设计及其在图像传输中的应用中文摘要 基于s o f m 神经网络的码书设计及其在图像传输中的应用 中文摘要 随着计算机网络技术和通信技术的迅速发展，数字信号分析与处理技术也获得了 较大的改进，并广泛应用于通信、雷达和自动化领域。图像在数字信息的表达中扮演 了重要的角色，因此，为了提高传输效率和减少存储空间，必须采用有效的编码算法 来消除图像中所包含的各种冗余信息，并在给定失真条件下使用尽可能少的比特数来 描述图像。矢量量化作为一种有效的有损压缩技术，其突出优点就是压缩比大以及解 码算法简单，因此，它已经成为图像压缩编码的重要技术。 经典的矢量量化码书设计算法一l b g 算法，它是在给定初始码书的前提下采 用动态聚类的思想，在每次迭代中，轮流使用最近邻条件( 最佳划分) 与质心条件( 最 佳码书) ，直至收敛，并把收敛的码书作为最终码书。但它存在以下缺点：1 ) 对初始 码书很敏感；2 ) 该算法是一种批处理算法，每次迭代需要处理所有的训练数据，缺 乏一定的灵活性和自适应性。为了克服这些缺点，人们对码书设计进行了许多研究。 近年来，神经网络已成功应用到矢量量化码书设计中。 文中详细介绍了学习矢量量化，重点研究了自组织特征映射( s e l f - o r g a n i z i n g f e a t u r em a p s ，s o f m ) 神经网络的码书设计算法，并针对其缺陷提出了一种改进算 法，仿真实验证明了改进的码书设计算法在重构图像的信噪比和峰值信噪比等方面均 有一定的改善。 图像压缩编码技术可减少描述图像的数据量( 即比特数) ，以便节省图像传输、 处理时间和减少存储容量，但对数字图像进行编码时，由于其阵列很大，直接在空间 域中进行处理，涉及计算量很大。因此往往采用各种图像变换的方法，如傅里叶变换、 沃尔什变换、小波变换、离散余弦变换等，将空间域的处理转换为变换域处理。这样 不仅可减少计算量，而且可得到更有效的处理结果( 如傅里叶变换可在频域中进行数 字滤波处理) 。 文中介绍了离散余弦变换、离散沃尔什一哈达玛变换与小波变换的基本原理，在 这些原理的基础上，我们将由改进算法所获得的码书应用在v q + d p c m + d c t 的图像 l 基于s o f m 神经网络的码书设计及其在图像传输中的应用中文摘要 压缩编码方法上，最后给出仿真实验结果。 关键词：矢量量化，码书设计，自组织特征映射，神经网络，离散余弦变换 作者：周文文 指导教师：侯嘉 l i c o d e b o o kd e s i g nb a s e d0 1 1s o f mn e u r a ln e t w o r ka n di t sa p p l i c m i o no ni m a g et r a n s m i s s i o n a b s t r a c t c o d e b o o k d e s i g nb a s e d o ns o f mn e u r a ln e t w o r ka n d i t sa p p l i c a t i o no ni m a g et r a n s m i s s i o n a b s t r a c t w i t l lt h er a p i dd e v e l o p m e n to ft h ec o m p u t e rn e t w o r ka n dc o m m u n i c a t i o nt e c h n o l o g y , a n a l y z i n ga n dp r o c e s s i n gd i g i t a ls i g n a lh a v eb e e ng r e a t l yd e v e l o p e d ，i nt h ea r e a so f c o m m u n i c a t i o n s ，r a d a ra n da u t o m a t i o n t h ei m a g ep l a y sa ni m p o r t a n tr o l eo ne x p r e s s i o n o fi n f o r m a t i o n ，t h e r e f o r e ，i no r d e rt oi m p r o v et h ee f f i c i e n c yo ft r a n s m i s s i o na n dr e d u c et h e s p a c eo fs t o r a g e ，w em u s ta d o p te f f e c t i v ec o d i n ga l g o r i t h m st oe l i m i n a t er e d u n d a n t i n f o r m a t i o ni nt h ei m a g e ，a n du s et h en u m b e ro fb i t sa sl i t t l ea sp o s s i b l et od e s c r i b et h e i m a g eu n d e rt h ec o n d i t i o no fg i v e nd i s t o r t i o n s a sa n e f f e c t i v el o s s yc o m p r e s s i o n t e c h n i q u e s ，v e c t o rq u a n t i z a t i o nh a st h eh i g h l i g h t i n ga d v a n t a g e so fl a r g e rc o m p r e s s i o nr a t i o a n de a s yd e c o d i n ga l g o r i t h m ，t h e r e f o r e ，i th a sb e c o m ea l li m p o r t a n ti m a g ec o m p r e s s i o n c o d i n gt e c h n o l o g y c l a s s i cv e c t o rq u a n t i z a t i o nc o d e b o o k d e s i g na l g o r i t h m l b ga l g o r i t h m ，i ta d a p t s d y n a m i cc l u s t e r i n gi d e aa tt h eb a s i so fg i v e ni n i t i a lc o d e b o o k ，i ne a c hi t e r a t i o n ，i tu s e st h e c o n d i t i o n so fn e a r e s tn e i g h b o r ( t h eo p t i m a ld i v i s i o n ) a n dt h ec e n t e ro fm a s s ( t h eo p t i m a l c o d e b o o k ) i nt u r nu n t i lc o n v e r g e n c e ，t h e np u tt h ec o n v e r g e n tc o d e b o o ka s t h ef i n a l c o d e b o o k h o w e v e r , i th a st h ef o l l o w i n gd r a w b a c k s ：1 ) i ti sv e r ys e n s i t i v et oi n i t i a l c o d e b o o k ；2 ) t h ea l g o r i t h mi sab a t c ha l g o r i t h m ，e v e r yi t e r a t i o nh a st ob ed e a l e d 谢t ha l l t r a i n i n gd a t a , s oi t sl a c ko ff l e x i b i l i t ya n da d a p t a b i l i t y i no r d e rt oo v e r c o m et h e s e d r a w b a c k s ，p e o p l eh a v ed o n em a n yr e s e a r c h e so nc o d e b o o k sd e s i g n i nr e c e n ty e a r s ， n e u r a ln e t w o r kh a sb e e ns u c c e s s f u l l ya p p l i e dt ot h ev e c t o rq u a n t i z a t i o nc o d e b o o k sd e s i g n t h ea r t i c l ei n t r o d u c e sc o d e b o o k d e s i g na l g o r i t h ma b o u tt h el e a r n i n gv e c t o r q u a n t i z a t i o n ，f o c u so ns e l f - o r g a n i z i n gf e a t u r em a pn e u r a ln e t w o r kf o rc o d e b o o k d e s i g n a l g o r i t h m ，a n dp r o p o s e sa ni m p r o v e da l g o r i t h mf o ri t sd r a w b a c k s t h es i m u l a t i o n st e s t s i i i c o d e b o o kd e s i g nb a s e do ns o f mn e u r a ln e t w o r ka n di t sa p p l i c a t i o no ni m a g et r a n s m i s s i o na b s t r a c t p r o v et h a tt h ep e r f o r m a n c eo ft h ei m p r o v e dc o d e b o o k d e s i g na l g o r i t h mi sb e r e ri nt h e r e c o n s t r u c t e di m a g e ss i g n a lt on o i s er a t i oa n dp e a ks i g n a lt on o i s er a t i o t os a v ei m a g e st r a n s m i s s i o n ，p r o c e s s i n gt i m ea n dr e d u c es t o r a g e sc a p a c i t y , w eu s e i m a g ec o m p r e s s i o nc o d i n gt e c h n i q u e st or e d u c et h ed a t ad e s c r i b i n gt h ei m a g e ( i e ，b i t s ) ， w h e nw ec o d ed i g i t a li m a g e ，i tw i l lb ei n v o l v eal a r g ea m o u n to fc a l c u l a t i o n , i fi td i r e c t l y t r e a t e di nt h es p a c ed o m a i n s ow eo f t e nu s eav a r i e t yo fi m a g e t r a n s f o r mm e t h o d ss u c ha s f o u r i e rt r a n s f o r i l l ，w a l s ht r a n s f 0 1 t 1 1 ，w a v e l e tt r a n s f o r m ，d i s c r e t ec o s i n et r a n s f o r ma n ds oo n ， w h i c hw i l lc o n v e r tt h es p a t i a ld o m a i nt ot h et r a n s f o r md o m a i n i tw i l ln o to n l yc a nr e d u c e t h ec o m p u t a t i o n ，b u ta l s oc o u l dr e c e i v em o r ee f f e c t i v et r e a t m e n t ( s u c ha sf o u r i e rt r a n s f o r m h a n d l e sd i g i t a lf i l t e ri nf r e q u e n c yd o m a i n ) i nt h i s p a p e r , t h e b a s i c p r i n c i p l e s o fd i s c r e t ec o s i n et r a n s f o r m ，d i s c r e t e w a l s h - h a d a m a r dt r a n s f o r ma n dw a v e l e tt r a n s f o r ma r ei n t r o d u c e d ，a tt h eb a s i so ft h e s e s t u d i e s ，w ew i l la p p l yc o d e b o o ko b t a i n e db yi m p r o v e da l g o r i t h mt ot h ei m a g ec o m p r e s s i o n e n c o d i n gm e t h o do fv q + d p c m + d c t f i n a l l y , w e l i s tt h es i m u l a t i o n sr e s u l t s k e y w o r d s ：v e c t o rq u a n t i z a t i o n ，c o d e b o o kd e s i g n , s e l f - o r g a n i z i n gf e a t u r em a p s ， n e u r a ln e t w o r k , d i s c r e t ec o s i n et r a n s f o l r n l i v w r i t t e n b y ：w e n w e nz h o u s u p e r v i s e db y ：j i ah o u 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律 责任。 研究生签名：f 塑耋銎 e l 期：盈：查：塑 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：! 蛩皇至日期：西：墨：望 导师签名： 基于s o f m 神经网络的码书设计及其在图像传输中的应用 第l 章绪论 1 1 课题研究背景 第1 章绪论 随着计算机和大规模集成电路的飞速发展，数字图像进入了我们的日常生活，每 年通过i n t e r n e t 网络传输的数据量成倍增长，其中，大部分数据是图像。数字图像 在通讯信息方面的作用是勿庸置疑的，相对于文本，存储和传输图像的代价要大得多， 因为图像数据库比文本需要更多的存储空间。c d 、d v d 和u 盘的容量每年都在逐渐增 加以适应存储大量数据的需求。 图像包含的大量数据一般是高度相关的，而且含有大量的冗余信息，图像压缩编 码的目的是为了消除各种冗余，并在给定的畸变条件下使用尽量少的比特数来表示和 重建图像，以便更好地存储和传输图像，减少给定通信系统的带宽和存储空间，简单 的说，数据压缩就是为了在现有系统特性( 如频带限s q ) 条件下满足工作要求。虽然 在一些情况下现有的带宽减少了对数据压缩的需要，仍有很多原因表明了压缩的重要 性，因为使用数据压缩可以减少每一个数据通道所需带宽，就可使更多的数据通道多 路复用于同一个宽带系统上。 在通过研究各种数据压缩算法并将它们应用到实际中去的过程中，人们意识到数 据压缩是上个世纪中后期人类科技飞速发展和进步的一个不可或缺的条件，特别是在 计算机日益广泛地被各行各业所采用并作为必不可少的工具以及互联网迅速普及的 情况下，数据压缩的意义更加不容忽视。归纳起来可以列为下面几点： ( 1 ) 较快地传输各种信源( 降低信道占用费用) 时间域的压缩； ( 2 ) 在现有通信干线上开通更多的并行业务( 如电视、传真、电话、可视图文 等) 频率域的压缩； ( 3 ) 降低发射机功率能量域的压缩； ( 4 ) 紧缩数据存储容量( 降低存储费用) 空间域的压缩。 矢量量化( v q ：v e c t o rq u a n t i z a t i o n ) 1 1 - 4 1 在量化时用输出组集合( 码书) 中最匹 配的一组输出值来代替一组输入采样值( 输入矢量) ，其作为数据压缩领域的一个重 基于s o f m 神经网络的码书设计及其在图像传输中的应用第l 章绪论 要分支，以其压缩比高、解码速度快、可以降低传输位率和存储空间、算法简单等良 好的特性，在语音和图像压缩等领域都已成为有力的手段和方法。 矢量量化图像压缩技术的推广应用领域非常广，首先，矢量量化图像图像压缩技 术可以用于卫星遥感照片、航天飞机遥感图像的压缩编码，甚至可以应用到外星图像 资料实时传输系统和气象部门的图像传输系统中，从而推动航天事业的发展。其次， 矢量量化图像压缩技术在雷达图像处理、军用地图的存储与自动检索以及未来信息战 争的图像传输方面的应用将提高军事信息处理的效率从而推动军事科技现代化。此 外，数字电视技术和d v d 的视频压缩技术已经在世界范围内展开研究，矢量量化高 压缩比的特点将使它成为首先的编解码技术之一，从而推动多媒体产业的迅速发展。 1 2 矢量量化码书设计的发展历程 1 9 4 8 年，香农( s h a n o n ) 提出了速率失真理论，该理论为矢量量化的发展奠定了基 础【5 1 。1 9 5 6 年，s t e i n h a u s 第一次系统地阐述了最佳矢量量化问题【4 1 。矢量量化是分组 量化的一种，受到广泛注意和使用的分组量化方法是由黄和舒尔泰斯于1 9 6 3 年【6 】首 先提出来的，他们指出分组量化的实现方法：首先与正交矩阵相乘将相关的采样变换 为不相关的采样，然后在每组固定的总比特数的限制下，将不同的量化比特数分配给 每个不相关的采样值。1 9 7 9 年，肖格尔在其论文【_ 7 】中详细阐述了分组量化的一般理论， 他将贝内特早年关于将均方误差准则的量化模型推广到分组量化中。将矢量量化推向 研究高潮和推广应用应归功于1 9 8 0 年由l i n d e ，b u z o 和g r a y 提出来的一种有效l b g 矢量量化码书设计算法【3 】，这是矢量量化技术研究的里程碑，已成为矢量量化的经典 文献。从那以后人们对矢量量化的理论和应用展开全面研究，包括以下四点1 针对 初始码书选择的改进方法，由于l b g 算法的初始码书最初选取采用的是随机选择法 或分裂法，优化效果不好。为了获得更好的初始码书，文献【8 j 提出了一种方差分类算 法，3 硪 9 e q u i t s 提出成对最近邻( p n n ：p a i r w i s en e a r e s tn e i g h b o r ) 算法，文献【1 0 j 提 出分离平均法等改进算法。再者为了提高码书性能与加快码书设计速度，文献【ll j 提出 一种最大下降( m d ：m a x i m u md e s c e n t ) 算法。这种算法开始将整个训练矢量集当作一 类，该类被最优分割超平面分成两个新类，这两个类又根据最大失真下降准则进一步 分成三个新类，继续用最大失真下降准则直到获得所要求数目的类。同l b g 算法相 2 基于s o f m 神经网络的码书设计及其在图像传输中的应用第1 章绪论 比，该算法提高了码书性能，同时又减少了计算时间。文献【1 2 】提出了基于快速胞腔划 分的改进分裂法矢量量化码书设计算法。该算法采用特征变量对码书进行合理排序， 使得码书在结构上具有一定的秩序，利用这种秩序进行快速胞腔划分来减少分裂法码 书设计中庞大的运算量。2 基于神经网络的码书设计算法，近年来，神经网络已经成 功地应用到矢量量化码书设计算法中。文献i l3 j 提出了一种简单的学习矢量量化算法 ( l v q ：l e a r n i n gv e c t o rq u a n t i z a t i o n ) ，但为了解决l v q 算法的码字欠利用问题，文献 【1 4 】提出了利用自组织特征映射神经网络，通过邻域作用以争取更多的码字得以更新， 即获胜神经元邻域内的各码字一同得到更新；a h a l t 等提出一种频域敏感竞争学习算 法d 5 , 1 6 1 ( f s c l f r e q u e n c y s e n s i t i v ec o m p e t i t i v el e a r n i n g ) ，该算法通过在失真测度计 算中引入每个神经元对应的获胜频率因子，使各神经元得到公平等机率的利用； y a i r 等提出一种软竞争学习算法【1 7 ( s c l ：s o f tc o m p e t i t i v el e a r n i n g ) ；文献提出失 真均衡竞争学习算法( d e c l - d i s t o r t i o ne q u a l i z e d c o m p e t i t i v el e a r n i n g ) ；文献【1 9 】提出 部分失真均衡竞争学习算法( p d u c l ：p a r t i a ld i s t o r t i o nu n i f o r mc o m p e t i t i v el e a r n i n g ) 。 此外，文献【2 0 ，2 1 1 提出基于n e u r a l g a s 的码书设计算法。3 基于全局优化技术的码 书设计算法，码书设计的目标是找到训练矢量的最佳分类。给定m 个训练矢量和码 书大小，码书设计的目的是寻求把m 个训练矢量分成类的最佳方案。若m 和 较大，传统的方法难以在众多的分类中找到全局最优的分类。基于此，学者们采用了 各种各样的全局优化技术2 2 乏5 1 进行码书设计以改善码书性能，文献1 2 6 1 将模拟退火算 法运用到矢量量化码书设计中，文献【2 7 】将随机松弛算法应用到码书设计中，文献【2 8 ，2 9 】 将遗传算法用于码书设计中，文献【3 0 】首先将禁止搜索算法应用到码书设计中，结果表 明这些全局优化码书设计算法性能比l b g 算法高，但普遍增加了计算时间。4 基于 模糊聚类理论的码书设计算法，上面所述的各种矢量量化码书设计算法是将每个训练 矢量根据一定的准则分配给单个聚类( 硬判决) ，而忽略了训练矢量属于其它聚类的 可能性，导致算法局部最优或强烈依赖于初始码书的选择。基于此，学者们将模糊聚 类理论3 1 ，3 2 1 应用到码书设计算法中，如：文献【3 3 】中提出模糊c 均值( f c m ：f u z z y c m e a n s ) 算法；文献f 3 4 将模糊逻辑引入到矢量量化的码书设计中，文献1 3 5 提出模糊 k 邻域算法( f f k n ) ，文献1 3 6 】在f f k n 的基本原理下，以每个训练矢量为中心形成胞 腔，并给出一种新的码书更新公式和隶属度函数，该算法运算速度快，码书性能高。 基于s o f m 神经网络的码书设计及其在图像传输中的应用第1 章绪论 1 3 本文主要研究内容 1 3 1 研究思路 图1 1 是矢量量化编解码示意图，矢量量化的编码过程根据一定的失真测度在码 书中搜索出与输入矢量最匹配的码字。传输时仅传输该码字的索引。矢量量化的解码 过程是根据接收到的码字索引在码书中查找该码字，并将它作为输入矢量的重构矢 量。而且由图可知对图像进行编码和解码时，码书的选取至关重要，码书性能的好坏 直接影响整体矢量量化的性能。本文的重点研究内容就是是码书设计这一模块，使重 构图像的失真进一步降低，提高编码增益。 图1 1 矢量量化编解码示意图 1 3 2 研究内容及章节安排 本文在阅读大量相关文献，了解矢量量化发展现状的情况下，重点研究了基于自 组织特征映射神经网络的矢量量化码书设计算法和矢量量化在压缩编码上的应用。全 文的主要研究内容如下： 第1 章介绍了课题的研究背景和意义，并简单讲述了本文研究的目的以及主要内 容。 第2 章全面系统地综述了矢量量化的理论基础，然后给出了矢量量化的定义，介 绍了矢量量化的关键技术和矢量量化在图像编码当中的应用等基础性知识，为切入课 题做准备。 第3 章首先详细介绍了经典码书设计算法一l b g 算法，并分析了其优缺点， 4 基于s o f m 神经网络的码书设计及其在图像传输中的应用第l 章绪论 由此引入神经网络码书设计算法，重点研究了基于自组织特征映射神经网络码书设计 的算法，针对其存在的缺点，提出了改进的算法，并在仿真实验中，证明了改进算法 在峰值信噪方面的有效性。 第4 章介绍了几种常见的变换编码的方法，重点讲述了离散余弦变换与小波变 换。为下一章的图像压缩编码打下基础。 第5 章将离散余弦变换应用在v q + d p c m + d c t 的图像压缩编码方法上，并给出 了仿真实验结果。 基于s o f m 神经网络的码书设计及其在图像传输中的应用第2 章矢量量化 2 1 矢量量化的理论基础 第2 章矢量量化 矢量量化的理论基础【5 】是香农速率失真理论，1 9 5 9 年香农定义了速率失真函数 r ( d ) ，并证明只要r ( d ) 不超过信道容量就能保证接收端的失真不超过给定阈值d 。对 于幅值离散的信源，在给定失真d 的条件下，我们有必要在规定失真函数d ( a ，b ，) 的 基础上导出一个能在平均意义上衡量信道每传递一个符号所引起的平均失真的大小 的量，显然这个量应该是失真函数d ( 口，6 ，) 在信源z = 口。) 和信宿y = 6 ，) 的联合概 率空间p ( x y ) ： p ( a ，6 ，) ) ( i = 1 , 2 ，r ；j = 1 , 2 ，s ) 中的统计平均值，即 万= d ( 口明b ) p ( 口，b j ) i * lj = l = d ( a ，b j ) p ( a ，) p ( b s a ，) i = lj = l ( 2 一1 ) 我们将这个统计平均值d 称为由信源x 和信道p ( y x ) 组成的通信系统的平均值 r ( d ) 定义如下： r ( d ) - p ( 乃r a 悱i n 口( x ，】，) ) ( 2 - 2 ) 其中i ( x ，y ) 为信道每传递一个符号所传输的平均信息量，且 因此 舭阶圭i = l 喜脚) l o g 掣1 1i，= lu ， b o ： p ( b j a ，) ，d d ) 邶问i n 莓莩删删x ) l o g 等 y上、工， 6 ( 2 - 3 ) ( 2 4 ) ( 2 - 5 ) 基于s o f m 神经网络的码书设计及其在图像传输中的应用第2 章矢量量化 且上式满足 尸( x ) p ( 】，x ) d ( x ，y ) d ( 2 6 ) xy 因此根据香农的这一理论，可找到一个最小的信源速率使得系统发送端到接收端 的平均失真不超过给定的失真阈值，这正是压缩编码系统所要做的事。 2 2 矢量量化的基本理论 量化定义为以离散值估计连续值的过程。在标量量化里，标量输入信号被估计成 从一个预先定义的集合中选出的一个标量离散值。矢量量化是标量量化在多维空间的 扩展。在多维空间里，几个采样值被预定义集合中的一个矢量离散值共同估计。矢量 量化定义如下【2 】： 定义2 1 维数为k ，尺寸为的矢量量化器q 定义为从k 维欧几里得空间足到 一个包含个输出( 重构) 点的有限集合c 的映射，即q ：g jc ，其中 c = 。，y ，j ，- 1 ，j ，r ，i f 三 0 ，l ，一1 ) 。集合c 称作码书，其尺寸( 大小) 为。码书的个元素称作码字或码矢量，它们均为置中的矢量。 输入矢量空间足通过尺寸为的量化器q 后，被分割成个互不重叠的区域或 胞腔，这个过程称为输入矢量空间的划分。对于i f ，胞腔足，定义为 r j = k g 。：q ( x ) = y ， ( 2 7 ) 根据上述胞腔的定义，容易证明 u r ，= r ，且对j ，有rn 月，= o( 2 - 8 ) 从上述的定义我们可知矢量量化基本上是一种聚类方法，它把相似的矢量分成一 类。以图像为例，就是整个图像的每个块都被分组，从图像数据中提取非重叠的大小 n x n 的方块，每个方块像素按行排列成矢量。矢量量化可以看作是特征映射，它把 输入矢量映射成一系列码字，类似的矢量映射为码书中的同一类码矢量或码字，最匹 配的码字根据最小失真准则确定，在选择了最小失真码字之后，传输码字索引到信道。 在解码端，通过该索引将码书中相应的码字取出，就可得到原始图像的重构图像。 基于s o f m 神经网络的码书设计及其在图像传输中的应用 第2 章矢量量化 2 3 矢量量化的相关概念 2 3 1 编码速率和比特率 矢量量化器的分辨率、编码速率( 编码率) 或简称码速率( 位率) 定义为每个输 入采样所需要的平均比特数。对于码书大小为，矢量维数为k 的矢量量化器，每个 码字索引所占的比特数为l 0 9 2 n ，所以每一维分量所占的比特数即编码速率为 ，= ( 1 0 9 ，u ) k ，也称为分辨率。在数字通信系统中，如果系统的输入信号是一个矢 量序列，即系统处理的基本单位是矢量而不是标量，则每个输入矢量所需的比特数称 为比特率或称传输率r ( 比特矢量) ，它可由r = k r 给出，其中，为分辨率，k 为矢量 维数。人们之所以要对分辨率和比特率进行区分，是因为在矢量量化的一些重要的应 用中，输入矢量表达的是组参数而非信号的一组采样值。 2 3 2 失真测度 矢量量化编码过程实质上是输入矢量与码字的匹配过程。模式匹配的一个关键问 题是矢量间差异的度量。失真测度反映了以码字代替输入矢量所付出的代价。这种代 价的统计平均值t d = e d ( x ，q ( x ) ) 】( 2 - 9 ) 式中研】表示求数学期望值。 描述了矢量量化器的工作特性或编码系统的性能。失真测度d ( x ，力表示输入矢量x 被 重构矢量y 量化后引起的非负失真，假设x 和y 是k 维欧几里德空间的矢量，常用的 失真测度有： 1 ) 平方误差失真测度 d ( x ，y ) = o x y l l 2 ： 主i ：( x i - y i ) 2 ( 2 1 。) f = o 式中| 1 1 1 表范数，i = o ，1 ，2 ，k - 1 。 8 基于s o f m 神经网络的码书设计及其在图像传输中的应用第2 章矢量量化 2 ) 加权平方误差测度 d ( x ，y ) ：( x y ) t w ( x j ，) 式中，丁表示矩阵转置符号；矽表示正定加权矩阵。 3 ) 绝对误差失真测度 ( 2 1 1 ) k - 1 a ( x ，y ) = i x - y i = e i x ，一m l ，i = 0 , 1 2 。k - 1 ( 2 1 2 ) 绝对误差距离测度的计算不需乘法，硬件实现较容易，在矢量量化的编码处理器 中经常用到。平方误差测度采用欧几里德距离作为距离测度，因其几何意义明确，在 快速码字搜索问题中常用。为避免开平方，在码字匹配计算中通常采用欧几里德测度 的平方代替实际的欧几里德测度，因为这样不影响匹配效果。 2 3 3 复杂度 复杂度有两种：时间复杂度和空间复杂度2 ，4 】。时间复杂度定义为量化每个输入 矢量所需要的计算量，包括加减法、乘除法和比较等。空间复杂度定义为量化器所需 的存储容量。 如果码书大小为，矢量维数为k ，若采用平方误差测度，则每量化一个输入矢 量所需的时间复杂度b 为 b = ( k u ) 次乘法+ 【( 2 七一1 ) n 】次加法+ ( 一1 ) 次比较) 输入矢量 ( 2 - 1 3 ) 时间复杂度b 也可用编码速率，和矢量维数k 表示为： b = ( k 2 打) 次乘法+ 【( 2 七一1 ) 2 打】次加法+ ( 2 打一1 ) 次比较 输入矢量 ( 2 1 4 ) 从上式可以看出，基本的全搜索矢量量化器的时间复杂度随维数k 和量化器速率，的 增加呈指数规律增加，所以它的时间复杂度比较大。 虽然目前r o m 的容量不断增加，而价格也不断下降，但是如果存储量很大，则 存储时间将不能忽略，所以空间复杂度也是一个需要重视的问题。基本的穷尽搜索矢 量量化器的空间复杂度可以用下式表示： = k n ( 2 - i s ) 9 基于s o f m 神经网络的码书设计及其在图像传输中的应用第2 章矢量量化 2 3 4 矢量量化性能衡量指标 矢量量化技术应用于图像压缩时所采用的性能衡量指标一般来说包括客观失真 测度和主观度量指标两类。在客观指标里，经常用均方误差( m s e ：m e a ns q u a r e de r r o r ) 来描述矢量量化编码失真。此外，信噪比( s n r ：s i g n a ln o i s er a t i o ) 和峰值信噪比 ( p s n r - p e a ks i g n a ln o i s er a t i o ) 也常用来描述矢量量化编码失真。假如一幅m n 的 三级灰度图像，原始图像像素为x 盯，而重构图像像素为虼，且0 f m 一1 ， 0 j n 一1 ，则m s e ，s n r ，p s n r 分别定义如下： ( 一均) 2 m s e - - 竺型 i - 一 ( 2 16 ) mxn 、。 s n r = 1 0 l o g l 矗2 1 三! ! 三1 0m - 1 n 一1 ( - y ) 2 ( 2 - 1 7 ) p s n r ：l 。l 。g l 。瓦( l - 万1 ) 2 ( 2 1 8 ) 图像编码性能的主观评价方法是基于人眼视觉系统感知图像质量机理的方法，它 考虑的是图像的整体效果，并且不象一些客观评价方法是逐个进行原始图像与重建图 像中点与点的精确匹配来进行码书性能度量，它是建立在一些图像的主观度量基础之 上的。 2 4 本章小节 本章中我们首先介绍了矢量量化的理论基础s h 删1 0 n 的速率失真理论，然后 给出了矢量量化的定义，最后给出了与矢量量化技术研究密不可分的一些相关基础知 识，如衡量矢量量化编码质量的性能指标等等，为本论文后面的内容提供了理论基础 和性能评定的评判依据。 1 0 基于s o f m 神经网络的码书设计及其在图像传输中的应用第3 章码书设计算法 3 1 引言 第3 章码书设计算法 码书设计是矢量量化的关键技术，码书设计的目的就是寻求有效的算法尽可能找 到全局最优和接近全局最优的码书以提高编码性能，尽可能减少计算复杂度。 矢量量化的质量和有效性主要取决于码书产生过程。根据香农的速率失真理论， 如果对信源进行块编码( 或矢量编码) ，将可实现压缩性能的下限，因而基于块编码的 矢量量化是一种高效的数据压缩技术，尤其在对静态图像的编码中。如果能构造出性 能优越的码书，将可实现常规方法无法毗及的压缩性能。矢量量化是根据失真最小的 原则从码书中选择合适的码字，因此，矢量量化的关键问题是性能优越的码书设计， 高质量的码书设计是改善矢量量化的关键。l i n d a ，b u z o 和研a y 为此做出了巨大贡 献，于1 9 8 0 年提出了设计码书的l b g 3 】算法。它是其它码书设计算法的基础和延伸。 本章先介绍经典码书设计算法一l b g 算法，然后介绍一些常见的初始码书生成 技术，其次介绍几种码书设计算法，最后给出改进码书设计方法及仿真实验结果。 3 2l b g 算法 码书设计问题可以用两个优化准则来描述【3 7 】： 1 最近邻条件( 最佳划分) 对于给定码书，训练矢量集的最佳划分可通过把每个训练矢量映射为离它最近的 码字而得到。设给定码书为c = y 0 , y 1 一，y ) 大小为n ，训练矢量集为 x = x 0 毛，x m 一，) ，则训练矢量集的最佳分类s = s o ，s 。，s - 1 ) 满足 置= vld ( 1 ，y ，) 2o 恐。d ( 1 ，y j ) ， rex ) ( 3 1 ) 通常把这种划分称为v o r o n o i 划分，对应的子集s 称为v o r o n o i 胞腔。由此可见，最 近邻条件需要利用码字搜索算法来找到每个训练矢量的归属。图3 1 给出了二维情况 基于s o f m 神经网络的码书设计及其在图像传输中的应用第3 章码书设计算法 下的最佳划分示意图，图中矢量v 离码字y 。最近，因此被归入到胞腔s ，中，由此引起 的失真最小。 图3 1 最佳划分示意图 2 质心条件( 最佳码书) 对于给定的训练矢量划分，其对应的最优码书中各码字可以通过求各聚类 的质心矢量而得到。设给定划分s = s 。，s ，s 川 ，为了使码书的平均失真最 小，则码字只必须是相应胞腔s 的质心。若采用平方误差测度，则8 墨| f 表示集 合s 。中的元素个数，则质心可以由下式给出： 胪南萎v p 2 ， l b g 算法就是在每次迭代中轮流使用上述两条准则，而且人们通常采用的终止 准则是测试失真下降比例是否小于给定阈值，即( d ”n d ”) d ”是否小于给定阈 值。一旦满足该准则以及零概率边界条件，则算法终止。如果令阈值为0 ，则算法将 产生一个平均失真单调不增的码书序列。如果算法在连续两次迭代后产生的码书相 同，则算法已得到同时满足两个最优必要条件最近邻条件和质心条件的码书。下 面给出l b g 算法的具体步骤： s t e p l ：给定初始码书c o = y ，o lf - 1 , 2 ，) ，令迭代次数刀= 0 ，平均失真 d 。1 一，给定相对误差门限e ( o 丁，则停止迭代。否则，从训练矢量集中随机取一个训练矢量x 。， 找出失真最小的码字儿( ，) ，即 d ( 靠，只( ，) ) 2 。；m ，；i n 一1 d ( ，乃( f ) ) 按照下式更新竞争获胜的码字 y l o + 1 ) = y ，o ) + 口( f ) x ( f ) 一y 。( r ) 】 其中学习速率取为 口( ，) = 1 t且， 0 口( 0 ) ( o ，1 ) s t e p 3 ：计算 即) = fj ，h ( ，+ 1 ) 一乩p ) ( 3 - 1 0 ) ( 3 - 1 1 ) ( 3 1 2 ) 其中k 为矢量的维数，如果e ( f ) 图3 - 6自组织特征映射神经网络结构 s o f m 神经网络以无教师教学的方式进行网络训练，在训练的过程中，根据输入 数据的属性来调整权值，进而完成向环境学习、自动分类和聚类等任务。其基本思想 是网络竞争层中的各神经元通过竞争来获取对输入模式的响应机会，最后仅剩下输出 最大的神经元成为竞争的胜利者，并对那些与获胜神经元有关的各连接权值朝着更有 利于它竞争的方向调整。具体步骤如下： 设训练矢量数为m ，且训练矢量集表示为x = ，x l ，一，x m 一。 ，网络有k 个输入 节点( 等于矢量维数) ，个输出节点( 等于码书大小) ，各输入节点到各输出节点的 权值为y ，f ，z 【0 ，k - 1 ，【o ，n - 1 】，即为码书c = y o , y l ，一，y 州) 的第_ ，码字y ，的 第，个分量，则基本的s o f m 算法具体步骤如下： s t e p l ：初始化权值y ，( 0 ) ，【o ，k - 1 ，【0 ，n 一1 】可从训练序列中随机取数 s t e p 2 ：输入训练矢量x ，f 【o m - 1 ，毛以并行方式输入到每一个神经元 o o o l o o o o o o o o o o o