（通信与信息系统专业论文）低密度校验码在未来移动通信系统中的应用研究.pdf

原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立进 行研究所取得的成果 除文中已经注明引用的内容外 本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果 对本文的研究作出重要贡 献的个人和集体 均已在文中以明确方式标明 本声明的法律责任由本人 承担 论文作者签名 关于学位论文使用授权的声明 本人完全了解山东大学有关保留 使用学位论文的规定 同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版 允许论文被查阅 和借阅 本人授权山东大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索 可以采用影印 缩印或其他复制手段保存论文和汇编本 学位论文 保密论文在解密后应遵守此规定 论文作者签名 陴导师签名 扭日期 上竺燮 山东大学硕士学位论文 中文摘要 随着社会不断发展 通信业也日新月异 第三代移动通信系统逐渐开始商用 而下一代的移动通信系统也逐渐成为研究的热点 宽带 高速通信已是发展的必 然 这一方面要求系统具有良好的纠错性能 同时也要充分利用有限的频带资源 信道编码与调制技术是物理层韵关键技术 对于系统性能有很大的影响 历 来是研究的热点领域 自1 9 9 3 年t u r b o 码提出以后 信道编码研究进入了一个 新的阶段 2 0 世纪6 0 年代就己出现的l d p c 码也被人们重新认识 这些码的共 同特点是性能都己逼近香农限 但实现较为复杂 本论文所重点研究的l d p c 码 是由于其译码较为简单 延迟小 而获得越来越多的关注 同时调制技术也是很重要的研究领域 调制不仅仅是为了使信息更易传输 而且还可以提高频带利用率 特别是编码调制结合方案更是一个理想的解决方 案 移动信道的频带和功率受限 且信道快衰落造成的长突发错误对于典型的编 码调制方案一网格编码调制或多级编码调制提出了挑战 1 9 9 2 年z e h a v i 提出了 比特交织编码调制 b i c f i 方案克服了t c m 固有的缺点 在衰落信道中可以获得 很好的分集效果 性能优于传统的t c m 方案 本论文将l d p c 码应用于b i c m 方案 由于l d p c 码的低密度性和校验矩阵的 随机性 它可以很容易地与各种高效调制方式相结合 如果校验矩阵设计得当 b i c m 方案中的交织器也可以省略 由于b i c m 译码假设各个符号被等概率发送 从而在a w g n 信道中造成性能下降 为弥补这种损失 往往采用解调器和译码器 之间进行迭代译码的方法 但这会使译码复杂度大幅上升 特别是使用l d p c 码 作为分量码时 本文首先研究了无迭代方案在a w g n 和r a y l e i g h 衰落信道中的性 能 并选用了q p s k 8 p s k 1 6 q a i 等不同调制方式 然后 为提高性能 使用了 预判决信息来调整解调器产生比特度量 仿真结果表明对于q p s k 和8 p s k 调整 后的性能都有所提高 而且复杂度几乎不变 这说明 在不采用解调器和译码器 之间迭代的情况下 使用预判决信息调整比特度量的方法比传统方法性能更好 关键词 l d p cb i c m 编码调制移动衰落信道 山东大学硕士学位论文 a b s t r a c t c o m m u n i c a t i o nc h a n g e sq m c l l yw i t ht h ed e v e l o p m e n to ft h es o c i e t y t h e3 g c o m m u n i c a t i o ns y s t e m sb e g i nt oc o m m e r c i a li m p l e m e n t 1 1 1 er e s e a r c hf o c u so nt h e n e x tg e n e r a t i o nc o m m u n i c a t i o ns y s t e m b r o a d b a n da n dh i g hs p e e di sn e c e s s a r yf o r f u t u r e s y s t e m i td e m a n d sn o to n l ym o r ec o o i n gg a i n b u ta l s oh i g h e rb a n d w i d t h e f f i c i e n c y c h a n n e lc o d i n ga n dm o d u l a t i o nt e c h n i q u ea r et h ek e yt e c h n i q u ef o rp h y s i c a l l a y e rw h i c h h a v eg r e a te f f e c to ns y s t e mp e r f o r m a n c e t h er e s e a r c ho nc h a n n e lc o d i n g e n t e ran e w s t a g es i n c el9 9 3w h e n t h et u r b ow a sf i r s tp r o p o s e d l d p cc o d e sa r ea l s o r e d i s c o v e r e df o ri t se x c e l l e n tp e r f o r m a n c e t h e s ec o d e sa l lh a v ep e r f o r m a n c en e a r s h a n n o nl i m i t b u ta 弛d i f f i c u l tt oi m p l e m e n t l d p cc o d e sh a v es o m em e r i t ss u c ha s s i m p l ed e c o d i n g i nt h i st h e s i s w ew i l ls t u d yl d p c c o d e si nd e t a i l s m o d u l a t i o ni sa l s oav e r yi m p o r t a n tt e c h n i q u e m o d u l a t i o nc a nn o to n l ym a k e i n f o r m a t i o nmf o rt r a n s m i s s i o no v e rc h a n n e l b u ta l s oi n c r e a s et h eb a n d w i d t h e f f i c i e n c y t h ec o d i n gm o d u l a t i o n c m t e c h n i q u ei sm u c h m o r eag o o ds c h e m e t h e b a n d w i d t ha n dp o w e ro fm o b i l ec h a n n e la r el i m i t e d t h eb u r s te r r o rb yf a s tf a d i n go f t h ec h a n n e li sac h a l l e n g et oc o n v e n t i o n a lc ms c h e m e t c mo rm l c b i c mw h i c h w a sf i r s tp r o p o s e db yz e h a v ii n19 9 2o v e r c o m e st h ei n h e r e n td e f e c to ft c m i tc a n a c q u i r eg o o dd i v e r s i t y e f f e c ti nf a d i n gc h a n n e la n da c h i e v eb e t t e rp e r f o r m a n c e i nt h i st h e s i sl d p cc o d e sa r eu s e da sc o m p o n e n tc o d eo fb i c ms c h e m e s f o r t h el o wd e n s i t ya n dr a n d o m i c i t yo ft h ep a r i t yc h e c km a t d x l d p cc o d e sc a d e a s i l y c o m b i n ew i t l lh i g ho r d e rm o d u l a t i o n t h ei n t e r l e a v e re v e nc o a lb eo m i u e di ft h ep a r i t y c h e c km a t r i xi sp r o p e r l yd e s i g n e d 啊他p e r f o r m a n c eo fb i c mo v e ra w g nc h a n n e l m a y b ea f f e c t e db yt h eh y p o t h e s i so f e q u a lp r o b a b i l i t yo f e a c ht r a n s m i s s i o ns y m b 0 1 t oc o m p e n s a t et h el o s s i t e r a t i o nb e t w e e nd e c o d e ra n dd e m o d u l a t o ri sa d o p t e d b u t t h ec o m p l e x i t ya tt h er e c e i v e rw i l li n c r e a s eg r e a t l ye s p e c i a l l yf o rl d p cc o d e s i nt h i s t h e s i st h es c h e m e sw i t h o u ti t e r a t i o n u s i n gd i f f e r e n t m o d u l a t i o nm e t h o da r ef i r s t c o n s i d e r e d t of u r t h e ri n c r e a s et h ep e r f o r m a n c e an o v e ls c h e m eu s i n gp e r d e c i s i o n m e s s a g et oa d j u s tt h eb i t m e t r i c si sp r o p o s e d n l es i m u l a t i o nr e s u l t sf o rq p s k a n d 8 p s ks h o wt h a tt h en e wm e t h o d 锄i n c r e a s ep e r f o r m a n c e i t l ll i t t l e c o m p l e x i t y s a c r i f i c e d i tc a nb eu s e da san e wb i t m e t r i cg e n e r a t o r k e y w o r d s l d p cb i c m c o d i n gm o d u l a t i o nr a y l e i g hf a d i n g c h a n n e l 2 山东大掌硕士掌位论文 符号说明 尺也 二进制码元速率 r n 进制码元速率 凡 信息速率 m 口 p衰落系数 贝岛 二进制码元速率 凡 信息速率 历 口衰落系数 自信息或互信息 m 0 1 熵 c信道容量 b 平均错误概率 o f q 伽罗华域 g生成矩阵 h 校验矩阵 胄 校验矩阵中第j 行 即第j 个校验方程 中包含的比特所形成的集 合 月 ir 中去除第i 个比特形成的集合 e校验矩阵中第i 列所参与的校验矩阵形成的集合 e jc i 中去除第j 个校验方程形成的集合 b 码字中第i 个比特c b 和码字中其他比特服从分布妇f 的情况 下 第j 个校验方程满足的条件概率 吼 b 除第j 个校验节点外其他校验节点提供外信息的情况下第i 个信息 节点c b 的概率 山东大学硕士学位论文 4 只通过信道特征得到的码字中第i 个比特是1 的概率 对数似然比 辅助函数 f 次译码迭代后某一比特的错误概率 变量节点的对数似然比 校验节点的对数似然比 量化函数 j 只小 船 只 u v q 山东大学硕士学位论文 第一章数字通信系统及移动衰落信道 根据信道中传输的是模拟信号还是数字信号 可以将通信系统分为两类 模 拟通信系统和数字通信系统 数字通信系统的理论基础是2 0 世纪在4 0 年代由 c e s h a n n o n 在他的著名论文 am a t h e m a t i c a lt h e o r yo fc o m m u n i c a t i o n 中奠定的 与模拟通信相比 数字通信具有以下优点 第一 数字传输的抗干扰 能力强 尤其在中继时 数字信号可以再生而消除噪声的积累 第二 传输差错 可以控制 从而改善了传输质量 第三 便于使用现代数字信号处理技术来对数 字信息进行处理 第四 数字信息易于作高保密性的加密处理 第五 数字通信 可以综合传递各种消息 使通信系统功能增强 由于在香农信息论产生初期 对 数字信息传输的要求还不那么迫切 而且软 硬件的相对落后限制了系统的可实 现性 香农信息论产生的初期对数字通信系统的设计和开发只有很小的影响 自 七十年代以来 随着数据传输业务要求的增加和大规模 超大规模集成电路技术 的发展 导致了更加高效可靠的数字通信技术的迅速发展 尤其是在近几年来 i s d n i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k 数字网络技术 光纤传输技术 第二代 第三代移动通信技术 数字声频视频广播及i n t e r n e t 技术的巨大发展 和广泛应用使得数字通信进入了一个飞速发展的新时期 1 1 数字通信系统的构成 图1 1 所示为数字通信系统的基本框架 一个基本的数字通信系统主要由信 源编码器 信道编码器 调制器 解调器 信道解码器和信源解码器这几部分组 成 信源编码器 s o u r c ee n c o d e r 的任务主要有两个 一是将模拟信源产生的消 息转变成数字形式 通常是变为二进制数字序列 当然如果信源本身就是数字信 源 这种变化就没有必要了 考虑到普通的二进制数字序列相对于其所携带的信 息量而言 总存在或多或少的冗余度 r e d u n d a n c y 所以我们通信的一个目的就 是设法消除这种冗余度 从而实现通信过程的有效性传输 信源编码器的另一个 主要任务就是通过适当的编码 以保证数字通信的有效性 e f f i c i e n c y 这也是 信源编码器要完成的一个最主要的任务 因为本论文主要研究信息的可靠性传输 问题 所以信源编码器不属本论文的研究范围 也就是说 本论文在研究信道编 e 山东大学硕士学位论文 码时 已经假定信道编码器的输入序列是经过理想信源编码器处理后的数字序列 通常称之为信息序列 i n f o r m a t i o ns e q u e n c e 即一个二进制位携带一个信 息比特 b i t 图1 1 数字通信系统模型 一般来说 实际信道都不是理想的 首先这些信道都具有非理想的频率选择 特性 另外还有噪声干扰和信号通过信道传输时搀杂进去的其他干扰 这些干扰 损害了发送信号并使接收的数字序列产生错误 为了克服这些噪声和干扰 增加 数据传输的可靠性 r e l i a b i l i t y 或者说为了增加接收信号的逼真度 f i d e l i t y 常常需要在信息序列中引入一些冗余位 这种增加数据冗余度以 抗干扰的方法叫做信道编码 c h a n n e le n c o d i n g 信道编码是一种有效的又是最 基本的抗干扰技术 是本论文研究的重点 信道编码引入冗余度的程度通常用编 码效率 码率 c o d er a t e 来衡量 假设将k 位信息进行编码 编码后的码 字 c o d ew o r d 长度为n 则码率为k n 来自信道编码器的二进制数字序列要通过信道向指定的接收机发送 实际的 信道 如同轴电缆 光纤信道 无线信道 卫星信道等 一般不适合直接传送数 字信息序列 这就需要一个能够把数字信息序列变成适合于信道特性的信号的部 件 这个部件叫做数字调制器 d i g i t a lm o d u l a t o r 调制器将二进制向量一对 一地映射成波形信号的形式s i t i o 1 m l m 2 b b 为二进制向量的 维数 在每一个调制信号周期 调制器传输一个波形信号 数字调制器可视为 信道编码器的一部分 此时相对于特定的信道而言 它们应该联合最佳化 目的 山东大学硕士学位论文 在于充分利用信道能力可靠地传输信息 相应的在接收端解调和译码也应该联合 最佳化 通常这种方案被称为编码调制方案 c 舻 c o d i n gm o d u l a t i o n 它是 本文研究的一个重点 信道是传送信息的物理媒体 媒体的选择可以多种多样 比如 自由空间 微波 光纤 同轴电缆等等 不管信道的载体如何 信道中总存在嗓声及干扰 根据噪声的不同类别 可以将信道分为加性白高斯噪声信道 a w g nc h a n n e l 和衰 落信道 f a d i n gc h a n n e l 另一种分类信道的方法是根据信道中传输的是数字序 列还是波形信号将信道分为数字信道和模拟信道 或称波形信道 如图1 1 所 示 信道是一波形信道 但是如果将数字调制器视为信道一部分 则波形信道就 变成了数字信道 本文的研究工作是基于波形信道的 在通信系统的接收端 数字解调器 d i g i t a ld e m o d u l a t o r 是数字调制器的 逆变化 译码器是相应编码器的逆变化 它们的作用是处理恶化信道中传输的信 号 从中最大限度的提出有关信源输出消息的信息 尽可能精确地恢复出信源的 输出 并将它传送给信宿 信道编码的核心问题是研究各种可实现的解调和译码 的方法 数字系统的模型不是一成不变的 它要根据实际情况而定 目前随着数字通 信规模的扩大 对通信的功能有了进一步的要求 例如如何在发送端对所发送的 信号进行加密以及在接收端对接收的信号解密几乎成了数字通信系统必不可少 的组成部分 但是不管系统如何复杂 系统研究的中心问题并没有发生变化 即 要解决好通信的有效性和可靠性问题 本文主要研究通信系统的可靠性问题 此 时把信源和信源编码器看成一个整体 等效为一个离散数字源 其输出序列是无 记忆且等概率分布的 这种研究是否会对发挥通信系统的传信能力有根本性的限 制呢 研究表明在很一般的条件下 对大多数理论结果没有太大的限制 1 2 数字通信系统的性能指标 在数字通信系统里 主要的性能指标有两个 传信率和差错率 1 传输速率 它通常以码元传输速率来衡量 码元传输速率 又称码元 速率或传码率 它被定义为每秒钟传送码元的数目 单位为 波特 常用符号 b 表示 二进制码元速率r 皿与n 进制码元速率r 乩间的转换关系 山东大学硕士学位论文 r 毛 r l 0 9 2 b 1 1 传输速率还可用信息传输速率来表征 信息传输速率又称信息速率或传信 率 它被定义为每秒钟传递的信息置 单位是比特 秒 记为b i t s b p s 在n 进靠4 下的信息速率民 b i t s 与码元速率足h 功间的关系有 在码元等概率发 生的条件下成立 r 6 r 日 l 0 9 2 n b i t i s 1 2 2 差错率 它是衡量系统正常工作时 传输消息可靠程度的重要性能指 标 差错率有两种表述方法 误码率和误信率 所谓误码率 是指错误接收的码元数目在总码元数中所占的比例 或者更确 切地说 误码率即是码元在传输系统中的被传错的概率 所谓误信率 又称误比 特率 是指错误接收的信息量在传送信息总量中所占的比例 或者说 它是码元 的信息量在传输系统中被丢失的概率 本论文在分析信道编码的纠错性能时采用 误码率 在单独研究数字通信系统的可靠性时 即对信道编码和调制进行研究时 还 要用到两个主要技术指标 编码效率 码率 c o d er a t e 和性能增益 假设 信道编码后码字 c o d ew o r d 的长度为n 其中信息位的长度为k 则码率定义为 k n 性能增益 也称编码增益 c o d i n g6 a i n 定义为在保证一定的误信率和 信息传输率的前提下 编码系统相对于未编码系统在所需信噪比上获得的减少 量 1 3 移动信道特征与建模 不同频段的无线电波 其传播方式和特点是不相同的 对工作于v h f 和u h f 频段的移动通信来说 电波传播的方式主要是空间波 即直射波 折射波 散射 波以及它们的合成波 陆地移动系统中 移动台处于城市建筑群之中或处于地形 复杂的区域 其天线将接收从多条路径传来的信号 再加移动台本身的运动 使 得移动台和基站之间的无线信道多变且难以控制 与其它通信信道相比 移动信道是最为复杂的一种 例如 模拟有线信道中 典型的信噪比约为4 6 d b 也就是说 信号电平要比噪声电平高4 0 0 0 0 倍 而且 山东大学硕士学位论文 对有线信遒来说 其传输质量是可以控制的 通过选择合适的材料与精心加工 可以确保在有线传输系统中有一个相对稳定的电气环境 有线传输线路中 信噪 比的波动通常不超过1 2 d b 只有当某段线路运行了相当长一段时间后 由于线 路损坏逐步带来的损耗也许可达1 0 1 5 d b 但在这种情况下 就需要对这段线路 进行更新了 与此相对照 陆地移动无线信道中信号强度的骤然降低即所谓衰落 是经常发生的 衰落深度可达3 0 d b 在城市环境中 一辆快速行驶车辆上的移 动台的接收信号在一秒钟之内的显著衰落可达数十次 这种衰落现象严重恶化接 收信号的质量 影响通信可靠性 在蜂窝移动环境中 同频干扰是一个必须考虑 的问题 当发生衰落时 要接收的信号也许比同频小区基站来的干扰信号还要弱 接收机就会锁定在错误信号上 模拟移动通信多采用调频传号 调频方式的捕获 效应对同频干扰有一定的抑制作用 而衰落现象会显著改变调频信号特性 消弱 其捕获效应 对于数字传输来说 衰落将使比特误码率 b e r 大大增加 移动信 道与菲移动点对点无线情道相比 信号传输的误比特串前者比后者高1 0 6 倍 与 此相对照 有线信道中能够很好工作的语音编码器 调制解调器和同步装置在移 动环境中工作性能将会大大恶化 移动信道的衰落特性取决于无线电波传播环 境 不同的环境 其传播特怪也不尽相同 例如 一个有许多高层建筑的大城市 与平坦开阔的农村相比 其传播环境有很大不同 两者的移动信道特性也大有差 异 而传播环境本身是相当复杂的 这就使得移动信道特性也是十分复杂的 复 杂 恶劣的传播条件是移动信道的特征 这是由在运动中进行无线通信这一方式 本身所决定的 对于移动通信来说 恶劣的信道特性是不可回避的问题 要在这 样的传播条件下保持可以接受的传输质量 就必须采用各种技术措施来抵消衰落 的不利影响 这就是各种抗衰落技术 包括分集 扩频 跳频 均衡 交织和纠 错编码等 另外 信号传输方式 如调制方式 对信道中的褒落也要有一定的适 应能力 许多抗衰落实用技术已成功地应用于模拟无线系统 在数字移动通信中 针对数字传输的特点又发展出许多新技术 各种抗衰落技术和数字传输技术的研 究对发展数字移动通信系统是十分重要的 研究和开发移动道中数字传输技术的第一步工作就是认识移动信道本身的 特性 实际上 移动信道已成为许多理论分析和现场实测的课题 并已褥出许多 有关其特性的结果 其中有些可给出精确的数学描述 另一些则给出统计模型 山东大学硕士学位论文 然而 由于移动信道的复杂性 仍有许多待研究课题 例如 不可能用单一的数 学模型来描述所有的移动环境 这样 不同地区 不同城市中的移动信道特性究 竟如何 只有在这些环境中用场强实测获取的数据中来确定 对移动信道进行研究的基本方法有三种 1 理论分析 即用电磁场理论或统计理论分析电波在移动环境个中的传播特 性 并用各种数学模型来描述移动信道 往往要提出一些假设条件使信道数学模 型简化 所以数学模型对信道的描述都是近似的 即使这样 信道的理论模型对 人们认识和研究移动信道仍可起指导作用 2 现场电波传播实测 即在不同的传播环境中 做电波传播实测试验 测试 参数包括接收信号幅度 延时以及其它反映信道特征的参数 对实测数据进行统 计分析 可以得出一些有用的结果 由于移动环境的多样性 现场实测一直被作 为研究移动信道的重要方法 3 移动信道的计算机模拟 是近年来随着计算机技术的发展新出现的研究方 法 如前所述 任何理论分析 都要假设一些简化条件 而实际移动传播环境是 干变万化的 这就限制了理论结果的应用范围 现场实测 较为费时 费力 并 且也是针对某个特定环境进行的 计算机在硬件支持下 具有很强的计算能力 能灵活快速地模拟各种移动环境 因而 计算机模拟越来越成为研究移动情道的 重要方法 可以说 上述三种研究方法是相辅相成的 在许多实际研究工作中 这些方 法用于研究进程的不同阶段 移动环境中电波传播特性研究的结果往往用下述两 种方式给出 第一 对移动环境中电波传播特性给出某种统计描述 例如 理论分析和实测试 验结果表明 在移动环境中接收信号的幅度在大多数情况下符合瑞利 r a y l e i g h 分布 在有些情况 则更符合莱斯 r i c e 分布 电波衰落特性的统计规律 为 研究移动信道抗衰落技术提供了基本依据 第二 建立电波传播模型 模型可包括图表 近似计算公式等 近年来 在计算 机上建模也越来越流行 应用电波传播模型可对无线电波在传播过程中的各种干 扰和损耗进行预测 直接为系统工程设计服务 应该注意到 由于移动环境的复杂性 不可能建立单一的模型 不同的模型 0 山东大学硕士学位论文 是从不同传播环境的实测数据中归纳而得出的 都有一定的适用范围 进行系统 工程设计时 模型的选择是很重要的 有时不同的模型会给出不同的结果 因此 传播环境对移动信道特性起着关键作用 另外 移动信道特性还受到系统工作频率和移动台运动状况的影响 在相同 地区 工作频率不同 接收信号衰落状况有差异 而静止与低速运动的车辆所面 临的移动环境问题与高速运动的车辆有很大的不同 一般来说 为解决移动通信 系统的设计问题 必须搞清三个问题 无线电信号在移动信道中可能发生的变化 以及发生这些变化的原因 对于特定的无线传输技术 这些变化对传输质量和系 统性能有什么影响 有哪些方法或技术可供用来克服这些不利影响 1 4n a k a g a m i 信道模型 常用的信道模型有a w g n 信道 r a y l e i g h 信道 r i c e 信道 而它们都可以作 为n a k a g a m im 分布的特例 n a k a g a m i 于1 9 6 0 年提出的该分布的p d f p 刖 南 孙2 h e 其中 q 定义为 q e 伍2 且参数朋定义为矩的比值 称为衰落系数 m e k r 2 f 玎 m j r 为 函数 r o 川e 出 p 0 r 的n 阶矩为 e 蚪1 f i m 矾 1i o e 忙 可l 1 n a k a g a m im 一分布的p d f 如图1 2 所示 通过调整m 的值 n a k a g a m im 分布 可以简化为多种不同的分布 当m 1 时 简化为r a y l e i g h 分布的p d f 当脚叶m 时t 则逼近于高斯分布 同时m 与r i c e 分布中的参数k 之间存在一一对应的关 山东大学硕士学位论文 系 图1 3 给出了小 2 k 2 8 的分布关系 本文的仿真中将使用m l 时的 r a y l e i g h 分布作为信道环境 图1 2n a k a g a m i 旷分布的p d f 图l3 n a k a g a m im 分布与r i c e 分布 山东大学硕士学位论文 第二章信息论及香农第二定律 1 9 4 8 年 香农发表了 通信的数学理论 为信息论奠定了基础 从而使关 于信息的研究成为一个独立的学科 香农对信息论的发展做出了巨大的贡献 迄 今为止 信息论的主要概念除通用编码外几乎都是香农首先提出的 除了一系列 基本概念外香农的贡献还在于证明了一系列编码定理 这些定理不但给出了某些 性能的理论极限 也是对香农所给出的基本概念重大价值的证明 并为今后的研 究指明了方向 遗憾的是 香农在证明一系列编码定理时采用了他自己创造的随 机编码的方法 这一方法的优点是能够给出极限性能的数学表达式 但对于如何 构造一个好的编码不能给出具体的指导 所以从2 0 世纪5 0 年代起 通信技术界 将主要的精力放在了信源和信道编码的具体构造方法上 在信道编码方面 最早 提出的分组编码技术已经发展成为系统的编码理论 其中的很多好码在通信 计 算机技术中也获得了广泛的应用 卷积码虽然在理论上未能获得系统发展 但依 靠计算机搜索找到的部分好码也已获得重要应用 1 9 9 3 年出现的t u r b o 码在性 能上已经非常接近理论极限 而t u r b o 码研究的热潮也是人们认识到早在2 0 世 纪6 0 年代就己出现的l d p c 码也是一种性能接近理论极限的好码 并具有很多特 殊优点 在编码与调制结合方面 网格编码调制以及后来的比特交织编码调制也 获得了很大突破 本论文正是对基于l d p c 码的比特交织编码调制作了研究 提 出了一些新的想法 在本章中 我们将简要介绍一些信息论的基本概念以及香农 第二定律的内容 这是我们后续章节的基础 2 1 信息论基本概念 信息是事物运动状态或存在方式的不确定性的描述 而消息只是表达信息工 具 载荷信息的客体 我们把某事物可能出现的不同状态 即所有可能选择的消 息的集合 称为样本空间 每个可能选择的消息是这个样本空间中的一个元素 对于离散消息的集合 概率测度就是对每一个可能选择的消息指定一个概率 一 个样本空间和它的概率测度称为一个概率空间 在离散情况下样本空间x 及其所包含元素的概率可以表示为 口 口 l m j l p q p 日 p 口 j 山东大学硕士学位论文 其中p g 就是选择符号d 作为消息的概率 称为先验概率 在接收端 对是否 选择这个消息的不确定性是与口 的先验概率成反比的 即对口 的不确定性可以表 示为先验概率p 的倒数的某一函数 我们取该函数为对数函数t 并把这样定 义的不确定性称为该消息符号口 的自信息 7 l o g 南 q 自信息是指某一信源发出某一消息所含有的信息量 所发出的消息不同 那 么所含有的信息量也就不同 所以自信息 0 是一个随机变量 不能用它来作 为整个信源的信息测度 我们定义自信息的数学期望为信源的平均自信息量 即 h 似 1 0 9 南j 一喜盹 l o 徘 c zz 这个平均自信息量的表达式与统计物理学中热熵的表达式相似 因此我们就借用 熵 这个词 把h 似 称为信息熵 信源的信息熵是从整个信源的统计特性来 考虑的 它从平均意义上表征了信源的总体特性 对于特定的信源 其信息熵是 一个确定的数值 不同的信源因统计特性不同 其嫡也不同 信息熵是信源的平均不确定性的描述 一般情况下它并不等于平均获得的信 息量 只是在无噪的情况下 接收者才能正确无误地接收到信源所发出的消息 消除了h 伍 大小的平均不确定性 所获得的平均信息量就等于h 在一般 情况下获得的信息量是两熵之差 并不是信息熵本身 信息熵除具有对称性 确定性 非负性 扩展性和可加性外 还有一个重要 的特性就是它的极值性 即信源各个符号等概分布时 熵达到最大值 这一特性 对于实际应用是一个非常重要的结论 由于信道中存在干扰 假设接收端收到的消息为b 这个6 可能与口 相同 也可能与q 有差异 我们把条件概率p k ib j 称为后验概率 它是接收端收到消 息6 而发送端发送的是t 2 的概率 那么 接收端收到6 后 发送端发送符号是 否是q 尚存在的不确定性是后验概率的函数t 即b 8 耳 阳 于是 收信者在 山东大学硕士学位论文 收到消息6 后 已经消除的关于发送是否为口 的不确定性为 先验的不确定性减 去尚存的不确定性 这就是收信者获得的信息量 定义为互信息 乒 s 南 1 0 9 右习 眩s 根据熵的概念 可以计算得信道输入信源x 的熵 h 似 一喜p 口 t s p a 莓p b l g 南 2 n h 是在接收到输出y 以前 关于输入变量x 的先验不确定性的度量 所 以称为先验熵 在信道有干扰存在的情况下 接收到输出符号y b 后 输入符 号的概率分布发生了变化 变成后验概率分布尸b ib 此时 关于x 的平均不 确定性为 月 h 2 喜尸 口 h k g 瓦卉习2 莓p b h g 瓦者砑 c z s 这是接收到输出符号6 后关于x 的后验熵 将后验熵对随机变量l 求期望 得 条件熵 h 似l y e 陋似 喜p 6 一 喜尸 6 凄p 口 哆 t g 可未习 2 善p b 1 0 9 而1 这个条件熵称为信道疑义度 它表示在输出端接收到输出变量y 的全部符号 后 对于输入变量x 尚存在的平均不确定性 这个不确定性是由于干扰造成的 通过信道传输获得的信息是 i x y h 一日伍i y 这被称为x 和y 之间的平均互信息 它代表接收到输出符号后平均每个符号获得 的关于x 的信息量 即上文中提到的互信息在空间x 和y 中求统计平均的结果 图2 1 中所示是平均互信息与各类熵的关系 左边的圆代表随机变量j 的熵 右边的圆代表随机变量y 的嫡 两个闼重叠部分是平均互信息i x y 1 每个圆 减去平均互信息后剩余的部分代表两个疑义度 山东大学硕士学位论文 图2 1 各个熵之间的关系 平均互信息有一个很重要的特性就是它是输入变量x 的概率分布的n 型凸 函数 因此对于一个固定的信道 总存在一种信源 使传输每个符号平均获得的 信息量最大 也就是每个固定信道都有一个最大的信息传输率 这个最大的信息 传输率被定义为信道容量c c 1 搿p y 2 6 虽然信道容量在输入变量取一定分布时达到 但对于一个特定信道 信道容 量与输入的概率分布无关 只是信道传输概率的函数 只与信道的统计特性有关 所以 信道容量是完全描述信道特性的参量 是信道能够传输的最大信息量 对 于一般信道 信道容量的计算是相当复杂的 2 2 信道编码定理 显然在有噪信道中传输错误概率与信道统计特性有关 但通信过程一般并不 是到信道输出端就结束了 还要经过译码或判决过程才能到达消息的终端 从而 译码过程或译码规则对于传输错误同样具有很大影响 在给出信道编码定理之 前 我们先来介绍一下译码规则 假设信道的输入符号集为a 口 1 f 1 2 口 输出符号集为 b 协 jj 1 2 5 制定译码规则就是设计一个函数f b 它对于每个输出符 号确定唯一一个输入符号与其对应 即 6 山东大学硕士学位论文 f 慨 q i 1 一 q 1 j 很自然 在选择译码规则时匝尽量便错误概翠尽量小 在确定谭妈规则 f 6 a t 后 接收到符号6 则一定译成a 如果发送端发送的就是n 则译 码正确 如果发送的不是a 则译码错误 那么在收到符号b 条件下正确接收的 概率是 p p 6 j 1 6 j 尸 口 ib 令 p k l 6 为条件错误概率 其中e 表示除f 协 口 以外所有输入符号的集会 有 p k i b 1 一p k 1b 经过译码后的平均错误概率兄应是条件错误概率p k i6 对y 空间取平均值 即 b e p e i t 窆p 6 p o i6 j i 它表示经过译码后平均接收到一个符号所产生的错误大小 译码规则f 6 口 应该设计为使b 最小化 上式中右边为非负项之和 所 以可选择译码规则使每一项最小 则最最小 因为p 6 与译码规则无关 所以 只要设计译码规则使每一条件错误概率p t lb 为最小 为使p e 1 6 最小 就应 使p 扩 6 l b j 为最大 即选择译码函数 f 6 a 并使之满足条件 p b l b p g i b 对所有f 2 7 这就是说 如果采用这样一种译码规则 它对于每一个输出符号均译成具有最大 后验概率的那个输入符号 则信道错误概率就能最小 这个译码规则称为最大后 验概率准则或最小错误概率准则 根据贝叶斯准则 匕式两边可以写成 山东大学硕士学位论文 掣铲 掣铲晰钏p 6 一 尸 6 7 这样最大后验概率准则就变成选择译码函数满足 p 6 l a p 6 旧 对所有f 2 8 这样定义的译码规则称为最大似然概率准则 最大似然概率准则本身不再依赖于 先验概率 但当先验概率为等概率分布时 它使错误概率最小 此时以上两个准 则就是等价的 如果先验概率不相等或不知道时 这个准则不一定能使只最小 根据译码准则 进一步可得到平均错误概率 b e p b b 平均错误概率与译码规则有关 而译码规则又由信道特性决定 可见尸f 与信道 疑义度是有一定关系的 这个关系可以用费诺不等式来表示 h c x iy sh 吃 rl o g q 1 从上文可以看到 如果直接通过有噪信道发送信息 不论采用什么译码规则 只总不会等于或趋于零 那么有什么方法可以降低错误概率呢 一个最简单的 方法就是把消息重复发几遍 在接收端采取 择多译码 的译码规则 就可以提 高可靠性 这实际上是一种重复编码的方法 还有其他更好的一些编码方法可以 使用 但这种方法在提高可靠性的同时 也降低了信息传输率 这个矛盾能不能 解决 即能不能找到一种好的编码方法 使得只相当低 而信息传输率r 却保 持在一定水平 香农第二定理从理论上回答了这个问题 以下是这个定理的内容 设某信道有q 个输入符号 s 个输出符号 信道容量为c 只要码长n 足够 长 总可以在输入g 个符号集中找到m m s 2 1 c 是任意小的正数 个 码字组成的一个码和它相应的译码规则是信道输出的错误概率只任意小 这个定理告诉我们 只要信息传输率r 不大于信道容量 则存在一种编码 当码长足够长时 它可以使信道输出端的错误概率任意小 而信息传输率让可以 无限接近信道容量 这个定理的证明在此从略 我们只来说明一下这一定理及其证明过程所带给 我们的启示 在定理证明过程中 香农使用了随机编码的方法 而没有给出具体 山东大学硕士学位论文 的构造方法 并一再强调码长足够长 而译码规则也保证了错误概率最小 香农定理说明存在某个码长n 对应于该码长存在一种熵率为r 的编码 所 需分组长度取决于我们所选择的误码率的上界 随着r 逼近于信道容量和错误概 率变得任意小 编码的复杂度也会迅速增长 以至于很多人认为 如果r 超出一 个特定的界限 即所谓的截止率r 使用这种信道的成本就会变得非常大 对 于某些编码来讲 这一截止率有一定意义 但到目前为止并没有证明这一截止率 一定成立 而且在香农证明过程中只是说明码长足够长是充分条件 并没有说其 也是必要条件 t u r b o 码和本论文重点讲述的l d p c 码也对上述截止率的概念产生了决定性 的挑战 两者的性能都前所未有的逼近了香农限 而且两者也都是可以实现的 下一章我们将详细介绍l d p c 码的原理 山东大学硕士学位论文 第三章l d p o 码 几十年来 相继出现的编码方法 包括各种代数码和卷积码 性能与香农极 限相差很远 或者性能很好但复杂度高不能实现 以致人们认为香农极限是不能 达到的 但是1 9 9 3 年c b e r r o u 等人提出了一种称为t u r b o 码的并行级联卷积 码 如上一章所述 其性能非常接近香农限 同时复杂度较低可以实现 为编码 领域带来了革命性的变化 t u r b o 码的出现引发了对基于图的迭代译码算法的研 究热潮 1 9 9 5 年m a c k a y 和n e m 重新发现 早在1 9 6 2 年g a l l a g e r 提出的低密 度校验码 l d p c 1 也是一种性能接近香农限而且可以实现的编码方案 其性 能甚至可以超过t u r b o 码 3 1 线性分组码基础 低密度校验码是一种特殊的线性分组码 所以我们首先简要介绍一些线性分 组码的知识 具有q 个元素的有限域通常称为伽罗华域 用g f q 表示 最简单 的域是只有一个零元素和一个单位元的二元域g f 2 一个 n k 分组码是将k 长信息序列 u u l u k i 映射为n 长序列c c c 一 一c 设c c 是某 n k 分组码的任意两个码字 a a 是码元字符集中的元素 那么当且 仅当a l c i a c 也是码字时 这个码称为是线性码 我们要介绍的分组码就是建 立在g f 2 上的二进制线性分组码 行向量 c c l c 的所有组合实际上构成了一个g f 2 上的n 维向量 空间s 其中的元素共有2 n 个 而信息序列共有2 k 种组合 对应的码字也只能 有2 k 个 这些码字构成了s 空间的一个k 维的子空间c 那么c 就可以由k 个 线性无关的n 维向量go gh g 张成 g gh g n 是c 的一组基底 某一码字c 和其对应的信息序列 的关系可以表示为 c2 u o go u k lg k l 写成矩阵形式即 孑 云g 山东大学硕士学位论文 其中g 卜一1 l 一站一j g p 元h i 张成 由于这些向量属于c 所以对于c 空间中的任意一个码字c 性 量分布完全决定了该码的距离分布 由于孑h 1 o 所以h 的列矢量是线性相关的 如果用 表示线性码中重量最小 也 的码字 那么必然也满足i h 1 o 山东大学硕士学位论文 线性无关的列最多不超过 d i 个 而h 的秩至多为n k 则必有n k d 一1 所以d 的上界是 d 一1 n k l 3 2 低密度校验码的定义及编码 l d p c 码可由它的校验矩阵来定义 它的校验矩阵是一稀疏矩阵 也就是说 矩阵中除很少一部分元素非零外 其他大部分的元素都是零 一个矩阵的密度表 示矩阵中非零元素所占的比例 一个矩阵的密度小于0 5 时可以被认为是稀疏 的 而当矩阵元素数目增大 它的密度却逐渐减小时 这个矩阵被认为是非常稀 疏的 比如说矩阵一行向量或一列向量中含有固定数匿的非零元素 并且这个数 目远小于向量长度 低密度校验码的校验矩阵正是这样一个稀疏矩阵 g a l l a g e r