对称信道容量的求解

1、HUANGHE S & T COLLEGE信息论与编码课程设计对 称 信 道 容 量 求 解院（系）名称信息工程学院专业班级学号学生姓名指导教师2011年12月8日课程设计任务书2011 2012学年第一学期专业：通信工程学号:姓名：课程设计名称:信息论与编码课程设计设计题目:对称信道容量的求解完成期限：自2011年12 月 19 日至2011年12月25日共1周设计目的1、深刻理解信道容量的概念；2、理解对称信道的概念与容量公式；3、使用MATLAB或其他语言进行编程。设计内容给定信道的概率矩阵，编程判断其是否为对称信道，并求解其信道容量。设计要求1、任意给定矩阵；2、如矩阵不满足信道矩阵的

2、要求，要能提示错误。设计条件计算机、MATLAB或其他语言环境参考资料曹雪虹，张宗橙.信息论与编码.北京：清华大学出版社，2007.王慧琴，数字图像处理.北京：北京邮电大学出版社，2007.张德丰，MATLAB通信工程仿真 北京：机械工程出版社，2010陈鲁生，信息论与编码北京：科学出版社，2010指导教师（签字）： 教研室主任（签字）： 批准日期：年 月 日摘要本课程设计主要以给定信道的概率矩阵1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/21/2;1/2 0 0 1/2通过计算机利用MATLAB软件编辑判断其是否为对称信道， 如不是对称信道，则提示错误。并利用互信息量二等函数

3、来求平均互信息 量，并最终得到信道容量的结果。关键字：信道；信道容量；信道容量计算目录 TOC o 1-5 h z 1绪论12信道容量概念13单用户信道24多用户信道35信道容量计算4 HYPERLINK l bookmark55 o Current Document 5.1离散单符号信道及其信道容量4 HYPERLINK l bookmark58 o Current Document 5.2信道容量计算思路5 HYPERLINK l bookmark61 o Current Document 5.3信道容量定理 5 HYPERLINK l bookmark64 o Current Docum

4、ent 5.4离散多符号信道及其信道容量56组合信道及其信道容量67程序设计7 HYPERLINK l bookmark69 o Current Document 8程序运行与分析9总结11致谢12 HYPERLINK l bookmark99 o Current Document 参考文献13绪论通信系统一般由信源、信道和信宿三部分组成，信道是信息传递的通道， 承担信息的传输和储存的任务，是构成通信系统的重要组成部分。信道容量 是指信道能够传输信息量的大小，我们经常需要考虑如何去计算信道容量， 这也是香农信息论一个很重要的方面。信道的种类有多种，信道容量也是 一个非常复杂的问题。信道容量概念

5、信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性 是已知的，这样信道就可以用抽象的数学模型来描述。在信息论中，信道 通常表示成：X, P(YIX), Y，即信道输入随机变量X、输出随机变量Y以 及在输入已知的情况下，输出的条件概率分布P(YIX)。图1信道容量根据信道的统计特性是否随时间变化分为：恒参信道(平稳信道)：信道的统计特性不随时间变化。卫星通信 信道在某种意义下可以近似为恒参信道。随参信道(非平稳信道)：信道的统计特性随时间变化。如短波通 信中，其信道可看成随参信道 。信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其 大小与信源无关。对不同的输入概率分布，互信

6、息一定存在最大值。我们 将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量 也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的 数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对 不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最 大。这个最大值就是信道容量。信道容量有时也表示为单位时间内可传输的二进制位的位数(称信道 的数据传输速率，位速率)，以位/秒(b/s)形式予以表示，简记为bps。通信的目的是为了获得信息，为度量信息的多少(信息量)，我们用 到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵即发端信源

7、的不确定度，接收端处在接收信号条件 下的发端信源熵一一即在接收信号条件下发端信源的不确定度。接收到了信 号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性， 也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信 道传输信号带来的。如果在通信的过程中熵不能够减小(不确定度减小) 的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源 熵变为0 (不确定度完全消失)，这时，发端信息完全得到。通信信道，发端X，收端Y。从信息传输的角度看，通过信道传输了 I(X;Y)=H(X)-H(XIY),(接收Y前后对于X的不确定度的变化)。I该值与 两个概率有关，p(x),p(

8、yIx)，特定信道转移概率一定，那么在所有 p(x)分 布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性)。3.单用户信道容量信道是由输入集A、输出集B和条件概率P(y|x)，ye B,x e A所规定 的。当B是离散集时，归一性要求就是：圣俸P(S)= 1当B是连续集时，P3| x)应理解为条件概率密度，上式就成为积分形式。 如A和B都是离散集，信道所传送的信息率(每符号)就是输出符号和输 入符号之间的互信息：错误！未找到引用源。互信息与P(y| x)有关，也与输入符号的概率 P(x)有关，后者可由改变编码 器来变动。若能改变P(x)使I(X;D最大，就能充分利用信道传输信息

9、的能力， 这个最大值就称为单用户信道容量 C，即：c = P骁I(x； S = P骁 S S式中z为所有允许的输入符号概率分布的集。当A或B是连续集时，相应的概率应理解为概率密度，求和号应改为 积分，其他都相仿。4.多用户信道容量多用户信道容量问题要复杂一些。以二址接入信道为例，这种信道有两个输入X2 eA1和X2 eA2，分别与两个信源联结，发送信息率分别为 R1和R2；有一个输出匕用它去提取这两个信源的信息。若信道的条件概率 为 P(y | x1,x2)，贝U，max I(X1；Y/X2.) = Ct max I(X.；Y/Xj = C-FR? clear all ；x=0.25 0.25

10、 0.25 0.25;f1=1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/2 1/2;1/2 0 0 1/2;%定义信道概率的转移矩阵Hf1=hmessage(x,f1,4,4)hx=message(x,4)disp(信道1的信道容量)c1=hx-hf1平均互信息量为hf1=0.1250此离散信源的平均信息量为hx=0信道1的信道容量c1=0.1250程序运行与分析国 Editor - F:MATLABworkmessage.mFile Edit Text Cell Tools Debug Desktop Window Help1 ? X芽 若羸小。e m a 和幻 酒启磨sta

11、Ck： , 田田日曰回|fLine r, i on rm&ssagG1 (.a, n：1- E:- for 11:n- r=r-x(i) =：4og (x (i) )/log :- end.- disp- r图2程序输入图3信源的平均信息量MATLABFile Edit Debug Desktop Window Help芽 EIS园 f* Current Directory： F:MATLABwork 匚匡Shortcuts S How to Add 0 Whats New clear all；a D, 25 0. 25 0. 25 0. 2：&:fl-1/2 1/2： 0 0:0 1/2 1

12、/2 0:0 0 1/2 1/2:1/2 0 0 1/Z:%定义信道概率的转移矩阵BflhtJiessagG (a. fl. 4. 4：1C? 4)dispC信道1的信道容量)clhx-hf10. 12500. 1E5D图4信源符号输入概率与信道容量关系由运行图可以看出给定任意矩阵r 1/2 1/2 0 0 0 1/2 1/20p =0 0 1/2 1/21/2 0 0 1/2输入本程序，经过MATLAB软件运行判断其为对称信道，利用函数message来求平均互信息量，得出信道1的平均互信息量 为hf1=0.1250，此时离散信源的平均信息量为：hx=0，最终得出信道1的信道容量：c1=0.1

13、25总 结本次课程设计我的课题是对称信道容量求解的设计，开始的一个星期 我针对这个课题的任务要求从图书馆、上网等渠道获取相关信息，查找相 关的参考资料，然后设定了本课题的设计方案。经过近多日的努力，终于 将本次课程设计做完了，但由于水平有限，文中肯定有很多不恰当的地方， 请老师指出其中的错误和不当之处，使我能做出改正，我会虚心接受。在 本次课程设计过程中，我增强了自己的动手能力和分析能力。通过跟同学 的交流，也通过自己的努力，我按时完成了这次课程设计。在此过程中， 我学会了很多，也看到了很多自己的不足之处。在以后的学习生活中，我 会努力学习专业知识，完善自我，为将来的发展做好充分的准备。总之，

14、在这次课程设计中，我受益匪浅，学到了很多书本上所没有的 东西，懂得了理论和实际联系的重要性。在以后的学习中，我不仅要把理 论知识掌握牢固，更要提高自己的动手能力和分析能力。致 谢通过两周的努力，终于将信息论与编码课程设计完成了。本次课程设计目的是让我们对所学的专业知识有更进一步的了解和巩固，让我们能灵 活运用所学的专业知识。在这次设计里我学到了很多，这对我来说是一种 进步，每个人只要自己和自己比，每一次小的进步就是大的突破。在这次 设计中我还看的了同学的友爱，当遇到困难时只要他们知道的就会耐心地 指导和帮助，在论文完成之际，我要特别感谢指导老师的热情关怀和悉心 指导。每次当我有问题的时候去问老师，她都能耐心的帮我指导，和我一 起解决困难。通过这次的课程设计，不仅使我学到了很多专业方面的知识， 也让我明白了不畏困难、勇于攀登艰难的重要性，