信息论与编码1

1、1柯峰柯峰电子与信息学院电子与信息学院（）2n预备知识 概率论与数理统计 通信原理 信号与系统 随机信号分析n学时 32学时，2个学分3 数字通信原理 对应书中第4章，第8章的内容45n掌握信息论的基本概念n了解信息论的发展过程n学会用随机统计的方法研究信息及其传输n懂得用信息论的相关知识解决一些实际问题6第四章 信息论基础目录n4.1 引言n4.2 信息的度量n4.3 离散信道及容量n4.4 连续信源、信道及容量n4.5 信源编码基本方法n4.6 率失真理论7第四章 信息论基础8n信息的概念n信息论研究的基本问题和主要内容n信息论与编码技术的发展及应用4.1 引言第四章 信息论基础-4.1引

2、言9信息的概念第四章 信息论基础-4.1引言10古代的信息技术第四章 信息论基础-4.1引言11第四章 信息论基础-4.1引言12现代的信息技术第四章 信息论基础-4.1引言13第四章 信息论基础-4.1引言14信息的重要性第四章 信息论基础-4.1引言15第四章 信息论基础-4.1引言16n中国辞海： 音讯、消息； 通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。通常通过处理和分析来提取。第四章 信息论基础-4.1引言17n美国牛津英语词典：通过各种方式可以被传递、传播、传达、感受的，以声音、图像、文件所表征，并与某些特定事实、主题或事件相联系的消息、情报、知识都可统称为信息。n美

3、国Websters New Collegiate Dictionary: 1) 由调查、研究和学习所得到的资料和知识； 2) 知识、学问和新闻； 3) 事实、情况和数据； 4) 表示数据的记号、信号和标示。第四章 信息论基础-4.1引言18信息的概念1. 信息不等同与情报2. 信息不等同于知识3. 信息不等同于消息4. 信息不等同于信号第四章 信息论基础19信息的概念第四章 信息论基础-4.1引言20信息与消息n消息 用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就称为消息。n信息是事物运动状态或存在方式的不确定性的描述。

4、（Shannon信息）n消息是信息的载体，信息是消息所要传递的内容。第四章 信息论基础-4.1引言21信息与消息n通信系统中传输的形式是消息；消息是信息的传输载体。n通信的实质是通过消息的传递，消除不确定性，获得信息。信息是抽象的传输主体。第四章 信息论基础-4.1引言22相关认识第四章 信息论基础-4.1引言23相关认识1. 信息不等同与情报2. 信息不等同于知识3. 信息不等同于消息4. 信息不等同于信号 把消息变换成适合信道传输的物理量，这种物理量就称为信号。包括电信号，光信号，声音信号等。第四章 信息论基础-4.1引言24举例第四章 信息论基础25n通信的目的：实现信息的保真传输第四章

5、 信息论基础26第四章 信息论基础27有关信息的观点n拉普拉斯的宿命论观点 世间一切系统的因果关系都可以包含在确定性的微分方程之中，只要能够给定相应方程的初始条件，就可以唯一地确定这个系统在未来任何时刻的结果。 基本认为事物的运动状态和存在方式是确定的。第四章 信息论基础-4.1引言28有关信息的观点n以香农为代表的学者的观点 （1）事物发展变化的因果关系是复杂的，既有必然性，又存在偶然性，因而事件的结局存在不确定性。 （2）正是因为存在不确定性，人们才需要获得信息来消除这样的不确定性； （3）过去已经发生，不可以控制，但可以观察，未来不可以观察，但可以预测。第四章 信息论基础-4.1引言29

6、有关信息的观点n香农第四章 信息论基础-4.1引言30信息论产生的背景n通信技术的发展推动了信息论的产生 公元前8世纪，烽火通信（“烽火戏诸侯”）第四章 信息论基础-4.1引言31信息论产生的背景第四章 信息论基础-4.1引言32信息论产生的背景第四章 信息论基础-4.1引言33信息论产生的理论准备n1924年，Nyquist（奈奎斯特）指出，最大传输速率与可用信号数的对数成正比。nMorse电码是否是最优的？n如果换成最优的能获得多少增益？n最优码如何设计n1928年，Nyquist提出了著名的采样定理。第四章 信息论基础-4.1引言34信息论产生的技术准备第四章 信息论基础-4.1引言35

7、信息论产生的理论准备第四章 信息论基础-4.1引言36信息论产生的理论准备第四章 信息论基础-4.1引言37第四章 信息论基础-4.1引言38信息论的基础性贡献第四章 信息论基础-4.1引言39信息论的基础性贡献第四章 信息论基础-4.1引言40信息论的基础性贡献第四章 信息论基础-4.1引言41信息论的研究对象第四章 信息论基础-4.1引言42研究对象第四章 信息论基础-4.1引言43第四章 信息论基础-4.1引言44第四章 信息论基础-4.1引言45n调制n信道n保密通信第四章 信息论基础-4.1引言46保密通信第四章 信息论基础-4.1引言47基本问题第四章 信息论基础-4.1引言48信

8、息论的发展阶段第四章 信息论基础-4.1引言49第四章 信息论基础-4.1引言50第四章 信息论基础-4.1引言nMIMOn协作通信n物理层安全通信51应用和新发展第四章 信息论基础-4.1引言 MIMO MIMO系统原理框图系统原理框图n所谓多输入多输出(multiple-input-multiple-output, MIMO)系统就是在发射端和接收端同时安装多个天线的一种空间收发系统，能够在不增加带宽的情况下成倍地提高通信系统的容量和频谱利用率。MIMOMIMO系统简介系统简介信源空时编码空时解码信宿1x2xTnx1r2rRnr第四章 信息论基础-4.1引言协作通信的提出n协作通信技术的起

9、源可以追溯到Cover和El Gamal在1979年关于中继信道的研究工作。中继节点中继节点源节点源节点目的目的节点节点 中继信道模型第四章 信息论基础-4.1引言中继信道技术中继信道技术协作通信技术协作通信技术 分析AWGN信道的容量应用于衰落信道中，主要目的为了对抗多径衰落 中继节点的唯一目的就是帮助源节点发送信息整个系统的资源固定，各用户既可充当中继节点帮助源节点发送信息，又可作为源节点发送自己的信息第四章 信息论基础-4.1引言55物理层安全通信第四章 信息论基础-4.1引言56 4.2 信息的度量信息的度量 (1) (1) 某消息的信息量获得该消息后不确定性的消除量；某消息的信息量获

10、得该消息后不确定性的消除量； 不确定性不确定性可能性可能性概率问题概率问题： 信息量可用概率的信息量可用概率的某种函数某种函数来度量来度量 (2) (2) 不同的消息有信息量的多少的区别，因此不同的消息有信息量的多少的区别，因此 信息的度量方信息的度量方式应满足信息量的式应满足信息量的可加性可加性 信息量应该是满足可加性的概率的函数。信息量应该是满足可加性的概率的函数。第四章 信息论基础-4.2 信息的度量57离散信源信息的度量离散信源信息的度量n离散信源的信息量离散信源的信息量 离散信源统计特性的描述方法概率场概率场设离散信源包含N种可能的不同符号，相应的概率场可表述为n 概率场应满足条件：

11、 NNxpxpxpXpxxxX.:.:2121 11Niixp第四章 信息论基础-4.2 信息的度量58自信息n 信息量作为概率的函数，具有形式n 若 与 统计独立，满足可加性要求 iixpfxIixjx jijijijixpfxpfxpxpfxxpfxxI59 定义定义 离散消息离散消息x xi i的信息量的信息量:信息量的单位与信息量的单位与对数的底对数的底有关有关： log以2为底时，单位为比特比特：bit log以e为底时，单位为奈特奈特：nit log以10为底时，单位为哈特哈特，hart 一般在没有特别声明时均假定信息的单位为比特一般在没有特别声明时均假定信息的单位为比特。 iii

12、xPxPxPIlog1log第四章 信息论基础-4.2 信息的度量60第四章 信息论基础-4.2 信息的度量n 离散信源的信息量(续) 示例示例：已知某信源的概率场为 输出的各符号统计独立，计算序列S“113200”的信息量 bitsppppppppppppSpSI83.111415. 11415. 1232201log01log21log31log11log11log0023111log1log 81414183:3210:XpX61n 离散信源的平均信息量：信源的熵离散信源的平均信息量：信源的熵 离散信源的熵离散信源的熵 定义定义4.2.2 4.2.2 离散信源离散信源 的熵的熵 熵是信源在统计意义上每个符号的平均信息量每个符号的平均信息量。NixXi,.,2 , 1,: iNiixpxpXHlog1第四章 信息论基础-4.2 信息的度量62n 离散信源的熵(续) 示例示例：求离散信源 的熵。 按照定义： 熵的单位：比特比特/ /符号符号 81414183:3210:XpX 符号比特906. 181log8141log4141log4183log83log41iiixpxpXH第四章 信息论基础-4.2 信息的度量n 离散信源的熵(续) 示例示例（续）：若上述离散信源发送独立的符号序列： 201 020 130 213 001 203 210 100