信息论与编码--第一章

1、信息论与编码信息论与编码梁春燕梁春9# 307“要有效地生活，就要有足要有效地生活，就要有足够的信息。够的信息。”Norbert WienerWithout materials nothing exists.Without energy nothing happens.Without information nothing makes sense. A.G.Oettinger2构成一切系统构成一切系统的三大要素的三大要素信息的定义信息的定义o 辞海辞海n 音讯、消息音讯、消息n 通信系统传输和处理的对象，泛指消息和信号通信系统传输和处理的对象，泛指消息和信号的具体内容

2、和意义的具体内容和意义o 牛津英语词典牛津英语词典(information)n 通过各种方式可以被传递、传播、表达、感受通过各种方式可以被传递、传播、表达、感受的，以声音、图像、文件所表征，并与某些特的，以声音、图像、文件所表征，并与某些特定事实、主题或事件相联系的消息、情报、知定事实、主题或事件相联系的消息、情报、知识都可以统称为信息识都可以统称为信息5信息的定义信息的定义o 科学名词科学名词n 信息信息情报情报情报情报是人们对于某个特定对象所见、所闻、所理解是人们对于某个特定对象所见、所闻、所理解产生的情况的汇报产生的情况的汇报 n 信息信息知识知识知识知识是通过学习、实践或探索所获得的认

3、识、判断是通过学习、实践或探索所获得的认识、判断或技能或技能n 信息信息消息消息6信息的定义信息的定义o 科学名词科学名词n 信息信息消息消息用文字、符号、数据、语言、音符、图片、图像等用文字、符号、数据、语言、音符、图片、图像等能够被人们感官所感知的形式，把客观物质运动和能够被人们感官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为主观思维活动的状态表达出来，就称为消息消息消息消息是包含是包含信息信息的语言、文字和图像等，是的语言、文字和图像等，是信息信息的的感觉媒体感觉媒体n 信息（信息（Shannon信息信息/统计信息）统计信息）事物运动状态或存在方式的事物运动状态或存在

4、方式的不确定性不确定性的描述的描述事物运动的状态及状态变化的方式事物运动的状态及状态变化的方式7信息的定义信息的定义o 科学名词科学名词n 信息信息 vs 消息消息 通信系统中传输的形式是通信系统中传输的形式是消息消息，消息消息是担负着传送是担负着传送信息信息任务的单个符号或符号序列任务的单个符号或符号序列通信的实质：通过通信的实质：通过消息消息的传递，消除不确定性，从的传递，消除不确定性，从而获得而获得信息信息n 信息信息信号信号为了在信道上传输消息，必须把消息加载（调制）为了在信道上传输消息，必须把消息加载（调制）到具有某种物理特征的到具有某种物理特征的信号信号上去上去信号是消息的物理体现

5、信号是消息的物理体现8信息的定义信息的定义o 科学名词科学名词n 信息信息 vs 消息消息 vs 信号信号信息存在于消息中，同一信息可以用不同的消息表信息存在于消息中，同一信息可以用不同的消息表达达信号是表示消息的物理量，信号可通过参量的变化信号是表示消息的物理量，信号可通过参量的变化表示不同的消息表示不同的消息可以用不同类型的信号传递同一消息可以用不同类型的信号传递同一消息9通信：将发送端的消息在接收端进行精确或近似通信：将发送端的消息在接收端进行精确或近似 地再现；传输的本质是信息地再现；传输的本质是信息 10（The fundamental problem of communicatio

6、n is that of reproducing at one point either exactly or approximately a message selected at another point. 信息论的意义信息论的意义o 信息论、控制论、系统论称为现代信息科学的三大信息论、控制论、系统论称为现代信息科学的三大理论基石理论基石o “如果把现代通信技术比喻成飞船，则晶体管是它如果把现代通信技术比喻成飞船，则晶体管是它的引擎，而信息论是它的方向盘。的引擎，而信息论是它的方向盘。” 著名的通信理论家著名的通信理论家Viterbi o 信息论是通信的数学基础，堪称是通信中的哲学信息论

7、是通信的数学基础，堪称是通信中的哲学 12信息论的形成与发展信息论的形成与发展 13The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. 信息论的研究内容信息论的研究内容o 狭义信息论（经典信息论、香农信息论）狭义信息论（经典信息论、香农信息论）主要研究如何有效、可靠地传递信息，涉及信息测度、信主要研究如何有效、可靠地传递信息，涉及信息测度、信道容量、信源编码

8、和信道编码理论等问题道容量、信源编码和信道编码理论等问题o 一般信息论（工程信息论）一般信息论（工程信息论）主要研究信息传输和处理问题。除香农理论以外，还包括主要研究信息传输和处理问题。除香农理论以外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计、编码理论、噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等调制理论、信息处理理论以及保密理论等o 广义信息论广义信息论不仅包括上述两方面内容，而且包括所有与信息有关的自不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传然和社会领域，如模式识别、计算机翻译、心理

9、学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题信息的问题 14信息论的研究内容信息论的研究内容o 狭义信息论（香农信息论）：为设计可靠、有效的狭义信息论（香农信息论）：为设计可靠、有效的通信系统提供理论依据通信系统提供理论依据n 可靠：可靠：要使信源发出的消息经过传输后，尽可能准要使信源发出的消息经过传输后，尽可能准确地、无失真或限定失真地再现在接收端确地、无失真或限定失真地再现在接收端n 有效：有效：用尽可能短的时间和尽可能少的资源来传输用尽可能短的时间和尽可能少的资源来传输最大的信息最大的信息 15误码率传输速率通信系

10、统模型通信系统模型o 信源信源n产生消息的源，向通信系统提供消息的人或物产生消息的源，向通信系统提供消息的人或物n可离散、可连续（幅度、时间）可离散、可连续（幅度、时间）n本质特征：随机特性（可能存在关联性）本质特征：随机特性（可能存在关联性）n研究问题：信源的统计特性、信息量大小研究问题：信源的统计特性、信息量大小o 编码器编码器n将信源发出的消息变换成适于信道传送的信号（编码将信源发出的消息变换成适于信道传送的信号（编码+调制）调制）n研究问题：如何提高通信系统的性能（有效性、可靠性）研究问题：如何提高通信系统的性能（有效性、可靠性）17通信系统模型通信系统模型o 信道信道n传递消息的通道

11、、传送物理信号的媒质传递消息的通道、传送物理信号的媒质/设施设施n有线信道（导线、电缆）无线信道（电磁波空间）有线信道（导线、电缆）无线信道（电磁波空间）n研究问题：信道的统计特性、信道容量研究问题：信道的统计特性、信道容量o 干扰源干扰源n整个通信系统中各种干扰的集中反映整个通信系统中各种干扰的集中反映n特性：随机性特性：随机性n其统计特性决定信道传输能力、影响系统性能其统计特性决定信道传输能力、影响系统性能18通信系统模型通信系统模型o 译码器译码器/解码器解码器n从受干扰的信号中最大限度地恢复信源输出的消息从受干扰的信号中最大限度地恢复信源输出的消息n编码器的逆过程编码器的逆过程o 信宿

12、信宿n消息的接收者消息的接收者n接收到的消息和发送的消息不完全一致接收到的消息和发送的消息不完全一致19通信系统模型通信系统模型 20信道信源信源编码信道编码干 扰 源信宿信源解码信道解码信源编码器信源编码器o 作用作用n 把信源发出的消息变换成由二进制把信源发出的消息变换成由二进制/多进制数串多进制数串n 压缩信源消息的冗余度，以提高通信系统传输的压缩信源消息的冗余度，以提高通信系统传输的效率（效率（有效性有效性）o 分类分类n 无失真信源编码：（离散信源，如计算机文件的无失真信源编码：（离散信源，如计算机文件的压缩压缩)n 限失真信源编码：限失真信源编码：(连续信源，如语音、图像压缩）连续

13、信源，如语音、图像压缩）o 研究问题研究问题n消息的压缩程度消息的压缩程度21信道编码器信道编码器o 作用作用n 在信源编码器输出的代码组上有目的地增加一些监在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力督码元，使之具有检错或纠错的能力n 提高信息传送的提高信息传送的可靠性可靠性o 研究问题研究问题n 用尽量小的冗余，实现尽量小的误码率用尽量小的冗余，实现尽量小的误码率22信道译码器与信源译码器信道译码器与信源译码器o 信道译码器信道译码器n 具有检错或纠错的功能，它能将落在其检错或纠错具有检错或纠错的功能，它能将落在其检错或纠错范围内的错传码元检出或纠正，以提高传输消息的范围内的错传码元检出或纠正，以提高传输消息的可靠性可靠性o 信源译码器信源译码器n 把信道译码器输