信息论与编码 第一章绪论

(Introduction)

«信息论与编码»信息、消息与信号从通信系统模型了解信息论的研究内容与目的三.信息论在信息科学中的地位与作用四.简介信息论与信息安全的关系第一章绪论信息、消息与信号

(InformationMessageandSignal)

信息是我们在现实世界生活中赖以生存的三大资源之一。物质（材料）(material)能量（能源）

(energy)信息

(information)美国学者欧廷格说：

“没有物质什么都不存在；没有能量什么都不发生；没有信息什么都没意义。”

(“Withoutmaterialsnothingexists,Withoutenergynothinghappens,Withoutinformationnothingmakessense.”

)第一章绪论组成客观世界的三大基本要素是：物质、能量和信息。(MaterialEnergyandInformation)

如何合理开发和利用三大资源来促进人类社会的发展就形成了三大科学：材料科学

(MaterialScience)

能源科学

(EnergyScience)

信息科学

(InformationScience)

一.信息、消息与信号

这三大科学是我们现代科学的三大支柱，但是由于现代社会已经从过去仅仅依赖于物质的时代开始走向自觉或不自觉地认识和利用信息的时代即信息时代或信息社会。

(InformationEra)

信息科学的定义：

以信息为主要研究对象，以阐明信息的运动规律和应用方法为主要研究内容；以扩展人类的信息功能（特别是其中的智力功能）作为主要研究目标的一门科学。

一.信息、消息与信号

信息究竟是什么概念？它的基本属性是什么？能否给它下确切的定义？你能解释信息是属于物质(matter)还是精神(mind)？

以下从三个层次了解信息的含义和基本概念：

1.信息的通俗理解2.信息的概念理解3.概率信息的定义理解

一.信息、消息与信号1信息的通俗理解

简而言之：所谓信息就是所获得的新知识。

(Informationisthenewknowledge)（唐）韩愈的名篇《师说》：古之学者必有师。师者，所以传道受业解惑也。人非生而知之者，孰能无惑？惑而不从师，其为惑也，终不解矣。

这里解惑即意味获得了知识以解除了困惑，也就是获得了信息的含义，而不获取知识也就得不到信息，也无法解除困惑。1.信息的通俗理解

但是信息不是消息，更不是信号，这三者有本质的区别。消息：

(message)

把客观物质运动和主观思维活动的状态表达出来的形式就是消息。如:文字符号、语声、图象以及各式各样的随机事件(randomevent)和消息符号所构成的消息序列。消息的特征：不具备物理性能的随机事件；在接受消息之前，接受者不知消息的内容否则通信将失去意义。信号：(signal)是一种具有某种特定物理性质的表达形式，即物理现象。如，电、光、声等都是具有某种物理属性的信号。

因此我们说信号是消息的物理体现，是为了传输消息而变化的物理量。1.信息的通俗理解

消息与信息是两个截然不同的概念，不可混淆!

从概念的角度理解：

消息（Message）

是由符号、文字、数字或音素所组成的序列而构成，此消息所载荷（表达）的事件存在的不确定度（

Uncertainty）的变化才是信息（Information）。

信息就是消息事件（Event）不确定度的解除量。通俗的讲：

消息是信息的载体；信息是消息的内涵。

Messageisacarrierofinformation，informationistheconnotationforthemessage.

一.信息、消息与信号2.信息的概念理解

首先我们给出信息的广义定义：

Thegeneraldefinitionofinformation:

“Informationistheknowledgeforeventmotionstateandmanner.”

“

信息是关于事物运动的状态和状态改变方式上（或发展过程中）的知识。它的作用在于消除观察者在相应认识上的不定性；它的数值则以消除不定性的大小或等效地以新增加知识的多少来度量。”

2.信息的概念理解之所以是广义的定义，是该定义中所指的对象都没有任何限制。

事物event

客观存在的物质（matter）主观思维的精神

(mind)运动(motion)泛指一切变化(change)机械运动物理运动化学运动生物运动思维运动社会运动天体运动

2.信息的概念理解运动状态：(movingstate)

是事物运动在空间上所展现的形状和态势。运动方式：

(movingmanner)

则是事物运动在时间上所呈现出的过程和规律。知识knowledge直接知识间接知识现象记录经验总结理论推断知识也是一种广义的概念它可以是……

凡是由不知到确知的过程都是获得新知识的过程。因而消息事件中所含有的不确定度由大变小，即它的解除量就可定义为信息的大小，我们称为信息量。

(Informationquantity)由此看来：得到信息的过程就是获得新知识的过程。“信息就是知识”(Informationisthenewknowledge)信息就是知识这非常有利于我们对信息属性的理解，即信息具有知识的属性——可积累性；反映到信息属性的数学描述上就是它的可加性。(Additiveproperty)

2.信息的概念理解

2.信息的概念理解

如果对信息的广义定义加以限制，则信息的概念将衍生出三个层次：语法信息

(syntacticinformation)语义信息

(semanticinformation)语用信息

(pragmaticinformation)

如果限定观察者仅对事物的运动方式和运动状态的形式(formalizedrelations)感兴趣,而不涉及状态、方式的含义和效用(logicalimplication&value)。在这一层次所得的信息我们称为语法信息,如果从随机特征来看也叫作概率信息。

这是最抽象、最基本的层次，也是了解信息的基础。由于语法信息主要体现在消息符号本身的构造上，或者是由事物本身的客观特性所表现出的变化；而与接受者的主观要求无关。信息的三个基本层次：

语法(Syntactic)信息

语义(Semantic)信息

语用(Pragmatic)信息

语法(Syntactic)信息

它是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。象语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为，概率信息、偶发信息、确定信息、模糊信息等。

语义(Semantic)信息是事物运动的状态和变化方式的含义。在语言学里,研究“词与词的结合方式含义”的学科称为语义学。语用(Pragmatic)信息

是事物运动状态及其状态改变方式的效用。

语用学是语言学各分支中一个以语言意义为研究对象的新兴学科领域，是专门研究语言的理解和使用的学问，它研究在特定情景中的特定话语，研究如何通过语境来理解和使用语言。

语用学定义中，有两个概念是十分基本的，一个是意义，另一个是语境。针对信息而言就是研究它的价值和作用的方法。语言学家认为：

语法、语义、语用构成语言的三个基本方面。语法学研究符号与符号之间的关系，语义学研究符号与所指事物之间的关系；语用学研究符号与使用者之间的关系。

语法学回答的问题是：句子是按什么规则组成的？语义学回答的问题是：意义是按什么方法确定的？语用学回答的问题是：语言的使用在一定的上下文里产生了什么影响和效果？信息三个层次的含义

有一个情报部门，其主要任务是对经济情报进行收集、整理与分析以提供给决策机构。该部门设三个组：信息收集组、信息处理组和信息分析组。信息收集组的任务是将收集到的资料按中文、英文或其他文字、明文、密文进行分类，不管这些资料的含义如何都交到信息处理组。信息处理组根据资料的性质进行翻译或破译得到这些资料的含义，然后交到信息分析组。信息分析组从这些资料中挑选出有价值的情报提交给决策机构。可见，信息收集组是根据所得到的消息提取出语法信息，信息处理组是根据所得到的语法信息提取出语义信息，而信息分析组是根据所得到的语义信息提取出语用信息。

可以看到，研究语义信息要以语法信息为基础，研究语用信息要以语义信息和语法信息为基础。三者之间，语法信息是最简单、最基本的层次，语用信息则是最复杂、最实用的层次。

2.信息的概念理解例1－1.从爱因斯坦方程看信息的三个不同层次的理解。

Einstein’sformula:

E=mc²

这是著名的能量E与质量m之间的转换关系式。英文字母与数学符号之间的特定排列可以构成消息，但公式未出现之前，我们无法确知公式。一经公布即可解除我们阅读前的不定度。只要具有初中代数水平，就可得到它的语法信息。不仅知道代数法则，而且从大学物理中知E代表能量；m代表质量，c

表示光速；这样就得到了公式的语义信息。但这个公式并不一定对每一个得到语义信息的人都有价值。3.显然对于一个高能物理学家来说，在弄清公式的含义及从试验中证实了逻辑上的合理性，则物理学家就可得到语用信息；即通过改变原子核的质量状态来获得巨大的原子核能。

信息各层次之间的关系如图

一.信息、消息与信号概率信息(Probability

Information)的定义理解

概率信息的主要特征是从事物的客观性出发讨论问题，而与事物的主观性无缘；因而它也称为窄义信息(SpecialInformation)

以下给出它的定义：

所谓概率信息是指一个随机事件发生之后，它所带给人们的新知识，或者说是对原来该事件不定度的解除量；是指事物运动状态和状态变化方式的客观反映。在概率信息定义中包含了三个含义，一般称为定义的三要素：a.代表了一种随机事件的属性；

(randomevent)

b.在运动状态和变化方式上的客观反映；

(objectivereflect)

c.不确定度的解除量(必然所得的新知识);

(relievedquantityofuncertainty)

3.概率信息的定义理解

概率信息的定义三要素既反映了它的基本概念，也确定了对这种信息的研究方法和研究手段。首先因概率信息本身就是一个随机变量，所以我们可建立数理统计模型，利用概率论、集合论和随机过程等数学工具来研究问题。其次由于信息是自然界的客观反映，因此讨论问题仅局限在事物的客观性一面，而不要考虑接受者的主观性，所以讨论问题的难度则大大降低，从而给采用数学方法来定性、定量地给出信息的度量方法带来了方便。

最后一个要素则直接给定了度量（测度）概率信息的方法。即定义不确定度的解除量可以纯客观、定量地描述所应获得的新知识。显然要定义概率信息的度量方法，首先就要比较随机变量不确定度的大小。从概率论中可知：随机变量的统计概率就可表示其不定度，但是如何比较大小则我们就得定义一个“单位(unit)”，由此得出不定度的大小。下面举一个二进制单位的例子：例1—2.

有八只灯泡，只知其中有一只灯丝已断，用一节电池来测，问只需测几次就可接除其不定度。

3.概率信息的定义理解这是一个二元判断(BinaryJudge)问题;每一次判断后我们可得到一个是/否信息，亦称二元信息(BinaryInformation)。由于它是解除不定度的最小单位，所以我们由此定义出信息量的最小单位比特(bit＝BinaryDigits)。Definition:

bit

对于八只中任意一只灯泡都有可能断丝，因此这是一个等概率随机事件，故其概率为：该事件不确定度的大小为：

bit

3.概率信息的定义理解第一次测量第二次测量第三次测量第六个灯泡是坏灯泡一共测了三次，共得3比特信息

3.概率信息的定义理解

3.概率信息的定义理解

再举一个三元信息(TripleInformation)的例子：所谓三元信息是依赖于一次判断可得三种不同的结果所解除的不定度，这也是一种衡量不定度大小的单位；定义为Tet

tripledigitsDefinition:Tet1

3log3=例1—3.有27个大小形状相同的小球，知其中有一重球。问若用天平来判断，最多称几次就可找出这个重球？当完全解除不定度后所得的信息量是否要比前一例大？

3.概率信息的定义理解题解：因为其余26个球都是重量相同的标准球，故这也是一个等概率的随机事件；若用天平称重，则一次可得一个三元判断，即解除1Tet信息。该事件不定度的大小从以下求出：Tet

这里运用了一个信息量的定义计算公式，下次课我们会讲到。但是我们也可以采用解除不定度的方式来求此信息。

因为判断过程是一步一步完成的，其不定度的解除也是一部分一部分的进行；因而我们所获得的信息也是一点一点的积累所得。为此我们先了解实际的处理后再给予数学描述。

解除不定度判断实例3219876141312111020191817161527262524232252143准备工作：分堆、编号201923222127262524698754321101413121817161511解除不定度判断实例3第一步：解除1

Tet

的不定度，使问题留在九球之中。252726212019222324解除不定度判断实例3第二步：再解除1Tet

不定度，将问题留在三球之中。211920解除不定度判断实例3第三步：完全解除不定度，将重球找出。解除不定度判断实例分析

在上述处理过程中，不定度是一步一步地解除，而信息则是一点一点地获得，如何用数学方法定量地进行描述？这是信息论的任务。第一步：

Tet第二步：

Tet第三步：

Tet总的信息量：

＋Tet解除不定度实例分析

从上面的例题中我们可以清楚地看出信息量的大小就是不确定度的解除量的大小，这个概念就是我们所获得的新知识。另外信息的可加性反映就是知识的可积累性。上面的例子都是表明实际问题如何用数学方法描述？

下面的例子我要介绍如何用数学方法来指导和解决实际问题。这是一类信息论的经典问题，它不仅使同学们进一步了解信息与不定度的关系，而更重要的是它反映出理论对实际工程问题的指导作用。换句话讲，信息理论它可以在实际问题未解决之前就能把握它的最好前景。用一架天平最少需要称几次，才能找出这个异常球？而且能知其轻或重？问题的提出有十三个外形完全一样的小球其中有一个与其它的小球重量不同信息论经典问题实例分析信息论经典问题实例分析题解：如果采用信息理论将此类实际问题的解决方案优化评估出来，这是信息论在实际工程中的基本应用；如果能进一步将解决实际工程问题的技术路线用数学物理方法描述出来，这将是信息论的精髓应用。为此我们解题分为两步进行。1.

因为异常球存在于十三个球中，这还是一个等概率事件，如果仅考虑将此球找出，其不定度如前几例相同为

log

N,但是还要考虑判断其是重？还是轻？我们还得增加一个二元判断（1比特信息）,因此整个随机事件的完全不确定度就等于：信息论经典问题实例分析

显然，只需称三次一定可以完全解除不确定度；但少于三次则根本不可能求解。如何来称？这已属于智力游戏的范畴。虽然信息论并不一定都能给出具体的解决方法，但它至少可以指出解决问题的方向或技术路线及分析方法。这正是我们建立理论平台的目的。(TheoreticalPlatform)它可使大家从分析问题到解决问题的功底上一个台阶，而且它还可在问题解决之前就可评估出将实施的方法是否最优？是否可行？使我们及时决策出是否值得花代价去实施行动。又因为，

><<而且,信息论经典问题实例分析<2>.

解决问题所采用的技术路线分析

（在这步中我们尝试一下如何得到解决问题的最佳路线）

问题的关键在于第一称如何称，要保证剩下的球在两称之内解决问题。分析如下：若剩下5个球则会产生这样的结局；>

显然剩下5个球后再用两称无法解除其不定度，所以得到第一称必须解除9个小球的部分不定度，而留下4个原态小球。

如何一称解决9个球，这是问题的难点，但是依据信息论的极限编码原理（实际也是数学中的大数定理）找一个标准球参与判断，则问题将迎刃而解。这样解决是运用了信息论的精髓思想，大家目前还无法接受。等学完此课程后或许开窍理解。下面我在不加标准球的思路下给出一种解决方法，也许同学们会有很多高招，但我不想使大家追求这个目标，而是希望大家探讨各种解法的形式逻辑描述（即编码方法）。准备工作12345678910111213改造天平将小球编号信息论经典问题实例分析改造天平改造前天平的力矩比是5:5信息论经典问题实例分析54312109876改造天平改造天平后的力矩比是4:5信息论经典问题实例分析5431298764554312987610121113第一称543129876101211131312111010,11,12,13剩余543129876信息论经典问题实例分析13121110异常球在另4个球之中，此时的不定度<第一称如果……天平平衡信息论经典问题实例分析543129876我们用以下的符号表示：“=”表示此球为标准球；“

-

”表示此球比标准球轻；“+

”表示此球比标准球重；“？”表示仍不知此球轻重；那么，上一种情况可以表示为：????信息论经典问题实例分析=========同理，第一称也可能是……信息论经典问题实例分析====–––+–++++另外一种情况…====信息论经典问题实例分析–––––++++当第一称为平衡时：?我们紧接再续三只新球…信息论经典问题实例分析==?==========???第二称如果……?信息论经典问题实例分析左右平衡异常球??======?===当第二称……如果左轻右重…如果左重右轻…其它情况以此类推信息论经典问题实例分析?======??–==+=+===–==–=+====当第二称……如果左轻右重…为第三称重新配重其它情况以此类推信息论经典问题实例分析=?======??–==+====––则第三称……如果左轻右重…信息论经典问题实例分析=–=======–========则异常球为轻球当第二称……如果左轻右重…如果左重右轻…其它情况以此类推信息论经典问题实例分析?======??–==+=+===–==–=+====当称左轻右重时—编码为

1当称左重右轻时—编码为-1当称两边平衡时—编码为

0比如：001表示第一称，第二称左右平衡，第三称左轻右重。其结果是第13球为重球，即：

用编码表示+=

001信息论经典问题实例分析完整的结构如下：:1

-1>:====+++++----=========

???----++++===0++-::==?++-信息论经典问题实例分析-=<+?=::>><

11111011-110-1续上页++-=-+==+其它情况请自己写出信息论经典问题实例分析第一章绪论二.

从通信系统模型入手了解信息论的研究内容与目的首先，从信息论的发展史谈起，让我们了解创建通信系统模型的伟大意义。信息论之父：C.E.Shannon(1916~2001.3.24)在1948～1949年发表了奠基之作：《Themathematicaltheoryofcommunication》&《Communicationinthepresenceofnoise》Shannon的伟大贡献：将复杂的通信工程问题抽象地用数学物理模型来形式化的定量描述、分析，从而诞生出一门新学科。Shannon在1948年指出：

“通信的基本问题是在一点精确地或近似地恢复另一点所选择的消息。通常，这些消息是有含义的，即它对于某系统指的是某些物理的或概念的实体。这些通信的语义方面与通信问题无关，而重要的方面是实际消息是从一个可能消息集合中选择出的一条消息。”二.了解信息论的研究内容与目的

可见，Shannon在研究信息理论时，排除了语义信息与语用信息的因素，先从语法信息入手，解决当时最重要的通信工程一类的信息传递问题。同时他还把信源看成具有输出的随机过程，所研究的事物运动状态和变化方式的外在形式遵循某种概率分布。因此Shannon信息论或经典信息论所研究的信息是语法信息中的概率信息。不过，随着信息论研究的深入，Shannon信息论的方法已经渗透到语义信息领域，例如最大熵建模方法用于机器翻译等自然语言处理问题。二.

信息论的通信系统模型二.

信息论的通信系统模型Shannon的高明之处就在于他抓住了通信工程的本质：

通信的实质旨在信息的传递，但在通信工程仅体现在使收端精确地或近似地复制发端的信号的形式，而与信号形式的逻辑含义与其价值无关。因而能创立抽象化、理想化的通信系统基本模型：

U信源编码器信道解码器信宿干扰源SourceEncoderChannelDecoderDestinationNoiseXYVNnoisemessagesignalSignal+noisemessage+noiseThemodelofcommunicationsystem

信道信源译码器编码器信宿噪声通信系统模型

信号信号加噪声消息消息二.

信息论的通信系统模型概括地说：信源是在发送载荷着信息的消息；而消息又要变换成适合信道传输的信号；收端则是从所收到的信号中恢复出消息；至于接收者能否得到信息，这要看所收到的消息——随机事件所包含的不确定度是否减少来决定。

如前面所述，Shannon信息论的建立是从研究通信系统开始的，并首先建立了通信系统模型。由于技术发展水平的限制，当时的通信基本限制在点对点的通信，所以这种通信系统模型是指“从一个地方向另一个地方传送信息的系统”。例如，电话、电报、电视、无线通信、光通信等。而存储系统在某种意义上也可看成从现在向将来发送信息的通信系统。例如，磁盘或光盘驱动器、磁带记录器、视频播放器等。二.

信息论的通信系统模型二.

信息论中系统模型的功能与作用信源：产生消息和消息序列的源泉，亦称消息集合(messageset)。广义的看信源有三大类：(1).自然信源(Naturalsource);包括物理、化学、天体、生物等。(2).社会信源(Socialsource);包括管理、金融、商情及统计调查报告等。(3).知识源(Knowledgesource);包括古今中外记录下的知识和专家经验等。

1.信源(informationsource)

信源是信息的来源，其功能是直接产生可能包含信息的消息

。

按输出符号的取值分类：

离散信源和连续信源：连续信源又分为：

离散时间连续信源；波形信源或模拟信源。二.

信息论中系统模型的功能与作用

按输出符号之间的依赖关系分类：

无记忆信源

信源输出符号的概率与以前输出的符号无关；

有记忆信源

信源输出符号的概率与以前输出的符号有关；核心问题：信源的消息中所包含的信息量以及信息如何量度。二.

信息论中系统模型的功能与作用2.编码器(Encoder)为了克服时间、空间的限制,对消息加工处理使其变换成适合传输的信号,这种变换设备就是编码器。信源编码器(sourceencoder)

信道编码器(channelencoder)

调制器(modulator)

信道编码器信源编码器调制器符号符号信号消息二.

信息论中系统模型的功能与作用各部分的主要功能:信源编码器的功能是将信源消息变成符号，目的是提高传输有效性，也就是压缩每个信源符号传输所需代码（通常为二进制代码）的数目（对二进制代码称比特数）。例如，一个信源含4个符号{a,b,c,d}，概率分别为1/2，1/4，1/8，1/8。如果不采用信源编码，每个信源符号至少需要用2个二进制代码传输。如果采用信源编码，分别将a,b,c,d编码成为：0，10，110，111，那么平均每信源符号只需1.75个二进制代码传输。可见，采用合适的信源编码确实能通过压缩码率提高传输有效性。所以，信源编码也称信源压缩编码。

二.

信息论中系统模型的功能与作用

信道编码器给信源编码符号增加冗余符号，目的是提高传输可靠性。信源编码输出直接传送，不能保证传输可靠性。利用信道编码对信源编码器的输出符号增加一些冗余符号，并让这些符号满足一定的数学规律，使传输具有纠错或检错能力。因为出现传输错误就会破坏这种数学规律。在接收端就会发现错误。例如，最简单的奇偶纠错，将信源编码输出的每个码组的尾补一个1或0，使得整个码组“1”的个数为奇或偶（或模二加为1或0）。当传输发生奇数差错，打乱了“1”数目的奇偶性，就可以检测出错误。这是最简单的检错方式，而实际的信道编码技术要复杂得多。

二.

信息论中系统模型的功能与作用增加冗余符号提高传输可靠性（图中，有阴影的点表示码字）

二.

信息论中系统模型的功能与作用

图中:（a）4个消息用4个2维矢量传送，没有冗余符号。如果出现任何差错都会使传送的码字变成另一个码字，所以无检错能力；（b）在（a）的基础上每个码字增加一个校验符号，构成奇校验，4个消息用4个3维矢量传送。如果出现任何奇数差错都会使传送的码字变成不是码字的3维矢量，这样就能检测出错误，但不能纠正错误；（c）用2个汉明距离为3的3维矢量传送2个消息。如果出现一个错误，可以根据接收矢量和码字汉明距离的大小判决是哪个消息被传输，因此可以纠1个错误。

二.

信息论中系统模型的功能与作用

调制器功能是，将编码器的输出符号变成适合信道传输的信号，目的是，提高传输效率（使远距离传输成为可能）。信道编码符号不能直接通过信道输出，要将编码器的输出符号变成适合信道传输的信号，例如，0、1符号变成两个电平，为远距离传输，还需载波调制，例如，ASK，FSK，PSK等。

调制的另一作用就是降低传输成本即复用功能，它将多个用户调制在同一信道上传输而不会相互干扰。

二.

信息论中系统模型的功能与作用3.信道即信号从发端到收端的通道或称媒介(medium)

。传输是为了克服空间的限制；存储则是为克服时间上的限制,它们都是信道的功能。信道可以分为狭义信道和广义信道。狭义信道是某些物理通信信道，也可以是物理的存储介质。例如有线、无线、光纤、磁盘、光盘等。广义信道是一种逻辑信道，它和信息所通过的介质无关，只反映信源与信宿的连接关系。信息论中只研究广义信道。信道还分为无噪声信道和有噪声信道。通常，系统中其它部分的噪声和干扰都等效成信道噪声。

二.

信息论中系统模型的功能与作用信源的分类类似，信道还分为离散信道、离散时间连续信道和波形信道（或模拟信道），其中，离散信道和离散时间连续信道输入与输出都是符号序列，只不过符号取值不同，前者取离散值，而后者取连续值；而波形信道的输入与输出均为时间的连续波形。信道也可有无记忆信道和有记忆的区分，离散信道和离散时间连续信道可以是无记忆的，也可以是有记忆的；而波形信道是通常有记忆的。

二.

信息论中系统模型的功能与作用

4.译码器(decoder)

可以进行编码处理的逆变换设备，即把信号再变换回消息。

包括:解调器

信道译码器

信源译码器信道译码器解调器信源译码器符号符号消息信号

译码器的组成

二.

信息论中系统模型的功能与作用

解调器功能是，将信道输出信号恢复成符号；

信道译码器的功能是，去掉解调器输出符号中的冗余符号；

信源译码器的功能是，将信道译码器输出符号变成消息。

总之，解码器功能与编码器中的对应部分功能正好相反，目的相同。但在模拟通信系统中仅包含解调器。

二.

信息论中系统模型的功能与作用

二.

信息论中系统模型的功能与作用5.干扰源（噪声源）：噪声是通信的天敌，为了便于分析将自生和外界的干扰用一噪声源模拟。信宿(Destination):

消息的接收者，可以是人或机器。对窄义信息论来说，对信宿要有一定的限制，一般称为理想化的信宿条件。(idealizedestination)

信宿的功能是接收信息，包括人或设备。当前人们对信宿的研究也取得某些成果。例如,利用人的视觉残留效应可以对图像采用不连续传输的方式达到连续的视觉效果,从而进一步压缩码率。利用人听觉的掩蔽效应可以压缩在大幅度频率分量附近的信号而不影响听觉效果。总之,对信宿的研究和压缩编码结合可以在不影响视听效果的条件下,显著压缩码率。

二.

信息论中系统模型的功能与作用

由系统模型可以概括出经典信息论(ClassicalInformationTheory)的基本研究内容:(a).

信源问题：首先要解决信息的度量(measure)，其次解决客观描述信源发送信息的能力以及如何达到最大发送能力的条件。(b).

信道问题：信息论所关心信道最大可传送（存储）信息的能力即信道容量(ChannelCapacity)。另外在系统设计时，考虑如何达到系统的最佳匹配。(c).

信宿问题：从客观性来看，当信宿理想化后接收者究竟可以最经济地得到多少信息。（在付出特定代价之后，所应该得到的最大信息量问题。）

二.

信息论中系统模型的功能与作用(d).编/解码问题：窄义信息论仅考虑两类编码：

信源编码解决信息传送过程的有效性。

(

Sourcecoding———Effectiveness)

信道编码解决信息传送过程的可靠性。

(

Channelcoding———Reliability)

广义信息论还讨论另外两类编码：

调制与复用编码解决信息传送过程的经济性、实用性。

(

Modulation&Multiplex———Economical)

密码——解决信息传送过程的安全性。

(

Cryptograph———Security)7.通信系统性能指标的评价

有效性用频谱利用率来衡量。提高有效性的措施是，采用信源编码以压缩码率，采用频谱利用率高的调制减小传输带宽；

可靠性用传输错误率来衡量。提高可靠性的措施是，采用信道编码以降低错误率；

安全性可通过信息的加密强度来衡量。提高安全性的措施是，采用强度高的加密和伪装技术。

二.

信息论中系统模型的功能与作用二.经典通信系统的基本框架图经典通信系统的基本框图Demodulator信源Source信源编码Encoder信道Channel信源解码Decoder信宿Destination干扰源Noise

UXYNnoisemessagesignalSignal+noisemessage+noise信道编码Encoder信道解码Decoder调制器Modulator解调器RVDemodulator二.通用的信息安全系统模型通用的信息安全系统的基本框图信源Source加密编码Encoder公开信道Channel解密译码Decoder信宿Destination

UXYNnoiseCryptographproclaimedinwriting保密信道传输信道编码Encoder信道解码Decoder干扰主动攻击密码分析CryptanalysisR密钥源KeysourceAttack

二.

信息论中系统模型的功能与作用

上述四类内容的研究,信息论并不是给出具体的解决方法。而仅仅从系统模型中分析总结出客观规律后得出一系列的编码定理用于指导工程设计和应用。同时也得到一些信息在传输过程中质与量的约束关系(

nature&quantityconstraintrelation)和有关系统设计的性能界限(

propertydemarcationofsystem)。

Shannon信息论的内容可用一句话概括为：“一个概念，三个定理”，就是信息熵的概念和三个编码定理。

三、信息论在信息科学中的地位与作用

所谓信息科学，简而言之就是关于认识和利用信息的科学。由此看来认识是基础，利用是目的。(UnderstandInformation&UtilizeInformation)Basis

Goal

如果再具体归纳信息科学所研究的内容为五类：探讨信息的基本概念和本质；研究信息的数值度量方法；阐明信息的提取、识别、变换、传递、存储、检索、处理、再生、表示、施效（控制）等过程；揭示利用信息来进行控制的原理和方法；寻求利用信息实现最优化组织的原理和方法。第一章绪论12、345三、信息论在信息科学中的地位与作用

对于第一类问题应属于哲学领域《信息哲学》对于第二、三类问题应属于《信息论》研究领域，这是解决在自然界如何认识信息的问题；而对于第四类属于《控制论》，第五类属于《系统论》它们都是属于如何利用信息规律的基础理论研究范畴。抛开《信息哲学》（《InformationPhilosophy》）剩下《信息论》

（《InformationTheory》）《控制论》

（《Cybernetics》）《系统论》

（《SystemTheory》）

这三门学科构成了信息科学的基础理论体系，称“老三论”；由于认识是基础中的基石，信息论在信息科学的地位就不言而喻了。

三、信息论在信息科学中的地位与作用通过信息来认识系统；通过信息的反作用（控制）来优化系统。信息论控制论系统论提取

处理再生产生行动理解信息初始状态目的状态三、信息论在信息科学中的地位与作用

有了完善的信息基础理论，人类才有可能制造出各种信息系统来扩展人类相应的信息功能。如：以先进的感测技术系统；来扩展人类的感觉器官而增加获取信息的功能。以先进的通信技术系统；来扩展人类的传导神经器官，而增加传递信息的功能。以先进的计算机和人工智能系统；来扩展人类思维器官的处理和再生信息的能力。以先进的控制技术系统；来扩展人类效应器官施用信息的功能。这样借助于信息科学技术上的成就，人类从体力劳动和部分脑力劳动中获得解放的希望就能实现。第一章:绪论简介信息论与信息安全的关系

人类对于保密学的研究已有久远的历史，但人们总觉得它比较神秘，因为大量这方面的文章及研究成果被保密和控制起来。实际上信息论之父(C.E.Shannon)在1949年发表有关奠基信息论之一论文《Communicationtheoryofsecrecysystems》此文提出了将密码建立在解某个已知数学难题上的观点，从此保密学的研究进入了科学的轨道，并使保密学得到广泛的研究和发展。尤其当今,由于信息安全和保密问题更为突出,所以保密学不但在理论上要深入研究，而且还要发展更多可靠实用的保密技术，形成一个不断活跃和重要的科学研究新领域。

Shannon在“保密通信的信息理论”著名论文中提出了通用的保密系统数学模型,用信息论的观点对消息与密钥源、完善保密性、理论保密性和实际保密性等信息保密问题做了全面深刻的论述，从而使信息论成为研究密码学和密码分析学的重要理论基础。四.简介信息论与信息安全的关系本节先给出一些保密学中的基本概念以及信息论对保密学问题的基本观点：1).

保密学：是研究密码系统或通信系统的安全问题的科学。它包含密码学和密码分析学这两个分支，所谓密码学是研究和设计各种密码体制,使信息得到安全的隐藏。而密码分析学是在未知密钥情况下研究分析破译密码，为获取已隐藏信息的科学。而密码体制的基本思想是隐藏和伪装需要保密的信息，使非授权者不能获取信息。为此再多介绍一些术语：2).

明文（或消息）：需要采用某种方法对其进行变换来隐藏载荷着信息的消息或字符串。3).

密文（或密报）：明文经过某种变换后成为一种载荷着不能被非授权者所理解的隐藏信息的消息。四.简介信息论与信息安全的关系4).

加密：是明文变换成密文的操作过程。5).

解密：利用密钥从密文恢复成明文的操作过程，是加密的反变换过程。6).

加密者：对明文进行加密的操作者。7).

接收者：预定接收密文者,

他应知道密钥是非常关键。8).

加密算法：加密者对明文进行加密所采用的一组法则,又称加密编码。9).解密算法：利用密钥将密文进行解密所采用的一组法则，又称为解密译码。10).

加密密钥：加密算法通常在一组密钥的控制下进行，这组密钥称加密密钥。11).

解密密钥：解密算法也在一组密钥的控制下进行，这组密钥称解密密钥。四.