信息论与编码2013年6月15日修改ch01-05.doc

1、王勇，黄雄华，蔡国永，信息论与编码，清华大学出版社7是2012清华大学出版社上达上达前言信息论与编码是一门比较理论化的科学，涉及到大量的数学分析、论证和建模。对数学的要求高，涉及到概率论、线性代数、微积分等等。对于不善于领悟的同学，可能是枯燥无味的，对于善于领悟的同学，有如鱼得水的感觉。信息论是对信息问题的抽象，应用面、涉及面广，许多问题也可以归结为信息论问题，但是由于其中涉及数学建模太多，局限性也多。这对于学生而言，特别是对于本科生，是具有一定难度的。当今的大学生与昔日大学生在能力、素质、学风、自觉性方面都有越来越明显的差异。而某些课程，包括数学等，也经历过课时数的压缩，作为计量单位的课时，

2、也在时长上有所缩短。在这样的情况下，针对昔日本科生的教学大纲和教材，对于经过扩招以后的大学生而言，显得更加枯燥无味，艰涩难懂。为了促进学生对于相关数学问题的理解，笔者将信息论与编码中的关键性、全局性的问题进行了提炼，设计了一些全程问题，并且将复杂的问题分解为若干问题及其锦囊，通过一种逐步提示和启发的方式来促进学生的理解，当然对于问题的分解上并不能太让人满意，权作为抛砖引玉。虽然直观地看，书本上的数学公式枯燥无味，但是如果能够善于去思考和洞察问题的本质，我们又会发现，数学问题是那样美妙、有趣，数字的规律有时候也是严整有序的。根据学生对图书馆信息论与编码类教材的反馈意见，笔者决定在前人的基础上改进

3、信息论与编码教材。同时实践笔者在一些教改论文中提出的教材改革、教学改革和提高学生创新能力的建议1-4。笔者在教学中发现学生有应试习惯，许多学生并不是通过自己的理解去做题，而是依葫芦画瓢，按照类似的题型去套，因此在课后习题中增加了一些比较灵活、自由的题目。我们在这本教材中试图做到以下几点：(1) 充分重视启发。将复杂的数学证明简化为若干小问题，变成若干锦囊来启发学生理解问题。通过极端的例子来启发学生发现和理解问题。通过现实中经常用到的例子来启发。(2) 重视实用性，除了理论外，还对各种编码的具体实现中的问题进行了分析，并且给出了一些软件实现的具体指导。避免教材内容过于学术化，而没有考虑到学生今后

4、在工作中的实际需求。对于信息论与编码技术在现实中的各种应用也有不少介绍和展望。(3) 充分结合编者的研究和教学成果和经验，根据编者的分析和研究，提供一些新的理解或者证明相关结论的方法。(4) 注重各知识点的条理性、衔接性、前后关系和因果关系。(5) 详细叙述与方向指引并重。“吾生也有涯，而知也无涯。以有涯随无涯，殆已。”知识是无涯的，与此相对应的是教材篇幅是受到限制的，学生大学时间也是有限的，即有涯。如何在有涯和无涯之间建立一个很好的平衡是一个教材的编者必须充分考虑的。在当今强调宽口径教学的背景下，一方面要突出重点，针对具有理论和应用价值的内容进行详细叙述，另外一方面，由于篇幅所限，不可能面面

5、俱到，在教材中指明学科的脉络、发展方向和前沿，对于某些应用面有限的，繁琐的尖端枝末性的知识，我们尽量推荐一定的教材和资源，以便读者可以根据指引找到相关资料。本书还提出了一些具有潜力的新问题研究方向。(6) 传授知识与传授方法并举。通过举例等让学生体验到那种利用新的方法来解决实际问题的途径。以教材的课后习题诱导学生去探索现学现用甚至自己去搜集资料来解决问题的方法。本书不仅仅致力于让学生学会信息论与编码相关知识，在许多时候通过启发的方式让学生能够学习信息论的基本方法，以及新理论的创新的方法和技巧。在值得学生深思、借鉴和联想的位置做一定的标记和启发性提问。提供通用的和针对信息论与编码的学习和研究的方

6、法、技巧。(7) 对于重要的关键词提供对应的英文术语，达到一定双语效果，便于读者进一步阅读英文文献。(8) 学术性与通俗性共存。在两者之间保持平衡，避免教材的曲高和寡和经院化，也避免教材一味实用却缺乏理论深度。目前一些教材存在着学术性很强，但是缺乏通俗性的弊端。编者将更多站在学生的角度去编写教材。第一，在编写教材时，考虑读者的基础，尽量对于专业术语给予解释；第二，不要采用模糊不清的表述，宁可多写，也要把问题写清楚，对于可能存在歧义的表述，通过各种方式让歧义消除，语意明确。为了达到通俗易懂，在一些地方不惜增加了冗余，对于比较专业和自学能力强的读者，可能会觉得比较啰嗦，这是为了更加确定，避免各种各

7、样的费解；第三，尽量少用抽象空洞的表述，同时配备通俗易懂的实例或者图表；第四，对于难于理解的问题，用形象的例子或者比拟来启发思维。第五，在描述问题时避免跨度太大或者跨越某些知识，造成理解上的困难。达到可以无需教师讲解依然具有很好的可读性，便于自学。第六，内容上要考虑实践中必须解决的一些问题，考虑现实各种因素。第七，一方面减少了某些意义不大，非常繁杂的，过多数学推导的内容，但是同时也用一些启发的锦囊来引导读者自悟。对于较为复杂的问题，同时给予专业性表述和通俗性表述。(9) 合理设计排版布局。为了保证对于不同读者和学生的适用性，显示教材内容的层次性，不同性质的内容采用不同字体。对于比较难，选学的内

8、容其标题后加*号，对于一些启发性、评价性的内容，解题指导以及理论应用于实际方面的讨论的内容，感想、启示以及启发性提问采用楷体。重要的内容采用加粗字体。必要的背景阐释和补充说明采用仿宋字体。(10) 重视对创新能力激励和培养。第一，在合适位置预留读者发表自己看法的空间。为了启发和提醒学生的创新思维，在教材的适当位置（比如编者认为某些内容还有很大创新空间时）预留读者自己思考和创新的空白位置，并且用文字标示出来提醒读者。在描述具有启发意义的创新内容时，对于相关内容的重大创新给予点评来启发读者进行创新，并且在章节的末尾或者适当位置预留空间让读者自由表达思想，如可以容纳新思想、新假想、未被证实或未完全证

9、实的想法、简洁但是有用的想法等，或者让读者可以评阅、提出自己的困难与添加自己观点、建议、改进意见，这样的提示有利于读者能发挥主观能动性和养成自己思维的习惯，也利于教师或者编者将这些学生的评阅和观点加以整理，以便于修改完善教材。第二，信息论的许多模型都有自己的前提，是局限的，在描述编者认为非绝对内容的时候通过非肯定的字眼，避免让读者对已有的理论产生正确无疑的看法，而鼓励学生放开眼光，发散思考，甚至于提示学生去发现这些潜在的前提。(11) 充分重视学生的数学基础，除了学生必须具备的高等数学、线性代数和概率论基础外，对于其他的数学基础会在相应章节简要提及。教材的编写注重通俗性和易读性，让数学基础差的

10、同学在没有教师指导的情况下能够自学，特别是需要考虑扩招带来的学生基础的影响。(12) 合理地设计习题。由于创新能力、自学能力和动手能力在产学研结合教育中的重要性，因此教材的习题也要考虑激发、提高或者检验学生的创新能力，现学现用能力，自学能力和动手能力。除了传统的答案相对固定的习题外，还应当有答案开放，促进思维发散的习题，让学生展开思维的翅膀去创新。在习题中引入没有用书本上概念描述的现实问题，让学生现学现用，增强学生举一反三能力。鼓励学生结合信息论去思考现实中的各种问题。(13) 先立后破。引导学生进入信息论的模型中，进而接受和相信信息论。走向迷信的时候，打破这种迷信。在教材的最后，才开始讨论信

11、息论的前提条件，让读者知道其局限性。(14) 对于一些比较困难的内容进行简化，仅仅提及相关的结论和基本的原理。(15) 在融入科研于教材的同时，试图化解教学之易与科研之难的矛盾。将许多的科研成果融入了教材，但是也尽量采用容易理解的方式简化地编写相关内容。本教材依然存在以下方面的问题：信息论的各个模型、定义，存在一些未明确说明的假定，在具体的理论在转向不同应用情形的时候，也存在一些未明确说明的问题，诸如是否适用的问题，比如，当一个定理对单个符号适用，转向于应用到符号序列时，没有说明其适用性。这是读者在读信息论与编码类教材时需要注意的。本教材对于其中一部分给出了说明，但是没有全部说明。本书在编写的

12、过程中，参考了不少信息论与编码方面的教材、专著、论文和网络资源等，在此作者对这些著作的作者深表感谢。为了减少歧义，也对一些题目和知识的条件进行了明确，对于可能不妥的说法也进行了改进，但是，这些改进可能存在不当之处。信息论面对的现实中真实的模型、系统、对象、参数都是极其复杂、多样化和不确定的，在信息论中是存在许多简化和忽略的，这造成某些理论是受到限制的，并不普适，也不唯一，有些教材也存在不一致的说法。在本教材中，编者试图能够尽量对一些模糊的对象加以明确，对于一些前提加以限定，但是有时候鉴于考虑的越复杂、越细致就会越繁琐和复杂化，因此有些地方依然保持现有教材的说法。在不同的教材中，有些术语、分类、

13、划分等对象存在一定的不一致、不统一、不确定的情况，有些内容本身也存在模糊性，有些划分要么过于庞杂，要么存在疏漏，有的划分还存在重复，在本教材中采用以下原则：列举别名、明确问题、理清脉络、解释分歧、回避歧义、避免繁杂而无意义的内容。但是，这些也存在欠缺，尚未做得满意。本书力图做出多方面的改革和改进，但是，这些变革总是存在一定难度的，一部优秀的教材应该融合产学研，编者在有些方面可能是心有余而力不足，加上时间有限，可能存在一定的不足。对于学生的学习方面，编者认为虽然本教材设计了大量的思考题，但是，作者也反对绞尽脑汁、挖空心思式的短期拔苗助长的思维训练方法，真正提高智力需要有安宁、清明的心，宁静才能致

14、远，清明才能洞察。学生的思考习惯应该是先扶后抑，当学生不习惯思考的时候，可以培养思考的习惯，但是思考成为非常强烈的习惯的时候，这从任何一个角度（智力、身体、心理等）来说对于学生都是不利的，需要冷静观察和抑制思维。在学习中，方法是非常重要的，甚至于它比书本上的死知识更重要，建议多读数学家和密码学家的故事，比如香农，王小云等。知识对我们的启发的价值可能远远超过知识的直接价值。关于这门课程的学习，相对于其他的课程显得比较艰深抽象，需要较好的数学基础，固然做习题也是需要的，但是，习题可能更多的是应付考试，对于真正掌握和进一步应用信息论与编码的理论意义是不大的，信息论与编码课程的学习与掌握，最重要的还是

15、理解。本教材添加了一些实践应用方面的知识，也涉及到许多思想与方法，相比一些教材更“厚”，在教学中如果课时受限的时候，需要根据需求合理取舍，并将一些内容交给学生自学。根据编者的经验，自己独立去想通一个问题，或者实在想不通的时候，看一部分书本证明继续独立思考，可能比完全看书本上的分析与证明效果更好，总结为“学习得来终觉浅，绝知此事要自悟”。编者认为，信息在对于人类的利弊上是中立的，信息只是提供给我们更多的选择，但是这种选择到底是有益有害，人是不是会利用这种选择来危害社会，很大的程度上是处决于用信息的人，所以无论科技如何发达，永远都不能忽视人的道德，坏人掌握高科技，无异于南辕北辙。正如复旦大学校长所

16、言：“无德学生越有知识可能越祸害社会”。对于学生的道德要求应高于学业要求，德育更重于智育。现在的大学教学中忽视德育，轻视方法与思想，侧重理论。而实际上三者的重要性是递减的。国外的大学教育水平为什么能够高很多，我们参考国外的教材和教学安排、习题就可以得出一部分答案，它们学生的压力更大，学习内容多，但是教师讲的少，学生自学的内容多，题目更加灵活，它们的平时成绩往往超过70%，但是平时的习题任务也是非常大，而且非常严格的，另外机制保证了学生也更加勤奋，教师的要求更加严格。而在国内，在学习最专业知识的大学阶段却反倒松懈下来。提升大学教育质量离不开严格管理，国外做法值得借鉴。全书分为9章，第6章由黄雄华

17、完成，9章由蔡国永和王勇完成，其余均王勇编写，主编审理了各章内容，但是当章节编者与主编存在不同看法时，主要保留编者观点。教材中新的锦囊、穿插的思考题、课后思考题由王勇设计。教材的策划与改革主要由王勇完成。本书共分9章。第1章是绪论，介绍信息、通信系统模型、离散与连续等内容。第2章介绍信息的统计度量，也是信息论的基本概念，包括自信息量、互信息量、平均自信息（熵）、平均互信息等，这一章是后续章节的基础。第3章讨论信道及其容量。第4章主要介绍编码的基本概念与无失真信源编码。第5章讨论信息率失真函数和限失真信源编码。第6章讨论了信道编码。第7章讨论了加密编码。第8章分析信息论的局限性，并且对信息论的发

18、展进行了展望。第9章介绍了一些常用编码的实现方法和信息论的应用。我们约定一级标题为章，二级标题对应的是节。作者要特别感谢清华大学出版社的信任与支持！同时感谢付莉做了一部分资料收集工作，并绘制了若干插图。本书的前修课程包括高等数学、概率论、线性代数。离散数学（数论、近世代数）也是某些编码理论的基础，本书中在相关章节对这些基础简要提及。本书将会提供一定的增补电子文档和其他相关的电子文档。本书试图更多从理解的角度来启迪读者，也提出了许多启发性的思考问题，希望能够把这本书变成启迪思维，开启智慧的素材集，但是编者的理解是有限的，在信息论与编码领域的理论和实践方面存在一定的欠缺，限于作者水平有限，书中错误

19、和不当之处在所难免，欢迎各种批评和建议，我们倡导面向就业的教学方式，在教材的编写上，也希望能够进一步贴近研究和应用的实践，我们欢迎（但是不限于）：(1) 研究人员对教材的前瞻性提出批评指正；(2) 学习过信息论与编码的毕业生在从业多年后对教材的实用性进行评价；(3) 还未学习过信息论与编码的本科生（已经学过高等数学、线性代数和概率论）来评论教材的通俗性和易读性，指出教材中的跳跃度较大、艰涩难懂的地方；(4) 教师和学生对教材中出现的问题批评，对教材的优缺点进行评价，针对我们教材中的一些改进点提出批评意见；(5) 产业界和普通的相关行业人士就教材的实用性提出自己的意见，以增强课程与实践的衔接。如

20、有意见可以发到，对于有显著贡献的读者，我们会在教材或者其电子材料中注明，并可能拿出一部分稿酬给予奖励。此外，对于今后的教材再版，我们也积极欢迎产、学、研等行业的人才参与进来，参与者和提意见者可以提出自己的关于版权、署名、稿酬等各方面的要求。读者对象：高等院校信息工程、通信工程、雷达、信息安全、计算机、电子学、信息与计算科学等相关专业的本科生、研究生。王勇 2012年11月 于桂林电子科技大学第1章 绪论我们生活在一个数字化和信息化的时代，我们现实中采用传统方式进行处理的事务，都已经转向数字化的处理方式，比如以前的胶卷相机基本上被数码相机取代，磁带、留声机等已经被

21、mp3之类取代，电影、文件、记事本等无不正在或完成了数字化的进程。信息技术（information technology）已经渗透到各个行业，并且引起了许多行业的根本性变革。信息论与编码（information theory and coding）技术则直接地或者隐含地应用在信息技术的应用中，特别是在通信领域。信息论的催生最重要的动力在于当时通信技术的发展的需要，在通信的现实环境中，如何占用最少的带宽来传递更多的信息，并且要考虑通信中干扰和差错的影响，以及某些情况下，在公开的、可以监听的信道上如何实现通信的保密。但是，现在信息论与编码的应用已经不限于通信，应用领域非常广泛。现在可能许多时候我们

22、并没有察觉信息论与编码技术的存在和影响，但是，实际上我们不知不觉已经使用了信息论与编码技术，或者从这些技术中受益。信息论是人们在长期通信工程的实践中，由通信技术、概率论、随机过程和数理统计等相结合逐步发展起来的一门学科。通常人们公认信息论的奠基人是美国科学家香农(C.E.Shannon)，他于1948年发表的著名论文通信的数学理论，为信息论的诞生和发展奠定了理论基础。信息理论在学术界引起了巨大的反响，在香农信息论的指导下，为提高通信系统信息传输的有效性、安全性和可靠性，人们在信源编码、加密编码和信道编码等领域进行了卓有成效的研究，取得了丰硕的成果。随着信息理论的迅猛发展和信息概念的不断深化，信

23、息论所涉及的内容早已超越了通信工程的范畴，进入了信息科学这一更广、更新的领域，并渗透到许多学科，得到多个领域的科学工作者的重视，当然信息论也有局限性，它并不解决所有的信息问题，这几类编码也只是从以上几个有限的角度来考虑问题，并不涵盖所有的编码领域。1.1 信息技术的优势及其带来的根本变革在编者看来，信息技术的应用面广，渗透性强，是源于信息技术的广泛需求及其功能的强大：一个局外人很难相信，我们现实中所做的大量的工作都可以用数字，具体地说是二进制存储和处理，计算机程序可以完成大量的工作，甚至可以模仿人的智能，但是，局外人同样也很难相信，计算机的基本操作单元依靠对于二进制数据的简单的计算，就可以完成

24、我们现实中大量的数据处理的功能，而且计算机程序也是以二进制的形式存在的。计算机虽然是名符其实地做着计算的工作，但是它的功能却永远超出了我们普通人眼中的“计算”的范畴，随着计算和通信技术的发展，计算机似乎越来越趋向无所不能，这种“无所不能”首先依赖于对各种信息进行编码和处理。计算机所能处理的数据，不仅仅有数字，更有文本、文字、声音、视频等等媒体信息，也有实现计算机各种功能的计算机软件的代码和可执行程序，这些信息最终在计算机中处理时均要转换为二进制数据。以上所有的这些，均涉及到一个问题：如何将我们现实中的信息用二进制数据来表示（编码），这种编码需要在什么样的原则下进行才是最合理的，如何来满足这些原

25、则。在这些过程中，还需要进行通信、存储和处理，需要考虑现实环境的不完美性。在许多情况下，还需要对信息进行保密处理，而实际上最初计算机的诞生本身就是为了破译密码，所以在编码的过程中如何达到保密的效果，也是非常重要的一个方面。各行各业的信息化受到了空前的重视，信息化（Informatization）这个词或许并不是名符其实的，一些学者也提出异议，认为我们自古以来一直就在同信息打交道，信息本身无处不在，所以谈信息化显得不太合适，所以编者认为称为数字化可能更加合适，在信息技术兴起之前，我们虽然说同样与信息打交道，利用信息，处理信息，但是，采用的是比较落后的、人工的方式，有低效、通信困难、利用率低、无法

26、处理复杂信息、耗费人力等一系列的缺点。不过我们现在所提到的信息化却和信息论与编码密切相关，我们可以理解为，将现实中的各种信息和数据，以信息论为基础，通过数字化的编码方法表示为二进制或者其他类型的数据，从而便于通信和处理，更重要的是，编码为二进制数据可以便于计算机用最为简单的计算方式，进行各种各样的复杂处理。信息化的重要意义在于，一旦利用计算机，我们可以进行各种智能的，海量信息的处理，而无需人工处理，而且相对人工处理而言，计算机的处理有些时候可能更快、更加可靠和精确。既然所有的信息都可以转换为二进制，或者其他的编码方式，对于信息进行有效的编码即成为信息化进程的一个根本性的问题。正如控制论的创始人

27、对信息的定义，信息就是信息，它不是物质，也不是能量。正是因为信息不是物质和能量，所以不受到相应的限制。它可以快速传播、广泛共享、可以进行高效处理。当今社会是一个信息化的社会。信息可以让我们做出更好的选择，更好的控制事物，更方便处理各种事务，在未来物联网时代，信息将会发生更加深远的影响，更深入地渗透到人、机和物的各种活动中。美国连线杂志主编安德森说：“60年前数字计算机使得信息可读，20年前因特网使得信息可获得，10年前搜索引擎爬虫将互联网变成一个数据库，现在Google及类似公司处理海量语料库如同一个人类社会实验室。”由于信息是诸多活动中涉及到的内容，是诸多事务处理中的桥梁，这使得信息技术伴随

28、相关技术的发展而起着越来越大的作用。信息论以及相关的编码技术自然是一个非常重要的基础理论。香农创立了信息论，并且由此衍生了信源编码、信道编码和密码编码技术。1.2 信息论与编码的基本概念1.2.1 信息的一般概念人类自古以来都是生活在信息的海洋中。农民不知道利用农时、商情，就很难获得丰收；工人不掌握技术，就很难从事生产；商人不了解市场，就很难获取效益；军队不明敌情我情，就很难取得战争的胜利。可见，信息这一抽象又复杂的概念，与其他在实践中提出来的科学概念一样，是在人类社会互通情报的实践过程中产生的。当今社会，人们在各种生产、科学研究和社会活动中，无处不涉及信息的交换和利用。可以说，在我们周围充满

29、了信息，我们正处在“信息社会”中。通过电话、电报、传真和电子邮件，人们可以自由地交流信息；通过报纸、书刊、电子出版物和因特网等媒介，人们可以有选择地获取大量信息；通过电台、电视台等视听媒体，人们可以“身临其境”地感受最新信息。但以上所述还远不能概括信息的全部含义：四季交替透露的是自然界的信息，而牛顿定律揭示的是物体运动内在规律的信息。信息含义之广几乎可以涵盖整个宇宙，且内容庞杂，层次混叠，不易理清。现代的信息技术，使得我们能够快速、有效地获取有价值的信息，而信息的价值则是体现在社会生活的方方面面，可以给我们带来无尽的益处。因此，迅速获取信息，正确处理信息，充分利用信息，既能促进科学技术和国民经

30、济的飞跃发展，又能在各种形式的竞争中占得先机。如今有关信息的新名词、新术语层出不穷，信息产业在社会经济中所占份额也越来越大，信息基础设施建设速度之快成了当今社会的重要特征之一，物质、能源、信息构成了现代社会生存发展的三大基本支柱。信息的价值在于它为人们能动地改造外部世界提供了可能，信息所揭示的事物运动规律为人们应用这些规律提供了可能，而信息所描述的事物状态也为人们推动事物向有利的方向发展提供了可能。掌握的资源和能量越多，面对同样的信息时人们能用以改造世界的可能性也越大。今天我们所掌握的物质力量比过去增大了不知多少倍，因此，信息对于当今社会的发展和人们生活的重要性较之几百年前、几十年前甚至十几年

31、前都有很大的提高。这是信息社会的一个重要特征。信息的重要性不言而喻，那么，如此神通广大、无处不在而又无所不能的信息究竟是什么呢?信息是信息论中最基本、最重要的概念，既抽象又复杂。关于信息的科学定义，到目前为止，国内外已提出近百种，它们从不同的侧面和不同的层次来揭示信息的本质。从本质的意义上说，信息是人类社会活动所产生的各种状态和消息的总称，信息是人们对客观事物运动规律及其存在状态的认识。在信息论和通信理论中经常会遇到信息（information）、消息（message）和信号（signal）这三个既有联系又有区别的名词。在现代信息理论形成之前，信息一直被看作是通信的消息的同义词，没有被赋予严格

32、的科学定义。到了20世纪40年代末，随着信息论这一学科的诞生，信息的含义才有了新的拓展。在学习信息论与编码技术之前，先介绍这三个基本概念。对信息、消息和信号的定义比较如下：信息：信息是各个事物运动状态及其变化方式的一种描述。人们在对周围世界的观察中获得信息，信息是抽象的意识或知识，它是看不见、摸不着的。而且信息仅仅与随机事件的发生相关，非随机事件的发生不包含任何信息。从这一点上我们可以得知，信息量的大小与随机事件发生的概率有直接的关系，概率越小的随机事件一旦发生，它所包含的信息量就越大，而出现概率大的随机事件一旦发生，它所包含的信息量就越小。消息：消息是信息的载体。它是指包含信息的语言、文字、

33、数字和语言等。在世界各地的人要想知道其他地方发生事情的内容，只能从各种各样的消息中得到，这些消息可以是广播中的语言、报纸上的文字、电视中的图像或互联网上的文字与图像等。可见，消息是具体的，它载荷信息，但它不是物理性的。信息只与随机事件的发生有关。每时每刻在世界上的每个地方，都会有各种事件发生，这些事件的发生绝大多数是随机的，对于许多人而言，不知道事件的结果，而当我们需要对这种不确定的事件给予确定的时候，就需要消息来告知我们。信号：信号是消息的物理体现。为了在信道上传输（存储）消息，就必须把消息加载(调制)到具有某种物理特征的信号上去。信号是信息的载体，是具有物理性的，如电信号、声信号、光信号等

34、。以人类的语言为例，当人们说话时，发出声信号，这种声信号经过麦克风的转换变成了电信号。这里的声信号和电信号都是我们所指的信号。按照信息论的观点，信息不等于消息。在日常生活中，人们往往对消息和信息不加区别，认为得到了消息，就是获得了信息。例如，当人们收到一封电报，接到一个电话，收听了广播或看了电视等以后，就认为获得了“信息”。的确，人们从接收到的电报、电话、广播和电视的消息中能获得各种信息，信息与消息有着密切的联系。但是，在信息论中，对它们的概念进行了明确界定，信息与消息并不等同。人们收到消息后，如果消息告诉了我们原来不知道的新内容，我们会感到获得了信息，而如果消息是我们基本已经知道的内容，我们

35、得到的信息就不多。所以信息应该是可以测度的。我们知道，在网络、电报、电话、广播、电视(也包括雷达、导航、遥测)等通信系统中传输的是各种各样的消息。这些被传送的消息有着各种不同的形式，如文字、数据、语言、图像等。所有这些不同形式的消息一般能被人们的感觉器官所感知的，或者凭借某些设备测量和显示后可以感知到，人们通过通信，接收到消息后，得到的是关于描述某事物状态的具体内容。例如，电视中转播球赛，人们从电视图像中看到了球赛进展情况，而电视的活动图像则是对球赛运动状态的描述。消息可以用于描述任意对象，既可以是客观的，也可以是主观的，比如消息也可用来表述人们头脑里的思维活动。例如，朋友给您打电话说“我想去

36、北京”，您从这条消息得知了您的朋友的想法，该语言消息反映了人的主观世界大脑物质的思维运动所表现出来的思维状态。因此，用文字、符号、数据、语言、音符、图形、图像等能够被人们的感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。可见，消息中包含信息，是信息的载体，得到消息，进而获得信息。同一则信息可用不同的消息形式来载荷，如前所述的球赛进展情况可用电视图像、广播语言、报纸文字等不同消息来表述。而一则消息也可载荷不同的信息，它可能包含非常丰富的信息，也可能只包含很少的信息。因此，信息与消息是既有区别又有联系的。在各种实际通信系统中，为了克服时间或空间的限制而进行通信，必须对消

37、息进行加工处理。把消息变换成适合于信道传输的物理量(如声、光、电等)，这种物理量即为信号。信号携带着消息，它是消息的运载工具。如前例中，携带球赛进展情况的电视图像转换成电信号，电信号经过调制变成高频调制电信号，才能在信道中传输；在通信系统的接收端，通过解调还原出原始电信号，在电视屏幕中呈现给观众，从而使观众获得信息。同样，同一消息可用不同的信号来表示，同一信号也可表示不同的消息。例如，同样是发出声音“是”，由于针对的问题背景不一样，其含义就不一样。红、绿灯信号：若在十字路口，红、绿灯信号表示能否通行的信息；而在电子仪器面板上，红绿、灯信号却表示仪器是否正常工作或者表示高低电压等信息。同样的是警

38、报声，可能是警车过来的信号，也可能是救护车过来的信号。同样一个消息，在磁盘上存储的时候采用的是磁信号，在电脑上显示的时候是光信号，所以，信息、消息和信号是既有区别又有联系的三个不同的概念。从以上的讨论中可以看到，信息、消息和信号之间有着密切的关系。信息是一切通信系统所要传递的内容，而消息作为信息的载体可能是一种“高级”载体；信号作为消息的物理体现，是信息的一种“低级”载体。作为系统设计人员，我们所接触的只是信号，而这种信号最终要变成消息的形式才能被大众接受。对于我们学习这一门课程，更多是从消息载体的角度去探讨信息论，当然消息本身和噪声也与信号有关系，所以，也会涉及到。信息的基本概念在于它的不确

39、定性，任何已确定的事物都不含有信息。信息具有以下特征：(1) 信息是可以识别的。我们知道，信息离不开物理载体，人们可以通过对这些物理载体的识别来获得信息。有些可以用人的感官直接识别信息，例如承载于语言、文字中的信息可以直接用耳、目接收进而识别；而有些则需借助于各种传感器间接识别信息，例如在遥感测量中要利用对电磁波敏感的传感器来间接进行。(2) 信息是可以存储的。信息可以用多种方式存储起来，在需要的时候把存储的信息调取出来。相同的信息可以用文字的形式记录在书刊笔记中，也可以用录音、录像的方式存储在磁性介质中，或者利用计算机存储设备存储起来。(3) 信息是可以传递的。信息可以通过多种途径进行传递，

40、人与人之间的信息传递，既可以通过语言、文字，也可以通过体态、动作或表情；社会规模的信息传递，常通过报纸、杂志、电话、广播、电视和网络等。从原则上来说，各种物质的运动形式都可以用于信息的传递。(4) 信息是可以量度的。信息量有大小的差别，出现概率越大的随机事件一旦发生，它所包含的信息量就越小；反之，出现概率越小的随机事件一旦发生，它所包含的信息量就越大。(5) 信息是可以加工的。人们在收到各种原始信息之后，经过各种方式的加工可以产生新的信息，如研究人员通过收集资料或实验获得的原始信息，经过加工处理可能提出新的见解；计算机对输入的信息通过加工处理，可为人们提供更有意义的结果。(6) 信息是可以共享

41、的。信息可以像实物一样作为商品出售，但信息的知识特性使其交易又不同于一般的实物交易，信息交易后，信息出售者与信息购买者共同享有信息。(7) 信息的载体是可以转换的。同样内容的信息，可以有不同的形态，可以被包含在不同的物体变化之中，可以从一种形态转换到另一种形态。如我们用感官识别出来的声音、味道、颜色等信息可以转换成语言、文字等形式。在这种转换中，信息的物理载体发生了变化，但信息的内容可以保持完好无损。信息的这个特性，为人们借助于仪器间接地识别信息提供了基础，也为信息的传递、存储和处理带来了方便。信息的以上特征使得信息技术在现代社会中可以得以广泛应用。1.2.2 香农信息定义信息仅仅与随机事件的

42、发生相关，用数学的语言来说，不确定性就是随机性，具有不确定性的事件就是随机事件。因此，可运用研究随机事件的数学工具概率论和随机过程来测度不确定性的大小。若从直观概念来说，不确定性的大小可以直观地看作事先猜测某随机事件是否发生的难易程度。某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目和各状态出现的概率大小有关。既然不确定性的大小能够测度，那么信息也是可以测度的。信息如何测度？当人们收到一封电报，或者听了广播、看了电视，到底能得到多少信息量？由于信息量与不确定性消除的程度有关，我们用消除不确定性的多少来测度信息量。比如，选择题有ABCD四个选项，一个完全不懂的人，他对于答案是完全不确

43、定的，此时，如果有知道标准答案的人告诉他答案是D，这其中他对答案的了解就是从不确定变成了确定的，提供答案信息的过程，就可以理解为消除不确定性的过程。同样，假如有位成绩良好的学生，他可以确定D的概率为99.99999999%，此时被告知正确答案，提供的信息量就很少，同样，假如有位成绩良好的学生，他完全可以确定答案是D，此时再被告知答案，则他并不获得信息量。一台机器出了故障，一个不懂的人A束手无策，另外一个师傅B过来告诉他要如何操作，这样他对于消除故障的处理方式就从不确定变成确定。如果把这个不懂的人换成一位技术相对熟练的师傅，他可能都差不多知道要如何操作了，这时候，师傅B过来告诉他要如何操作，则他

44、获得了一定的信息，但是比前者要少，如果另外一个人技术非常娴熟，完全知道如何操作，此时再被告知如何操作，他获得的信息量就是0，以上这些结论显然是一个人的直观都可以接受的，所以简单地看可以认为信息是消除不确定性的东西。同样是考试题，同样是完全对答案一无所知，但是，如果一个题目是判断题，另外一个题目是选择题，四选一，显然选择题的不确定性更大，在被告诉判断题的答案和选择题的答案后，我们感受到的信息量也是不一样的，显然选择题答案给出的信息量要大。上述两个例子告诉我们：某一事物状态的不确定性的大小，与该事物可能出现的不同的状态数目和各状态出现的概率的大小有关。某一事物状态出现的概率越小，其不确定性越大，一

45、旦出现，带来的信息量就越大；反之，某一事物状态出现的概率接近于l，即预料中肯定会出现的事件，那它的不确定性就接近于0，如果出现，带来的信息量就很小。以上例子告诉我们，可以直观地认为信息是消除不确定性的东西。后面会有一些更加严格的描述和结论，并且给出一部分证明，说明这一定义在一定条件下是正确的。香农信息反映的就是事物的不确定性。在香农著名的论文通信的数学理论中，他根据概率测度和数理统计学系统地研究了通信中的基本问题，并给出了信息的定量表示，得出了带有普遍意义的重要结论，由此奠定了现代信息论的基础。香农定义的信息概念是建立在一定的数学模型的基础上的，它有许多优点。（1）香农定义的信息概念是一个相对

46、科学的定义，有明确的数学模型，其信息度量在一定的程度上是科学的。（2）香农定义的信息概念与日常用语中的信息的含意并不矛盾。（3）香农定义的信息概念排除了日常用语中对信息一词某些主观上的含意。同样一个消息对任何一个收信者来说，所得到的信息量（互信息）都是一样的。（4）与许多其他定义相比较，它具有可用数学表达的形式，而且依据一定的公理和假设，可以严格从数学上证明的。（5）香农定义的信息概念给出的相关度量是在通信中有着非常重要的应用，由信息熵以及由此派生的平均互信息量，分别构成无失真编码、限失真编码和信道通信能力的三个极限指标。但是，香农定义的信息也有其局限性，存在一些缺陷。（1）定义香农信息的出发

47、点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。它抛弃了一些其他的随机属性，而仅仅只考虑单重的随机不确定性，经典集合论也有它本身的局限性。实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一种模型还值得探讨。（2）香农信息的定义和度量没有考虑收信者的主观特性和主观意义，也撇开了事物本身的具体含意、具体用途、重要程度和引起后果等等因素。这就与实际情况不完全一致。例如，当收到同一消息后，对不同的收信者来说常会引起不同的感情、不同的关心程度、不同的价值，这些都应认为是获得了不同的信息。因此，信息有很强的主观性和实用性。由此可见，香农信息的定

48、义和度量在一定的程度上是科学的，在一定的假设下，可以通过严格的数学证明得出，而非香农个人主观臆造的，是能反映信息的某些本质的，但也是有局限的。以上事例中隐含着什么样的前提，信息的定义是在什么样的制约下得出的，具有什么样的局限性？ 1.2.3 信息其他定义目前的信息定义并不能够让人满意，中国科学院编写的21世纪100个交叉科学难题一书中已把“信息是什么”列入100个难题之中。网上也到处都有信息定义的征集和讨论活动，这说明目前信息的定义都不能得到公认。关于信息的定义据说超过100多种。我们来对信息的定义加以归类，我们把它分为如下几类：（1）抽象型的信息定义：信息就是信息，既不是物质也不是能量 (W

49、iener,1948) 。信息是人们在适应外部世界，并且这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。n 信息是一种场 (Eepr,1971) 。n 信息是系统的复杂性 ( 张学文等 ) 。n 信息不是物质，它是物质状态的映射 ( 张学文等 ) 。n 信息是事物相互作用的表现形式。n 信息是事物联系的普遍形式。n 信息是与控制论系统相联系的一种功能现象。n 信息是被反映的物质的属性 ( 刘长林， 1985) 。n 信息是人与外界相互作用的过程中所交换的内容的名称 (Wiener,1948) 。n 信息是作用于人类感觉器官的东西。n 信息是选择的自由度 (Hartley,

50、1928) 。n 信息是通信传输的内容 (Wiener,1950) 。n 信息是加工知识的原材料 (Brillouin,1956) 。n 信息是控制的指令 (Wiener,1950) 。n 信息就是消息。n 信息就是信号。n 信息就是数据。n 信息就是情报。n 信息就是知识。n 信息是一种关系 (Longo,1975) 。n 信息是物质的普遍属性。n 信息是事物相互作用过程的表征。n 信息是结构的表达。n 信息是人脑对客观事物属性的能动反映。n 信息是物质与意识的中介,是认识的中介。n 信息是指人类共享的一切知识。n 信息数据意义（Floridi，2005）n 信息一般泛指我们所说的消息、情报

51、、指令、数据、信号等有关周围环境的知识。n 信息是我们适应外部世界并使这种适应为外部世界所感到的过程中同外部世界进行交换内容的名称。n 信息，就是“意、文、义”三个范畴的总称 (邹晓辉) 。n 信息是生活主体同外部客体之间有关情况的消息。n 信息本身就是一种模式和组织形式。n 信息，并不是指事物本身，而是指用来表明事物或通过事物发出的消息、情报、指令、数据、信号中所包含的东西。n 信息是一种能创造价值和能交换的知识，是与资本、劳动共同构成的生产三要素之一。n 信息是客观存在的东西。n 信息既是主观与客观相互联系、作用的媒介，又是物质世界与精神世界相互作用、联系的桥梁。n 信息是物质的普遍属性；

52、它表述它所属的物质系统，在同任何其他物质系统全面相互作用（或联系）的过程中，以质、能波动的形式所呈现的结构、状态和历史。（黎鸣）n 信息是标志间接存在的哲学范畴，它是物质（直接存在）存在方式和状态的自身显示。（邬焜）n 信息是精确形式与明确内容和意义的必然对应关系（萧瑞宁，2005）。n 洪昆辉也定义了信息的体系：本体论的信息是事物及现象的存在方式之一，它是通过一定的媒介对事物及状态的一种显示（映射、反映），它标志事物及现象的间接存在。认识论层次的信息是指通过特定媒介，主体对主客体相互关系存在的映射、显示。 上面的这类定义，明显具有很宽的包容性，但是缺乏具体的内容，这类的定义太泛泛，缺乏可描述

53、性。当然这些定义也没有考虑到信息的可靠性问题，许多定义把信息当作一种完全可靠的反映，即使不当作完全可靠的反映，也容易诱导人们认为信息是可靠的，而实际情况是信息往往不反映真实情况，与实际情况有偏离，甚至是颠倒。（2）以差异、有序性和不确定性等类似的指标来定义的信息定义：n 信息是事物之间的差异 (Longo,1975)。n 信息是集合的变异度 (Ashby,1956)。n 信息是用以消除随机不定性的东西 (Shannon,1948) 。n 信息是物质和能量在时间和空间中分布的不均匀性 (Eepr,1971) 。n 信息是收信者事先所不知道的报导。n 信息是系统组织程度的度量 (Wiener,19

54、48) 。n 信息是被反映的变异度。n 信息是负熵 (Brillouin,1956)。n 信息是有序性的度量 (Wiener,1948)。n 信息是使概率分布发生变动的东西 (特里比斯，Tribes etal, 1971) 。n 信息是被反映的差异。n 信息是事物组织性，有序性的表征。n 信息是消息接受者预先不知道的报道。n 信息是组织程度，能使物质系统有序性增强，减少破坏、混乱和噪音。n 信息是有秩序的量度。n 信息是能用来消除或减少信宿关于信源不确定的东西。n 信息= 数据知识（邹晓辉）。n 信息是客体相对于主体的变化。n 信息就是相对于任何存在的相对变化，而这种相对变化是可以被分别、识别

55、、了别的。一般而言信息是以某种非决定性所表达的决定性（冯向军）。n 李炳铁定义了一套信息体系：信息从本质方面的定义就是物质的变化，信息从度量方面定义就是物质的变化程度；信息从意义方面定义就是人脑的反映，是意识的表现，是信息的内容；信息从广义方面定义就是物质的态（状态、形态），是信息的形式。n 信息指数据、消息中所包含的意义，它可以使消息中所描述的事件的不肯定性减少。这一类的定义具有可以度量，可以研究的优势，但是在编者看来却天生具有很大的局限性。我们分析两个实例。例1：由于某学校纪律严明，一般学生来学校上课的时间都比较确定，都能提前到校，迟到概率为0.01。但是甲从乙处得到消息：“某同学丙是最不

56、遵守纪律的（包括迟到）”。此消息对于“甲从乙处得到了什么消息”而言，或者乙告诉甲关于丙同学的什么情况而言，是消除了不确定性。但是本来根据前面已知的学校纪律严明的理由来推测，丙同学很可能是上课的时间是比较确定的，丙不迟到的先验概率可能有0.99，迟到概率可能只有0.01，但是知道从乙处得到消息以后，丙不迟到的后验概率减少了（假设后验的丙不迟到的概率大于0.01）。根据信息量的计算方法以及熵函数的上凸性，甲得到乙的消息以后，如果丙不迟到的概率在0.99至0.01之间，我们以乙的消息为条件，关于丙是否迟到的信息量不仅没有增加，反而信息量减少了，后验熵大于先验熵。例2：某人一般都作息很有规律，大多数情

57、况下（比如有百分之九十九的可能性）每天晚上6点要去某地散步，但是忽然得到明天要下暴雨的消息，得到该消息以后，该人明天散步的可能性会大大降低，如果其出来散步的可能性小于九十九，但是又不低于百分之一的情况下，该人是否明天出来散步的不确定性是增加了的。以上分析说明香农的信息是消除随机不确定性的东西的定义是局限的，信息不能对任何事件都是消除随机不确定性，只能从平均意义上消除随机不确定性，或者信息只能对自己本身任何时候都消除不确定性。钟义信教授提出了一套完整性的信息定义体系，他说：为了得到清晰的认识，我们应当根据不同的条件区分不同的层次来给出信息的定义。最高的层次是普遍的层次，也是无条件约束的层次，我们

58、把它叫做本体论层次。在这个层次上定义的信息是最广义的信息，它的适用最广。然后，如果引入一个条件来约束一下，则最高层次的定义就变为次高层次的定义，而次高层次的信息定义的适用范围就比最高层次定义的范围要窄；所引入的约束条件越多，定义的层次就越低，它所定义的信息的适用范围就越窄。这样，根据引入的条件的不同，就可以给出不同层次和不同适用范围的信息定义；这些不同的信息定义的系列，就构成了信息定义的体系。他提出了自己的信息定义体系：n 本体论层次的信息，就是事物运动的状态和 ( 状态改变的 ) 方式。n 认识论层次的信息，就是认识主体所感知或所表述的事物运动的状态和方式。n 语法信息，就是主体所感知或所表述的事物运动状态和方式的形式化关系。n 语义信息，就是认识主体所感知或所表述的事物运动状态和方式的逻辑含义。n 语用信息，就是认识主体所感知或所表述的事物运动状态和方式相对于某种目的的效用。钟义信教授同时也给出了相应的度量，有兴趣的读者可参考文献信息科学原理以及钟义信的其他著作。但是除了和香农相同的度量，我们无法发现这些度量的物理意义和现实应用价值。上面举