第一章概论-信息论与编码

信息论与编码InformationTheoryandcoding

工程学院

信息技术教研室课程类型：专业教育选修课学时：32学时（1－6周）考核：平时成绩20％（作业、考勤、测验）期末考试80％（院级闭卷）几点要求：上课尽量不要迟到课堂上请将手机静音

课程简介学习目的及意义最简单的通信系统信源信道信宿信源熵信源包含多少信息？信道中传输的是什么形式？信道能传送多少信息？信宿接收到的信息是否正确？编码信道容量检纠错学习方法本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。建议：上课时紧跟老师思路积极思考，提高听课效率记住概念，知道物理含义及其关系预习和复习自己独立完成作业

第1章概论

概论信息的一般概念信息的分类信息论的起源、发展及研究内容信息：认识主体所感受的或所表达的事物的运动状态和运动状态的变化方式。（1）信息是普遍存在的。（2）信息与物质。（3）信息与能量。（4）人类认识事物，变革事物必须要有信息。信息载体：运载信息的物质。概论信息论创始人：C.E.Shannon(香农，1916年4月30日—2001年2月26日)美国科学家主要论文有：1938年的硕士论文《继电器与开关电路的符号分析》，1948年的《通讯的数学原理》，1949年的《噪声下的通信》。概论

信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。

一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”

信息的存在花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；

成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；药有苦味，让人难以吞咽，药味是一种信息；听老师讲课可以得到许多知识，知识也是信息……。

信息的存在

总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。

色彩视觉果香嗅觉苦药味觉知识听觉冷热触觉信息的存在

1928年,美国数学家

哈特莱

(Hartley)在

《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。

？信息究竟是什么呢？事隔20年，另一位美国数学家香农

(C.E.Shannon)

在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义,他认为“信息就是一种消息”。

美国数学家、控制论的主要奠基人维纳(Wiener）在1950年出版的《控制论与社会》中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。它揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。

最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。最广义的信息，使用范围也最广。“本体论”定义

引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。“认识论”定义即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。全信息

同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。语法信息语义信息语用信息全信息信息的重要性质：

可压缩性

可扩散性可替代性

可共享性

时效性

存在的普遍性

有序性相对性

可度量性

可扩充性

可存储、传输与携带性

信息·消息·信号区别与联系：消息是指担负着传送信息任务的单个符号或符号序列。包括文本、数据、语言、图形和图像等。是具体的。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。是物理的。信息是消息中的未知成分（不确定性），或者说是消息中的有用成分。是抽象的。通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。信息的直观认识1信道上传送的是随机变量的值。这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。消息随机变量有一个概率分布。消息随机变量的一个可能取值就称为一个事件。信息的直观认识2

事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊）例事件“中国足球队5：0力克韩国足球队”此事件含有的信息量大。（小概率事件发生了，事件信息量大）例事件“中国足球队0：1负于韩国足球队”此事件有的信息量小。（大概率事件发生了，事件信息量小）信息的直观认识3

消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。例消息随机变量X=“中国足球队与巴西足球队比赛的结果”则消息随机变量X含有的信息量小。例消息随机变量Y=“意大利足球队与德国足球队比赛的结果”则消息随机变量Y含有的信息量大。信息的直观认识4

两个消息随机变量的相互依赖性越大，它们的互信息量就越大。例X=昆明明日平均气温,Y=大理明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与Y互信息量大，

X与Z互信息量小得多，

X与W互信息量几乎为0。

按照信息的性质

1语法语义语用

2客观主观

按照信息的地位信息的分类

按照信息的作用有用无用干扰3工业农业军事政治科技文化经济市场管理

按照信息的应用部门

4信息的分类语声图象文字数据计算

按照信息的来源5连续离散半连续

按照携带信息的信号的性质

6信息的分类

香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。

在人类历史的长河中，信息传输和传播手段经历了五次重大变革：语言的产生。文字的产生。印刷术的发明。电报、电话的发明。计算机技术与通信技术相结合，促进了网络通信的发展。12345信息论的起源、发展及研究内容1948年以“通信的数学理论”（Amathematicaltheoryofcommunication）为题公开发表，标志着信息论的正式诞生。起源

50年代，信息论在学术界引起了巨大反响。

60年代，信道编码技术有了较大发展，使它成为信息论的又一重要分支。

后来，人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把密码学也归类为信息论的分支。信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到诸如医学、生物学、心理学、神经生理学等自然科学的各个方面，甚至渗透到语言学、美学等领域。

70年代以后，多用户信息论成为中心研究课题之一。

发

展信源信道信宿噪声源信源编码加密信道编码调制器解调器信道译码解密信源译码通信系统模型

一般信息论香农信息论噪声理论调制理论信号滤波预测理论统计检测估计理论1信息论研究对象香农信息论信源熵信道容量率失真函数信源编码信道编码密码香农信息论2

所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、