《信息论与编码》 课件 第1章绪论

信息论与编码2第1章绪论信息论是什么？编码是用来干什么的？3第1章绪论信息论与编码课程的内容体系信息与编码的若干基本概念信息论的发展历史4第1章之“信息论与编码”课程的内容体系通信系统基本模型信息论与编码课程内容体系5第1章之“信息论与编码”课程的内容体系本课程所说“信息论”，主要是指“香农信息论”；香农信息论的主要内容，来自于其1948年发表在贝尔技术杂志上的文章：“通信中的数学理论”；所以，香农信息论，严格来说应该是“通信论”。6通信系统基本模型既然是通信理论，首先看看通信的定义、基本框图和基本问题：定义：通信是把信息从一个地方（发送端，信源）通过信息的通道（信道）送到另一个地方（接收端，信宿）。7通信系统基本模型基本框图：信源信宿噪声源信息信息干扰信道8通信系统基本模型基本问题：如何使通信“又快又好又安全”？快：用尽可能少的符号携带尽可能多的信息—有效性；好：信息传输要尽可能准确无误—可靠性；安全：信息的安全性。本书只考虑有效性和可靠性。9“信息论与编码”课程的内容体系对有效性和可靠性这两个通信中的基本问题，又各有两个方面的内容：希望“又快”（有效性）、“又好”（可靠性），这个“快”和“好”有没有极限？如果有，极限是多少？这是“信息论”要解决的问题；用什么方法和手段达到或接近该极限？这是“编码”所要解决的问题。

所以这门课叫做《信息论与编码》10“信息论与编码”课程的内容体系所以，《信息论与编码课程》的内容体系，可以表示成一个2×2的矩阵：信息论编码可靠性有效性有效性的极限是否存在及其大小问题可靠性的极限是否存在及其大小问题达到或接近有效性极限的手段和方法达到或接近可靠性极限的手段和方法11“信息论与编码”课程的内容体系有效性是要用尽可能少的符号携带尽可能多的信息，这个取决于信源的特性。所以在接下来的第2章，要研究信源与信源熵；可靠性取决于信息传输通道（信道）的特性，因此第3章研究信道与信道容量；12“信息论与编码”课程的内容体系相应地：提高有效性的方法，是对信源进行编码，称为信源编码，是第5章的内容；提高可靠性的方法，是对信道上传输的信息进行编码，称为信道编码，是第6章的内容；13“信息论与编码”课程的内容体系此外：第4章也是关于信源的，与第2章的不同在于：第2章的内容用于无失真信源编码，而第4章的内容用于限失真信源编码。由于其处理手段，类似于第3章信道的处理方法，故放于第3章之后；第7章对信息论的前沿技术—网络信息论，进行了简要介绍。14“信息论与编码”课程的内容体系所以，可以把上面的2×2矩阵重新表示为：信息论编码可靠性有效性第2章、第4章第3章第5章第6章15“信息论与编码”课程的内容体系从横的方向看：第2章（包括第4章）和第3章是平行的第2章研究信源，主要关心信源熵，是有关有效性的；

第3章研究信道，主要关心信道容量，是有关可靠性的；

第2章和第3章的章节结构是几乎一样的。16“信息论与编码”课程的内容体系第5章和第6章是平行的第5章研究信源编码，是实现有效性的方法；

第6章研究信道编码，是实现可靠性的方法；

第5章和第6章的章节结构是几乎一样的。17“信息论与编码”课程的内容体系从纵的方向看：第2章（包括第4章）和第5章是前后衔接的第2章研究信源特性，第5章在第2章的基础上，研究提高有效性的手段和方法（信源编码），这是一条有关有效性的主线；18“信息论与编码”课程的内容体系第3章和第6章是前后衔接的第3章研究信道特性，第6章在第3章的基础上，研究提高可靠性的手段和方法（信道编码），这是一条有关可靠性的主线；有效性的主线（第2、5章）和可靠性的主线（第3、6章）是平行的。19第1章绪论信息论与编码课程的内容体系信息与编码的若干基本概念信息论的发展历史20第1章之信息与编码的若干基本概念信息的概念信息的度量21信息的概念信息论是研究信息的，所以首先要明白什么是信息？信息的本质是什么？22信息的概念全部意义上的信息（全信息）包括：语法信息、语义信息和语用信息语法信息只考虑信息的外在形式；语义信息要考虑信息的内容；语用信息要考虑信息的作用对象。23信息的概念考虑全信息，则无法进行深入研究。克劳德•香农等只考虑语法信息，对信息进行了深入研究，得到了有关信息的系统理论，是为“香农信息论”，也称“狭义信息论”。24信息的概念香农：“信息是使随机不确定性减少的程度”。要进行通信，一定是接收方关于某事件是未知的或不确定的；接收方接收到信息以后，可以消除或者减少这种不确定性。25信息的度量毕达哥拉斯：“万物皆数”。要对信息进行深入研究，必须定量；信息量的多少，等于对随机不确定性减少的程度；随机不确定性可以用概率来描述。26信息的度量要实现度量，首先需定义一个单位：信息的基本单位：比特（bit）可以用一个“是（或否）”的回答来消除的不确定性，定义为1比特（2选1的不确定性）。27信息的度量一个事件包含的信息量必须满足：与该事件出现的概率是反比例关系（备选答案越多（某一备选