信息论第一章

1、2022-4-211第一章：第一章：引论（简介）一、一、通通信系统模型信系统模型二、二、Shannon信息论的中心问题信息论的中心问题三、三、Shannon信信息的概念息的概念四、四、概概率复习内容率复习内容2022-4-212一、通信系统模型一、通信系统模型信源、信道、信宿信源、信道、信宿信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。2022-4-213一、通信系统模型一、通信系统模型信源、信道、信宿信源、信道、信宿信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。2022-4-214一、通信系统模型一、通信系统模型信源、信道、信宿信源、信道、信宿信源是消息的来源，信道是

2、消息传送媒介，信宿是消息的目的地。2022-4-215一、通信系统模型一、通信系统模型信源、信道、信宿信源、信道、信宿信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。2022-4-216一、通信系统模型一、通信系统模型信源、信道、信宿信源、信道、信宿信源是消息的来源，信道是消息传送媒介，信宿是消息的目的地。2022-4-217二、二、Shannon信息论的信息论的中心问题中心问题“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。（具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。）问题一：信

3、源消息常常不能够完全发送。（否则发送量巨问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：信源消息是一片无尽的天空。因此优先捡大，比如：信源消息是一片无尽的天空。因此优先捡有有用的用的发送。什么是有用的？就是信息量大的。什么是信发送。什么是有用的？就是信息量大的。什么是信息量大的？）息量大的？）问题二：信道因干扰而出现差错，必须进行检错和纠错。问题二：信道因干扰而出现差错，必须进行检错和纠错。（否则所收到的消息无法识别。）（否则所收到的消息无法识别。） 2022-4-218三、三、Shannon信息的概念信息的概念（直观地直观地认识认识shannon信息和信息量，而暂信息和信息量，而

4、暂时不使用定义）时不使用定义） 第一个重要概念：第一个重要概念：信道上传送的是随机变量的值。这就是说：（1）我们在收到消息之前，并不知道并不知道将要收到的是什么消息。否则消息是没有必要发送的。（2）我们在收到消息之前，知道知道将要收到的可能是哪些消息，以及收到每个消息的可能性大小。换句话说，消息随机变量有一个已知的已知的概率分布。（3）消息随机变量的一个可能取值就称为一个事件事件。 2022-4-219三、三、 Shannon信息的概念信息的概念第二个重要概念：第二个重要概念：事件的信息量事件的信息量。事件发生的概率越小，此事件含有的信息量就越大。（直观含义：越是不太可能发生的事件竟然发生了，

5、越是令人震惊令人震惊）例 事件A=“中国足球队中国足球队3：0力克韩国足球队力克韩国足球队”，则事件A含有的信息量大。（小概率事件发生了，事件信息量大）例 事件B=“中国足球队中国足球队0：1负于韩国足球队负于韩国足球队” ，则事件B含有的信息量小。（大概率事件发生了，事件信息量小）2022-4-2110三、三、 Shannon信息的概念信息的概念第三个重要概念：第三个重要概念：消息随机变量的信息量消息随机变量的信息量。消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。（直观含义：这种信息量的大小代表了不可预见性不可预见性的大小）例 消息随机变量X=“中国足球队与韩国足球队比赛的结果

6、中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。（随机性小，可预见性大，因此该消息随机变量含有的信息量小。）例 消息随机变量Y=“意大利足球队与德国足球队比赛的结意大利足球队与德国足球队比赛的结果果”，则消息随机变量Y含有的信息量大。（随机性大，可预见性小，因此该消息随机变量含有的信息量大。） 2022-4-2111三、三、 Shannon信息的概念信息的概念第四个重要概念：第四个重要概念：两个事件的互信息量两个事件的互信息量。两个事件越是互相肯定，它们的互信息量就越大。两个事件越是互相否定，它们的互信息量就越小。 如果两个事件既不互相肯定，也不互相否定，它们的互信息量就为

7、0。 （直观含义：这种信息量的大小代表了相互肯定性相互肯定性的大小）例 A=西安明日有雨, B=咸阳明日有雨，BC=咸阳明日无雨， C=北京明日有雨，D=纽约明日有雨。则A与与B互信息量大互信息量大，A与与C互信息量小得多互信息量小得多，A与与D互信息量几乎为互信息量几乎为0，A与与BC互信息量小互信息量小。 2022-4-2112三、三、 Shannon信息的概念信息的概念第五个重要概念：第五个重要概念：两个消息随机变量的互信息量两个消息随机变量的互信息量。两个消息随机变量的互相关性越大，它们的互信息量就越大。（直观含义：这种信息量的大小代表了相互依赖性相互依赖性的大小）例 X=西安明日平均

8、气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与与Y互信息量大互信息量大，X与与Z互信息量小得多互信息量小得多，X与与W互信息量几乎为互信息量几乎为0。 2022-4-2113事件事件A的信息量的信息量A!2022-4-2114随机变量随机变量X的信息量的信息量X?2022-4-2115两个事件两个事件A与与B的互信息量的互信息量AB2022-4-2116两个随机变量两个随机变量X与与Y的互信息量的互信息量XY?2022-4-2117四种信息量四种信息量A!X?ABXY?2022-4-2118四、概率复习内容四、概率复习内容记号记号P(A)表示事件A发生的概率。

9、P(A|B)表示在事件B发生的条件下，事件A发生的条件概率。EX表示随机变量X的数学期望。离散型随机变量离散型随机变量离散型随机变量X的所有事件为x1, x2, , xK，对应的概率为P(X=xk)=qk，k=1, 2, , K。通常将此随机变量记为X, xk, qk, k=1K。又X的分布列（分布矩阵）记为：KkkKKqqqqxxxX121211,其中2022-4-2119四、概率复习内容四、概率复习内容另一个离散型随机变量Y的所有事件为y1, y2, , yJ，对应的概率为P(Y=yj)=wj，j=1, 2, , J。通常将此随机变量记为Y, yj, wj, j=1J。又Y的分布列（分布矩

10、阵）记为：JjjJJwwwwyyyY121211,其中2022-4-2120四、概率复习内容四、概率复习内容两个离散型随机变量X与Y联立，得到了二维离散型随机变量(X, Y)。(X, Y)的所有事件为(xk, yj), k=1, 2, , K; j=1, 2, , J。对应的概率为P(X, Y)= (xk, yj)=rkj，k=1, 2, , K; j=1, 2, , J。通常将此二维随机变量记为(X, Y), (xk, yj), rkj, k=1K; j=1J。(X, Y)的联合分布列（联合分布矩阵）为： KkJjkjKJKKKJJJrrrrxrrrxrrrxyyyYXYX112122221

11、2112111211,),(其中2022-4-2121四、概率复习内容四、概率复习内容联合分布、边际分布、条件分布的关系：联合分布、边际分布、条件分布的关系： KkrqJikik1,1JjrwKiijj1,1KiijkjjkjjjkjkrrwryYPyxYXPyYxXP1)(),(),()|(JikikjkkjkjkkjrrqrxXPyxYXPxXyYP1)(),(),()|(2022-4-2122四、概率复习内容四、概率复习内容rkj=qkP(Y=yj| X=xk)=wjP(X=xk| Y=yj)。 如果X与Y相互独立，则对任何k=1K，j=1J ，都成立rkj=qkwj。 换句话说，对任何

12、k=1K，j=1J ，都成立P(Y=yj| X=xk)=wj。P(X=xk| Y=yj)=qk。数学期望（均值）：KkkkqxEX1JjjjwyEY12022-4-2123四、概率复习内容四、概率复习内容连续型随机变量连续型随机变量连续型随机变量X的所有事件x有不可列无穷多个，对应的密度函数为fX(x)，-x+。通常将此随机变量记为X, fX(x)。 连续型随机变量Y的所有事件y有不可列无穷多个，对应的密度函数为fY(y)，-y+。通常将此随机变量记为Y, fY(y)。我们知道1)(dxxfX1)(dyyfY2022-4-2124四、概率复习内容四、概率复习内容两个连续型随机变量X与Y连立，得到了二维连续型随机变量(X, Y)。 (X, Y)的所有事件为(x, y)。对应的联合密度函数为f(X,Y)(x, y)。其中 1 ),( ),(),(),(),()