信息论 信息熵课件

信息熵熵条件熵联合熵1.信息熵2.1.2信息熵信息熵熵条件熵联合熵1.信息熵2.1.2信息熵1

已知单符号离散无记忆信源的数学模型定义：各离散消息自信息量的数学期望，即信源的平均信息量。信源的信息熵；香农熵；无条件熵；熵函数；熵单位：比特/符号已知单符号离散无记忆信源的数学模型定义：各离散消息自信息量2例:某地二月份天气构成的信源为

由定义，该信源的熵为例:某地二月份天气构成的信源为由定义，该信源的熵为3总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。123总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后4例：有三个信源X，Y，Z，其概率空间为可见H(X)>H(Y)>H(Z)，信源符号的概率分布越均匀，则平均信息量越大，信源X比信源Y平均信息量大，Z是确定事件，不含有信息量。例：有三个信源X，Y，Z，其概率空间为可见H(X)>H(Y5例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不同的千字文篇数为N=100001000=104000篇，按等概计算，平均每篇千字文可提供的信息量？例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不62.条件熵

思考：求条件熵时为什么要用联合概率加权？2.条件熵思考：求条件熵时为什么要用联合概率加权？7例:已知X，Y∈{0，1}，XY构成的联合概率为：p(00)=p(11)=1/8，p(01)=p(10)=3/8,计算条件熵H(X/Y)。例:已知X，Y∈{0，1}，XY构成的联合概率为：p(00)83.联合熵

3.联合熵912.1.3信息熵的性质证明：随机变量X的概率分布满足0≤p(xi)≤1，log2p(xi)≤0，所以H(X)≥0因每一项非负，所以必须是每一项为零等号才成立。

此时只有p(xi)=0或p(xi)=1时上式才成立，而所以只能有一个p(xi)=1，而其他p(xk)=0(k≠i)。这个信源是一个确知信源，其熵等于零。非负性

H(X)≥0其中等号成立的充要条件是当且仅当对某i，p(xi)=1，其余的p(xk)=0(k≠i)。12.1.3信息熵的性质证明：随机变量X的概率分布满足010对称性2当变量p(x1),p(x2),…,p(xn)的顺序任意互换时，熵函数的值不变，即对称性2当变量p(x1),p(x2),…,p(xn11信源中包含n个不同离散消息时，信源熵H(X)有当且仅当X中各个消息出现的概率全相等时，上式取等号。最大离散熵定理3信源中包含n个不同离散消息时，信源熵H(X)有当且仅当X中12证明：自然对数具有性质证明：自然对数具有性质13信息论信息熵课件14对于单符号离散信源，当信源呈等概率分布时具有最大熵。对于单符号离散信源，当信源呈等概率分布时具有最大熵。15

确知信源的不确定度为零。确定性4确知信源的不确定度为零。确定性416可加性5可加性5176香农辅助定理和极值性

对于任意两个消息数相同的信源X和Y，i=1,2,…,n,有含义：任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵。6香农辅助定理和极值性对于任意两个消息数相同的信源X和Y，18由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)≤H(X)由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)≤H(19二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产生误码，用符号表示下列事件：u0：一个“0”发出；u1：一个“1”发出；v0：一个“0”收到；v1：一个“1”收到；给定下列概率：p(u0)=1/2，p(v0/u0)=3/4，p(v0/u1)=1/2，求（1）已知发出一个“0”，收到符号后得到的信息量；（2）已知发出的符号，收到符号后得到的信息量；（3）知道发出的和收到的符号能得到的信息量；（4）已知收到的符号，被告知发出的符号能得到的信息量；二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产20作业：2.32.4作业：2.32.4212.3居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？2.4设离散无记忆信源，其发出的信息为(202120130213001203210110321010021032011223210)，求(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？2.3居住某地区的女孩子有25%是大学生，在女大学生中有722信息熵熵条件熵联合熵1.信息熵2.1.2信息熵信息熵熵条件熵联合熵1.信息熵2.1.2信息熵23

已知单符号离散无记忆信源的数学模型定义：各离散消息自信息量的数学期望，即信源的平均信息量。信源的信息熵；香农熵；无条件熵；熵函数；熵单位：比特/符号已知单符号离散无记忆信源的数学模型定义：各离散消息自信息量24例:某地二月份天气构成的信源为

由定义，该信源的熵为例:某地二月份天气构成的信源为由定义，该信源的熵为25总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。123总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后26例：有三个信源X，Y，Z，其概率空间为可见H(X)>H(Y)>H(Z)，信源符号的概率分布越均匀，则平均信息量越大，信源X比信源Y平均信息量大，Z是确定事件，不含有信息量。例：有三个信源X，Y，Z，其概率空间为可见H(X)>H(Y27例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不同的千字文篇数为N=100001000=104000篇，按等概计算，平均每篇千字文可提供的信息量？例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不282.条件熵

思考：求条件熵时为什么要用联合概率加权？2.条件熵思考：求条件熵时为什么要用联合概率加权？29例:已知X，Y∈{0，1}，XY构成的联合概率为：p(00)=p(11)=1/8，p(01)=p(10)=3/8,计算条件熵H(X/Y)。例:已知X，Y∈{0，1}，XY构成的联合概率为：p(00)303.联合熵

3.联合熵3112.1.3信息熵的性质证明：随机变量X的概率分布满足0≤p(xi)≤1，log2p(xi)≤0，所以H(X)≥0因每一项非负，所以必须是每一项为零等号才成立。

此时只有p(xi)=0或p(xi)=1时上式才成立，而所以只能有一个p(xi)=1，而其他p(xk)=0(k≠i)。这个信源是一个确知信源，其熵等于零。非负性

H(X)≥0其中等号成立的充要条件是当且仅当对某i，p(xi)=1，其余的p(xk)=0(k≠i)。12.1.3信息熵的性质证明：随机变量X的概率分布满足032对称性2当变量p(x1),p(x2),…,p(xn)的顺序任意互换时，熵函数的值不变，即对称性2当变量p(x1),p(x2),…,p(xn33信源中包含n个不同离散消息时，信源熵H(X)有当且仅当X中各个消息出现的概率全相等时，上式取等号。最大离散熵定理3信源中包含n个不同离散消息时，信源熵H(X)有当且仅当X中34证明：自然对数具有性质证明：自然对数具有性质35信息论信息熵课件36对于单符号离散信源，当信源呈等概率分布时具有最大熵。对于单符号离散信源，当信源呈等概率分布时具有最大熵。37

确知信源的不确定度为零。确定性4确知信源的不确定度为零。确定性438可加性5可加性5396香农辅助定理和极值性

对于任意两个消息数相同的信源X和Y，i=1,2,…,n,有含义：任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵。6香农辅助定理和极值性对于任意两个消息数相同的信源X和Y，40由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)≤H(X)由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)≤H(41二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产生误码，用符号表示下列事件：u0：一个“0”发出；u1：一个“1”发出；v0：一个“0”收到；v1：一个“1”收到；给定下列概率：p(u0)=1/2，p(v0/u0)=3/4，p(v0/u1)=1/2，求（1）已知发出一个“0”，收到符号后得到的信息量；（2）已知发出的符号，收到符号后得到的信息量；（3）知道发出的和收到的符号能得到的信息量；（4）已知收到的符号，被告知发出的符号能得到的信息量；二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产42作业：2.32.4作业：2.32.4432.3居住某地区的女孩子有25%