信息论-第四章PPT课件

2020/6/6，1，1，1，第4章：信道及其容量，4.1信道分类4.2无离散存储信道4.5信道的组合，2020/6/6，2，4.1信道分类，信道是传送信息的媒体或信道。 (输入通道输出)说明(1)通道输入是随机过程。 (2)信道响应特性是条件概率p (输出值y|输入值x )，也称为转变概率。 (3)信道输出是随机的过程，其中，输出的概率分布可根据输入的概率分布和信道的响应特性来确定。 (全概率方案) (4)连续信道(也称为模拟信道)的特定连续信道波形信道和随参考信道，其可以根据信道输入、信道响应特性、信道输出的状况将信道分类为离散信道(也称为数字信道) 、2020/6/6、3、4.2离散无存储信道、定义4.2.1和定义4.2.2(p88-89 )信道的输入为随机变量序列X1、X2、X3、各随机变量Xu的事件集合为0、1、k-1、K-1、信道的输出为随机变量序列Y1、Y2、Y3、以及此外，在存在(3) p (y1y 2yn )=(y1y 2yn )|(x1x 2xn )=(x1x 2xn ) )=p (y1=y1| x1=x1) p (y2=y2| x2=x2)p (yn=yn|xn=xn )的情况下，该信道被称为离散无存储信道(DMC )。 另外，(4)任何x 0，1，K-1、y 0，1，J-1、任何两个时刻u和v以及P(Yu=y|Xu=x)=P(Yv=y|Xv=x )的情况下，该信道称为离散的不存储稳定信道或稳定参考信道。 对于2020/6/6、4、4.2离散存储信道(DMC )，定义4.2.1和4.2.2的注释“离散”的含义是时间离散、事件离散。 也就是说，信道的输入输出时刻是离散的，输入随机变量和输出随机变量是离散型的随机变量。 “无记忆”意味着信道响应没有时间延迟，此时的输出仅取决于当时的输入。 “平稳”意味着信道在不同时刻的响应特性相同。 “无离散存储稳态信道”是最简单的信道，信道的某一时刻u的响应特性p (Yu=y|Xu=x ) x 0，1、K-1、y 0，1、J-1能够简单地计算信道的任意时间段的响应特性。 即，在DMC (如果没有特别记载，意味着满足平稳的条件)中，只研究单字符发送。 另外，2020/6/6、5、4.2无离散存储信道，例如4.2.1(p89 )二元对称信道BSC是无离散存储的固定参考信道。 当N=1时，p(0/0)=p(1/1)=0.9，当p(1/0)=p(0/1)=0.1n=2时，p (00/00 )=p (11/11 )=p (0/0) p (0/0)=0.9*0.9=0. 81 p (10/00 )=p (01/11 )=p (10/11 )=0.1*0. 9 11 )=0.1*0.1=0. 01，2020/6/6，6，4.2离散无存储器信道对于DMC的容量定理，在某个时间点(该定理是离散的无存储器信道) DMC将随机变量设置为x，并且将输出随机变量设置为y。 信道响应特性是转变概率矩阵p(y|x )、x 0，1，K-1、y 0，1，J-1并且是KJ次矩阵，其中，p(y|x)=P(Y=y|X=x )。 x的概率分布为x，q(x )，x 0，1，K-1。 y的概率分布为y，w(y )，y 0，1，J-1。 以下结论我们都知道。 (1)转变概率矩阵的每一行是概率向量。 (2)对于任何y 0，1，1，J-1，根据全概率公式没有离散的存储信道，2020/6/6，9，4.2； y )是概率向量q(x )、x 0，1，K-1 和转变概率矩阵p(y|x )、x 0，1，k-1 、y 0，1，J-1的函数。 (4)设定转变概率矩阵p(y|x )，x 0，1，K-1，y 0，1，1，j-1 (作为信道的响应特性)，选择概率向量q(x )，x 0，1，k-1 并选择I(X； y )最大。 (中，参照p3的定理2.6.2，说明存在平均相互信息量的最大值，可以取得。 定义4.2.3(p89 )离散的无存储器信道的信道容量定义为以下的c。 达到信道容量的输入概率分布x，q(x )，x 0，1，K-1称为最佳输入分布。 其中，信道容量表示信道传输信息的最大能力，这在信息论研究中具有重要意义。所传送的信息量应当小于信道容量c、2020/6/6、11、4.2离散无存储信道，并且定理4.2.2(p91)(1)对于满足最佳输入分布条件的k，输入概率分布x，q(x )，x 0，1，1，K-1是相同的值，对于k满足q(k)0 y)此值。 (2)此时，该同一值正好是信道容量c。 (定理4.2.2实际阐述了定理2.6.2的意思。 然后，2020/6/6，12，4.2离散存储信道给出DMC信道的响应特性，即，一个信道的转变概率矩阵p(y|x )，x 0，1，k-1 ，y 0，1，J-1，并且当达到信道容量时，相应的最佳输入分布满足定理4.2.2条件其信道容量是与q(k)0对应的半平均互信息量I(X=k； y )。 如果不简化DMC通道，则计算最佳输入分布并不容易。 然而，通常使用的DMC是简单的(例如，与下面的基准对称信道对称的信道)，并且容易找到优化的输入分布。 假设、2020/6/6、13、4.2离散的无存储信道、2、对称DMC、准对称DMC的信道容量和最佳输入分布的计算定义4.2.4到5 (p 108 )如果DMC的转变概率矩阵中的任何一个是第一行的替换，则关于输入，信道是对称的。 如果任何一个p的列是第一列的替换，那么通道就输出而言被称为对称的。 如果通道相对于输入是对称的且相对于输出是对称的，那么，通道将被称为对称通道。 如果命题DMC关于输入是对称的，那么任何k 0，1，1，K-1有效。 证明p(y|x )，y=0J-1和p(y|k )，y=0J-1相互置换，因此，2020/6/6，15，4.2离散地没有存储通道，命题DMC如果关于输出对称，则在输入分布等概况时输出分布等概况。 此时p(y|x )，x=0K-1和p(0|x )，x=0K-1证明相互置换。 设q(x)=1/K，x 0，1，K-1。 定义4.2.6(p92 )，将、2020/6/6、16、4.2离散无存储信道划分成若干列子集，其中，将整个DMC转变概率矩阵p的列划分成多个列子集，并且对应于每一列子集的p的子阵列满足下列两种性质： (1)一行用第一行替换， 信道称为准对称信道。 (显然，准对称信道关于输入是对称的。 具体地，只有一个列子集，即，转变概率矩阵p本身的任何行是第一行的替换，任何列是第一列的替换，并且关于这些信道称为对称信道。 )，2020/6/6，17，4.2离散无记忆信道，例4.2.2准对称信道的例子。 由于可以将y= 0，1，2 划分为两个子集 0，2 ，1因此每个子集对应于矩阵p的列而配置的子阵列在2020/6/6，18，4.2离散存储信道中具有一些简单结论： (1)参考对称信道必须关于输入对称(2)对称通道不仅关于输入对称，而且关于输出对称。 (3)对称DMC输入分布等概况后，输出分布等概况。 (4)输入准对称DMC分布等概况，输出分布的局部等概况。 (准对称DMC输入分布等概况时，如果j和l属于迁移概率矩阵的同一列子集，则wj=wl。 (5)对称信道不一定是J=K。 此外，对于没有2020/6/6、19、4.2离散存储信道的定理4.2.3(p92 )准对称DMC信道，由于(1)达到信道容量的最佳输入分布是等概率分布，而(2)信道容量是、2020/6/6、20、4.2离散无存储信道，因此由于定理4.2.2的含义y )全部取相同的值。 (在该情况下，相同半平均互信息量I(X=k； y )是准对称信道容量c。 换句话说，如果输入分布为等概念，则任何k 0，1，K-1，I(X=k； y )与k无关。 假设整个转变概率矩阵p的列被划分成s个不相互交叉的列的子集： 0，1，j-1=y1y2ys； 对于任何不相互交叉的s 1，2，S，对应于列子集YS的子阵列将任何行都是第一行的替换，并且任何列都是第一列的替换。 当然可以得出以下三个结论。另外，结论2 :每列的子集Ys，结论3 :每列的子集Ys，ysYs，因为2020/6/6、21、4.2离散无存储信道，结论：基准对称信道关于输入是对称的。 关于任意的yYs，输入，输出是对称的，2020/6/6，22，4.2离散地没有存储通道，关于行加法。 的双曲馀弦值。 另外，2020/6/6、23、4.2离散的无存储信道、2020/6/6、24、4.2离散的无存储信道、定理4.2.3的特性是信道是对称信道的情况。 在这种情况下，关于输出是对称的，并且如果概率(q(x)=1/K )，则输出如输出分布的概率(w(y)=1/J )。 信道容量是信道容量与状态转移概率矩阵的任何一行对应的半平均互信息量。 另外，如果信道的输入是对称的，那么通常，在2020/6/6、25、4.2离散无存储信道中不存在均匀的输出分布，那么信道容量、2020/6/6、26、4.2离散无存储信道，例如，4.2.3特殊对称DMC:K维对称信道KSC(p93 )，等等从而，由于2020/6/6、39、4.2离散地没有存储信道，所以2020/6/6、40、4.2离散地没有存储信道，被称为特殊的DMC、z信道：输入事件为 0，1 ，输出事件为 0，1 ，转移概率矩阵为其中的00，q(1)0。 因此，2020/6/6、41、2020/6/6、42、4.2离散地没有存储信道，q(1)0； q(0) q(1)=1。 需要验证： q(0)0。 2020/6/6、43和4.5通道的组合有两个DMC :通道1和通道2。 频道1的输入事件是总体x，存在k个输入事件的频道1的输出事件是总体y，并且存在j个输出事件的频道1的转变概率矩阵是p1(y|x)KJ； 信道1的信道容量是c-1，并且最佳输入分布是x，q1(x)。 信道2的输入事件是总的u，存在n个输入事件的信道2的输出事件是总的v，并且存在m个输出事件的信道2的转变概率矩阵为p2(v|u)NM的信道2的信道容量是c-2，并且最佳输入分布是u，q2(u)。 信道组合2020/6/6、44和4.5定义信道4.5.1(p104 )的输入事件为全部(x，u )，具有KN个输入事件的信道的输出事件为全部(y，v )，并且具有JM个输出事件的转变概率矩阵为p(y，v)|(x，u ) 。 该信道称为信道1和信道2的积分信道。 (可选地，信道是信道1和信道2的独立的并行信道)(物理上，存储信道是两个信道的并行使用)、2020/6/6、45和4.5信道的组合，定理4.5.1(p104 )存储信道的信道容量是C=C1 C2，而最佳输入分布是此时，由于是2020/6/6、46、4.5信道组合、2020/6/6、47、4.5信道的组合、2020/6/6、48、4.5信道的组合，