信息论基础复习课件

信息论基础复习信息论基础复习1根据随机信号的釆样定理,可将随机信号离散化因此,对时间离散信道的输入和输出序列可分别表示为X=(X1,X2,…,)和Y=(F,y,)随机噪声可表示为Z=(Z1,Z2…)则加性噪声信道可表示如下X.→)根据随机信号的釆样定理,可将随机信号离散化2其输入序列为X1,X2……输出序列为Y2,Y2,输入和输出序列有以下关系:Y=X1+2其中z=(z,Z2,…)与X=(X1,X2,…)相互独立当Z是平稳过程时,称该信道为平稳信道当Z,Z,…独立同分布时,称信道为无记忆加性噪声信道.特别地,如果它们的公共分布是正态分布N(0,N)时,该信道称为无记忆高斯信道,这样的噪声称白噪声.其输入序列为X1,X2……输出序列为Y2,Y2,3如果噪声Z的方差为0,则可以实现无干扰传输,由于X,取值于实数R,因此,信道容量为无穷.因此通常对信道输入应有某种约束,最常用的输入代价的约束是能量(或功率)的约束为<P如果噪声Z的方差为0,则可以实现无干扰传输,4定义6.4.1有输入功率约束P的高斯信道容量定义为C-maxI(X;Y)f(x):EXsP这个信道容量的计算并不是困难,事实上,取约束条件为EX2=P,则:I(X;r)=h(r)-h(rX)=h(r)-h(X+X)h(r)-h(zx)=h(r)-h(z)=h(r)--log2ten定义6.4.1有输入功率约束P的高斯信道容量定义为5于是计算信道容量的问题就转化为求h(Y)的极大值问题注意到Z与X独立,且EZ=0,EZ2=N,而YX+Z,所以Er=E(X+Z=EX+Ez=0EY=EX+EZ=P+M由定理6.2.6知,有方差为P+N的连续随机变量的最大熵在正态分布N(0,P+N)时到达,所以h(Y)≤log2me(P+N)5于是计算信道容量的问题就转化为求h(Y)的极大值问题6其中等号成立当且仅当YN(0,P+N),从而I(X;Y)<log2e(P+N)-log2eNg(+C=maxI(X;Y)=log(l+由于达到信道容量当且仅当YN(0,P+N)又因为Z口N(0,N),所以由X=Y-Z,可得,X□N(0,P)即达到信道容量的输入分布为正态分布N(0,P)其中等号成立当且仅当YN(0,P+N),从而7一般无记忆加性噪声信道当加性噪声功率为Ez2=N,输入功率约束为EX2≤P时信道容量也可定义为C-max/(X;Y)f(x):EX2≤P或等价地表示为C=max(h(r)-h(z))(x):EX≤P由于有相同功率约束高斯信道是其特例,所以log(l+下界一般无记忆加性噪声信道8另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=0EY=EX+EZ=P+N所以C≤-log2re(P+N)-h(Z)上界进一步,因为与EZ2=N有相同方差的分布中正态分布N(O,N)有最大熵,所以h(Z)≤log(2eN)定义2丌e为具有可微熵h(Z)的熵功率它就是具有可微熵的高斯随机变量的功率上一页下一页8另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=09所以C≤log2ne(P+N)-h(Z)就变为2C<-log2e(p+N)--log(rep)P+wg一般无记忆加性噪声信道容量的上、下界:P+NP+wogN≤C≤-oP所以C≤log2ne(P+N)-h(Z)就变为10复习提要序论信息论的形成及历史claudeshannon及其主要贡献、通信系统的模型信源、信道、信宿及相互关系、信息论的基本研究内容复习提要11信息论基础复习课件12信息论基础复习课件13信息论基础复习课件14信息论基础复习课件15信息论基础复习课件16信息论基础复习课件17信息论基础复习课件18信息论基础复习课件19信息论基础复习课件20信息论基础复习课件21信息论基础复习课件22信息论基础复习课件23信息论基础复习课件24信息论基础复习课件25信息论基础复习课件26信息论基础复习课件27信息论基础复习课件28信息论基础复习课件29信息论基础复习课件30信息论基础复习课件31信息论基础复习课件32信息论基础复习课件33信息论基础复习课件34信息论基础复习课件35信息论基础复习课件36信息论基础复习课件3766、节制使快乐增加并使享受加强。——德谟克利特

67、今天应做的事没有做，明天再早也是耽误了。——裴斯泰洛齐

68、决定一个人的一生，以及整个命运的，只是一瞬之间。——歌德

69、懒人无法享受休息之乐。——拉布克

70、浪费时间是一桩大罪过。——卢梭66、节制使快乐增加并使享受加强。——德谟克利特38信息论基础复习信息论基础复习39根据随机信号的釆样定理,可将随机信号离散化因此,对时间离散信道的输入和输出序列可分别表示为X=(X1,X2,…,)和Y=(F,y,)随机噪声可表示为Z=(Z1,Z2…)则加性噪声信道可表示如下X.→)根据随机信号的釆样定理,可将随机信号离散化40其输入序列为X1,X2……输出序列为Y2,Y2,输入和输出序列有以下关系:Y=X1+2其中z=(z,Z2,…)与X=(X1,X2,…)相互独立当Z是平稳过程时,称该信道为平稳信道当Z,Z,…独立同分布时,称信道为无记忆加性噪声信道.特别地,如果它们的公共分布是正态分布N(0,N)时,该信道称为无记忆高斯信道,这样的噪声称白噪声.其输入序列为X1,X2……输出序列为Y2,Y2,41如果噪声Z的方差为0,则可以实现无干扰传输,由于X,取值于实数R,因此,信道容量为无穷.因此通常对信道输入应有某种约束,最常用的输入代价的约束是能量(或功率)的约束为<P如果噪声Z的方差为0,则可以实现无干扰传输,42定义6.4.1有输入功率约束P的高斯信道容量定义为C-maxI(X;Y)f(x):EXsP这个信道容量的计算并不是困难,事实上,取约束条件为EX2=P,则:I(X;r)=h(r)-h(rX)=h(r)-h(X+X)h(r)-h(zx)=h(r)-h(z)=h(r)--log2ten定义6.4.1有输入功率约束P的高斯信道容量定义为43于是计算信道容量的问题就转化为求h(Y)的极大值问题注意到Z与X独立,且EZ=0,EZ2=N,而YX+Z,所以Er=E(X+Z=EX+Ez=0EY=EX+EZ=P+M由定理6.2.6知,有方差为P+N的连续随机变量的最大熵在正态分布N(0,P+N)时到达,所以h(Y)≤log2me(P+N)5于是计算信道容量的问题就转化为求h(Y)的极大值问题44其中等号成立当且仅当YN(0,P+N),从而I(X;Y)<log2e(P+N)-log2eNg(+C=maxI(X;Y)=log(l+由于达到信道容量当且仅当YN(0,P+N)又因为Z口N(0,N),所以由X=Y-Z,可得,X□N(0,P)即达到信道容量的输入分布为正态分布N(0,P)其中等号成立当且仅当YN(0,P+N),从而45一般无记忆加性噪声信道当加性噪声功率为Ez2=N,输入功率约束为EX2≤P时信道容量也可定义为C-max/(X;Y)f(x):EX2≤P或等价地表示为C=max(h(r)-h(z))(x):EX≤P由于有相同功率约束高斯信道是其特例,所以log(l+下界一般无记忆加性噪声信道46另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=0EY=EX+EZ=P+N所以C≤-log2re(P+N)-h(Z)上界进一步,因为与EZ2=N有相同方差的分布中正态分布N(O,N)有最大熵,所以h(Z)≤log(2eN)定义2丌e为具有可微熵h(Z)的熵功率它就是具有可微熵的高斯随机变量的功率上一页下一页8另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=047所以C≤log2ne(P+N)-h(Z)就变为2C<-log2e(p+N)--log(rep)P+wg一般无记忆加性噪声信道容量的上、下界:P+NP+wogN≤C≤-oP所以C≤log2ne(P+N)-h(Z)就变为48复习提要序论信息论的形成及历史claudeshannon及其主要贡献、通信系统的模型信源、信道、信宿及相互关系、信息论的基本研究内容复习提要49信息论基础复习课件50信息论基础复习课件51信息论基础复习课件52信息论基础复习课件53信息论基础复习课件54信息论基础复习课件55信息论基础复习课件56信息论基础复习课件57信息论基础复习课件58信息论基础复习课件59信息论基础复习课件60信息论基础复习课件61信息论基础复习课件62信息论基础复习课件63信息论基础复习课件64信息论基础复习课件65信息论基础复习课件66信息论基础复习课件67信息论基础复习课件68信息论基础复习课件69信息论基础复习课件70信息论基础复习课件71信息论基础复习课件72信息论基础复习课件7