《连续信源和信道》ppt课件

1、 51 延续信源和波形信源的微分熵延续信源和波形信源的微分熵 52 具有最大熵的延续信源具有最大熵的延续信源 53 延续信道和波形信道延续信道和波形信道 54 延续信道和波形信道的信道容量延续信道和波形信道的信道容量 第五讲第五讲延续信源和信道延续信源和信道 51 延续信源和波形信源的微分熵延续信源和波形信源的微分熵 延续随机变量是取值范围延续，而时间是离散的，所以也叫做时间离散的延续随机变量。这种随机变量的序列表示的信源为延续信源。 时间时间 t随机变量的取值范随机变量的取值范围符号集围符号集x 随机过程是取值范围和时间都是延续的。随机随机过程是取值范围和时间都是延续的。随机过程表示的信源为

2、波形信源。过程表示的信源为波形信源。不同的观测不同的观测一次观测一次观测-样本函数样本函数随机变量随机变量随机过程在限频带随机过程在限频带 F F、限时间、限时间 T T的情况下，可以利用正交的情况下，可以利用正交函数系如函数系如KLKL变换展开为独立的有限个时间离散的随机变换展开为独立的有限个时间离散的随机变量。王育民书后有附录变量。王育民书后有附录 2FT 2FT个自在度取样值。抽样间距个自在度取样值。抽样间距 1 / 2F. 1 / 2F.随机波形信源的特点：随机波形信源的特点： 1、音讯数是无限的；、音讯数是无限的； 2、利用概率密度函数表示。、利用概率密度函数表示。平稳遍历随机过程：

3、统计特性不随时间变化、样本函数平稳遍历随机过程：统计特性不随时间变化、样本函数 遍历各个样本值。遍历各个样本值。确定观测条件：确定的随确定观测条件：确定的随 t 变化的样本函数；变化的样本函数；确定时间：确定时间： 随机变量。随机变量。 延续随机变量的微分熵差熵 iiiiXiiXiiXiiXiiiXxxxpxxpxpxxpxxpXh)log()()log()(log)()(iixxlog, 0log)(0XhdxxpxpXhXX)(log)()(原式的一项的极限定义为延续随机变量的微分熵：原式的一项的极限定义为延续随机变量的微分熵：普通将上式中的第二项称为绝对熵。以下式表示。普通将上式中的第二

4、项称为绝对熵。以下式表示。 微分熵与离散熵的不同：可以为负值；经过变换能够添加。例如KX。 微分熵与离散熵的一样：虽然不再表示集合事件出现的不确定性度量了，但还是有许多和离散熵一样的性质，特别是可以表示两个集合之间的互信息。 对于结合集对于结合集 ，定义其微分熵，定义其微分熵)(,xypXYXYdxdyxypxypXYh)(log)()(对于随机过程的微分熵，可以近似为随机变量系列。对于随机过程的微分熵，可以近似为随机变量系列。dxdyyxpxypYXHC)|(log)()|(条件熵：条件熵： )()|(),()|()|()()|()()(XHYXHYHXYHYXHYHXYHXHXYHCCCC

5、CCCCC随机序列的微分熵和条件熵关系：随机序列的微分熵和条件熵关系：)()()()|()|()|()()()(2112121312121NNNNXhXhXhXXXXhXXXhXXhXhXXXhXhJensen不等式对于延续变量也成立。不等式对于延续变量也成立。例：令X是在区间a，b上均匀分布的随机变量， 求X的微分熵。解：),(0),(1)(baxbaxabxpbaXXabdxababdxxpxpXh)log(1log1)(log)()(0)(10)(10)(1XhabXhabXhab例：令X是期望为m，方差为 的正态随机变量， 求X的微分熵。2解：)(21exp21)(22mxxp2222

6、22log212log2log)(21)(log(21log)()(21exp21log)()(log)()(eedxmxexpdxxpdxmxxpdxxpxpXHXXXXXC熵率：单位时间内信源的微分熵。熵率：单位时间内信源的微分熵。 例如均匀分布延续信源序列的熵率：例如均匀分布延续信源序列的熵率： 对于限频对于限频 F ，T时间内有时间内有2FT个自在度样点，个自在度样点，)log(2)log(2)(abFabTFTXht 注：对于随机过程的处置：首先搞清延续随机变量的特点，注：对于随机过程的处置：首先搞清延续随机变量的特点， 再作再作 N 维序列的。对于限频维序列的。对于限频 F 限时限

7、时 T的随机过程，的随机过程， 可用可用 2FT 个自在度表示。个自在度表示。或者最低取样间隔为或者最低取样间隔为1/2F秒，故每秒秒，故每秒2F个样点，个样点， 单位时间的熵即为乘以单位时间的熵即为乘以2F 延续集的熵要在一定约束条件下求解极大值，否延续集的熵要在一定约束条件下求解极大值，否那么仍能够为无穷大。例如对于正态分布的熵为，那么仍能够为无穷大。例如对于正态分布的熵为， 假设不对功率加限制，将为无限大。假设不对功率加限制，将为无限大。2/ )2(log)(2eXh常见的限制为峰值功率受限和平均功率受限。常见的限制为峰值功率受限和平均功率受限。 1峰值功率受限：假定随机变量x的取值为a

8、,b，badxxp1)( 52 具有最大熵的延续信源具有最大熵的延续信源 假设延续变量假设延续变量x的幅度为的幅度为a,b，那么，那么x的微分熵的微分熵)log()(abXh限幅情况下，均匀分布时微分熵最大限幅情况下，均匀分布时微分熵最大定理：定理：证明：证明： 设普通分布为去设普通分布为去q(x), 最大分布为最大分布为p(x)01log)(1)(log)(1log)()()log()(1log)()(1log)()(1log)()log()(babababababadxabxqxqdxabxqxqdxxqabdxxqxqdxxpxpdxxqxqabXh2 平均功率受限时，限制随机变量x 的

9、平均功 率或方差，即 dxmxxp22)(定理：假设延续随机变量的方差一定，那么定理：假设延续随机变量的方差一定，那么x服从服从正态正态 分布时的微分熵最大，分布时的微分熵最大，eXh2log)(证明：证明： 设普通分布的概率密度为设普通分布的概率密度为q(x), 正态分布的概率密度为正态分布的概率密度为p(x)01log)()()(log)()(log)()(1log)()(1log)()(,()(,(2log212)(log)(21log)(21log)()(1log)()(1log)()(1log)()(,()(,(2222)(22dxxqxpxqdxxqxpxqdxxpxqdxxqxq

10、xpXhxqXhedxmxexqdxxqdxexqdxxpxqdxxpxpdxxqxqxpXhxqXhmx熵功率：设恣意分布的延续集熵功率：设恣意分布的延续集X的熵为的熵为h(X)，集，集X的熵的熵 功率定义为高斯分布下的功率：功率定义为高斯分布下的功率：)(2221XhePPP PeXh2log21)( ：为到达给定的熵值：为到达给定的熵值 h(X)，正态分布所需求的，正态分布所需求的 功率为最小。功率为最小。假设熵功率和信号的平均功率相差越大，信号的剩余度越大。假设熵功率和信号的平均功率相差越大，信号的剩余度越大。知道集合知道集合X的熵功率，可以立刻得到熵值。的熵功率，可以立刻得到熵值。延

11、续信源的剩余度为：延续信源的剩余度为：PP 53 延续信道和波形信道延续信道和波形信道高斯信道：信道噪声为高斯噪声，概率密度服从高斯信道：信道噪声为高斯噪声，概率密度服从 N 维维 高斯分布。高斯分布。白噪声信道：信道噪声为白噪声。白噪声信道：信道噪声为白噪声。)(2)(0wNwPn为双边功率谱密度为双边功率谱密度高斯白噪声信道：信道噪声为高斯白噪声。高斯白噪声信道：信道噪声为高斯白噪声。概率密度为高斯分布，功率谱密度为均匀分布概率密度为高斯分布，功率谱密度为均匀分布2/2/0000NFTFTNFTNFN平均功率平均功率总功率总功率每个样点的功率每个样点的功率限频限时的高斯白噪声，分解为限频限

12、时的高斯白噪声，分解为 2FT 个独立的分量：个独立的分量： 均值为均值为0，方差为，方差为 的高斯变量。的高斯变量。加性信道和乘性信道：加性信道和乘性信道：2/0N我们主要研讨可加噪声信道：我们主要研讨可加噪声信道： y = x + n，n为加性噪声。为加性噪声。 )(xpXxx)(ypYyy)(npZnn满足概率密度满足概率密度 p ( y | x ) = p ( y x ) = p ( n ) p ( y | x ) = p ( y x ) = p ( n )的信道称为加性噪声信道。的信道称为加性噪声信道。 )(1011)(X)(),(),()(xnpxnpYnYXnXXxnpYXnXJ

13、xynxpxypXnXnXnXnXY采用坐标变换的方法：采用坐标变换的方法：)()|()()()()(|npxypnpxpxnpxypXXYnXXnXY由于由于X与与n是统计独立的：是统计独立的：延续随机变量的互信息延续随机变量的互信息 延续随机变量需求用概率密度来描画。延续随机变量需求用概率密度来描画。 )|()()()()(;)()(|xypxpxypdxxypypdyxypxpXYXXYXYYXYX互信息：延续结合集互信息：延续结合集 )(,xypXYXYYyXx,中事件中事件之间的互信息定义为：之间的互信息定义为： )()()(log)()()(loglim);(00ypxpxypyy

14、pxxpyxxypyxIYXXYYXXYyx在每一点在每一点 x 的概率为：的概率为：xxpX)(平均互信息：平均互信息： )|()()()|(log)()()|(log)(lim)()()(log)();(,00YXhXhdxdyxpyxpxypxxpxyxpyxxypdxdyypxpxypxypYXIXYXXYjiyxYXXYXYdxdydzzypzxpzxypxyzpZYXIZYZXZXYXYZ)|()|()|(log)()|;(|dxdydzzpxypxyzpxyzpZXYIZXYXYZXYZ)()()(log)();(延续变量互信息的性质在许多方面和离散情况类似。延续变量互信息的性质

15、在许多方面和离散情况类似。 1非负性： 0);(YXI2对称性： )|;()|;(),;();(ZXYIZYXIXYIYXI3数据处置定理：数据处置定理： )(zfy );();(YXIZXI4互信息与条件互信息的关系：互信息与条件互信息的关系：)|;();()|;();();(YZXIZYIXZYIZXIZXYI)()()()|()()|()();(XYhYhXhXYhYhYXhXhYXI多维延续信道的信息传输率：多维延续信道的信息传输率：);(YXIR 比特 / N自在度平均每个自在度的信息传输率：平均每个自在度的信息传输率：波形信道的单位时间内的信息传输率：波形信道的单位时间内的信息传输

16、率：NYXIRN/ );()Y;X(1limITRTt比特 / 秒54 延续信道和波形信道的信道容量延续信道和波形信道的信道容量)|()(max);(max)()(XYhYhYXICxpxp)|Y()X(1limmax)Y;X(1limmax)()(XhhTITCTxpTxpt由于加性信道的干扰和输入是统计独立的，所以由于加性信道的干扰和输入是统计独立的，所以 )()()()(log)()()(log)()()|(log)|()()|(nhdxnhxpdndxnpnpxpdxdyxypxypxpdxdyxypxypxpXYh )()()|()();(nhYhXYhYhYXI 设信道干扰分布为独

17、立于输入的均值为设信道干扰分布为独立于输入的均值为0、方差、方差 为为 的正态分布噪声的正态分布噪声 假设输入延续集假设输入延续集X的概率密度也为均值为的概率密度也为均值为0、方差、方差 为为 的高斯分布，的高斯分布，2z2exp21)()()|(22nnnnpxypxyp2x2exp21)(22xxxxp输出为两个正态分布的叠加，因此也是正态分布，输出为两个正态分布的叠加，因此也是正态分布，其均值为其均值为0 0、方差为、方差为 222nxy22222222222)(nxyExnEnExnxnxEnxEyE例：例：)1log(212log2log)()();(2222nxnyeenhYhYX

18、IDYDXEYYEEXXEDYDXEYYEXXEDYDXEYYEYYEXXEEXXEEYYEXXEEYEXYXEYXD)()()()()(2)()()()()()(2222求变量和方差的普通情况：求变量和方差的普通情况：独立的独立的DYDXYXD)(假设对输入功率不加限制，互信息能够恣意大。假设对输入功率不加限制，互信息能够恣意大。所以我们研讨平均功率受限的可加噪声信道。也就是所以我们研讨平均功率受限的可加噪声信道。也就是 sNiixiiixiiPxNdxxpxdpxxiN122221,)()(xx定理：平均功率受限的时间离散、恒参、可加高斯定理：平均功率受限的时间离散、恒参、可加高斯 噪声信

19、道的容量为：噪声信道的容量为： 还是单个随机变量的还是单个随机变量的)1log(212sPCPs 是输入平均功率的上限，是输入平均功率的上限， 是均值为是均值为0的高斯噪声的高斯噪声的方差。最正确输入分布是均值为的方差。最正确输入分布是均值为0、方差为、方差为 Ps 的高的高斯分布。斯分布。2证明：)()()|()();(nhYhXYhYhYXI222222222222)2()(sPEnExEnExExnEnExnxnxEnxEEy,2log21)(),(2log21)(22enhPeYhs)1log(212log21)(2log21)()(max222)(ssxpPePeZhYhC独立的：独

20、立的：ExnExEn波形信道波形信道波形信道为延续时间的延续取值的信道。波形信道为延续时间的延续取值的信道。x(t)x(t)表示输入，表示输入，y(t)y(t)表示输出，表示输出，n(t)n(t)表示信道噪声。表示信道噪声。假设假设y(t) = x(t)+n(t) y(t) = x(t)+n(t) 就称为可加性波形信道。就称为可加性波形信道。 波形信道在有限通讯时间段波形信道在有限通讯时间段0,T上，上，x(t)，y(t)是平是平方可积的函数，那么它们可以经过正交展开，用方可积的函数，那么它们可以经过正交展开，用 N=2FT 个时间离散的延续随机变量来表示。即转化为时个时间离散的延续随机变量来表示。即转化为时间离散的延续变量序列。间离散的延续变量序列。波形信道单位时间的容量定义为波形信道单位时间的容量定义为 );(max1limNNTYXITC假设信道干扰是可加性高斯白噪声，简记为假设信道干扰是可加性高斯白噪声，简记为AWGN AWGN 假设信道输入功率不超越假设信道输入功率不超越 Ps Ps ，2/0N白噪声的功率谱密度为白噪声的功率谱密度为2/2/)(002NWTTWNWTNWPWTTPPPNTYXITCssssTNNT2,2/2/)1