连续信号与连续信道容量

信息论与编码西安工业大学电子信息工程学院

赵黎第四章连续信源和连续信道容量本章内容连续信源连续信道容量4.1连续信源连续信源的统计特性连续信源的熵几种特殊连续信源的熵1、连续信源的统计特性连续信源，指输出消息在时间和取值上都连续的信源；连续信源输出的消息是随机的，与随机过程相对应；连续信源的统计特性---概率密度函数；单变量连续信源的输出是取值连续的随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度描述。①

一维概率密度函数随机变量X的一维概率密度函数（边缘概率密度函数）为：②

条件概率密度和联合概率密度函数条件概率密度函数：联合概率密度函数：它们之间的关系为：边缘概率密度函数满足：2、连续信源的熵单变量连续信源数学模型：R是连续变量X

的取值范围。先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。设p(x)

如图所示。把连续随机变量X

的取值分割成n

个小区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第i个小区间的概率为：其中

xi

是a+(i－1)Δ

到

a+iΔ

之间的某一值。当p(x)

是X

的连续函数时，由中值定理可知，必存在一个

xi

值使上式成立。这样连续变量

x

就可用取值为xi(i=1,2,…,n)

的离散变量近似。连续信源被量化成离散信源。上式右端的第一项一般是定值，而第二项在Δ→0

时是一无限大量。丢掉后一项，定义连续信源的熵为：上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。连续信源的联合熵和条件熵两个连续变量的联合熵：两个连续变量的条件熵：3、几种特殊连续信源的熵(1)均匀分布的连续信源的熵一维连续随机变量

X在[a,b]

区间内均匀分布时的熵为:

Hc(X)=log2(b－a)若

N

维矢量X=(X1X2…XN)

中各分量彼此统计独立，且分别在[a1,b1][a2,b2]…[aN,bN]

的区域内均匀分布，即：(2)高斯分布的连续信源的熵一维随机变量X

的取值范围是整个实数轴R，概率密度函数呈正态分布，即：x=-4:0.3:4;m1=1;n1=0.5;m2=2;n2=0.5;m3=1;n3=0.3;z1=(1/sqrt(2*pi*n1))*exp((-1/2)*(x-m1).^2/n1^2);z2=(1/sqrt(2*pi*n2))*exp((-1/2)*(x-m2).^2/n2^2);z3=(1/sqrt(2*pi*n3))*exp((-1/2)*(x-m3).^2/n3^2);subplot(3,1,1);plot(x,z1)subplot(3,1,2);plot(x,z2)subplot(3,1,3);plot(x,z3)说明高斯连续信源的熵与数学期望m

无关，只与方差σ2有关；熵描述的是信源的整体特性，由图2.3.2看出，当均值m

变化时，只是p(x)

的对称中心在横轴上发生平移，曲线的形状没有任何变化，即数学期望m

对高斯信源的总体特性没有任何影响；若方差σ2不同，曲线的形状随之改变，所以高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。4.2连续信道容量连续信道的数学模型连续信道容量---香农公式举例连续信道：输入输出随机变量都取值于连续集合的信道一、单维连续通信系统数学模型：XYp(Y/X)两类情况

高斯加性信道非高斯加性信道加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数加性信道条件熵是由噪声引起的，所以称为噪声熵由于加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵H(N)的改变，因此加性信道的容量C就是选择p(x)，使输出熵H(Y)达到最大。

连续信道容量可以证明式中S

－信号平均功率（W）；

N

－噪声功率（W）；

B

－带宽（Hz）。设噪声单边功率谱密度为n0，则N=n0B； 故上式可以改写成：由上式可见，连续信道的容量Ct和信道带宽B、信号功率S及噪声功率谱密度n0三个因素有关。 当S

，或n0

0时，Ct

。 但是，当B

时，Ct将趋向何值？令：x=S/n0B，上式可以改写为：利用关系式上式变为 上式表明，当给定S/n0时，若带宽B趋于无穷大，信道容量不会趋于无限大，而只是S/n0的1.44倍。这是因为当带宽B增大时，噪声功率也随之增大。

Ct和带宽B的关系曲线：图4-24信道容量和带宽关系S/n0S/n0BCt1.44(S/n0)上式还可以改写成如下形式：式中 Eb

－每比特能量；

Tb=1/B

－每比特持续时间。 上式表明，为了得到给定的信道容量Ct，可以增大带宽B以换取Eb的减小；另一方面，在接收功率受限的情况下，由于Eb=STb，可以增大Tb以减小S来保持Eb和Ct不变。香农公式的主要结论：（1）信道容量C随S/N增大而增大；（2）N－>0,C－>∞，无扰信道的容量为无穷大；（3），n0为噪声功率谱密度；【例】已知黑白电视图像信号每帧有30万个像素；每个像素有8个亮度电平；各电平独立地以等概率出现；图像每秒发送25帧。若要求接收图像信噪比达到30dB，试求所需传输带宽。【解】因为每个像素独立地以等概率取8个亮度电平，故每个像素的信息量为

Ip=-log2(1/8)=3 (b/pix) 并且每帧图像的信息量为

IF=300,0003=900,000(b/F) 因为每秒传输25帧图像，所以要求传输速率为

Rb=900,00025=22,500,000=22.5106(b/s) 信道的容量Ct必须不小于此Rb值。将上述数值代入式：得到 22.5106=Blog2(1+1000)