信息熵-平均互信息-信道容量2.doc

信息论与编码实验1 绘制熵函数曲线一、实验目的 熟悉工作环境及Matlab软件 掌握绘图函数的运用 理解熵函数表达式及其性质二、实验原理l 信息熵 自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。 熵的表示 注意的问题熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r进制单位/符号。特殊公式：某个pk=0时，0log0=0 ()在熵的定义中忽略零概率事件。 平均互信息 平均互信息量(I(X;Y)是统计平均意义下的先验不确定性与后验不确定性之差，是互信息量的统计平均:三、实验内容1.用 Matlab 软件绘制二进熵函数曲线。 二元信源 二元信源的熵为绘制当p从0到1之间变化时的二元信源的信息熵曲线.Matlab程序：p=0.00001:0.001:1;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title(二进熵函数曲线);ylabel(H(p,1-p)2绘制三元信源的熵 三元信源 三元信源的熵为绘制当从0到1之间变化时的三元信源的信息熵曲线. p1,p2=meshgrid(0.00001:0.001:1);h=-p1.*log2(p1)-p2.*log2(p2)-(1-p1-p2) .*log2(1-p1-p2);meshc(p1,p2,h);title(三进熵函数曲线);3绘制平均互信息量图形对于二元对称信道的输入概率空间为平均互信息：根据：所以：绘制当从0到1之间变化时的平均互信息熵曲线.w,p = meshgrid(0.00001:0.001:1);h=-(w.*(1-p)+(1-w).*p).*log2(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p).*log2(w.*p+(1-w).*(1-p)+(p.*log2(p)+(1-p).*log2(1-p)meshz(w,p,h) title(互信息);ylabel(H(w,p,h)四、实验报告要求 简述实验目的； 简述实验原理； 分别绘制二元信源和三元信源的熵及平均互信息量图形。通过图形分析他们的特点。实验2 信道容量仿真一、实验目的 熟悉工作环境及Matlab软件； 理解信道容量的含义。二、实验原理 离散信道的数学模型离散信道的数学模型一般如图6.1所示。图中输入和输出信号用随机矢量表示，输入信号为X= (X1, X2, XN)，输出信号为Y= (Y1, Y2, YN)；每个随机变量Xi和Yi又分别取值于符号集A=a1, a2, , ar和B=b1, b2, , bs，其中r不一定等于s；条件概率P(y|x) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。YX信道 离散信道模型 二元对称信道这是很重要的一种特殊信道（简记为BSC），。它的输入符号X取值于0,1，输出符号Y取值于0,1，r=s=2， a1=b1=0，a2=b2=1，传递概率为, , 其中，表示信道输入符号为0而接收到的符号为1的概率，表示信道输入符号为1而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率，通常用p表示。而和是无错误传输的概率，通常用表示。X 1-p Y 二元对称信道用矩阵来表示，即得二元对称信道的传递矩阵为依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表示，即b1 b2 bs并满足式 （）。为了表述简便，记，信道的传递矩阵表示为而且满足 平均互信息平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X的信息量，也表示输入与输出两个随机变量之间的统计约束程度。 其中X是输入随机变量，Y是输出随机变量。平均互信息是互信息（即接收到输出符号y后输入符号x获得的信息量）的统计平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。 对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。相应的输入概率分布称为最佳输入分布。e=0:0.1:1;h=1-0.5.*e.*log2(e)-0.5.*(1-e).*log2(1-e);plot(e,h); title(信道容量);ylabel(H(e,h);c=max(h)三、实验内容一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表，且该信道特性由