实验一离散信源及其信息测度.doc

实验一 离散信源及其信息测度一、实验目的离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。二、实验环境windows XP,MATLAB 三、实验原理信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 信源熵是信源的统计平均不确定性的描述，是概率函数的函数。四、实验内容 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量； 3、给定离散无记忆信源X，其概率空间为 求该信源的熵和其二次、三次扩展信源的熵。(编写一M函数文件：function H_X1,H_X2,H_X3=t03(X1,P1)%t03 求信源和其二次、三次扩展信源的熵%输入为X1,P1,分别为信源符号和概率阵%输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3 4、某离散二维平稳信源的概率空间：X1X2P00 01 02 10 11 12 20 21 221/4 1/18 0 1/18 1/3 1/18 0 1/18 7/36= 设发出的符号只与前一个符号有关。求：(a)认为信源符号之间无依赖性时，信源X的信息熵H(X)；(b)认为有依赖性时的条件熵H（X2X1）;(c)联合熵H(X1X2);(d)根据以上三者之间的关系，验证结果的正确性。 5、有两个二元随机变量X和Y，它们的联合概率分布函数如下表： Y X01 01/8 3/81 3/8 1/8同时定义另一随机变量Z=X*Y，试求：a、熵H(X),H(Z),H(X,Z)和H(X,Y,Z);b、条件熵H(X|Y),H(X|Z),H(Y|X,Z);c、互信息I(X;Y),I(X;Z),I(X;Y|Z); 五、实验过程每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；1)设计思路1、每字符从26 个英文字母和1 个空格中等概选取，一共100 个字符，那么可以组成27100 条消息，每条消息出现的概率是1/（27100），由自信息量公式可得每条消息的自信息量。2、求出各种条件概率，将其代入信息量公式计算信息量。3、离散无记忆信源X 熵，可将其概率代入信息熵的计算公式得到，二次，三次扩展信源，可先求出其概率空间。4.由离散二维平稳信源的概率空间，及信息熵，条件熵，联合熵的公式，可得到我们要的结果。5、计算各种情况的概率，X 的概率，Y 的概率，Z=XY 联合概率等，然后代入公式求解。6、程序代码：clear all,clc;%test1.1%有条100 字符英文信息，假定其中每字符从26 个英文字母和1 个空格中等概选取%求每条信息提供的信息量H1=log2(27100)%test1.2%事件：u0:一个0 发出；u1:一个1 发出； v0:一个0 收到；v1:一个1 收到；%给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2p_u0=1/2;p_v0_u0=3/4;p_v0_u1=1/2;p_v1_u0=1-p_v0_u0;%(a)已知发出一个0，求收到符号后得到的信息量；H_V_u0=p_v0_u0*log2(p_v0_u0)-p_v1_u0*log2(p_v1_u0);%(b)已知发出的符号，求收到符号后得到的信息量p_u1=1-p_u0;p_v1_u1=1-p_v0_u1;p_u0v0=p_v0_u0*p_u0;p_u0v1=p_v1_u0*p_u0;p_u1v0=p_v0_u1*p_u1;p_u1v1=p_v1_u1*p_u1;H_V_U=-p_u0v0*log2(p_v0_u0)-p_u0v1*log2(p_v1_u0)-p_u1v0*log2(p_v0_u1)-p_u1v1*log2(p_v1_u1)%test1.3c=0.3,0.7;y1,y2,y3=t05(c)%信源的熵和其二次、三次扩展信源的熵%test1.4P_X1X2=1/4 1/18 0;1/18 1/3 1/18;0 1/18 7/36;%联合分布%(a)认为信源符号之间无依赖性时，信源X 的信息熵H(X)；P_X=sum(P_X1X2);H_X=sum(-P_X.*log2(P_X);fprintf(X 的信源熵： H_X=%6.3fn,H_X);%(b)认为有依赖性时的条件熵H（X2X1）;P_X1_X2=P_X1X2(:,1)/P_X(1),P_X1X2(:,2)/P_X(2),P_X1X2(:,3)/P_X(3);%条件矩阵P_X1_X2(find(P_X1_X2=0)=1;%将0 换为1H_X1_X2=sum(-P_X1X2.*log2(P_X1_X2);fprintf(X 的条件熵： n H_X1_X2=%6.3fn,H_X1_X2);%(c)联合熵H(X1X2)P_X1X2(find(P_X1X2=0)=1;%将0 换为1H_X1X2=sum(-P_X1X2.*log2(P_X1X2);fprintf(X 的联合熵： n H_X1X2=%6.3fn,H_X1X2);%test1.5%有两个二元随机变量X 和Y,同时定义另一随机变量Z=X*Y，试求：% a、熵H(X),H(Z),H(X,Z)和H(X,Y,Z);% b、条件熵H(X|Y),H(Y|X,Z);% c、互信息I(X;Y),I(X;Y|Z);功能函数t03：function H_X1,H_X2,H_X3=t03(X1,P1)%t03%输入为X1,P1,分别为信源符号和概率阵%输出为原离散信源的熵和扩展信源的熵X2=X_grow(2);p0=0.7;p1=1-p0;H_X1=sum(-P1.*log2(P1);l=length(X1);P=zeros(1:l2);for i=1:l2l1=length(find(X2(i,:);P2(i)=p0(l-l1)*p1l1;endH_X2=sum(-P2.*log2(P2);%-function s=X_grow(n)s=zeros(2n,n);for i=2:2nj=n;%for j=6:-1:1s(i,:)=s(i-1,:);s(i,j)=s(i-1,j)+1;for j=n:-1:1if (s(i,j)=2)s(i,j)=0;s(i,j-1)=s(i,j-1)+1;endendEnd功能函数t05：function H_X1,H_X2,H_X3=t05(P1)H_X1=sum(-P1.*log2(P1);x=zeros(1,length(P1)2);y=zeros(1,length(P1)3);a=1;b=1;for i=1:length(P1)for j=1:length(P1)x(a)=P1(i)*P1(j);a=a+1;endendH_X2=sum(-x.*log2(x);for i=1:length(P1)for j=1:length(P1)for k=1:length(P1)y(b)=P1(i)*P1(j)*P1(k);b=b+1;endendendH_X2=sum(-x.*log2(x);H_X3=sum(-y.*log2(y);部分结果：H1 =475.4888H_V_U =0.9056y1 =0.8813y2 =1.7626y3 =2.6439X 的信源熵： H_X= 1.543X 的条件熵：H_X1_X2= 0.209X 的条件熵：H_X1_X2= 0.472X 的条件熵：H_X1_X2= 0.191X 的联合熵：H_X1X2= 0.732X 的联合熵：H_X1X2= 0.992X 的联合熵：H_X1X2= 0.6912)实验中出现的问题及解决方法；实验中遇到的问题有很多，如各种概率空间的计算，弄混，概念不