信息论与编码理论复习课

1、概念 先验概率p(x) 后验概率p(x|y) 信息熵H(X)、条件熵 H(X|Y)、联合熵H(X,Y) 平均信息量 平均不确定度 平均随机度 注意三者的区别，概念的不同。 互信息量：I(x;y)=log (p(x|y)/p(x)可正可负 平均互信息量：I(X;Y)=x,yp(x,y)I(x;y) 不可负 熵函数H(p) 它们的性质意义概念 Markov链 只跟邻近前一个状态有关，而与更远的状态无关，即p(z|y)=p(z|x,y) 微分熵h(X) BSC、DMC、转移矩阵P(Y|X) Cn()、 C() 性质、意义 对称、弱对称、强对称矩阵、信道概念 两种译码准则 最小错误概率准则（MED）是

2、选择条件概率p(xi|y)最大的码字。（也称最大后验概率准则） 最大似然准则（MLD）是选择使p(y|xi)最大的码字。在先验等概率的特定条件下，两者相等。概念 失真测度矩阵D Rk()、 R() 性质、意义 反向试验信道 汉明失真测度（错误概率失真测度） 码C的平均失真测度 高斯信源信道概念 (n,k)线性码 生成矩阵G、一致校验矩阵H RRE生成矩阵G、伴随式s 汉明重量、汉明距离 重量枚举多项式概念 循环码 g(x)、h(x) 长度为b的突发 纠正突发错误的汉明界、（强弱）Abramson界、 Reiger界、交织码、Fire码定理 离散熵的最大值(定理1.1) Fano不等式：H(X|

3、Y)H(Pe)+Pelog(r-1) 数据处理定理（定理1.5） 微分熵最大值（定理1.11） 信道容量（定理2.3） 信道编码定理（定理2.4）)(1)(2HCnk定理 具有汉明失真测度的信源的率失真函数（定理3.3） 信源编码定理(定理3.4) 信道信源编码定理（定理5.1）)(Rkn)()(RCr 计算 Pe H(X) H(X|Y) I(X;Y) C() R() 线性码 循环码H(X|Y)的计算jijijijijijijjjjyxpyxpyxIyxpypyXHypYXH,)|(1log),()|()|()()|()()|() () |()()|()(/ ),()|(xxpxypxpxyp

4、ypyxpyxpI(X;Y)的计算)|()();(XYHYHYXIxxXYHxpXYH)|()()|(C()的计算);(:)(min)(min,)(: );(max)()()(maxmaxminmaxmin1CYXIxbExbxbEYXICCCxR()的计算uvuvvudupvudupdEYXIRRR),()(min),(min)(,)(: );(min)()()(maxminmaxmin1考试方法(开卷) 简答题(25-35) 综合题(65-75) 互信息量,C(),R() 线性码的译码(必考) 循环码的编码、译码(8、9章) 突发错误、一些“界”、fire码信息论 BSC信道转移矩阵为 ，信道传输速度为1500二元符号/秒,若信源分布概率为P(0)=0.4、P(1)=0.6，经过适当的编码，问能否在10秒内将信源13000个二元符号序列无失真传送完？ 解题思路： 1。计算信源熵H2=(0.4,0.6)：13000*H 2。计算信道容量C=1-H2(0.1,0.9) 3。判断线性码110100011010101001G例：设线性码的生成矩阵为 （）此(n,k)的n、k是多少？写出此(n,k)码的所有码字。（）求其对