信息论与编码知识点分布

1、信息论与编码知识点分布注：（1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基 础上进行针对性公式记忆。（2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义 中典型习题、教材中模拟题等要熟练掌握求解方法。第二章信源与信源熵1信源的不确定性2单符号离散信源（1）单符号离散信源的数学模型XP(X)为，X2,P（X1）,P（X2）,Xi,，P (Xi),XnP(Xn)（2）单符号离散信源的信息量 自信息量：（自信息量、联合信息量、条件信息量及三种信息量的关系）I(x)log p(Xi)条件信息量:I (Xi / yj)log2 p(Xi / y

2、j)联合信息量:I (XiYj) log 2 P(Xi Yj) log 2 p (Yj) p(Xi /yj)I (Xi) I (Xi / Yj) I(Yj) I(Yj/Xi)互信息量:I (Xi) I(yj) I(xyj)P(X / Yj)I(Xi；Yj) log2K I(Xi) I(Xi/Yj)信源熵:1WX)EI(X)印0g 2 而nP(Xi) log2 P(Xi)i 1条件熵:联合熵:H(X/Y)EI(Xi / Yj)P(Xi Yj )I (Xi / Yj )H(XY)P(Xi Yj )I (XiYj)i 1 j 1mP(Xi Yj )log 2 P(XiYj )i 1 j 1熵函数的性

3、质：非负性；对称性；最大离散熵定理; 平均互信息量：扩展性；可加性；极值性;1客称L/(A)*（醪"占（丄7?-片0rJQ«陀）HiK)S=n jiJ) jn-ur：F0 曲Tl曲蕊亠ft(tiyJf1畔7/CVO)川需/门三（7）-丹（门=B（占-幵脏打r JH(F m77(1 'A3-/A13=-/tnV-Mli言凤肋-班JT）斤MH邓冲曰八-剽JC 7） =尸伏亠也门一即TA jsvr J） 口r J汁AjmJT/cv；n-/(r-nE E.cm-M口 门-jyot-itf-.i. Jf)Fm 甘订G出r*i=用访-冃丁"冃口丁 '00各种熵

4、之间的关系:l(X;Y)i 1P (Xiyj)log2 rXT、I(Y；X) j 1P(X)p(yj)例题：在理解的基础上求解实际问题:12 1设有12妆同值硬币，耳中有一枚为币.吕知逋翌祈典帝号与S币的帝S不同”但不知究竟jsaif世縊-现比较天平庄右离也轻®的方迭棗«冷.为-任養平上称出一枚呈假币.试间辛少必如称多少）："从£：a论的傅廈S*币申，某一枚为锻帀*谶事fr发生的（ft率为p=吉;亠假币的啟ft比真的轻哑畝"IS事fr蛙生的槪卑为F-;为確'是殊一枚是毁!,即上迷悶事件的霞合不确從性，由干二丹是S1立的，1®J

5、 = kjel2+log2 = kie24 比特冊用天平林时，甘三种可能性：卧轻、相等，三吿垒等舉率的-均为p=p e比氓平毎一扶消瞬:的干确建性为J - b兰3比站因此，必姒秣的欢数为E也至少鬧称；汰*3多符号离散平稳信源离散无记忆扩展信源：定义；离散无记忆信源 X的N次扩展信源的熵就是离散信源 X的熵的N倍H(Xn) NH (X)离散平稳信源：定义；平均符号熵与极限熵;4马尔可夫信源：定义；信源状态转移图；各态遍历定理；熵计算第二章无失真信源编码1信源编码的分类:"非分细码. 诣*r奇异码.L为鈿码，1fL非异码I憔F呵普彎質卫L即时码(非延长码)2 Kraft不等式与码树表示法

6、；平均码长；编码效率;3定长编码定理；变长编码定理；4香农、费诺、Huffman、游程编码、LD编码、算数编码、LZW 编码的编码过程。第四章限失真信源编码1失真测度与失真矩阵；2平均失真度与保真度准则；3信息率失真函数 R (D)4汉明失真下的的二元信源及其定义域的确定；R ( D)的定义式;5对称失真矩阵下 n元等概信源率失真函数的定义式;6限失真信源编码定理及应用；7多媒体压缩编码(了解)第五章信道及信道容量1 一般信道的数学模型:P(丫 1 X)P(bi |ai)P(b a)P(b2 |ai).P(a|a2) .P(bm |ai)P(bm a)p(b |an)p(b2 |an).p(b

7、m |an)2信道容量的定义:C max。")bit/信道符号3信道容量的计算：特殊的单符号离散信道的信道容量 一一对应关系的无损信道P(Xi)C maxl(X;Y) maxH (X) maxH (Y) log2 n log2 mP (Xi)p (x)p(x)具有归并性能的无噪信道H(X) log2nmax I (X ;Y) maxP (Xi)p(x)具有扩展性能的无噪信道强对称离散信道的信道容量max"；Y) maxH(Y) log 2 mC max H (Y) H (Y / X )log2 n plog2 P P logm(axH(Y) Hni p2百对称离散信道的信道

8、容量（行可排列、列可排列性）C m(aXH(Y) H(Y/X) log2m HGq,，qm)准对称离散信道的信道容量（行可排列，列不可排列-分割）般离散信道的信道容量计算步骤:JflJW主工/O/斗）d二工P（儿/兀）咤2川儿/从求0厂 戶17=1（釈（2） c = log,工 2內由0（儿）=2心1求況打由P（儿）=Z P（兀）/兀L求pg）。4多符号离散信道：N倍。离散无记忆信道的 N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息量是单符号离散无记忆信道的平均互信息量的 独立并联信道（积信道与和信道）N个独立并联信道的信道容量等于各个信道容量之和级联信道其容量用单幅号信道的信道容量计算多级级联信道的总信道矩阵等于所有信道军阵的乘积。方法即可。第六章 信道编码1 检错及纠错的基本原理；2 最小汉明距离与检错纠错能力；3 奇偶校验码、重复码、等重码的校验原理；4 最大后验概率准则译码、最大似然准则译码；5 信道编码定理：对离散平稳无记忆信道，其信道容量为C,输入序列长度为L。只要实际信息率 R<C，就必可找到一种编码，当 L足够长时，译码差错概率 Pe <a, a为任意大于零的正数。反之，若实 际信息率R>C，则对任何编码，Pe必大于零。6 线性