信息论与编码基础-教学课件-5

1、信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理一、差错控制系统及其理论基础二、信道编码的基本概念三、信道编码方法的性能评价信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理一、差错控制系统及其理论基础一、差错控制系统及其理论基础二、信道编码的基本概念三、信道编码方法的性能评价1、差错控制的理论基础1)1)香农第二定理香农第二定理2)2)近世代数近世代数信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理2、差错控制的途径信道编码定理公式信道编码定理公式log(1)SCBN纠错编码的基本理论纠错编码的基本理论利用冗余度利用冗余度噪声均化噪声均化信息论与

2、编码基础信息论与编码基础信道编码信道编码基本原理基本原理RE(R)0C1C2信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理交织分组交织信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理交织分组交织010203040506070010203040506070输 入 位 置输出位置信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理交织伪随机交织器 3、差错控制系统1) FEC:信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理实时性较好译码复杂控制电路简单信道适应性较差信息论与编码基础信息论与编码基础2) ARQ: 3、差错控制系统信道编

3、码信道编码基本原理基本原理信息论与编码基础信息论与编码基础停止-等待式ARQ连续式ARQ选择式ARQ 3、差错控制系统信道编码信道编码基本原理基本原理2) ARQ:信息论与编码基础信息论与编码基础1 11 12 2ACK12 2NAK22 22 2ACK23 3 3、差错控制系统信道编码信道编码基本原理基本原理2) ARQ:信息论与编码基础信息论与编码基础12345112345NAK12345123674567345 3、差错控制系统信道编码信道编码基本原理基本原理2) ARQ:信息论与编码基础信息论与编码基础1234511234NAK167NAK4451678498109111012 3、差

4、错控制系统信道编码信道编码基本原理基本原理2) ARQ:信息论与编码基础信息论与编码基础 3、差错控制系统信道编码信道编码基本原理基本原理2) ARQ:编、译码设备较简单控制电路比较复杂系统纠错能力极强实时性差信道适应性很强信息论与编码基础信息论与编码基础3) HEC: 3、差错控制系统信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础 3、差错控制系统设计差错控制系统时需考虑以下因素：设计差错控制系统时需考虑以下因素：1、满足用户对错误概率的要求2、有尽可能高的信息传输率3、有尽可能简单的编译码算法，且易于实现4、可接受的成本信道编码信道编码基本原理基本原理信息论与编码基础信息

5、论与编码基础信道编码信道编码基本原理基本原理一、差错控制系统及其理论基础二、信道编码的基本概念二、信道编码的基本概念三、信道编码方法的性能评价信息论与编码基础信息论与编码基础信源信源信宿信宿调制器调制器解调器解调器噪声源噪声源信源信源编码器编码器信道信道编码器编码器信道信道译码器译码器波波形形信信道道信源信源译码器译码器SMER,.,011mmmk ,.,011cccn,.,011eeen,.,011rrrn,.,011mmmkCM S信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础1、信道编码的分类1)根据差错控制作用分类检错码检错码纠错码纠错码信道编码信道编码基本原理基本原

6、理信息论与编码基础信息论与编码基础2) 纠错码的分类纠错码的分类a)按对信息源输出的信号序列处理方式的不同v分组码：分组码：v卷积码：卷积码：k个码元个码元+r个校验元个校验元(n,k)M123n0.12k012k012k0信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础D0D1D2Mm1m2.mj.+C（c1jc2j）切换率=2倍输入比特率（2，1，3）卷积码编码器D0D1D2Mm1m2.mj.+C（c1jc2j）信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理IS

7、-95中的卷积码信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理WCDMA系统中的卷积码信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理WCDMA系统中的卷积码Andrew J.Viterbi开发了卷积码编码的最大似然算法CDMA之父高通公司创始人之一信息论与编码基础信息论与编码基础b) 根据校验元与信息元之间的关系v线性码线性码v非线性码非线性码例例 （4,2）分组码）分组码3221cccc1320ccc线性叠加性信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础c) 按照纠正错误的类型由随机由随机噪声、噪声、干扰引干扰引起。起。 错误彼此错误彼

8、此独立，即独立，即错误码元错误码元的出现是的出现是随机的。随机的。 高斯高斯白噪声白噪声 由突发噪由突发噪声引起。声引起。 错误成串错误成串出现。出现。 脉冲干扰、脉冲干扰、磁带缺陷、磁带缺陷、电离层衰落电离层衰落 信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础v纠正随机错误的码纠正随机错误的码v纠正突发错误的码纠正突发错误的码v即纠正随机错误又纠正突发错误的码即纠正随机错误又纠正突发错误的码信道编码信道编码基本原理基本原理c) 按照纠正错误的类型汉明码、BCH码、卷积码RS码、Fire码乘积码、级联码d) 按每个码元取值来分v二进制码二进制码vq进制码进制码.0101011

9、,.,2 , 1 , 0q)(mpq 信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理纠错码纠错码非线性码非线性码 线性码线性码卷积码卷积码分组码分组码非循环码非循环码循环码循环码纠随机纠随机错误码错误码纠突发纠突发错误码错误码纠随机与纠随机与突发错误码突发错误码信息论与编码基础信息论与编码基础1)汉明距离与重量定义定义 一个码字C中非零码元的个数称为该码字的（汉明）重量，简称码重，记为W（C）2、纠错码的基本概念信道编码信道编码基本原理基本原理例例0)(),000(11cwc2)(),011(22cwc汉明距离汉明距离2),(21ccd信息论与编码基础信息论与编码基础信道编码

10、信道编码基本原理基本原理信息论与编码基础信息论与编码基础(3,2)码码)110()101()011()000(2)(mincw2mind信道编码信道编码基本原理基本原理码的最小重量和最小距离有什么关系？线性叠加性信息论与编码基础信息论与编码基础2)码率（n,k）码码nkR 信息元位数信息元位数码字长度码字长度信道编码信道编码基本原理基本原理码率是衡量分组码有效性的一个基本参数。信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理信源信源信宿信宿调制器调制器解调器解调器噪声源噪声源信源信源编码器编码器信道信道编码器编码器信道信道译码器译码器波波形形信信道道信源信源译码器译码器SMER

11、CM S3) 错误图样E信息论与编码基础信息论与编码基础1210:,.,nnCccc c,.,:0121rrrrRnn,.,:0121eeeeEnn例例1111100000:C0110110000:E1001010000:Rn2信道编码信道编码基本原理基本原理3) 错误图样信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理3、最大似然译码(|)(|)P E RP CC R译码器条件错误概率译码器的错误概率(|) ( )ERPP E R P R译码错误概率最小的最佳译码规则max(|)P CC R信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理3、最大似然译码()

12、(|)(|)( )iiiP C P R CP CRP R由贝叶斯公式1,2,.,21,2,.,2max(|)max(|)kkiiiiP CRP R C若发送码字概率相同例例1101100111111000000001011101110110010000100110111110100010001111100011110000010011001001011111000010110100011011101000010101010110011011000101001101010111010010信息论与编码基础信息论与编码基础差错控制系统差错控制系统ARQ、FEC、HEC纠错码的基本概念纠错码的基本概

13、念分类、码距、码率、MLD信道编码信道编码基本原理基本原理本课小结本课小结信道编码信道编码基本原理基本原理一、差错控制系统及其理论基础二、信道编码的基本概念三、信道编码方法的性能评价三、信道编码方法的性能评价信息论与编码基础信息论与编码基础信息论与编码基础信息论与编码基础)(min);(min0),(),(,0icknckncccwccddii码的距离和重量满足三角不等式码的距离和重量满足三角不等式);();();(233121ccdccdccd)()()(2121cwcwccw定理定理(n,k)线性分组码的最小距离等于非零码字的最小重量线性分组码的最小距离等于非零码字的最小重量。信道编码信道

14、编码基本原理基本原理定理定理对于任一(n,k)分组码，若要求：1）码的检错能力为e，则最小码距10 ed信息论与编码基础信息论与编码基础C1C21ed0信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础2）码的纠错能力为t，则最小码距120 tdC1C21ttd0信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础3）能纠t个误码同时检测e(et)个误码，则最小码距10etdC1C2tte1d0信道编码信道编码基本原理基本原理总结总结信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理对于任一（n,k）分组码，若要求：l码的检错能力为e，则最小码距d0e+

15、1；l码的纠错能力为t，则最小码距d02t+1；l能纠t个误码同时检测e（et）个误码，则最小码距d0e+t+1.信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理一、差错控制系统及其理论基础二、信道编码的基本概念三、信道编码方法的性能评价信息论与编码基础信息论与编码基础1、奇偶校验码、奇偶校验码信息码组：信息码组：0121,.,mmmmkk1 nk（n,n-1）编码编码校验元校验元01210.mmmmckk+1偶偶奇奇信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础例：信息序列例：信息序列 m=11010010011100111100001112 2、水平一致校

16、验码、水平一致校验码信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础信息元信息元校验元（偶）校验元（偶）1 1 0 1 00 1 0 0 11 1 0 0 11 1 1 0 00 0 1 1 110111C101101111000011100010110110111信道编码信道编码基本原理基本原理2 2、水平一致校验码、水平一致校验码R=100001111100000110100010010111101110信息论与编码基础信息论与编码基础3 3、水平垂直一致校验码（方阵码）、水平垂直一致校验码（方阵码）信息元信息元1 1 0 1 00 1 0 0 11 1 0 0 11 1

17、1 0 00 0 1 1 1101111 0 00 1C（按列传输按列传输）101101111100000110100010011011101110信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础4 4、群计数码、群计数码信息位信息位监督位监督位1 1 1 0 1 11 1 0 1 1 01 1 1 1 0 01 0 0 0 1 10 0 0 1 1 11 0 1 0 0 11 0 11 0 01 0 00 1 10 1 10 1 1信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础5 5、等比码（等重码，定、等比码（等重码，定1 1码）码）若码长为若码长为n，重量为重量为W，wnCwnnC2许用码许用码禁用码禁用码例例1）电传通信）电传通信2：3等比码等比码2）国际电报）国际电报ARQ通信系统通信系统3：4码码信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础10101010信道编码信道编码基本原理基本原理信息论与编码基础信息论与编码基础信道编码信道编码基本原理基本原理一、差错控制系统及其理论基础二、信道编码的基本