北工大信息论第六章 有噪信道编码14

1、北工大信息论第六章 有噪信道编码14 第六章 有噪信道编码需要把握的内容： 译码规章与错误概率的关系 平均差错率与信道编码的关系 汉明距离 有噪信道编码定理 线性分组码 第一节一.译码规章信源 (信源编码，信道编码) 译码规章与错误译码概率 信道 译码 (信源译码，信道译码) 信宿 0 p 1/ 4p 3/ 4 p 3/ 4 0 1 p 1/ 4 1 定义信道译码函数f是从输出符号集合b到输入符号集合a的映射 f (b j ) a j * a, j 1,2,., s译码函数又称译码规章 留意:译码规章是人为定的,对于同一个信道可有多个 不同的译码规章 例如：对于二元信道就可制定若干不同译码规章

2、，如图所示。 a1 a2 0.8 0.2 0.10.9 b1 b2 ( f 1 b1 ) a1 f1: ( 1 b2 ) a1 f ( f 3 b1 ) a1 f3: ( 3 b2 ) a 2 f ( f 2 b1 ) a 2 f2: ( 2 b2 ) a 2 f ( f 4 b1 ) a 2 f4: ( 4 b2 ) a1 f 二.错误译码概率“好”的译码规章的标准是：错误译码概率小 译码正确-假如接收到bj,按 f (b j ) a j * a而输入的刚好是aj*p( x bj的译码正确概率为： 译成aj* , a* j | y b j ) p f (b j ) | b j p(e | b

3、 j ) p x f (b j ) | y b j 1 p f (b j ) | b j bj的译码错误概率为： 译码错误概率的统计平均称为平均译码错误概率或平 均差错率，记为pes j 1 pe p(b j ) p(e | b j ) p(b j )1 p f (b j ) | b j j 1 s pe与译码规章f有关使pe小的译码规章f是好的译码规章 简化pe式为下面的形式：pe p(b j )1 p f (b j ) | b j j 1 s 1 p(b j ) p f (b j ) | b j j 1 s 1 p(b j f (b j ) 1 p(b j a* j)j 1 j 1 s s

4、 pe p (aib j ) p (ai )p(b j | ai )y x a* y x a* 当输入等概:上式可化为： p f (b j ) p a* j 1/ r1 pe p(b j | ai ) r y x a* 例6-1: 参见下图，假设p(a1)=0.4,分别求出4种译码规 则所对应的平均差错率。a1 a20.8 0.2 0.1 0.9 b1 b2 ( f 1 b1 ) a1 f1: ( 1 b2 ) a1 f ( f 3 b1 ) a1 f3: ( 3 b2 ) a 2 f ( f 2 b1 ) a 2 f2: ( 2 b2 ) a 2 f ( f 4 b1 ) a 2 f4: (

5、 4 b2 ) a1 f 解：信道输入概率矩阵和转移矩阵分别为： px 0.4 0.6 0.8 0.2 py | x 0.1 0.9 转移矩阵各行元素乘以对应的输入概率，得联合概率矩阵 0.32 pxy 0.06 0.08 0.54 译码规章f1对应的平均差错率为 pe ( f1 ) 1 p f1 (b j ), b j j 1 s 1 p (a1b1 ) p ( a1b2 ) 1 (0.32 0.08) 0.6 其它译码规章对应的平均差错率分别为pe(f2)=0.4 pe(f3)=0.14 pe(f4)=0.86 四种规章相比， f3最好，f4最差 其次节 两种典型的译码规章 一.最佳译码规

6、章平均差错率pe与译码规章有关，使pe达到最小 的译码规章最佳译码规章。 pe p(b j ) p(e | b j ) p(b j )1 p f (b j ) | b j j 1 j 1 s s 可以看出：要减小pe ,必需减小各个接收符号的译码 错误概率 p(e | bj ) ,或者增大各个接收符号的译码正确概 率 p f (bj ) | bj 。 确定最佳译码规章的方法：* f ( b ) a j j a,b j b f: , ai a * p(a j | b j ) p(ai | b j ) 该最佳译码规章称为最大后验概率译码规章最大后验概率条件可等价为最大联合概率条件,为什么呢?p(a

7、 * j | b j ) p ( ai | b j )* p(b j ) p(a* | b ) p ( b ) p ( a | b ) p ( a j j j i j j b j ) p ( ai b j ) 则最佳译码规章又可表示为：* f (b j ) a j a,b j b f: , ai a * p(a j b j ) p(ai b j ) 最佳译码规章又称为最大联合概率译码规章 例6-2 参见下图，假设p(a1)=0.4,求最佳译码规章。a10.8 a2 0.2 0.1 0.9 b1 a1 0.32 a2 0.06 b2 0.08 0.54 b1 b2 解：例6-1已经求出联合概率矩

8、阵，重写为 pxy 则最大联合概率译码规章为： f (b1 ) a1 f : f (b2 ) a 2 对应的平均差错概率： pe 1 p f (b j )b j 1 (0.32 0.54) 0.14j 1 s 二、极大似然译码规章按最大转移概率条件确定的译码规章* f ( b ) a j j a,b j b f: , ai a * p(b j | a j ) p(b j | ai ) 例6-3:已知信道转移矩阵，试确定译码规章。 0.5 py | x 0.2 0.3 0.3 0.2 0.3 0.5 0.3 0.4 解：按转移概率最大原则确定极大似然译码规章如下： f (b1 ) a1 f :

9、f (b2 ) a1 , (a2 , f (b ) a 3 2 a3 ) 当信道输入等概率时，极大似然译码规章是最佳的。 提问:为什么?缘由是：极大似然译码规章是按最大转移概率条件确定 的，即 p(b j | a ) p(b j | ai )* j 假如输入等概，则 p( a ) p( a i )* j 所以 p(a ) p(b j | a ) p(ai ) p(b j | ai )* j * j * j p(a b j ) p(ai b j ) 第三节 信道编码的编码原则 二元信源和二元对称信道的模型如下图所示dms u u1,u2 x a1,a2 a1=0 a2=1 dmc1-pp=0.0

10、1 y b1,b2 b1=0 b2=1 u u1 0 u 2 1 p 0.5 0 . 5 u p=0.01 1-p 由图可知：信源的熵为：h(u)=logm=1比特/符号 信道容量为：c=log2-h(0.99,0.01)=0.92比特/符号信源与信道之间不加信道编码，则由于信道输入等概分布，则 极大似然译码规章就是最佳译码规章，依据信道转移矩阵b2 b1 a1 py | x a 0 . 99 0 . 01 2 0.01 0.99 f (b1 ) a1 确定极大似然译码规章为：f : f (b2 ) a 2 平均差错率为： 1 s 1 pe 1 pb j | f (b j ) p(b j |

11、ai ) r j 1 r y , x a* (0.01 0.01) / 2 0.01 提问：传输系统的pe要求掌握在10-6以下，而利用译 码规章的pe太高，如何降低平均差错率呢？ -信道编码一.简洁重复编码对信源符号进行“重复2次”编码:u x3 py 信道编码f u1 , u 2 1 , 2 ,., 8 3 |x 3 y3 信道译码f 1 , 2 ,., 8 x3 1 , 8 f u1 0 1 000 000 1 001 2 001 2 010 3 3 010 011 4 011 1 000 4 f 5 100 8 111 100 5 101 6 6 101 7 110 110 7 f 1

12、11 u2 1 8 111 8 “重复2次”编码规章为 0 000 f: 1 111 求出3次扩展信道的转移矩阵 p y 3|x 3 1 1 3 p 8 3 p 8 2 2 2 2 p p p p p p p p p p 2 p p 2 p 3 , p 1 p 2 2 2 2 2 2 p p p p p p p p p p p p p3 f ( 3) 1 f ( 7) 8 f ( 5) 1 f ( 8) 8 2 3 4 5 6 7 按极大似然译码规章得译码函数f ( 1) 1 f ( 4) 8 f ( 2) 1 f ( 6) 8 即： 1 000 2 001 f 1 000 3 010 5 100 4 6 7 8 011 101 f 8 111 110 111 译码差错率为： 结论：信道编码降低平均错误率 3 2 1 8 1 pe 1 p i | f ( i ) 1 (2