第三章信源编码-离散无记忆源等长编码

1、第三章 信源编码离散信源无失真编码本章分析问题：在信宿要求无失真接收时，或所有信源信息无损的条件下，离散信源输出的表示即信源编码问题。内容：信源分类，信息速率的计算，编码定理，有效编码方法等。一、信源及其分类1 离散信源和连续信源 离散信源表示：其中随机变量，取值范围：，无记忆源和有记忆源无记忆源：各彼此统计独立简单信源：各彼此统计独立且服从同一概率分布（），有记忆源：各取值相关。（，），其概率分布由维随机矢量表示，（）（，）平稳信源：概率分布与起始下标无关（，）（，）各态历经源：信源输出的随机序列具有各态历经性。有限记忆源：用条件概率（，）表述。为记忆阶数。马尔可夫源：有限记忆源可用有限状态

2、马尔可夫链描述，当时为简单马尔可夫链。时间离散的连续源：各随机变量取值连续。随机波形源：时间和取值上均连续的信源；由随机过程（）描述，时间或频率上有限的随机过程可展开成分量取值连续的随机矢量表示，即时间上离散，取值连续的信源。混合信源二、离散无记忆源的等长编码离散无记忆源：长信源输出序列：（，），取值，共种不同序列。对每个输出序列用元码进行等长编码，码长为，则可选码共有个。 单义可译码或唯一可译码：条件：，即：每个信源符号所需的平均码元数； 信息无损编码要求：设每个信源符号的信息量为（），则长信源序列的最大熵值为（），编码时由于个码元独立等概时携带信息量最大，使码长最短。则信息无损编码的最小码

3、长为：（）注：计算（）时，需要考虑，为有限值时，平均每符号的信息量将在（）附近摆动。则：选足够长，使（）：与L有关的正数，当L时，。 注：这种编码不一定保证单义可译，但非单义可译所引起的误差可渐进为任意小。 序列划分（1） L长无记忆信源DMS的信息量：a. 概率：P(UL)=P(U1, U2, ,UL)=P(Ul)b. 消息序列UL的自信息量： I(UL)=-logP(UL)=-logP(Ul)=-logP(Ul)=I(Ul).c. I(Ul)含义：信源从取值集A中独立选出某个字母所获得的信息量；d. 消息符号的平均信息量：IL=I(UL)/L;e. 信源中每符号的熵：H(U)=-p(ak)

4、logp(ak);f. 信源中各符号信息量I(ak)的方差：I2=p(ak) I(ak)- H(U) 2=p(ak)log p(ak) 2- H 2 (U) g根据弱大数定理：对任意的0有 PrI(UL)/L- H(U)0,当L时，Pr TU(L,)1，或对所有的0,存在正整数L0,当L L0时，有Pr ULTU(L,)1-. e. 典型序列出现的概率（渐进等概序列）： PTU(L,) 即：PTU(L,)证明：略。g. 典型序列的数目：（1-）TU(L,)数目 即：TU(L,)数目证明：略。h. 个别非典型序列的概率不一定比个别典型序列的概率低，甚至高得多。非典型序列的数目不一定少。当L很长时，典型序列的数目往往远少于非典型序列数目。3 离散无记忆源的编码定理：a. 编码速率：R=logM=logD,M=DNb. 可达速率：对给定信源和编码速率R和任意0，若存在L0、编码和译码变换，使当码长L L0时，译码错误概率位PeH(U),则R可达；RH(U)NlogDLH(U) 即:N/LH(U)/logD上述条件成立时，对典型序列一对一编码，能使译码错误概率在L足够大时为任意小。即：N/LH(U)/logD时，能够保证信源输出的信息量全部载入码字，使Pe0,但代价为L足够长，实现复杂，译码时延长。H(U)/logD为表示每个信源符号所需的最少码符号数，