压缩理论极限与基本途径1

第三章

理论极限与基本途径

信源发出的消息： 是一个随机过程，它是时间与空间的函数：

语音信号——时间函数X（t）；

静止平面图象——空间函数X（x，y）；

电视信号——时间空间信号X（x，y，t）；

电报信号——时间离散信号；

书信——空间离散的符号序列——文字实际信源——抽象成一个随机序列来讨论信源是产生消息的源，根据信源的不同情况可分为：

根据信源的统计特性，离散信源又分为两种：离散信源

取值为离散集合。连续信源取值为连续的信源无记忆信源

X的各时刻取值相互独立。有记忆信源

X的各时刻取值互相有关联。信源的数学模型混合信源

取值两者皆有。1离散无记忆信源2联合信源3随机序列4率失真理论本章内容3.1离散无记忆信源若时间t为有限数n，则信源可用n维随机矢量来表示：若该信源是平稳的又称为离散无记忆平稳信源——简称离散无记忆信源（d.m.s）：是时间离散、幅度离散的随机过程。不同时刻的随机变量是独立同分布的，且符号集中的符号数目是有限的或可数的。3.1.1自信息量和一阶熵记字符出现的概率为，有

（3.1.5）

自信息量定义:

（3.1.6）对数所用“底”不同，信息量单位也不同：

比特（bit）：r=2

奈特（Nat）：r=e(自然对数之底)

哈特（Hart）：r=10理解：

亦称自信息函数，含义是：随机变量X

取值为时所携带信息的度量。信息熵（简称熵，Entropy）定义：

自信息量的概率平均，即随机变量的数学期望值（3.1.7）理解:

一阶熵，表示集合中某字符出现的平均不确定性，即为了确定集合中某一字符出现所需的平均信息量；或代表每出现一个字符所给出的平均信息量。

当处于事件发生之前，根据先验概率，就有不同的不确定性存在，因此是不确定性的度量；当处于事件发生之时，是一种惊奇度度量；当处于事件发生之后，不确定性已被解除，则是获得信息的度量；熵的理解：

就是离散无记忆信源进行无失真编码时的基本极限当强调各事件的概率分布、并构成概率向量（m维）时，熵也习惯地写成：3.1.2基本途径之一——概率匹配对字符的编码长度为：对信源编码的平均码长l为：(3.1.8)由Lj得到熵具有极值性，即：(3.1.9)其中等号仅在成立。

对于离散无记忆平稳信源，

1)准确得到字符概率；

2)对各字符的编码长度都达到它的自信息量。数据压缩的途径之一例：对概率分别为p和(1-p)的二进制无记忆信源，求信源的熵。解：信源的熵为当p=0.5时，H(X)=1，取得最大值，即不确定度最大。当p=0或p=1时，H(X)=0。即是确定性事件集，不确定度为0。二进制熵函数如图所示：从物理意义上来说:

二进制信源所含的信息量总低于1bit；只有当符号0或1的概率p0=p1=1/2时，才含有1bit的信息量。定理3.1(最大离散熵)所有概率分布所构成的熵,以等概率时为最大,即:(3.1.10)对于二进制码字R位二进制码字包含Rbit的自信息量若各字符以等概率出现例：R=3，则能表示概率为1/8的等概率的情况信源所含的冗余度最大值与熵之间的差值(3.1.11)离散无记忆信源的冗余度隐含在信源符号的非等概率分布之中，只要信源不是等概率分布，就存在着数据压缩的可能性。统计编码的基础数据压缩比定义压缩前每个信源符号(取样)的编码位数(logm)与压缩后平均每符号的编码位数（l）之比编码效率:上界：(3.1.12）(3.1.13）(3.1.14）※※例3-1信源X的分布为：若直接采用二进制对4个符号编码，需要

R=log4=2bit表示平均码长为：数据压缩比：编码效率：①※采用某种与相匹配的二元编码，如：平均码长为：②小于编码方法①的平均码长，达到了该信源的熵所表示的基本极限数据压缩比：编码效率：练习信源X的分布