信源编码习题课.ppt

1、信源分类,第二章 信源熵,一、信源,单符号离散信源的数学模型为,并满足,连续信源,信源熵,条件熵,联合熵,二.信源熵,平均互信息量,三、信源熵的基本性质,非负性,对称性,最大离散熵定理,扩展性,确定性,可加性,极值性,设P、Q为两组归一的概率矢量。即,上凸性,四、平均互信息的性质,对称性,非负性,极值性,凸函数性,数据处理定理,的上凸函数,的下凸函数,各种熵之间的关系,五、离散平稳信源的信息熵,平均符号熵：,极限熵：,马尔可夫信源熵的计算,六、连续信源的熵,均匀分布的连续信源的熵,1、 几种特殊连续信源的熵,一维：,N维：,高斯分布的连续信源的熵,指数分布的连续信源的熵,连续信源熵的可加性,连

2、续信源熵可为负值,2、 连续信源熵的性质及 最大连续熵定理,平均互信息的非负性,数据处理定理：,最大连续熵定理,若代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内均匀分布的连续信源有最大熵。,限峰值功率的最大熵定理,限平均功率的最大熵定理,平均功率为P，均值m受限，当信源概率密度函数为正态分布时，具有最大熵。,均值受条件下的最大熵定理,连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。,一、信道的分类,1、有无干扰：有干扰信道与无干扰信道,2、有无记忆特性：有记忆信道与无记忆信道,3、随机变量个数：单符号信道与多符号信道,4、输入输出的个数：单用户信道与多用户信道

3、,5、随机信号的特点：连续信道与离散信道、半离散或半连续信道,第三章 信 道,二、 信道的数学模型,X P(Y|X) Y,如果矩阵的行和列都是可排列的,称矩阵是可排列的。 如果一个信道矩阵具有可排列性,则它所表示的信道称为对称信道,对称信道,相应的,强对称(均匀)离散信道的信道容量,n X n,总体错误概率： P,相应的,准对称信道离散信道的信道容量,若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：,信道容量C的一般求法，过程如下：,若CN多符号离散无记忆信道的N次扩展信道的

4、信道容量，C为单符号离散无记忆信道的信道容量，则 CN=NC,离散无记忆信道的信道容量,信噪功率比,可加高斯信道（连续信道）,失真矩阵,一、失真度和平均失真度,1、离散信源单符号的失真度与平均失真度,第四章信息率失真函数,2、离散信源平均失真度,表示信源符号通过传输后平均失真的大小,N次扩展信道的失真函数,3、离散无记忆信源的N次扩展信道的平均失真度,定义,平均失真度,4. 连续信源的失真度与平均失真度,定义,平均失真度,5、常用失真度和平均失真度函数举例,汉明失真,平方误差失真函数,1、离散信源的信息率失真函数,2、N次无记忆扩展信源和信道：,二、 信息率失真函数,下确界,3、连续信源的信息率失真函数,1、定义域：,三、信息率失真函数的特性,2、下凸性,3、R(D)为单调递减的连续函数,四、离散信源信息率失真函数的参量表述及其计算,其中,1,2,3,4,5,6,基本步骤,2.n元等概率信源的率失真