信息论与编码[第七章保真度准则下的信源编码]山东大学期末考试知识点复习

山东大学 期末考试知识点复习第七章 保真度准则下的信源编码711 失真度(失真函数)与平均失真度 1离散信源单符号的失真度与平均失真度 设离散无记忆信源输出随机变量U，U=u1，u2，ur，概率分布为P(u)=P(u1)，P(u2)，P(ur)，其通过某信道传输到信宿，接收的随机变量为V，V=v1，v2，vs。 (1)离散信源单个符号的失真度 它是对应于每一对(u，v)所指定的一个非负函数 3连续信源的失真度和平均失真度 设连续信源输出随机变量U，U取值于实数域R，其概率密度分布为p(u)。通过某连续信道传输到信宿，接收的随机变量为V，V也取值于实数域R。 (1)连续信源的失真度712 信息率失真函数 1离散信源的信息率失真函数 设离散信源输出随机变量U，其概率分布为P(u)，接收随机变量为V，失真测度为d(u，v)，则信息率失真函数713 信息率失真函数的特性714 R(D)函数的参量表述及其计算 1离散信源 已知信源的概率分布P(u)和失真函数d(u，v)，离散信源的R(D)函数是选取试验信道P(v|u)满足斜率S必为非正的。当D由Dmin增大到Dmax时，S的数值也随之Smin= -增至Smax=0。除某些特例外，S在D=Dmax处是不连续的，从某一负值跳到零。 2连续信源 已知连续信源概率密度函数p(u)和失真函数d(u，v)，连续信源的R(D)函数是在概率密度函数p(v|u)满足3差值失真度下连续信源的香农下界限连续信源U，uR，概率密度函数pU(u)。其失真函数为差值量度的函数 4高斯波形信源 信源输出的是一个均值为零的平稳高斯随机过程U(t)，-t。在均方误差失真度下，信息率失真函数和平均失真度的参量表达式715 常见信源的R(D)函数 1二元离散对称信源U716 保真度准则下信源编码定理(香农第三定理) 1保真度准则下信源编码定理及其逆定理 保真度准则下信源编码定理又称限失真信源编码定理： 离散信源的信息率失真函数为R(D)，并有有限的失真函数。在允许失真度D确定后，若R=R(D)+(0的任意小数，即RR(D)则码长n足够长，一定存在一种信源编码，码字个数M=2nR，而码的平均失真度小于或无限接近于允许失真D。反之，若RR(D)，这种码不存在，即码的平均失真将大于D。 注意：(1)上述R为编码后的信源输出信息率，R和R(D)都以比特信源符号为单位。 (2)限失真信源编码定理证实，R(D)函数是在允许失真D的条件下，信源可达的信息传输率。 (3)此定理及其逆定理可推广到连续信源的情况，它对连续信源更具实用意义。 2限失真编码定理和数据压缩 限失真编码定理及其逆定理是信源数据压缩的理论基础，在实际工程中具有重要的指导作用。从定理可知，当信源给定后，无失真信源数据压缩(D=0)的下限值是信源熵H(S)；而允许失真为D的情况下，限失真信源数据压缩的下限值是信息率失真函数R(D)。一般情况，给定某D后，有R(D)H(S)。所以，在允许失真条件下信源数据可以进一步压缩。 信息率失真理论正是从理论上指出信源的限失真的数据压缩是存在的、可能的。因此，限失真编码定理和R(D)函数在实际工程中可作为衡量实际中数据压缩编码方法好坏的一个标尺。717 信息传输定理(联合有失真信源信道编码定理) 1信息传输定理 定理可推广到有记忆和连续的情况。 2信息传输定理的实际工程意义 类似于信源信道编码定理，信息-传输定理指出，在单用户通信(无论数字或模拟)的实际工程中能做到有效可靠地传输信息。同样，可以将信源编码和信道编码分别进行考虑。而认为信源编码和信道编码之间只是一些数据流。信源编码只需针对信源，考虑在满足允许一定失真D的条件下尽可能用最少的数据流来表述信源的信息。无需考虑数据流将流向何方。对信道编码只需针对信道，