第二章总结与习题

1、第二章第二章 信源熵信源熵2022-4-301第二章总结(1) 单符号离散信源单符号离散信源 信息量信息量l自信息、条件自信息概念、性质、计算自信息、条件自信息概念、性质、计算l互信息、条件互信息概念、性质、计算互信息、条件互信息概念、性质、计算 互信息的三种表达方式（输入端、输出端、系统总体）互信息的三种表达方式（输入端、输出端、系统总体） 熵熵l信息熵的概念、性质、计算信息熵的概念、性质、计算 无条件熵、条件熵（信道疑义度、噪声熵）无条件熵、条件熵（信道疑义度、噪声熵）l平均互信息概念、性质、计算平均互信息概念、性质、计算平均互信息的三种表达方式平均互信息的三种表达方式平均互信息的凸函数性

2、平均互信息的凸函数性pI(X;Y)是是p(ai)的上凸函数的上凸函数pI(X;Y)是是p(bj/ai)的上凸函数的上凸函数 数据处理定理概念数据处理定理概念 理解各种熵之间的关系理解各种熵之间的关系第二章第二章 信源熵信源熵2022-4-302(2) 多符号离散信源多符号离散信源 离散平稳无记忆信源概念、计算离散平稳无记忆信源概念、计算 离散平稳有记忆信源概念、简单计算离散平稳有记忆信源概念、简单计算 条件熵、极限熵概念、简单计算条件熵、极限熵概念、简单计算 马尔可夫信源概念、极限熵计算马尔可夫信源概念、极限熵计算 信源冗余度概念、通信效率与可靠性的关系信源冗余度概念、通信效率与可靠性的关系(

3、3) 连续信源连续信源 概念、与离散信源的比较和区别、简单计算概念、与离散信源的比较和区别、简单计算 理解最大连续熵定理理解最大连续熵定理 熵功率的概念熵功率的概念(4) 离散无失真信源编码定理离散无失真信源编码定理 定长编码定理定长编码定理 变长编码定理变长编码定理第二章第二章 信源熵信源熵2022-4-303 symbolbitXHi/ 24log41log41)(411symbolbitXHi/ 38log81log81)(812symbolbitnXH/ 12loglog)(0第二章第二章 信源熵信源熵2022-4-304第二章第二章 信源熵信源熵2022-4-305525252!P2

4、2log (1/52!)log 52!1313524C13213524logC第二章第二章 信源熵信源熵2022-4-306 第二章第二章 信源熵信源熵2022-4-307 :设随机变量设随机变量Y代表女孩子身高代表女孩子身高 Xx1（是大学生）x2（不是大学生）P(X)0.250.75Yy1（身高160cm）y2（身高 0)的熵的熵Hc(Y)；(3) 试求试求Y = 2X的熵的熵Hc(Y)。解：解：(1) 其他00)(2axbxxpsymbolbiteabXHbaaFbxxFeababxdxxbbdxxxfdxxfbdxbxxfdxxfxfXHcXXRRRRRc/ log32log)(13)

5、(,3)(log92log log2log log)()(log log)()(log)()(33333222第二章第二章 信源熵信源熵2022-4-3059RRRRRcAyAYAydAyAybbdyAyyfdyyfbdyAybyfdyyfyfYHAybyFyfAybdxbxAyXPyAXPyYPyFAayAaAyax)()log()(2log )log()()(log )(log)()(log)()()()()()(3 )()()()(00222232(2)symbolbiteabYHbaAaFAybyFsymbolbiteababcYY/ log32log)(13)(,)(3)(/ log92log 33333第二章第二章 信源熵信源熵2022-4-3060symbolbiteabYHbaaFybyFbaeababeababydyybbdyyyfdyyfbdyybyfdyyfyfYHybyFyfybdxbxyXPyXPyYPyFayayaxcYYRRRRRcyY/ 1log32log)(13)2(,24)(329log92log 8