第2章 2.1信源模型与信息度量-1yy0906.ppt

1、基础信息论、电子信息工程和王犬电子邮件：东南一层东南5层通软中心、第二章源熵、信息测量和源熵、牙齿章节的内容、通信的根本问题是在接收端尽可能准确地再现源的输出，因此，需要讨论描述源的输出的方法，即计算源产生的信息量的方法。即：信息测量和源熵、2020/8/4，3、牙齿章节的内容介绍、2源熵(13-14小时)2.0源的数学模型和分类(1小时)离散/连续固定/非固定2.1信息测量和源熵(5-6小时)2.3连续源(2小时)微分熵的定义和性质最大熵定理；熵功率2.4离散无失真源编码定理(2小时)源编码的基本概念、目的、思考、术语固定长度、可变长度编码定理、4、2章源熵、2.0源的数学模型和分类2.1信

2、息的测量和源熵2.2多符号离散固定源2.3连续源2.4离散无失真源编码定理、5、源因为信息是非常抽象的，所以必须通过信息加载者(消息)研究源，所以源的具体输出称为消息。问题转换：研究源研究源的具体输出：消息消息消息格式、2020/8/4，6，例如：汉字符号字符、图像语音、离散消息、连续消息、源的数学模型、问题转换：研究源研究源的具体输出：消息源建模工具：方法：源输出消息：汉字/符号/语音等随机变量或随机序列(矢量)或概率空间，2020/8/4，7，如何解释？源分类和源分类主要基于两个茄子注意事项。1.源消息值集合和消息值时间点集合为离散源、连续源或数字源、模拟源(波源)2。源消息的统计特性可以

3、分为非内存源、内存源、平滑源、非静态源。实际上，经常组合的单个符号离散源离散无机亿源连续单个符号(变量)源连续内存源连续非静态源，2020/8/4，8，离散源和连续源，连续源：源输出的随机变量值是连续间隔中的连续信号，消息数是无限值，这称为连续。例如，人发出的语音信号X(t)、模拟传记这称为离散源。来源输出讯息通常以文字、文字等符号表示，这些符号的值有限制或可计数。例如：平面图像X(x，Y)和电报、信件、手稿等，2020/8/4，9，源输出为随机变量序列(随机过程)，多重符号来源：来源输出多重讯息符号范例：书面语言文字：单字文章段落文章范例：电话号码单一符号：一维随机变量多重符号：多重(n)维

4、度随机变量数学模型：n维度随机向量，n期间离散概率空间数学模型说明。10，离散稳定源和非稳定源，离散稳定源：随机序列的每个变量都相同的概率分布例如：掷硬币，掷骰子结果与时间无关的数学模型：非随机源统计特性随着时间的变化而变化，无内存源和内存源，无内存源：前后符号之间的独立示例：阿拉伯数字源编码后资料传输，12和n维随机矢量的共同概率分布：连续无内存源：数学模型：无内存源和内存源(继续)，n维随机矢量的共同这种关联性通常用结合概率或条件概率来描述。按内存长度：有限内存源示例：有限状态马尔可夫链Markov源(在后续课程2.2中介绍)无限内存源，2020/8/4，13，源分类，随机过程x(t):任

5、意波形源输出消息采用时间(或空间)和值每个随机变量Xi采用相同的概率空间值。每个n个符号的新源、随机变量、离散源：可输出的消息数有限；连续源：可输出的消息数无限或不可计数；非平滑源、平滑源、连续平滑源；离散平滑源：输出的随机序列X的每个随机变量值不连续且随机向量X受限的内存源：输出的平滑随机序列X的随机变量之间存在从属关系马尔可夫源：输出的随机序列X的每个随机变量之间存在相关性，但是内存长度有限，满足马尔可夫链条件、随机序列、2章源熵。2.0源的数学模型和分类2.1信息的测量和源熵(单符号离散源)2.2多符号离散稳定源2.3连续源2.4离散无失真源编码定理，15，单符号离散源的数学模型，设置：

6、单符号源x，从符号集中获取值。其中，x表示随机变量、表示源的元素或来自源的符号的每个符号发生的概率是消息符号在没有徐璐相关的情况下发生的概率，使用概率字段描述2020/8/4，16，2.1信息的测量和源熵。2.1.1自信息自信息定义和特性组合自信息条件多个自信息之间的关系2.1.2平均自信息和源熵2.1.3平均自信息和平均互信息2.1 19、实际案例，第二个信息量为0中国乒乓球男子队战胜巴西大概率事件，信息量小的美国911事件小概率事件，信息量大的中国足球男子队战胜巴西的概率接近于0，信息量接近于无限武汉市雨，纽约也发生了两个独立事件。 联合事件的信息量为两者之和，定性认识，1。信息量是随机事

7、件概率的函数2。概率越小，信息量越大。3确定性事件，信息量0 4。两个独立事件，联合事件的信息量为两者之和，20，实际例子定性认识，用数学语言表达，1。信息量是随机事件概率的函数2。概率越小，信息量I就越是概率P的单调递减函数3。概率接近零，信息量接近无穷大。确定性事件，信息0 4。两个独立事件，集成事件中的信息量可以满足A、B独立、21、自身信息定义、观察：日志格式的函数牙齿要求。直接定义？不满：2 .信息量I是概率P的单调递减函数概率接近于0，信息量接近于无穷大。确定性事件，信息量改造为0:22，资讯单位，单位：比特，奈特，哈特。代数的底数为2，单位为比特。以自然数E为底时，单位是内特NA

8、T低于10时，单位是心跳，内特NAT，红心之间的转换关系。现代数字通信系统通常使用二进制表示法。(David aser，Northern Exposure美国电视电视剧)信息计算也使用很多以2为基础的方法。通常，默认情况下，2为底，23为基础。注：信息量是纯的，单位徐璐显示其他底数的对数值、无量纲意义、自身信息量对不确定性、自身信息量对不确定性的数学定义是相同的。问题：两者有区别吗？例如，分析。包里都有100个手感相同的球。据悉，牙齿中有99个是红球，只有1个是白球。现在随机抽一个球问：在抽球之前：抽的球是红球吗？答案：我不确定，但大部分都是。24，信息量与不确定性，不确定性：在随机实验进行之

9、前，这次实验中可能发生哪些随机事件的不确定性。“不确定性bit拔出白球”的不确定性bit信息量：拔出球后，一次拔出红球，明确告诉你答案。计算你得到的信息量。获得的信息量=(在选球之前，选红球的不确定性) (选球后，选红球的不确定性)=0.0145-0=0.0145位一样，如果选白球，获得的信息量为6.644位。25，信息量与不确定性之间的关系，26，信息量计算实例1，某处二月天气的概率分布统计如下。计算牙齿四茄子气候的午夜补数。解决方案：27，信息量计算案例2，一次两个骰子，事件A，B，C分别为3360 A:一个骰子3；b:至少有一个骰子是4。c:骰子的点数总和是偶数。计算a，B，C发生后单独

10、提供的信息量。解决方案：查找信息量事件概率样本点合计=66=36 A:骰子(X)为3，其他(Y)不是3牙齿。或者相反。28，信息量计算案例2，三个茄子情况分析：A:骰子(X)为3，其他(Y)不是3牙齿。或者相反。b:骰子x是4，骰子y不是4。骰子x不是4，骰子y是4。两个骰子都是4。C: x奇数y奇数=偶数；x奇数y偶数=奇数；x偶数y奇数=奇数；x偶数y偶数=偶数；29，自身信息的性质，2020/8/4，30，自身信息非负，单调递减函数非负：随机事件发生总是提供一些信息，最差为零，事件发生不会增加不确定性。概率越高，不确定性越小。没有信息说明：1)数学操作的结果2)发生不可能的事件时，获取的

11、信息量很大。也就是说，它是随机的量，但因为它是函数，所以自身的信息量也是随机变量，值是未定的。31、在自信息量定义提取过程中分析，2.1信息的测量和源熵、2.1.1自信息自信息定义和特性相结合自信息条件多个自信息之间的关系2.1.2平均自信息和源熵2.1.3相互信息和平均互信息2.1.4各种熵之间的关系、32、统一自信息定义、包括两个随机变量离散源的元素二维联合概率。徐璐独立时，33，两个随机事件徐璐独立时同时发生的自身信息量等于两个随机事件各自独立发生的自身信息量之和。(威廉莎士比亚，模板，独立，独立，独立，独立，独立，独立，独立，独立，独立，独立)，2.1信息测量和源熵、2.1.1自信息定

12、义和特性组合自信息条件多个自信息之间的关系2.1.2平均自信息和源熵2.1.3互信息和平均互信息2.1.4各种熵之间的关系，34，在条件自信息事件给定的条件下，事件的条件自信息量可以定义为：35，条件本身信息量的特性，由于每个随机事件的条件概率范围在0 1范围内，因此联合本身信息量和条件本身信息量也可以满足非负、单调递减性和以下特性：36，例：一所学校入学考试合格的考生中，50%来自本市，10%来自本市。问：已知的考生来自本市，牙齿考生合格的不确定性是多少？解决方案：需求在本市条件下合格的概率：37，例如，根据总概率公式，有38，2.1信息的测量和源熵。2.1.1自信息自信息定义和特性组合自信

13、息条件多个自信息之间的关系2.1.2平均自信息和源熵2.1.3相互信息和平均互信息2.1.4各种熵之间的关系、39、多个自信息之间的关系、自信息、集成自信息三种茄子之间存在以下关系：40，例：合子信息量，正方形棋盘上共64个格子，甲在棋盘上的某个格子上任意放置棋子，乙让我猜棋子所在的位置。把方格按顺序编号，让乙猜测有围棋的方格的顺序。41，解释：国际象棋棋子所在的位置是并集XY的元素描述，其中可以对方格顺序进行编号，如图所示。甲在棋盘的一个正方形内随机放置棋子，因此棋子在棋盘上的位置是概率分布，如2D。二维等概率分布函数：所以：二维并集XY的元素磁量：例如，条件磁量，一正方形棋盘上共64个方格，42，解释：如图所示，棋子的位置是并集XY的元素说明，可以在此处对方格顺序编号。甲在棋盘的一个格子里随机放置棋子，因此棋子在棋盘上的行(或列)位置是一维等概率分布，概率分布函数：同时二维概率分布函数：二维并集XY的元素相对条件本身信息：相同：2.1信息测量和源熵， 2.1 . 1 . 1自信息2.1.2平均自信息和源熵平均自信息衍生源熵的定义条件熵和组合熵的主要特性和定理加权熵的概念和基本特性2.1.3互信息和平均互信息2.1.4的各种熵之间的关系、43，2 . 1信息的测量和源熵、