第一章 绪论ppt课件

.,第一章绪论,什么是信息？(信息的一般含义)信息理论研究的基本模型信息论的研究范围及本课程的内容,.,信息的表现形式(1),“信息”是作为通道的消息来理解的。,“信息”是人们在通信时所要告诉对方的某种内容。,.,计算机,某种过程,输入信息,输出信息,补充信息,图计算机的运算或控制机理,信息的表现形式(3),.,非决定论,什么是信息？,通信对象的一般特性,”一切有通信意义的消息的发生都是随机的“,.,消息：用文字、符号、数据、语言、图片、图像等能被人感知的形式，把客观物质运动和主观思维活动（信息）表达出来信息：逻辑的抽象的概念，它是事物运动状态或存在方式不确定性的描述,信息和消息的概念,.,信息和消息的概念,信息和消息的关系：信息是抽象的，消息是具体的。信源发出的是消息，消息中蕴涵着信息，是信息的载体。因此在通信过程中，形式上传递的是消息，实际上传递的是信息,.,研究对象-信息传输系统,.,需要解决的问题：,什么是信息?如何度量信息?怎样确定信源的输出中含有多少信息量?对于一个信道,它传输信息量的最高极限(信道容量)是多少?为了能够无失真地传输信源信息,对信源编码时所需的最少的码符号数是多少?(香农第一定理).在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零?(香农第二定理).如果对信源编码时允许一定量的失真,所需的最少的码符号数又是多少?(香农第三定理).,.,由于互联网的建立和发展，对安全和保密的要求,研究对象-信息传输系统,.,信息论研究的目的,有效性：在一定的时间内，传输尽可能多的信息。信源编解码的作用是提高信息传输的有效性；可靠性：使信息准确、无失真的传输到接收端。信道编解码的作用是提高信息传输的可靠性。保密性：安全性。,香农信息论,压缩理论,有失真信源编码,无失真信源编码,率失真理论,压缩编码,等长编码定理,变长编码定理,最优码构成Huffman码Fano码,传输理论,有噪声,信道编码理论,码构成,纠错码,代数编码,卷积码,网络信道,网络信息理论,网络最佳码,保密理论,保密系统的信息理论,保密码,图香农信息论的科学体系,.,定义对于两个事件A、B,若P(A)0,则称P(B|A）=P（AB）/P（A）为事件A出现的条件下，事件B出现的条件概率。,(1)条件概率,相关概率复习,.,对于两个事件A与B，若P(A)0,则有P(AB)=P(A)P(B|A),若P(B)0,则有P(AB)=P(B)P(A|B),若P(AB)0,则有P(ABC)=P(A)P(B|A)P(C|AB),乘法公式,相关概率复习,.,对于n个事件A1,A2,An若P(A1A2An-1)0，则有P(A1A2An)=P(A1)P(A2|A1)P(A3|A1A2)P(An|A1A2An-1),相关概率复习,乘法公式,乘法法则一般用于计算n个事件同时发生的概率,.,定义若事件A与B满足P(AB)=P(A)P(B),则称A与B相互独立，简称A与B独立。,推论1A.B为两个事件,若P(A)0,则A与B独立等价于P(B|A)=P(B).若P(B)0,则A与B独立等价于P(A|B)=P(A).,注意从直观上讲,A与B独立就是其中任何一个事件出现的概率不受另一个事件出现与否的影响.,相关概率复习,.,全概率公式设是随机试验E的样本空间,事件组A1,A2,An满足：,则对于任何一个事件B，有,P(B)=P(A1)P(B|A1)+P(An)P(B|An),相关概率复习,.,贝叶斯(Bayes)公式:设是随机试验E的样本空间,事件组A1,A2,An满足，,则对于任何一个正概率事件B，有,相关概率复习,.,注意,1.以上两个公式中的A1,A2,.,An可以看作是导致