信息论与编码新题

1、信息论与编码新题1第1页，共38页，2022年，5月20日，1点14分，星期一 1.1 信息的概念 内容：1.1.1 信息的定义1.1.2 信息的特征与性质2第2页，共38页，2022年，5月20日，1点14分，星期一 信息是一个十分通俗而广泛的名词，抽象和复杂。 不同的学科领域对其有不同的定义和解释。3第3页，共38页，2022年，5月20日，1点14分，星期一1.1.1 信息的定义消息、新闻与知识 据新词源考证，唐代诗人李中，暮春怀故人，“梦断美人沉信息，目穿长路倚楼台”，“信息”是消息的同义词； 在西方的早期文献著作中，信息(information)和消息(message)也是互相通用的

2、； 英国牛津字典中，信息是谈论的事情、新闻和知识(sth told;news or knowledge given); 韦氏字典中，信息是在观察研究过程中获得的数据情报、新闻和知识。4第4页，共38页，2022年，5月20日，1点14分，星期一维纳（Wiener）：美国数学家、控制论奠基人 控制论：动物与机器中的通信与控制问题1948 “信息就是信息，不是物质，也不是能量” 利用排他法告诉人们：信息不是物质和能量。这是对信息本质的最有原则性和最深刻的宣示，是把信息、物质和能量”放在同样地位上的最早科学论断。香农（Shannan):美国学者、信息论创始人 在贝尔系统技术杂志“通信的数学理论”19

3、48 把信息与信息的度量作为事物的“不肯定性”与 “不肯定性”的度量。 以概率为工具，阐述了通信工程的基本理论问题，给出了计算信源信息量和信道容量的方法，得到了表征信息传递重要关系的编码定理。5第5页，共38页，2022年，5月20日，1点14分，星期一布里渊（Brillouin）：法裔美国科学家 名著科学与信息论 信息就是负熵(Negentropy) 维纳在控制论与社会1950 ，正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量，事实上完全可以将消息包含的信息解释为负熵。M.Tribes等科学的美国人“能量与信息” 1971 信息是使概率分布发生变动的东西 概率是对知识状

4、态的一种数值编码。某人对一个特定问题的知识状态可以这样表示，即对这个问题种种想得出的答案各分配一定的概率；如果对这个答案完全了解，对其中一个赋予1，其他为0. 6第6页，共38页，2022年，5月20日，1点14分，星期一艾什比(Ashiby)：英国生物学家，控制论奠基人 控制论导引引入“变异度”的概念 信息定义为变异度 任何一个集合所包含的元素数目以2为底的对数称为这个集合的变异度；将变异度当作信息的概念来使用（1956）。变异度实际是均匀概率分布条件下的香农熵。 事实上，半个多世纪以来，科学文献中提出过的信息定义数以百计。不同的作者从不同的角度在不同的条件下对信息进行考察的结果。 7第7页

5、，共38页，2022年，5月20日，1点14分，星期一钟义信 主编信息科学与技术导论一书： 根据不同的约束条件，区分不同的层次给出信息的定义，同时根据约束条件的增减，使信息的定义随之进退。 8第8页，共38页，2022年，5月20日，1点14分，星期一没有任何约束条件的层次是最高层次，最普遍适用的层次，称为本体论层次。引入一个约束条件，最高层次的定义退变为次高层次的定义，适用范围比最高层次定义的范围窄；若引入的约束条件具有主体（人、生物和机器）存在，并且从主体的立场出发来定义信息，本体论层次信息定义就转化为认识论层次信息定义。引入的约束条件越多，层次越低，适用范围越窄。9第9页，共38页，20

6、22年，5月20日，1点14分，星期一本体论层次的信息定义：是事物的运动状态极其变化方式的自我表述。认识论层次的信息定义：指主体所感知（或所表述）的关于该事物的运动状态极其变化方式，包括这种状态或方式的形式、含义和效用。在这个体系下，各种有关信息的定义在不同层次上找到位置。10第10页，共38页，2022年，5月20日，1点14分，星期一1.1.2 信息的特征与性质1、特征1）信息来源于物质，又不是物质本身，它从物质的运动 中产生出来，又可以脱离源物质而寄生于其它物质（媒体），相对独立的存在。2）信息也来源于精神世界，但是又不限于精神世界。3）信息与能量息息相关，但又与能量有质的区别。4）信息

7、可以被提炼成知识，但信息本身不等于知识。5）信息是具体的，可以被主体（人，生物和机器）所感知、提取和识别，可以被传递、存储、变换、处理、显示、检索和利用。6）信息可以被复制，可以被共享。11第11页，共38页，2022年，5月20日，1点14分，星期一2、性质1）普遍性：信息是普遍存在的。2）无限性：在整个宇宙时空中，信息是无限的，即使是 在有限空间，信息也是无限的。3）相对性：对于同一事物，不同观察者所获得的信息量可能不同。4）传递性：信息可以在时空中从一点传递到另一点。5）变换性：信息是可变换的，它可以由不同的载体用不同的方式来载荷。6）有序性：信息可以用来消除系统的不确定性，增加系统的有

8、序性。12第12页，共38页，2022年，5月20日，1点14分，星期一7）动态性：信息具有动态性质，一切活的信息都随时间而变化，因此，信息也是有时效、有“寿命”的。8）转化性：从潜在的意义上讲，信息可以转化。在一定条件下，可以转化为物质、能量和时间等。13第13页，共38页，2022年，5月20日，1点14分，星期一3、信息的功能 信息可以通过一定的算法被加工成知识，并针对给定的目标被激活成为求解问题的智能策略，进而按照策略求解实际的问题。这是信息最核心最本质的功能。 信息知识智能（策略） 是人类智慧的生长链，或称智慧链 。14第14页，共38页，2022年，5月20日，1点14分，星期一1

9、.2 信息科学技术概述 内容：1.2.1 信息科学1.2.2 信息技术1.2.3 信息产业15第15页，共38页，2022年，5月20日，1点14分，星期一1.2.1 信息科学 可以定义为“研究信息现象极其运动规律的科学” 信息科学是以信息为主要研究对象、以信息运动过程的规律为主要研究内容、以信息科学方法论为主要研究方法、以扩展人的信息功能（全部信息功能形成的有机整体就是智力功能）为主要研究目标的一门科学。1、信息科学的研究对象 信息科学的研究对象信息，这是信息科学区别于其它科学的最根本的特点之一，也是信息科学之所以能够成为一门独立学科的最根本的前提。16第16页，共38页，2022年，5月2

10、0日，1点14分，星期一2、信息科学的研究内容 研究内容信息的运动过程及其运动规律。 信息全过程模型（信息科学研究内容） 人类通过信息器官认识世界和改造世界的信息模型。 17第17页，共38页，2022年，5月20日，1点14分，星期一1）信息获取 信息的感知和表示2）信息传递 信息的发送、传输和接收，即通信（或存储）过程。3）信息处理 对信息进行加工和处理，从中提取相关的知识。即认 知过程。4）信息再生 利用已有信息产生新信息的过程。求解问题的策略？ 即决策过程5）信息施效（应用） 信息最终发挥效用的过程。通过调节对象的运动状态及其变化方式，使其处于预期的运动状态。即控制。18第18页，共3

11、8页，2022年，5月20日，1点14分，星期一3、信息科学的研究目的 扩展人类的信息功能，其有机整体就是智力功能。 随着信息科学研究的不断深入，主体（人和生物）在信息获取、信息传递、信息处理、信息再生和信息施效等各种功能的内在机制将逐步被阐明。 逐渐找到越来越有效的方法在机器上模拟或者浮现主体信息功能的机制，甚至在某些方面改进这些机制的工作性能。 大量高级智能信息系统的问世，以它们的优异性能来补充、增强和扩展人的各种天然信息功能，这些功能的综合智力功能。 19第19页，共38页，2022年，5月20日，1点14分，星期一1.2.2 信息技术定义：“扩展人的信息功能”的手段和方法。主要包括（功

12、能）：1）传感技术：延长人的感觉器官收集信息的功能。2）通信技术：延长人的神经系统传递信息的功能。3）存储技术：延长人的记忆器官存储信息的功能。4）计算机技术：思维器官处理信息和决策的功能。信息的载体是信号，根据信号的不同形式，可分为： 电磁信息技术、电子信息技术、光信息技术、生物信息技术等。20第20页，共38页，2022年，5月20日，1点14分，星期一1.2.3 信息产业 信息技术所产生的各种产品的生产、销售和售后服务，以及对这些产品的使用服务等。21第21页，共38页，2022年，5月20日，1点14分，星期一1.3 信息论概述内容： 1.3.1 信息论基本内容 1.3.2 信息论的特

13、点 1.3.3 信息论产生与发展 1.3.4 香农简介与学术风格22第22页，共38页，2022年，5月20日，1点14分，星期一信息论一般是指香农信息论或经典信息论，研究的基本问题是信源、信道及编码问题。是信息科学产生的基础与起点。 1948年Bell实验室香农:通信的数学理论(Mathematical Theory of Communication) 用统计的方法建立了通信系统中信源信息的度量、信道容量的度量以及保障通信系统信息传输有效性和可靠性的编码原理。香农信息论研究通信系统中信息的传输和处理问题，主要是针对通信系统（信息的传递过程）。 “信息论”不等于“信息科学”1.3.1 信息论基

14、本内容23第23页，共38页，2022年，5月20日，1点14分，星期一1.3.2 信息论的特点以概率论、随机过程为基本研究工具；研究通信的整个过程，并以编码和解码为重点；关心的是最优系统的性能和怎样达到这个性能；信源为随机过程，不研究信宿。24第24页，共38页，2022年，5月20日，1点14分，星期一1.3.3 信息论的产生与发展 香农信息论的创立主要是由于香农的杰出的贡献，但也与当时的技术发展背景和前人的工作密不可分。 主要通信技术与手段： 电报(Morse,1830s) 电话(Bell,1876) AM无线电(1900s 早期) 单边带调制(Carson,1922) 电视(1925-

15、1927) 电传(1931) 调频(Armstrong,1936) 脉冲调制(Reeves,1937-9) 声码器(Dudley,1939) 扩频(1940s) 25第25页，共38页，2022年，5月20日，1点14分，星期一1、信息论的确立期 为了提高通信的质量和效率，机电技术和数学两方面: 机电技术：改进通信的物理手段与条件，如有线无线通信的采用，收发设备的改进，波段选择和信噪比等。 数学方面：数学描述的重要性，信息论的基本问题开始形成，一些重要的通信原则开始确定。 1948-20世纪60年代： 香农主要贡献为： 26第26页，共38页，2022年，5月20日，1点14分，星期一27第2

16、7页，共38页，2022年，5月20日，1点14分，星期一28第28页，共38页，2022年，5月20日，1点14分，星期一特点：对香农理论的研究与说明。29第29页，共38页，2022年，5月20日，1点14分，星期一2、信息论的发展20世纪70年代80年代：理论发展期率失真理论：失真的数据压缩理论。解决了在一定允许误差条件下的最小信号体积问题。主要标志是T.Berger的专著Rate Distortion Theory问世。已成为数据压缩技术的理论基础。多用户信息论：多用户信源信道模型及编码定理证明，其发展是现在的网络信息论。30第30页，共38页，2022年，5月20日，1点14分，星期

17、一20世纪90年代前后： 理论的成功应用和多学科结合。无失真信源编码 Huffman码 算术编码 LZW（Lempel-Ziv-Welch）码 YK（Yang-Kieffer）码31第31页，共38页，2022年，5月20日，1点14分，星期一有失真信源压缩编码 有失真信源压缩编码理论是原理到技术、产品与市场紧密结合的成功范例，是现代多媒体技术的基础与支柱。 技术标准： JPEG（Joint Photographic Experts Group） 静态图像有损压缩标准 JPEG2000 静态图像有损压缩标准 MPEG-1,-2,-4 动态图像与音频压缩标准32第32页，共38页，2022年，5月20日，1点14分，星期一调制解调码 在一定通信质量要求下，如何提高通信速度？ G.Ungerbock等（1982）：利用格子码和软判决理论，针对高斯（Gaussian）信道，给出了调制解调码的结构与编译码算法。 数据传输速度提高了近30倍，使网络通信成为实用性的技术。33第33页，共38页，2022年，5月20日，1点14分，星期一Turbo码和LDPC码 与