信息理论与编码-40学时第1章绪论

教材教材：《信息论与编码》第2版电子工业出版社十一五规划教材陈运主编参考书：《信息论基础》电子工业出版社黄佳庆主编《信息论与编码基础》

电子工业出版社唐朝京主编《信息论基础》北京航空航天大学出版社周荫清主编《信息论与编码》清华大学出版社2023/3/271当前1页，总共49页。前续课程概率论与数理统计线性代数后继课程计算机网络无线网络技术密码学2023/3/272当前2页，总共49页。主要内容2.12345概论信源熵信道容量信息率失真函数信源编码147信道编码密码学6离散信源连续信源单符号离散信源多符号离散信源离散信道容量连续信道容量：信源压缩编码的理论基础离散信源连续信源定长编码变长编码线性分组码循环码卷积码信息论编码技术2023/3/273当前3页，总共49页。第1章概论主要内容：1.1信息的一般概念1.2通信系统模型1.3信息论的起源、发展1.4信息论的研究内容2023/3/274当前4页，总共49页。第2章信源熵主要内容：2.1单符号离散信源

2.2多符号离散平稳信源及熵2.3连续信源及熵2023/3/275当前5页，总共49页。第3章信道容量主要内容：3.1信道的数学模型与分类3.2单符号离散信道的信道容量3.3多符号离散信道的信道容量3.4连续信道及其容量光纤分路器2023/3/276当前6页，总共49页。第4章信息率失真函数主要内容：4.1基本概念4.2

离散无记忆信源R(D)的计算4.3连续无记忆信源的R(D)的计算

声音信号学校照片2023/3/277当前7页，总共49页。第5章信源编码主要内容：5.1离散信源最佳变长编码5.2连续信源编码2023/3/278当前8页，总共49页。第6章信道编码主要内容：6.1信道编码简介6.2线性分组码6.3循环码6.4卷积码2023/3/279当前9页，总共49页。第7章密码学主要内容：密码基本知识古典密码体制现代密码体制2023/3/2710当前10页，总共49页。第1章概论主要内容：1.1信息的一般概念1.2通信系统模型1.3信息论的起源、发展1.4信息论的研究内容2023/3/2711当前11页，总共49页。12信息的基本理论人类社会的生存和发展，时刻离不开接收信息、传递信息、处理信息和利用信息。古代烽火台上的狼烟，传递的是战争信息，通知人们有敌来犯。现代用各种高科技手段来报张贴画像，传递的是人的相貌信息，用于寻人。现代用互联网通缉、人肉搜索天冷了，感觉到身上起鸡皮疙瘩，传递的是冷暖信息，告诉人们该添衣服了。花儿开放时的色彩和花香，传递的是信息，引诱蜜蜂蝴蝶为其授粉。2023/3/2712当前12页，总共49页。信息的定义通俗地理解：信息被认为是消息、知识、情报。信息与其联系密切，但信息的定义更深刻、广泛。信息不等同于消息：有神秘人士告诉你两条绝密消息：世界银行要招副总裁比尔盖茨要为女儿择婿知识是一种具有普遍性和概括性的高层次的信息情报是军事上专用的一类特定的信息信息就是信息，它既不是物质也不是能量（1948年，维纳）。信息、物质和能量是构成一切系统的三大要素。2023/3/2713当前13页，总共49页。信息与消息的关系信息是系统中传送（或存储、处理）的对象，它包含在消息之中。同一信息可用不同消息形式（如语言、文字、图像）来传递。如：钓鱼岛事件消息是信息的载体，是比较具体的形式，如语言、文字、数字、图像。所有这些形式都是可以被人们所感觉到的。2023/3/2714当前14页，总共49页。消息与信号的关系信号是消息的载体。是用来表示消息的物理量（声音信号、电信号、光信号）可用不同类型的信号（如声、光、电）传递同一消息。话音声音信号电信号光信号同一信号在不同的情况下表示不同的信息红灯信号在十字路口表示禁止通行的信息在电子仪器板上，表示仪器是否正常工作的信息2023/3/2715当前15页，总共49页。信号携带消息，消息包含着信息。信号消息信息2023/3/2716当前16页，总共49页。信息的主要特征信息是无形的（看不见，摸不着）不具实体性，它必须依赖一定的消息形式才能为人所获知。信息有大小，可以度量：如：“中秋国庆期间免收过路费”消息在收到之前未知（以一定的概率存在），收到之后可以获取信息，从而认识事物。信息可以共享（互联网就是一个共享各种信息的平台）。信息可以压缩、传输、接收、消失。信息有一定的时效性。2023/3/2717当前17页，总共49页。信息科学信息科学是一门综合性学科，它研究信息及其运动规律。研究的内容包括：信息的本质及其度量，信息的产生、获取、传播、存储及处理。研究的目的：扩展人们获取信息的手段和速度，提高信息的利用能力2023/3/2718当前18页，总共49页。信息科学带来的信息产业信息产业是专门从事信息的生产、传播、出售和服务的行业。包括：信息技术设备制造：手机生产、天线制造、交换机生产、光缆/光传输设备生产…….信息服务：手机增值业务开发、电子出版、数据库服务、网络接入服务、网络应用服务（企业信息化建设、电子商务）、网络推广…….2023/3/2719当前19页，总共49页。第1章概论（简介）主要内容：1.1信息的基本概念1.2通信系统模型1.3信息论的起源、发展、研究内容1.4研究内容2023/3/2720当前20页，总共49页。通信系统通信系统：信息的传输系统。如：电话、计算机网络2023/3/2721当前21页，总共49页。1.2通信系统模型信源、信道、信宿信源：是发出消息的源头信道：是消息传送媒介信宿：是消息的目的地信源编码器信道译码器信宿干扰源2023/3/2722当前22页，总共49页。通信系统模型进一步细分信源信源编码器纠错编码器调制器信道干扰源解调器信道译码器信源译码器信宿产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。对信源输出进行变换对信源编码输出变换将信道编码输出变成适合信道传输的方式信息的接收者研究的主要问题是消息的统计特性和产生消息的速率提高抗干扰性重在有效性研究信道的统计特性和传信能力，即信道容量研究干扰源的统计特性，决定信道的传输能力。编码器的逆变换研究各种可实现的解调和译码方法2023/3/2723当前23页，总共49页。通信系统模型组成信源信宿信源编/译码信源编码集中于解决传输的有效性问题；需要去除冗余信息——信源编码应尽量短。例：语音压缩编码Vocoder图象压缩编码JPEG(JointPhotoshopExpertGroup)MPEG(MovieEPG)文本压缩编码Winzip

信道编/译码信道编码集中于解决抗信道干扰和失真问题，即解决传输的可靠性问题。需要添加冗余信息——信道编码使码的位数增加，码长变长。例：卷积码、级联码、Turbo码调制/解调:将信号的频率或格式转化成适合信道传输的。2023/3/2724当前24页，总共49页。信息传输系统的性能要求有效性：用尽可能短的时间和尽可能少的设备来传输一定数量的信息。可靠性：使信源发出的消息经信道传输后，尽可能准确地、不失真地在接收端重现。保密性：隐蔽或保护通信系统中传输的信息，使它只能被授权接收者获取，非授权接收者不能接收和理解。认证性：接收者能够正确判断接收到的消息的正确性。验证消息的完整性，判定不是伪造或篡改的。可靠性、有效性、保密性和完整性共同构成现代通信传输系统的全面要求。2023/3/2725当前25页，总共49页。第1章概论（简介）主要内容：1.1信息的基本概念1.2通信系统模型1.3信息论的起源、发展1.4研究内容2023/3/2726当前26页，总共49页。1948年以前信息论的发展Telegraph(Morse);图1-1摩尔斯的电报机2023/3/2727当前27页，总共49页。有线电报1837年，英国库克和惠斯通设计制造了第一个有线电报机，并申请了专利。1837年，原本是一流画家的莫尔斯开始研究电报机。1839年，发明莫尔斯电码。1844年5月24日，莫尔斯在美国国会大厅，亲自按动按键，向巴尔的摩发送了世界上的第一封电报，电文内容是《圣经》中的一句话：上帝啊，你创造了何等的奇迹！此举轰动了世界。随后成立世界上第一个电报公司。2023/3/2728当前28页，总共49页。有线电报在中国的发展1871年,丹麦大北电报公司铺设香港（长崎）上海的第一条入侵中国的电报水线，并成立上海租界电报局。1873年，华侨王承荣与福州的王斌研制出我国首台电报机；同年发明了汉字电码，每个汉字由4个数字来代表。1887年，中国自主建设第一条海底电缆（刘铭传：台湾福州）。2023/3/2729当前29页，总共49页。WirelessTelegraph(Marconi);1895年，马可尼在自家的花园里成功地进行了无线电波传递实验，次年即获得了专利。1898年，在英吉利海峡两岸进行无线电报跨海试验成功，通讯距离为45km。1909年，诺贝尔物理学奖授予英国伦敦马可尼无线电报公司的意大利物理学家马可尼（GuglielmoMarconi，1874—1937）和德国阿尔萨斯州斯特拉斯堡大学的布劳恩（KarlBraun，1850—1918），以承认他们在发展无线电报上所作的贡献。无线电报2023/3/2730当前30页，总共49页。无线电报在中国1911年，德国西门子德律风公司在北京南京设立中国第一个无线电报机通讯线路。1969年，中文电报译码机问世。2006年02月06日美国西部联盟公司宣布，停止电报业务。2023/3/2731当前31页，总共49页。1948年以前信息论的发展Telephone(Bell,1876);图1-2电话之父-贝尔2023/3/2732当前32页，总共49页。1924年H.Nyquist：提出抽样定理要想在接收端无失真地恢复连续信号，抽样的速率至少是信号最高频率的两倍Television(1925-1927)有了电视，使得人类的视野和寿命变相延长三倍。1928年，R.V.Hartley：提出用对数度量信息。1948年以前信息论的发展2023/3/2733当前33页，总共49页。FrequencyModulation（FM，调频）（Armstrong,1936)：增大带宽，可以提高抗干扰能力。Vocoder(Dudley,1939)：广泛应用于广播、电视。提出了通信带宽>=传送的消息带宽SpreadSpectrum(1940’s)：扩频技术第三代移动通信的基础技术。1948年以前信息论的发展2023/3/2734当前34页，总共49页。控制论之父——维纳N.Winner（维纳）20世纪30年代“广义谐波分析理论”，首次对信息系统中的随机过程进行谱分析。20世纪40年代：将随机过程和数理统计的观点引入通信和控制领域，揭示信息传输和处理过程的统计本质。20世纪50年代：提出干扰作用下的最佳滤波定理。20世纪60年代：R.E.Kalman&R.S.Bucy：递推滤波算法（引入状态变量）将代数方法引入纠错编码,出现了信道编码译码方法。2023/3/2735当前35页，总共49页。36香农的三大定理：提出了有噪信道编码定理。提出了可变长无失真信源编码定理。香农第一定理香农第二定理香农第三定理1959年，香农发表了“保真度准则下的离散信源编码定理”1948年，香农发表了《通信的数学理论》。信息论鼻祖——香农给出了简单的编码方法。只要信息速率<=信道容量,则可以找到一种编码，使误码率接近02023/3/2736当前36页，总共49页。信息论鼻祖——香农Shannon1948年“通信的数学理论”（“Amathematicaltheoryofcommunication”）文章的发表，标志着信息论的正式诞生。指明通信的实质：“Thefundamentalproblemofcommunicationisthatofreproducingatonepointeitherexactlyorapproximatelyamessageselectedatanotherpoint.”2023/3/2737当前37页，总共49页。无失真信源编码的发展1956年，麦可米伦（B.Mcmillan）首先证明了唯一可译变长码的克拉夫特（Craft）不等式。1952年，费诺（Fano）提出了一种费诺码。1952年，哈夫曼（D.A.Huffman）首先构造了一种哈夫曼编码方法，并证明为最佳码。1977年，通用信源编码算法-LZ码由齐弗(J.Ziv)和兰佩尔（A.Lempel）提出.1978年，他们又提出了改进算法，并证明此方法可以达到信源的熵值。1990年，贝尔（Bell）又对LZ算法进行了一系列的变化和改进。目前，LZ广泛应用于文本的数据压缩。语音编码标准:MP3,MP4图象编码标准:MPEG42023/3/2738当前38页，总共49页。信道编码理论的发展60年代起，信道编码技术有了长足发展。1950年，出现了汉明码（HammingCode）和循环码（CyclicCode）。把代数方法引入纠错码的研究，形成了代数编码理论。但代数编码的渐进性较差，无法实现香农信道编码定理所指出的结果。1960年左右，提出了卷积码（ConvolutionCode）的概率译码。形成一系列概率译码理论。几十年来，相继出现很多编码算法，性能与香农限相差甚远，以致人们认为香农限是不可能达到的。1993年，法国学者C.Berrou等人提出了Turbo码的并行级联卷积码。其性能与香农限非常接近(误码率达10-5)，且复杂度较低可以实现，为信道编码领域带来一场革命。2023/3/2739当前39页，总共49页。限失真信源编码定理的发展限失真信源编码的研究较信道编码和无失真信源编码晚了近十年。香农在1948年的论文中已体现了率失真函数的思想。1959年，香农发表了“保真度准则下的离散信源编码定理”（“Codingtheoremsforadiscretesourcewithafidelitycriterion”）。首先提出了率失真函数和率失真信源编码定理。从此，发展成为信息率失真编码理论。1971年，伯格尔（T.Beger）给出了更一般信源的率失真编码定理。率失真信源编码定理是信源编码的核心问题，是频带压缩、数据压缩（信源压缩编码）的理论基础。2023/3/2740当前40页，总共49页。网络信息论的发展1961年，香农发表的论文“双路通信信道”开拓了多用户信息理论。随着卫星通信、计算机通信网的迅速发展，多用户理论的研究取得了突破性的进展。20世纪70年代以后，人们从经典的香农单向通信的信息论推广到多用户信息理论。多用户信息理论成为当前信息论的中心研究课题之一。2023/3/2741当前41页，总共49页。第1章概论（简介）主要内容：1.1信息的基本概念1.2通信系统模型1.3信息论的起源、发展1.4研究内容2023/3/2742当前42页，总共49页。1.4信息论研究的内容狭义信息论（经典信息论）即Shannon信息论研究内容：信息度量信道容量信源和信道编码理论2023/3/2743当前43页，总共49页。Shannon信息论的中心问题信息传输中出现的问题：

问题一：信源消息常常不能够完全发送。

（否则发送量巨大。该怎么办？）问题二：信道因干扰而出现差错，如何处理。（否则所收到的消息无法识别。）

信源信道信宿2023/3/2744当前44页，总共49页。Shannon信息论针对以上问题的解决方法：问题一的应对：挑有用的信源信息来发送。方法：通过信源编码，去掉无用的信息，提高有效性。问题二的应对：抵抗或抵消传输中遇到的干扰引起的误码。方法：通过信道编码，增加多余的信息，使各符号间相互存在一定的牵连关系，提高可靠性。2023/3/2745当前45页，总共49页。信源和信道编码举例如：传输用户的密码信息：aqv（1）首先进行信源编码：分析：如何把字母编码成计算机可以识别的二进制码？26种符号每个符号最少用5位二进制来进行信源编码000000101001110（2）再进行信