《信息论与编码基础》课件 2-信息测度基本概念与信息论发展

§1绪论§1.1信息的定义§1.2信息测度基本概念§1.3信息论发展概况函数I(ai)=f[P(ai)]应满足以下条件：

1．I(ai)应是概率P(ai)的单调递减函数，即：当P(a1)>P(a2)时有I(a1)<I(a2)；

2．当P(ai)＝1时I(ai)＝0；

3．当P(ai)＝0时I(ai)→∞；

4．若两个统计独立的随机事件，即：

P(aiaj)＝P(ai)P(aj)， 则：I(aiaj)=I(ai)+I(aj)。

一、自信息定义引出§1.2信息测度基本概念r=2bitr=enatr=10hart含义（A）当发生以前，表示发生的不确定性（B）当发生以后，表示所提供的信息量一、自信息§1.2信息测度基本概念二、联合自信息联合事件集合XY中的事件的自信息定义为简记为§1.2信息测度基本概念三、条件自信息事件在事件给定条件下的自信息定义为简记为§1.2信息测度基本概念练习1：(请看视频)1.猜中第一个球号码为“7”的难度？2.第一个球出现后，猜中第二个球号码为“16”的难度？3.已知前5球号码为“71621171”后，猜中第6个球号码为“19”的难度？4.猜中双色球为“红:7162117119蓝:14”的难度？§1.2信息测度基本概念§1绪论§1.1信息的定义§1.2信息测度基本概念§1.3信息论发展概况公元前1775年，希腊字母发明公元前1400年，中国甲骨文公元前8世纪，烽火通信（“烽火戏诸侯”）§1.3信息论发展概况产生的背景

——人类通信技术的发展一、信息论的发展

19世纪： 主要问题：如何获得信息的电气表现形式及进行远距离传输。1832年J.Henry发明电报;1838年F.B.Morse发明电码;1876年Bell发明电话；1895—1896年Marconi和Popov发明无线电通信；1904年Fleming发明二极管,1906年

Forest发明三极管放大器。§1.3信息论发展概况一、信息论的发展信息论产生的技术准备20世纪30年代以前： 主要问题：如何提高信道利用率。1917年G.A.Campbell申请了第一个关于滤波器的专利;1922年J.R.Carson对振幅调制信号进行了研究；1924年H.Nyquist开始分析电报信号传输中脉冲速率与信道带宽的关系，建立限带信号的采样定理；1928年R.V.Hartley发表“信息的传输”，对信息量作了定义；

拉普拉斯决定论（宿命论观点）：“世间一切系统的因果关系都可以包含在确定性的微分方程之中，只要能够给定相应方程的初始条件，就可以唯一地确定这个系统在未来任何时刻的结果。”§1.3信息论发展概况信息论产生的理论准备20世纪30年代～40年代： 主要问题：通信中的噪声和抗干扰问题。1930年N.Wiener开始把Fourier分析方法全面引入随机信号的研究中；1936年V.D.London发表有关噪声的论文，E.H.Armstrong提出频率调制；1939年H.Dudley发明声码器，H.Reevet提出脉冲编码调制；1944-1945年S.O.Rice发表“Mathematicalanalysisofrandomnoise”,对噪声的研究做了全面的总结。以Shannon为代表的学者的唯物论观点：

事物发展变化的因果关系是复杂的，即具有必然性，又存在偶然性，因而事件的结局存在不定性。正是存在不定性，人们才需要获得信息来消除这样的不定性。§1.3信息论发展概况STEPHONO.RICE20世纪30年代～40年代： 主要问题：通信中的噪声和抗干扰问题。1948年——N.Wiener发表《控制论》；§1.3信息论发展概况（“Extrapolation,interpolationandsmoothingofstationarytimesseries”“Cybernetics”）C.E.Shannon发表构思了八年的“AMathematicalTheoryofCommunication”，奠定信息论基础。20世纪50年代起： 主要问题：信源编码与信道编码的具体构造方法以及保密通信问题的研究。§1.3信息论发展概况

无失真信源编码

1952年Huffman编码

1963年P.Elias

算术编码

1965年A.N.Kolmogorov

通用编码2．

信道编码§1.3信息论发展概况1950’s，Hamming提出汉明码（最早用于纠错的线性分组码）1955年，Elias提出卷积码1957年，Prange提出循环码1959年，Hocquenghem、Bose和Chaudhari提出BCH码1961年，Wozencraft提出序列译码方法1967年，Viterbi提出卷积码的最大似然译码——Viterbi译码1960年，Reed和Solomon提出RS码，1965年Berlekamp迭代译码算法为RS码的实际应用扫清了障碍1966年，Forney提出级联码，尽可能接近香农限1980’s，Goppa等提出代数几何码1982年，G.Ungerboeck等提出TCM（编码调制）技术1993年，C.Berrou等提出Turbo码，距香农限0.7dB1995年，Mackey和Neal重新发现LDPC码，距香农限0.0045dB3．

限失真信源编码1959年Shannon发表“保真度准则下的离散信源编码定理”

1966年J.B.Oneal

对比DPCM和PCM提出了线性预测编码的实际试验

1968年Andrews提出变换编码，采用二维离散傅里叶变换

1971年T.Berger“信息率失真理论”

80年代以后，信源编码得到迅猛发展。（包括了数据压缩理论、语音压缩编码技术、图像压缩编码技术、视频压缩编码技术等各个分支）§1.3信息论发展概况4．

保密编码1949年Shannon发表“保密通信的信息理论”

1976年Diffe

和Hellman发表“密码学的新方向”，提出公开密钥密码体制

1977年美国公布公用数据加密标准（DES）

1984-1995年密钥托管加密标准（EES）的兴起与失败

1997年AES研究的开始，成为之后的主流加密技术现代密码学——应对开放网络环境的主动攻击者§1.3信息论发展概况

信息论在近代的发展趋势§1.3信息论发展概况1.网络信息论的兴起2.MIMO技术的提出3.协同通信的提出4.物理层安全途径的兴起

信息论在近代的发展趋势§1.3信息论发展概况1.网络信息论的兴起1961年Shannon“双路通信信道”（开拓了网络信息论的研究）

1971年R.Ahlswede和1972年H.Liao找出了多元接入信道的信道容量区；1973年J.K.Wolf和D.Slepian推广到具有公共信息的多元接入信道；1983年T.M.Cover、R.Ahlswede分别发表文章讨论相关信源在多元接入信道的传输问题

1972年T.M.Cover提出了对广播信道的研究。P.Bergmans(1973)、R.G.Gallager(1974)、科弗尔(1975)、K.Mar-ton(1979)、A.ElGamal(1979)和E.C.VanderMeulen(1979)等分别研究了广播信道的容量区问题。

1977年E.C.VanderMeulen首先引入中继信道的研究,T.M.Cover和A.ElGamal分析了三节点中继信道的容量(1979年)。

信息论在近代的发展趋势§1.3信息论发展概况2.MIMO技术的提出1995年Bell实验室TelatarE.和Foschini各自提出了MIMO系统概念，并分析了MIMO系统信道容量1996年，Foschini提出空时分层结构D-BLAST。1998年，Foschini等又提出了它的简化版本V-BLAST1999年，Bell实验室建立了V-BLAST系统的实验室原型机空间复用大幅提高传输速率1998年Tarokh

开创性提出衰落信道下空时编码设计的两大准则，并给出了具体设计实例。Alamouti和Tarokh于1999年提出正交空时分组码（OSTBC，OrthogonalSTBC）

2000年，Tarokh和Jafarkhani提出差分空时码空时编码技术提高可靠性

信息论在近代的发展趋势§1.3信息论发展概况3.协同通信的提出

协同通信技术的起源可以追溯到Cover和ElGamal在1979年关于中继信道的研究工作。但有所不同：中继信道技术协同通信技术分析AWGN信道的容量应用于衰落信道中，主要目的为了对抗多径衰落中继节点的唯一目的就是帮助源节点发送信息整个系统的资源固定，各用户既可充当中继节点帮助源节点发送信息，又可作为源节点发送自己的信息

信息论在近代的发展趋势§1.3信息论发展概况3.协同通信的提出1998年Sendonaris

提出现代意义的协同通信的基本思想： 在多用户通信环境中，使用单副天线的各临近移动用户可按照一定方式共享彼此的天线协同发送，从而产生一种类似多天线发送的虚拟环境，获得空间分集增益，提高系统传输性能

信息论在近代的发展趋势§1.3信息论发展概况3.协同通信的提出2000年Wornell提出译码转发和放大转发两种协同中继 协议

2000年之后Gupta等对协同通信网络的容量进行了深入 分析，发现其容量有大幅提升如今协同通信被IEEE802.16，WiMAX，LTE等标准 组织所采纳，是未来移动通信的重要技术。

信息论在近代的发展趋势§1.3信息论发展概况4.物理层安全途径的兴起

信息安全的技术途径:密码学途径（基于计算量的安全）需要密钥物理层安全途径（基于信息论的安全）不依赖于密钥,旨在为通信系统提供信息论意义上的安全，从物理层限制窃听者能够获得的信息量。

信息论在近代的发展趋势§1.3信息论发展概况4.物理层安全途径的兴起

1975年物理层安全先驱Wyner

引入窃听信道,提出保密容量：在满足保密条件时，合法信道所能达到的最大的有用信息传输速率；

1978年Csiszár和Koerner定义了离散无记忆广播信道下的保密容量，同年Leung-Yan-Cheong等人扩展到高斯信道;2008年Goel提出波束成形和人工噪声技术;

物理层安全中的信息论问题成为目前的研究热点。目前的研究集中在多用户保密容量区域分析、衰落信道下的保密容量分析等领域。ClaudeElwoodShannonFatherofInformationTheoryElectricalengineer,Mathematician,andnativesonofGaylord.Hiscreationofinformationtheory,themathem