《信号与系统》课程组课外辅导资料――抽样定理

《信号与系统》课程组课外辅导资料――抽样定理PAGEPAGE8抽样定理的由来1948年和1949年，香农分别发表了两篇革命性的文章[1,2]，以此奠定了信息论的基础。在文章[1]中，抽样定理是以定理13给出的，对于能量有限的带限信号，要在数据接收端实现信号的无失真恢复，采样频率必须不小于信号带宽的两倍，即Nyquist率。其常用的数学表达式为：若信号最高频率为w，则，式（1）其中：。尽管香农在文章[2]中写到：在通信领域这只是个普遍的知识。但事实上，在通信工程师眼中，直到香农发表了这两篇文章后，“香农采样定理”才得以广泛接纳。香农在后几行又写道：尽管它很重要，但在通信领域感觉它仍然没有阐述清楚。事实上，历史上不同时期，数学家、实践学家都曾各自独立地提出了类似于Shannon采样定理的表达式，如数学家E.T.Whittaker[6](1915年)和俄国学者Kotelnikov(1933年)，所以，国外的文献习惯上称之为WKS采样定理。国内常称为香农抽样定理，大概是由于香农对这一定理加以了明确地说明并正式作为定理引用。下面，我们从历史上实践学家、理论学家、数学家的角度分别介绍一下抽样理论的由来和发展过程。实践学家 在通信领域，电话系统中第一个时分复用装置的出现导致了如何对连续时间信号采样的问题。1840年代在早期的电报系统成功商用之后不久，人们就试图在一根电缆线上同时传送多个信号。第一个TDM方案是F.C.Bakewell（1848），A.V.Newton(1851)，M.B.Farmer（1853）等提出的，他们采样同步循环换向器来实现。之后，B.Meyer(1870)，J.M.E.Baudot(1874)，P.Pacuor，P.B.Delany(1878)[3，4]提出了技术上更成熟的方案。但这些方案都采样了快速换向器，要求至少能够传送每个基本信号的两个样值，给传送与采样间带来了额外的同步。F.J.Patten，在1891年左右使用快速换向器第一次成功地实现了电话信号的TDM。这套装置的发明者Willard.M.Miner，经过早期多年的试验之后，1903年申请了专利[5]。图1，图2[6]分别是其电路图和实物图。Miner通过试验还发现采样率越高，实现的效果越好。Miner假设采样速率将和语音最高频率近似一致。事实上，Miner的这套装置的截至频率刚超过2kHz，这正好满足抽样定理的要求。 由于对抽样定理仍然没有理论上的证明，1930年代前发表的有关采样率的文章和申请的有关语音信号时分复用应用的专利阐述的理论都很含糊。 一些学者，如M.Marro，在1938年，开始对语音信号传输进行欠采样抽样。他在一个双向的TDM系统中采样了加宽的采样脉冲。这里需要考虑的一个问题是：当采样脉冲加宽后，是否还有可能在保证语音仍然可懂的情况下减少采样速率。G.A.Miller和J.C.R.Licklider分别阐述了这个关系，他们研究的结果在图3[8]中，表明，语音单词可懂性随采样率下降而单调下降这种情况只发生在脉宽非常窄的采样脉冲（占空比最大为6％）；若脉宽大于6％，在采样率10Hz－100Hz间，可懂性也下降。理论学家 理论学家开始并没有在采样问题上花什么功夫，当然，“不鸣则以，一鸣惊人”。H.Nyquist和K.Kiipfmiiller在1924年证明：通过一根线能够传输的信号数量和传输时间和带宽成比例。R.V.L.Hartley在1928年在多层次传输方面推广了这一结论。同年，Nyquist发表了著名的电报信号无失真传输理论。但是以Nyquist速率无失真传输和模拟信号脉冲样值插值逼近是两个不同的问题，尽管两者有一些数学上的相似点。 因此，这些工作，尤其是在1920至1930间，不能视作抽样定理的起源。第一个准确系统地阐述抽样定理并将它应用于通信工程领域的科学家是V.A.Kotelnikov，科捷利尼科夫。在他1933年发表的著作“Onthetransmissioncapacityof‘ether’andwireinelectricalcommunications”中，他证明了低通信号和带通信号的抽样理论[9]。运用这理论，他还发现，改变调制方式不能减少模拟信号的带宽。低通信号采样定理描述如下：定理1：任意信号，含有的频率成分，可以表示成下列的级数和，，（2）其中，反之，任意能用公式（2）表示的信号都仅含有的频率成分。定理2： 任意信号，若只含有的频率成分，则可以用每隔秒抽样的样值以任意精度来来连续的传送。当（n为整数），可得：（8）显然，当n=k时，公式（2）就为公式（8）了，这样，就可以通过传送，由公式（2）来重建信号。由于科捷利尼科夫的这项本应值得注意的文献从来没有以国际上认可的形式发表，阐述抽样理论的文章依然彼此独立地在发表。H.Raabe在1939[10]发表的博士论文中也阐述了抽样定理。它和抽样理论的实际应用有关系，在文中提出“自然采样”，考虑了有限长脉宽对采样的影响，同时也包含了对带通信号特殊的采样定理。Raabe的文章在1941年W.R.Bennett相关的著作[11]中被引用，而Bennett的文章又作为一个抽样定理的来源被香农在文献[2]中引用。 最后，应当提到日本的一本书：HakeiDenso（信号传输），作者I.Someya。书中也阐述了抽样理论。所以如果在日本看到“Someya抽样定理”，我们也不足为怪。数学家 对数学家而言，抽样理论的本质就是一个函数逼近的理论。逼近理论关心的是什么函数能够通过给定的基本函数（如代数或几何多项式）的线性和来重建，重建过程逼近的误差是多少。 一种可行的方法是确定这些线性和在特定点的取值，这些取值与待逼近函数在某些点的取值相同。从这个层次上讲，抽样定理使得函数插值重建的任务得以解决。 第一个有记载的在这个方向上进行尝试的是1765年J.L.Lagrange。他发现用信号一个周期内的2n+1个等距离采样点值就可以重建这个周期信号（根据三角级数理论，可以用常数和n个正弦和余弦项来逼近）。 1908年C.-J.delaValleePoussin第一个用作为等距离函数来插值，但插值对于带限信号的特殊意义他并没有阐述。 E.T.Whittaker在1915年文献[12]中第一个对所有带限信号的抽样定理做了阐述。他定义了一个基本信号的插值，如下：，为任意的时移。上式的一个最为显著的特点是将信号表示成了一基本级数(Cardinalseries)形式,一般记它为。T.Whittaker还证明不仅是C(x)的插值表达式,而且是C(x)的一般逼近表达式。从这一点上讲,E.T.Whittaker是Shannon采样定理的先驱。但是,根据人们的推测[7],他很可能没有意识到这一结果的重要性,因为在他后来所出的一本文集上并没有将这一结果收录进去。 实际上，式(1)还可以从另一个更为古老的等距离内插公式New-Gregory级数推得。J.M.Whittaker在《InterpolatoryFunctionTheory

》[13]一书中证明:如果基本级数收敛，则New-Gregory级数收敛于同一函数,反之亦然。不仅如此,J.M.Whittaker还指出了基本级数同傅里哀积分之间的关系。 在这之前,Ferrar给出了另一个较接近于Shannon采样定理的结果[14]。他指出,基本级数),具有相同的收敛条件,且收敛于同一函数。Ferrar称之为基本级数的一致性。但是,他并没有指出基本级数同带限信号C(x)之间的关系,所以较Whittaker的结果逊色。 带限信号的抽样定理在通信工程领域非常重要，它是连接连续时间信号与离散时间信号的桥梁。对抽样定理给予不同的命名：香农，奈奎斯特，科捷利尼科夫，Wilttaker，Someya等，使得它的起源扑朔迷离。从以上实践学家、理论学家和数学家对抽样定理做出的阐述，我们可以发现一个理论发现过程的一般规律：实践学家先根据经验提出粗略但实用的估计，然后理论学家再发展为一般的结论，最后发觉，数学家很早前就曾独立地给出了极好的数学上的证明。参考文献[l]C.E.Shannon,“Amathematicaltheoryofcommunication,”BellSys.Tech.1..vol.27,1948,pp.37-23.623-56.[2]C.E.Shannon,“Communicationinthepresenceofnoise”,Proc.IRE,vol.37,1949,pp.10-21.[3]K.E.Zetzsche,GeschichtederelektrischenTelegraphie,Berlin:SpringerVerlag,1877.[4]A.E.Granfeld,DieMehrfach-TelegraphieaufeinemDrahte,Vienna:A.Hartleben’sVerlag,1885.[5]W.M.Miner,”MultiplexTelephony,”US.Pat.745734.Filed,Feb.26,1903.[6]W.M.Miner.,“Recentdevelopmentsinmultiplex-telephony,”Elec.WorldandEng.,vol.42,1903,p.920.[7]PLButzers.SamplingTheoryforNotNecessarilyBand-limitedFunctions:AHistoricalOverview.SIAMRev.1992,34:40～53.[8]G.A.MillerandJ.C.R.Licklider,“Theintelligibilityofinterruptedspeech,“IASA,vol.22,1950,pp.167-73.[9]V.A.Kotelnikov,”0propusknojsposobnosti‘efira‘iprovolokivelektrosv-jazi,“(“Onthetransmissioncapacityof‘ether‘andwireinelectro-commu-nications”),FirstAll-UnionConf.QuestionsofCommun.,Jan.14,1933.[10]H.Raabe,”UntersuchungenanderwechselzeitigenMehrfachubertra-gung,“ElektrischeNachrichtentechnik,vol.16,1939,pp.213-28.[11]W.R.Bennett,“Timedivisionmultiplexsystems,”BellSys.Tech.1..vol.20,1941,pp.199-221.[12]E.T.Whittaker,“Onthefunctionswhicharerepresentedbytheexpansionsoftheinterpolation-theory,”Proc.Roy.Soc.,Edinburgh,vol.35,1915,pp.181-94.[13]J.M.Whittaker,lnterpolatoryFunctionTheory,CambridgeUniv.Press,1935.[14]A.J.Jerri,“TheShannonsamplingtheorem-itsvariousextensionsandWapplications:atutorialreview,”Proc./E€€,vol.65,1977,pp.1565-96.

与抽样定理发现有关的科学家简介Shannon,

Claude

Elwood

(1916-2001)克劳德·艾尔伍德·香农,1916年4月30日出生于美国密歇根州的加洛德（Petoskey），1936年毕业于密歇根大学并获得数学和电子工程学士学位，1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月26日去世，享年84岁。香农奈奎斯特香农在普林斯顿高级研究所（TheInstituteforAdvancedStudyatPrinceton）期间，开始思考信息论与有效通信系统的问题。经过8年的努力，从1948年6月到10月，香农在《贝尔系统技术杂志》（BellSystemTechnicalJournal）上连载发表了影像深远的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农解决了过去许多悬而未决的问题：阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的基础性理论著作。那时，他才不过刚刚三十出头。香农的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模象浪雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。香农一鸣惊人，成了这门新兴学科的奠基人。20世纪80年代以来，当人们在议论未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法，未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。香农被尊称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学原理》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特（HarryNyquist）和拉尔夫·哈特利先前的成果。这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵的概念量度的是消息中所含的信息量，而去除了消息中固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。HarryNyquist(1889-1976)奈奎斯特，美国物理学家，1889年出生在瑞典。1976年在德克萨斯逝世。奈奎斯特对信息论做出了重大的贡献。奈奎斯特1907年移民到美国并于1912年进入北达克塔大学学习。1917年在耶鲁大学获得物理学博士学位。1917年～1934年在AT&T公司工作，后转入贝尔电话实验室工作。作为贝尔电话实验室的工程师，在热噪声(Johnson-Nyquistnoise)和反馈放大器稳定性方面做出了很大的贡献他早期的理论性工作是关于确定传输信息的需满足的带宽要求，在《贝尔系统技术》期刊上发表了《影响电报速度传输速度的因素》文章，为后来香农的信息论奠定了基础。1927年，奈奎斯特确定了如果对某一带宽的有限时间连续信号（模拟信号）进行抽样，且在抽样率达到一定数值时，根据这些抽样值可以在接收端准确地恢复原信号。为不使原波形产生“半波损失”，采样率至少应为信号最高频率的两倍，这就是著名的奈奎斯特采样定理。奈奎斯特1928年发表了《电报传输理论的一定论题》。奈奎斯特还是卓越的发明家﹐在美国就有138项专利﹐涉及电话﹑电报﹑图像传输系统﹑电测量﹑传输线均衡﹑回波抑制﹑保密通信等方面。1954年，他从贝尔实验室退休。EdmundTaylorWhittaker（1873－1956）埃德蒙·泰勒·惠特克，英国数学家。1896年任剑桥大学三一学院的研究员。1905年被选为英国皇家学会会员，次年任都柏林大学天文学教授和爱尔兰的皇家天文学家。1912年起直到1946年退休，任爱丁堡大学数学教授。惠特克