通信原理第7章_第1页
通信原理第7章_第2页
通信原理第7章_第3页
通信原理第7章_第4页
通信原理第7章_第5页
已阅读5页,还剩51页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

《通信原理》

第7章

杨鸿文

yanghong@1信源编码/译码通信系统的目标:在信宿端再现信源的输出(V=U)本章研究信源编码及译码假设信道理想:Y=X本章目标:如何将信源输出转换为二进制比特序列X如何以尽量少的比特数做到这一点2本章内容信源的分类离散信源、波形信源信息的度量熵、联合熵、条件熵、互信息信源编码定理信源编码能做到多好?离散信源的编码哈夫曼编码波形信源的编码抽样、量化、编码3信源的分类离散信源信源输出是一个序列{Xl},其中的Xl是离散随机符号,一般进制数为有限值M经压缩编码后成为二进制比特序列连续信源(波形信源)信源输出是一个随机过程X(t)经采样后成为时间离散取值连续的信源经量化后成为M进制离散信源经编码后成为二进制比特序列4信源的数学表述离散无记忆信源所有Xl独立同分布,其统计特性由概率分布P(X=xi)表述。{x1…xM}是X(任意一个Xl)的样本空间相关序列信源序列{X1…XL}的统计特性由联合概率分布P(X=xi)表述。X、xi是向量。X的样本空间有ML个元素。可将X视同一个样本空间很大的大符号连续信源按随机过程的方式来表述5什么是信息?信息就是信宿对于信源的输出所不能确定的那部分内容因为通信系统使信源得到了信息,所以信宿才能确定出信源的输出是什么信息量的多少就是不确定的程度,其数值就是熵6熵是对数概率的数学期望若随机符号X的取值空间是{x1,x2,…,xM},出现概率是{p1,p2,…,pM}。则熵定义为对数概率的数学期望7单位是bit为什么是熵是信息的度量?如果信源X只有两种可能性,那么你显然需要发送1bit来使信宿确定地知道X具体是哪个依次来看,如果信源X有M种可能性,其信息量应该是log2Mbit例如考虑X=(X1,X2,…,XL)是一个长为L的二进制序列,其元素独立同分布,“0”出现的概率是p则X是M=2L进制,貌似需要L比特来指示信源的输出具体是哪一个序列但是,且慢下结论。貌似的事实未必是事实。8根据大数定理,如果L足够大,那么我们基本上可以相信:信源输出应该只有pL个0数出L中出现pL个0的组合数,将发现总个数几乎就是2LH[X]—就是说,只需LH[X]bit就可以基本上保证能让信宿知道:信源输出的序列具体是哪个。如果你对以上论证中出现的基本上、应该、几乎这样的表述不很放心,请参阅信息论教材,那里将通过严格的数学语言彻底打消你的顾虑。9等概符号熵最大离散随机符号在等概时熵最大其中等式仅在所有pi=1/M时成立对于等概符号,M越大,熵越大10二元熵函数11联合熵对于两个随机符号X、Y,将(X,Y)整体看成一个大符号,可得这个大符号的熵为12关于记号“概率”的规范写法是P(X=x)。在不产生歧义的情况下,我们也经常简写为P(X)或P(x)的情况下。其中的小差别是:P(X)表示“X的出现概率”,数值未必确定(要看X具体等于什么)P(x)表示“X出现x的概率”(X已经明确为x)13条件熵H[X|Y=y]对于两个随机符号X、Y,在已知Y=y的条件下,X仍然可能是随机的。此条件下X的分布是条件分布P(X|Y=y),由此可得X在条件Y=y下的熵为注意是对X求数学期望,Y已经固定为y,不再是随机的。14条件熵H[X|Y]对于两个随机符号X、Y,给定Y=y,可以得到H[X|Y=y](一个确定的数,是y的函数)。对于不同的y,可能有不同的H[X|Y=y]值。对Y取平均的结果是:X相对于各种Y取值的条件熵15注意不是条件概率条件熵的含义H[X]是你对X的不确定程度H[X|Y=y]是知道Y是y之后,还剩下的对X的不确定程度有可能变大。完全有可能:得到一个与X有关系的Y的具体情报Y=y后,你发现原本所关注的问题X变得更为扑朔迷离16条件熵的含义H[X|Y]是:如果你知道Y(先不论知道具体是哪个y),平均而言,你对X的判断所剩余的不确定程度可以证明:H[X|Y]≤H[X],等号在独立时成立总的来说,得到一个有关X的情报Y,总体上有助于你对X的判断如果Y和X毫无关系,那么得知Y无助于改善你对X的判断。此时H[X|Y]=H[X]17与联合熵的关系你对XY整体的不确定程度=你对X的不确定程度+如果你完全知道X的话,Y额外存在的不确定程度你对XY整体的不确定程度可能小于各自不确定程度之和:因为两者有关系,知道其中一个能使你对另一个多少有所判断。除非两者没有关系推论:随机序列独立时的熵最大18互信息你对X的不确定程度是H[X],观察到Y后使你对X的不确定程度减少了I[X;Y],即:I[X;Y]是你观察到Y后,所获得的关于X的信息量19互信息非负对于你所关注的X,平均而言,得知情报Y最多帮不上忙(若它们独立),但不可能帮倒忙20互信息的对称性根据Y能获得的关于X的信息量=根据X能获得的关于Y的信息量21互信息小于熵根据Y的所获得的关于X的信息量不可能超过Y自身的信息量,也不可能超过X自身的信息量。等号发生在H[X|Y]=0或H[Y|X]=0时。即观察到Y后可以完全已知X,或者观察到X可以完全已知Y22互信息与联合熵如果XY各自的不确定度之和超过他们联合的不确定度,说明二者是有联系的。这部分差额是同时存在于X和Y中的共同信息。此时,观察到XY其中的一个,对另一个所能判断出的信息量就是这个差额(共有信息)23信源编码定理通信系统的目的是让信宿重现信源。凡是信宿能自己确定的东西,都不需要传输只需要传输信宿自己不能确定的部分。信宿所不能确定的那部分到底有多少?答案就是信源的熵香农已经严格证明:只要传输的总比特总数大于等于信源总的熵(单位也是比特),就一定有办法让信宿再现信源的输出24无失真信源编码定理等长编码定理及变长编码定理所陈述的事实是:用等长编码的方法,或者用变长编码的方法,都可以使平均每信源符号的编码输出比特数逼近每符号的信源熵H[X],使得信宿几乎可以100%复原出原始信源不可能存在任何一种压缩算法,其输出速率比H[X]更低,居然还能使信宿几乎100%复原出原始信源。25限失真信源编码定理如果我们可以接受:信宿的复原结果和信源原始输出之间有不超过D的失真度,那么:最低速率可以压缩到某个信息论可以算出的数值R,其值是D的函数:R(D)函数不可能存在任何一种压缩算法,其输出速率比这个R更低,居然还能使失真不超过D。26无失真编码的一个经典例子:

哈夫曼编码哈夫曼编码是变长编码的一种变长编码的基本思路根据信源输出信号出现概率的不同来选择码字,出现概率大的用短码,出现概率小的用长码,以使平均编码长度最短,从而提高编码效率需解决让信宿正确断句的问题:每个码字长度不同,信宿不能预先知道来的是哪个码字27哈夫曼编码的思路—断句问题

无前缀编码:任何码字都不是其他码字的前缀例如:网友的ID是变长的(有长有短)。不使用标点符号,将N个ID串起来,无法保证唯一正确地辨识。但如果规定:任何一个ID不得成为其他ID的前缀,就不会有问题28哈夫曼编码—字长与概率匹配按小概率合并字符集M-1进制符号的编码中,若将某个符号分裂为两个,新编码应该是原编码后续1个比特来识别这两个新的符号将M进制符号中出现概率最小的两个看成是一个符号进一步细分的结果。于是M进制变成M-1进制。如此不断进行,直至成为二进制,编码为0、1。然后按合并路线陆续添续上1、029哈夫曼编码举例30略去重复的节点:31限失真编码:抽样、量化、编码抽样:把时间连续波形变成时间离散序列这是一种典型方法,但不是唯一方法量化:把连续随机变量变成M进制的离散随机变量编码:把M进制符号序列映射为比特序列可以采用某种压缩编码,此处我们不考虑这个问题32抽样定理设x(t)限带于fH,设{xk}是对x(t)的等间隔抽样:xk=x(kTs),则当Ts≤1/(2fH)时,可以用序列{xk}完全算出函数x(t)在任意t处的值。计算公式为上述计算的实际实现方法是:让理想抽样的信号经过LPF33原理理想抽样的信号是LPF(高度为Ts)的冲激响应是因此LPF输出是34另一方面,理想抽样的信号是其频谱为经过LPF(高度为Ts)后的输出是X(f)35带通抽样带通信号的频谱36带通抽样抽样后的频谱是局部图形37带通抽样抽样率fs最小的情形结论:若最高频率是带宽的整倍数,则最小采样率是带宽的2倍38带通抽样若最高频率不是带宽的整倍数将S(f)的频带当作是[fL-D,fH],则带宽B’=B+D满足最高频率是带宽整倍数的关系。39带通抽样定理带通信号的最小抽样率是2(B+D),其中D是能让fH被(B+D)整除的最小非负实数。40量化量化器Q是一个阶梯函数,它将连续取值的自变量x映射为离散取值的函数值y具体规则是称:(xk-1,xk)为量化区间,{yk}为量化区间的量化电平或代表点,{xk}为分层电平或量化边界41注意:此Q(x)不是高斯概率密度积分的那个Q函数量化函数示例量化函数也可图示为量化器将区间(xk-1,xk)内的x值一律不加区分地替换为一个数值yk量化是不可逆的过程这个不可逆的信号失真称为量化误差,定义为

可将量化器的输出看成是:原始信号x叠加了一个量化噪声eq量化误差44虽然Q是确定函数,但因为输入x是随机变量,所以量化误差eq也是随机变量,其功率称为均方误差,或量化噪声功率量化误差45均匀量化指:所有量化间隔都是等长区间(D)。即:量化边界均匀安排量化电平处于每个量化区间的中点均匀量化46均匀量化若输入x是均匀分布的随机变量,则量化噪声功率为信号功率是量化信噪比是47最优量化器就一般情形而言,均匀量化未必是最佳的:Nq是量化边界和代表点的函数,该函数的极小点未必就是均匀量化所规定的边界和代表点。最优量化器的解与输入x的概率分布有关。可以证明:若x是均匀分布,则均匀量化是最佳量化48对数压扩目的:改善语音信号动态范围过大的问题量化器如果按小信号设计量化间隔,按大信号设计幅度范围,则量化比特数过大可改善的原因对小信号来说,量化器的幅度过于浪费;对大信号来说,量化间隔过于浪费有浪费,就应该有节约的办法49对数压扩方法:将输入信号通过一个称为“压缩器”的部件,进行类似于ln(1+Ax)的非线性放大大信号放大倍数小小信号放大倍数大效果是最大幅度和平均幅度(有效值)的比值(称为峰均比)被压缩然后做均匀量化收端对重建的量化值解压缩(扩张)50对数量化这一点也等价于:不做压扩,直接对输入信号进行非均匀量化小信号量化的细一些,以保证量化信噪比大信号量化的粗一些,以缩减比特数51标准PCM采用A律十三折线来近似实现对数压扩等价的非线性量化器为:1比特分出正负两个区间3个比特分出8个非均匀段落4个比特在段落内均匀量化最终速率:64kbps52对数量化体现在8个段落的划分上53时分复用多个数据源经过TDM后的总速率是各个数据源的速率之和标准范例:E1载波每路电话按8k取样,取样间隔是125ms,每个样值用8比特表示将125ms分割成32个时隙,只用其中一个时隙来传输一路电话的8个比特共有32个时隙,用来传30路标准PCM话音,其余两个时隙用于随路信令和同步32×64kbps构成2.048Mbps54矢量量化

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论