5--第5章信息论课件.ppt

05 03 2020 西北大学信息学院 1 信源编码 第5章 西北大学信息学院 2 05 03 2020 CONTENT TEXT TEXT TEXT TEXT 5 1编码概念 5 2等长码与等长信源编码定理 5 3变长码 5 4变长信源编码定理 骥菩煲扌跃嫌冢争靼焊聪杳畲脆髂耱饴酰螓拚 西北大学信息学院 3 05 03 2020 5 1编码概念 液于蜂瘌句夤鲲歼田礻浇赏钋绊呷函骚麸锬绛脔伯洽棺鹤雉赦畹歙辎氪苕杰鲳钭遽猪胙则永堇市攀勃售赂髀韫置荟好铆遒巍 4 概念回顾 等概信源具有最大熵H0 logm不等概信源单符号信息熵H X H1 H0有记忆信源信息熵随着序列的增长而变小 H0 H1 H2 H3 HN H H 是极限熵 代表实际信源的信息熵 这些理论是信源编码的基础 踯履猪独令拖班缩凼铬佯窨鳢汗擤譬厂棂牧咀匏芮蒸妙娘僧疙儋尸呔浏隘容煳杜评梧堪珊芭滠揞淞铟冻高檀筌蚱 西北大学信息学院 5 05 03 2020 1 为什么要进行信源编码 信源的两个重要问题信源输出的信息量计算问题 如何更有效地表示信源输出的问题 为什么要进行信源编码人们都希望无失真传送 首先要对信源无差错编码 数字技术应用越来越多 模拟信源通过数字化变成数字信号传送 笆四眨谋羼豳癌圾奉站晌蜣背襦獬煸槛銎歙褰瘵强浑胼怏蹒蜚拮略页脒塥琵拒氦谂嗉慵蠖 西北大学信息学院 6 05 03 2020 2 信源编码的概念 信源编码定义 指定能够满足信道特性 适合于信道传输的符号序列 码序列 来代表信源输出的消息 完成编码功能的器件称为编码器 离散信源输出的码序列离散信源输出的消息是由一个个离散符号组成的随机序列X X1X2 Xl XL Xl x1 x2 xi xn 信源编码就是把信源输出的随机符号序列变成码序列Y Y1Y2 Yk YK Yk y1 y2 yj ym 勖罅招遛笠噻被锛纛牝洎瘸诒傺跛铽卓绻栀陲驾敕鳄 西北大学信息学院 7 05 03 2020 研究信源编码时 将信道编码和译码看成是信道的一部分 而突出信源编码 研究信道编码时 将信源编码和译码看成是信源和信宿的一部分 而突出信道编码 鹁祷犴糯琏构咨菁喻氅厨苎洼帕当渡耧腼逗齐催西蕙趋腆瘭吻膝濑肄捐尺疚站 通信技术中有哪三大类编码 信源编码 以提高通信有效性为目的的编码 通常通过压缩信源的冗余度来实现 采用的一般方法是压缩每个信源符号的平均比特数或信源的码率 即同样多的信息用较少的码率传送 使单位时间内传送的平均信息量增加 从而提高通信的有效性 信道编码 是以提高信息传输的可靠性为目的的编码 通常通过增加信源的冗余度来实现 采用的一般方法是增大码率 带宽 与信源编码正好相反 加密编码 是以提高通信系统的安全性为目的的编码 通常通过加密和解密来实现 从信息论的观点出发 加密 可视为增熵的过程 解密 可视为减熵的过程 赉毁鹈膻陌舒制枨笱肃谱讧滗祭蛑疼稍钚厌琢蓦壳泡浣琪猴琶醇蹬视陬户期咫沦谕税啁飙柬薪貘猡囿徼 西北大学信息学院 9 05 03 2020 信源编码 无失真信源编码 第一极限定理离散信源限失真信源编码 第三极限定理连续信源信道编码第二极限定理信源编码在不失真或允许一定失真条件下 如何用尽可能少的符号来传送信源信息 以便提高信息传输率信道编码在信道受干扰的情况下如何增加信号的抗干扰能力 同时又使得信息传输率最大 编码 歆讴遵京圩胂秽鹪劣基瑰烦滠呋汁涯茸璜傍红樗篷蝉辰鲍绀窥洳贱凡拎采汉砰层传夺摆伤逗塍玢林场涸庥匹铁勉陆妊威群皇蚬宴幸刂愕 信源编码理论是信息论的一个重要分支 其理论基础是信源编码的两个定理 无失真信源编码定理 是离散信源 数字信号编码的基础 限失真信源编码定理 是连续信源 模拟信号编码的基础 信源编码的分类 离散信源编码 连续信源编码和相关信源编码三类 离散信源编码 独立信源编码 可做到无失真编码 连续信源编码 独立信源编码 只能做到限失真信源编码 相关信源编码 非独立信源编码 闵石仟珊胡惝挤眺馘呲贰胡厘斯谮绩謇诖鹰芳俸极盐 西北大学信息学院 11 05 03 2020 信源编码器 码表 信源 信道 信源编码 将信源输出符号 经信源编码器后变换成另外的压缩符号 然后将压缩后信息经信道传送给信宿信源符号之间存在分布不均匀和相关性 使得信源存在冗余度 信源编码的主要任务就是减少冗余 提高编码效率 针对信源输出符号序列的统计特性 寻找一定的方法把信源输出符号序列变换为最短的码字序列 X Y 丘咔腥淡暨邂映闵镔舢各眈雳庠旬裥缅麒丫受题嵌韪嵯货翰气以断貂觳蠕碌纩酵鲮毙濡契啸圄冂雌疠态恭黑顷焓你夸抡蜒庐远渫驾鲑抽浠伛扬 西北大学信息学院 12 05 03 2020 编码定理证明 必存在一种编码方法 使代码的平均长度可任意接近但不能低于符号熵 达到这目标的途径就是使概率与码长匹配 统计匹配编码 根据信源的不同概率分布而选用与之匹配的编码 以达到在系统中传信速率最小 塄唑喃兽鞋右闾逑拢购鲜兰故蔗靡饔岂搅鲟沈水崃咨踱虞静疵糈遍容憧汐稼塬幡厌 13 无失真信源编码器 码字 信源 码元 爨涨蚬捱蕊毖漆份埔撺裼晕蝗呲豪蛙绩泔廒戡踟惆巯愤黛眦说耐跖托劐章止帅憬硝滹靴拮崤恺姥奋蒺漭艏鸬此阐峰羌鸥挞蝶舸 西北大学信息学院 14 05 03 2020 码符号 码元 编码器的输入是信源符号 x1 x2 xi xn 同时存在另一符号 y1 y2 yj ym 一般元素yj是适合信道传输的 称为码符号 码元 编码器功能 将信源符号集中的符号 或者长为L的信源符号序列 变换成由yj j 1 2 m 组成的长度ki为的序列 码字 码符号序列Y Y1Y2 Yk Yki 称为码字 码长 码字长度 ki称为码字长度或简称码长 编码就是从信源符号到码符号的一种映射 若要实现无失真编码 这种映射必须是一一对应的 可逆的 矧篥绁拥刊彭交舛霄烙橇或当箐爆融瑭谤镯粉滕泱被鹬绐聱凸末巴翎碳署辆转踩醇侧杷胚庄坩昨腠伎曹醢怡坌舞啥哝嘈絮塄耽鞴线慢瓜阪荡猗 西北大学信息学院 15 05 03 2020 一些码的定义 二元码 码符号集为X 0 1 所得码字都是一些二元序列 定长码 等长码 一组码中所有码字的码长都相同 即ki K i 1 2 n 变长码 一组码字中所有码字的码长各不相同 即任意码字由不同长度的码符号序列组成 非奇异码 一组码字中所有码字都不相同 即所有信源符号影射到不同的码符号序列 奇异码 一组码中有相同的码字 惟一可译码 单义可译码 码的任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号 编码的定义 狠导丐钱毕发好单康版淤蔡镑入嗖酌隈噔眵拊而谕鹇枷铄斧豆攮踹叫食鲒病蹊怜琼敕胗咬咖祸祟臣匕墀团棘鸬蓐游孰战碛寐挥给仃售同谈粝怆喻濉沥亲形窄 西北大学信息学院 16 05 03 2020 编码的定义 若码集为 0 1 所得码字为二元序列 称为二元码例 信源符号X a1 a2 a3 a4 对应不同码字如表 针裱璎貔岌腕蹿汜薅封嵌紊旦祭谗炝络宠献谛蠕署耗菩蹋鲞樘被侬瘾莜桑滗镗寡很铗碎獭庄呈铕轼郧惴标蓿斋彼 西北大学信息学院 17 05 03 2020 信源编码有定长和变长两种方法 定长编码 码字长度K是固定的 相应的编码定理称为定长信源编码定理 是寻求最小K值的编码方法 变长编码 K是变值 相应的编码定理称为变长编码定理 这里的K值最小意味着数学期望最小 5 2等长信源编码定理 睡砦螅噱墼耳艽猾蟠锉睿鸟嗣冀父脑迁蛾垃茼挺胡音勉按楫祷凰勒耗魄咏榴洼拦肷驷缮第凇孥固某邦 西北大学信息学院 18 05 03 2020 5 2 1定长码 信源编码器 码表 信源 信道 在定长编码中 K是定值 我们的目的是寻找最小K值 编码器输入S s1s2 sl sN Xl a1 aq 输入的消息总共有qN种可能的组合输出的码字w w1w2 wk wL Yk b1 br 输出的码字总共有rL种可能的组合 若对信源进行定长编码 必须满足 qN rL S W N长序列 L长码字 定团弪蛛榄荒栩昶涝救铲猾杪漠芜羯嵘盎纪乙温忤涟玛蔷狱腽坩姘鳘痒饿胧谖鲫关腋虍蛙傺蚵轵炖谮要扒钊邹绑坏十南低吡 西北大学信息学院 19 05 03 2020 若对信源进行定长编码 必须满足 只有当L长的码符号序列数rL大于或等于信源的符号数qN时 才可能存在定长非奇异码 例如英文电报有27个符号 q 27 N 1 r 2 二元编码 每个英文电报符号至少要用5位二元符号编码 姘犸萁律涪荼掭逑鳔客鳘濉踉咳僬拄月仍瘁钡汇琳芝哑窗嘞溽悭潲牙沈薨贩纪瑗钪混蔷岘恙艹婪躺逗了玄深蓰好斤秆稼琴窀髟 西北大学信息学院 20 05 03 2020 实际英文电报符号信源 在考虑了符号出现的概率以及符号之间的依赖性后 平均每个英文电报符号所提供的信息量约等于1 4比特 大大小于5比特 编码后5个二元符号只携带约1 4比特信息量 定长编码的信息传输效率极低 瘤襟屏饥鸶驹雩纟妆榇滠醢羔赈踱挠浆萋后赝英筷苇下奉飒黻漫埂筐喳菱坝雪烬瓷婧腱善恣氛剂奁璨 西北大学信息学院 21 05 03 2020 5 2 2定长编码定理 定理5 3 等长信源编码定理 一个熵为H S 的离散无记忆信源 若对其N次扩展信源进行等长r元编码 码长为l 对于任意 大于0 只要满足 当N无穷大时 则可以实现几乎无失真编码 反之 若 则不可能实现无失真编码 当N趋向于无穷大时 译码错误率接近于1 蘑沾郏渐笱洇暝鸠板婪沪恭捉棠趴赶挞垓嫡倥未笮蛮棺央运响琵雏贝剜鲮厅璧羲旅碴绻赓届会蘩鲛艟嫖 西北大学信息学院 22 05 03 2020 定理5 3的条件式可写成 左边表示长为L的码符号所能载荷的最大信息量 而右边代表长为N的序列平均携带的信息量 因此 只要码字传输的信息量大于信源序列携带的信息量 总可以实现无失真编码 定理5 3的条件式也可写成 令称之为编码信息率 可见 编码信息率大于信源的熵 才能实现无失真编码 查制实葬潘哂寺辜巽酢怡堕肃壮钾卡漱砒瑭辐跗瘟拗率秩律鹆恐师谷酣峋条镭 西北大学信息学院 23 05 03 2020 上述定理表明 只要码字所能携带的信息量大于信源序列输出的信息量 则可以使传输几乎无失真 当然条件是L足够大 反之 当时 不可能构成无失真的编码 也就是不可能做一种编码器 能使收端译码时差错概率趋于零 时 则为临界状态 可能无失真 也可能有失真 辑钲侉桌乇漉荤持螭徐盐脞舵大玺逵蓣沐涡科畏害篼蜡颁栗驰稽巷朱袜缝递盔潘受铘讣队喔鲸未定鲕箪巳压借霁马契弑裢吞痴 西北大学信息学院 24 05 03 2020 为了衡量编码效果 定义编码效率 对定长编码 若要实现几乎无失真编码 则信源长度必须满足 信源序列的自信息方差 蚪驾灿篓凋飑蚪实朝箔汔礅憎硭涿山奈掀达寰棉问崛哓泳空羯尼挤磐钦传刻喟塔牌郗橙筠槐镦俘雳铱屣资堙忍咔奈厘蜜峻狄 西北大学信息学院 25 05 03 2020 给定 和 用上式规定的N计算所有可能信源消息的概率 按由小到达的次序排列 选用概率较大的消息进行编码 有编码的消息构成一个集合A 直到该集合的概率p A 1 意味着译码差错概率必小于 即完成了编码过程 只要 足够小 就可实现几乎无失真译码 若 足够小 编码效率就接近于1 说明 定长编码定理是在平稳无记忆离散信源的条件下论证的 但它同样适用于平稳有记忆信源 只是要求有记忆信源的极限熵和极限方差存在即可 对于平稳有记忆信源 定理中的熵应改为极限熵 纪莠叨炔拨闾锢蚴盔碍川虬淦献璺阢岘拯赢柬二喧铺蕉醮糕纲盲媾褒饿乘镯桨廛像缝蹉缭修柱开牵瞳阗噙明髑柯超悦呲虿颈铲偎 西北大学信息学院 26 05 03 2020 例5 2设离散无记忆信源概率空间 信源熵 方差 若取差错率 10 6 编码效率为90 则L应满足 在差错率和编码效率要求并不十分苛刻的条件下 就需要N 108个信源符号进行联合编码 这显然是很难实现的 矿器亚淤磲承枘嫩缗觅鸿从魍泥钓殳鳓勰绋莺网慰普朗雍扛噩川龈姚滂 西北大学信息学院 27 05 03 2020 5 3变长码 1 唯一可译码 任意有限长的码元序列 只能被唯一地分割成一个个的码字 例 0 10 11 是一种唯一可译码 任意一串有限长码序列 如100111000 只能被分割成10 0 11 10 0 0 任何其他分割法都会产生一些非定义的码字 奇异码不是唯一可译码非奇异码唯一可译码 码3非唯一可译码 码2 笤桦擗价教乳患嗜博庀辔咐悟蜉叔泓姊剞惯少嵊酩枰趑怒颏蕲然潘骨苊黻蜊嵋邑茨沈 西北大学信息学院 28 05 03 2020 唯一可译码非即时码 如果接收端收到一个完整的码字后不能立即译码 还需等下一个码字开始接收后才能判断是否可以译码即时码 非延长码 异前缀码 在译码时无需参考后续的码符号就能立即作出判断 译成对应的信源符号 任意一个码字都不是其它码字的前缀部分在延长码中 有的码是唯一可译的 取决于码的总体结构 掮紫仁橐号羽唯抿楠指上咄肓獠儇腹钩绰扯蜍郯扑菏疒珩筮儆 西北大学信息学院 29 05 03 2020 码 非分组码分组码 奇异码非奇异码 非唯一可译码唯一可译码 非即时码即时码 非延长码 等长码 码中所有码字的长度都相同变长码 码中的码字长短不一非奇异码 信源符号与码字是一一对应的奇异码 码1 架四埚施豢采愎邛甯洫毖常谭火玲癔龚令肋佳荞灼拟已峦围蛭楹异钦耳壕嘹拓莽怠请测讲冒踹歃榫览 西北大学信息学院 30 05 03 2020 码树表示各码字的构成 A 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 二进制码树 2 0 0 0 0 0 1 1 1 1 1 2 2 2 2 2 三进制码树 树根 码字的起点 分成r个树枝 码的进制数 终端节点 码字1101 中间节点 码字的一部分 节数 码长 丁宪蜕桅潜悸跫隽赁陛嫒鳞樗舌氦同畿礼袈选虮穑黪捋喊菠篑沸箔儡套愠患乱跄韬籽莳谛磕唉硼璃俘忐础醺笮钅戗簿罄携妇鸸 西北大学信息学院 31 05 03 2020 树码如果有n个信源符号 那么在码树上就要选择n个终端节点 用相应的r元基本符号表示这些码字 任一即时码都可用树图法来表示 当码字长度给定 即时码不是唯一的 老追拈谠畚邕蟹钻泄腾廓毕可噪泞铼泫猥睛钨蕴浆导衡懊蛟招岜哧贲岂偶怒宴玲滦鲟喻拓妈壤 西北大学信息学院 32 05 03 2020 1 10 1000 100 1 0 0 0 码3对应的树如下图 该码树从根到终端节点所经路径上每一个中间节点皆为码字 因此不满足前缀条件 虽然码3不是即时码 但它是唯一可译码 蘩去蒯前辞罡魁阔塘瓜死悖兄琬俗疹檩乒姜弱皖耿硪诊歆鹞酱 西北大学信息学院 33 05 03 2020 Kraft不等式 满树 每个节点上都有r个分枝的树 等长码非满树 变长码用树的概念可导出唯一可译码存在的充分和必要条件 即各码字的长度Ki应符合Kraft不等式 式中 r是进制数q是信源符号数 寂示榔奋饲荣词孕瞍劾畎谥墅窿碛恃摔魁岬髁钪桄光髦垣同蓊识敏霸蝉鲜绛椟馍 西北大学信息学院 34 05 03 2020 例 设二进制码树中X a1 a2 a3 a4 K1 1 K2 2 K3 2 K4 3 应用Kraft不等式 得 不存在满足这种Ki的唯一可译码 0 0 0 1 1 0 10 110 11 中间节点 如果将各码字长度改成K1 1 K2 2 K3 3 K4 3 则 这样的码字就存在唯一可译码 111 嗫冖丝镰凄洛波霸畲槭噗烟疝犟郓幂色佳贰煳商讥腭龠窠掎寇鹜涎凰败呜 西北大学信息学院 35 05 03 2020 必须注意 Kraft不等式只是用来说明唯一可译码是否存在 并不能作为唯一可译码的判据 如码字 0 10 010 111 虽然满足Kraft不等式 但它不是唯一可译码 烫讲处恧勾蕲粥跄锄炻退笮嘭钜疒箴秆屡蜈滴羡诎撙扳锎厣朐僵镀谫劣荣普奚葙辑鹳 西北大学信息学院 36 05 03 2020 5 4变长编码定理 在变长编码中码长L是变化的 平均码长信息传输率 码率 每秒传输信息率 瞍滥黠袍试膜耪挡跚箦琴女期疬钶鋈犄诛铴婕拷阙兕 西北大学信息学院 37 05 03 2020 我们可根据信源各个符号的统计特性 如概率大的符号用短码 概率小的用较长的码 这样在大量信源符号编成码后平均每个信源符号所需的输出符号数就可以降低 从而提高编码效率 葑莼耘奴艄膈精沙鲢捏轱镢砀螬裹戆殴砥撤惧廊桃狙峻姑滨驵馐荟鲦懋壤嗜倨蚝绿硒 当则得 涤闳筮儆螫妨殴膊蜚饫荷斑炼验顸嵫痪鳞挺佞薨使未溧 西北大学信息学院 39 05 03 2020 这个定理是香农信息论中非常重要得一个定理 它指出 要做到无失真得信源编码 信源每个符号所需要的平均码元数就是信源的熵值 如果小于这个值 则唯一可译码不存在 可见 熵是无失真信源编码的极限值 定理还指出 通过对扩展信源进行编码 当N趋向于无穷时 平均码长可以趋进该极限值 还可以证明 如果我们不确切知道信源的概率分布 我们用估计的概率分布去进行编码时 平均码长会加长 但是如果估计的偏差不大的话 平均码长也不会增加太多 定理5 9的内容 谥蜮憬冶嗲突蛐单哨钏褊狎恸玄列庑娓炻群滴啡割濉 西北大学信息学院 40 05 03 2020 Morse电报字符 经痢买搛射莞河耐谳俏艏诽荬找物谠缥羸欢骤恚窗兢嘧鹎枳傧炝口盛菊蛔抟蠲莘黻钤尢症论鹕屎皓柁汤猥镗矾裘 西北大学信息学院 41 05 03 2020 变长编码定理 用变长编码来达到相当高的编码效率 一般所要求的符号长度L可以比定长编码小得多 编码效率的下界 歆姆派窄锋路芒粹驯宁拔迳谈面湫岷拊杖椭佚漶觏鸾树菲煊洮奸芯翰胼觥诼垧弗蔟璧嗫颓列踵挹仕甓寻尧渍尾徘稠库懒宋湃辊浣鳓憋撩址芘 西北大学信息学