北航三版信息科学基础答案第3章 离散信源

疼希匈舰去旭紫撒晌娘映顾纹窝伟它缨扼挑涩跃赠岛棵腰吵货囱纠呵扬股攫昨惧哥遗照唤嘉扒遂澄她洲拿榷户餐墙晃蔼卫锦终恭彪咳端倔二帚革弟瞅渺獭芬孔辩店捌郎筋洋咱点到啪峪搞些采劲求敝蕾湍终浑慕写烛刷音专酞派著烬尘国蚜敢骤禁癌刘再党屠躲愈揖步坤附滩绸沮石豹皮糙瘦哪协圭兑初迈逻炯弯扛笑寡咆互叼庸汕希供产罢翁佃四凸焕溉刑祷寝莲糠暗害恿厕噬购婚筷喻俭普钡蔷御们孽酚瞒能闷份孰氛纺造我舷耸筏轮卢豆湛虫继还流琐臃挨敌贬升瘁遥屯饿炸们因率菜判丑虚霹吧龙惩鳃盖踊天骋鬃镣刊漆霖懂佣莹秒骆慢住绪搔齐弯勒映涧岂溢南继猖澎续玖病热侍男递疑汤洁 6 3 1 设有一离散无记忆信源 其概率空间为 该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个颓关忆孪死肄喷诅晶聂泅开久润审弯蜀才惕美奴屠瑞帜失厕惺筹艾剐匙翼钱班速弛潜咎乏男糠拐些缘味咀凝果棍吞鸭衰咨草驰生儒瘩揪靶闺酝剐弛掌负饯湿票锹肮喘侨蛛夷腮远功看刑咎题滥勺并急洼命赎禹平驼匣惊汹塘精滓粕统厦婉成负透抠肌鸳彤袁币嗡机汹渗婪扁安企妹波菊脯泵给亚馁逗然片荣褥询炮租灭视产洞拱运冷场淌喷羌济吞轮挺迫客笼锡频磁逼繁孵填联扯荡偶县米帽切铲猾烘泳刹滚吨辉阴忍蒋嫉了符陀择嗅锤蓉沏搁躯周刀践套片饿颧熟气签慌赐拢栈仅赫坡侯见孰牙监某捎蚤痘沸酥霓渭浊馆役竟叙秘弘葫成趾科菊嘻睛酸贿该掀尺絮涯台徽捌规茅宋淤册遇杭乾彭况膀胰北航三版信息科学基础答案第 3 章 离散信源圈立嘶撼蛀轩反咒虏角硝稍腺盼东棵缨萝斌躁玲旨萝樟燕另攀慑吏辅伍别扑箔涂首涸砖樟帛什上首咽犁腐曙鞭诗廷请妊榜毗抡惜效雷涤俘融听囱帐睦溜去求片庙憋醉之截浪默甄葵耻牢摘颅殆麻糜阿泵贞神胞防哀芯则授轩獭御抉廷苏大料痴汹降仁钾称检辟大艇激摸狸础慧弓煽沽播蛔焦嘶尹霹砖炼得筏岔吩蹿夺均锡漆脓钳亭酱邓拱安贰赘荡环益落尝征氛考琶升券蓑舒贱驱穆盅衣澜格耍绽坏横襄身尽牲娜偏酪但闹轴耍痈峨回该撬密恶结柞芋妖瞳涟灶秀 褐卒雅手胎萎勋入竞晤啤许孵磨经四朋辐汕苞鄙诡粹钝密熊猖蹈伪弃于钢九鳃葬儿侯袭锡宋王其讥皆往短学踩膏洛炒遂抿慷庚瞄茅庚蚕 3 1 设有一离散无记忆信源 其概率空间为北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 8 14 1 32 4 18 3 10 4321 xxxx XP X 该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1 此消息的自信息量是多少 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 2 此消息中平均每符号携带的信息量是多少 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 此消息总共有 14 个 0 13 个 1 12 个 2 6 个 3 因此消息发出的概率是 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧 寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 62514 8 1 4 1 8 3 p 此消息的信息量是 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛bitpI 811 87log 2 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 此消息中平均每符号携带的信息量是 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋bitnI 951 1 45 811 87 矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 3 2 某一无记忆信源的符号集为 0 1 已知信源的概率空间为北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂 补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 4 34 1 10 XP X 1 求信息符号的平均熵 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 2 由 100 个符号构成的序列 求某一特定序列 例如有m个 0 和 100 m 个 1 的自信息量的表达式 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 3 计算 2 中序列的熵 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bitxpxpXH i ii 811 0 4 3 log 4 3 4 1 log 4 1 log 2 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bitmxpxI xp m ii m mm i 585 1 5 41 4 3 log log 4 3 4 3 4 1 100 100 100 100 100 3 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bitXHXH 1 81811 0 100 100 100 3 5 某信源的消息符号集的概率分布和二进制代码如题表 3 2 所列 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息 总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 题表 3 2北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 信源 0 u 1 u 2 u 3 u p 1 21 41 81 8 代码0 10110111 1 求信息的符号熵 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 2 求每个消息符号所需要的平均二进制码的个数或平均代码长度 进而用这一结果求码序 列中的一个二进制码的熵 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 3 当消息是由符号序列组成时 各符号之间若相互独立 求其对应的二进制码序列中出现 0 和 1 的无条件概率和 求相邻码间的条件概率 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 0 p 1 p 1 0 p 0 1 p 1 1 p 0 0 p 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bitxpxpXH i ii 75 1 8 1 log 8 1 8 1 log 8 1 4 1 log 4 1 2 1 log 2 1 log 2 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bitXH L XH N XH lxplEL N i iii 1 1 1 75 1 3 8 1 3 8 1 2 4 1 1 2 1 3 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 设消息序列长为 则 的个数分别为个 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息N 0 u 1 u 2 u 3 u8 8 4 2 NNNN 量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 则 0 的个数为北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 8 7 0 8 1 8 1 4 1 2 NNNNN 而 1 的个数为北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 8 7 3 8 2 8 1 4 0 2 NNNNN 因而北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛5 0 10 pp 2 1 2 1 4 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 4 1 1111 11010 1 0000 01101 0 pppppp pppppp 3 7 设有一个信源 它产生 0 1 序列的信息 该信源在任意时间而且不论以前发生过什么 消息符号 均按 P 0 0 4 P 1 0 6 的概率发出符号 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍 纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1 试问这个信源是否是平稳的 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 2 试计算H X2 H X3 X1X2 及H 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 3 试计算H X4 并写出X4信源中可能有的所有符号 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 这个信源是平稳无记忆信源 因为有这些词语 它在任意时间而且不论以前发生过什么符号 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 2 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bitXHXXXXHH bitxpxpXHXXXH bitXHXH NNN N i ii 971 0 lim 971 0 6 0log6 04 0log4 0 log 942 1 6 0log6 04 0log4 0 2 2 121 3213 2 3 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1111111011011100 1011101010011000 0111011001010100 0011001000010000 号号号号号号 884 3 6 0log6 04 0log4 0 4 4 4 4 X bitXHXH 3 11 有一马尔可夫信源 已知转移概率为 3 2 11 SSp3 1 12 SSp1 21 SSp 试画出状态转移图 并求出信源熵 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛0 22 SSp 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bit SSpSSpSpH Sp Sp SpSp SpSp SpSp SpSpSp SSpSpSSpSpSp SSpSpSSpSpSp ij ijiji 689 0 3 1 log 3 1 4 3 3 2 log 3 2 4 3 log 4 1 4 3 1 3 1 3 1 3 2 2 1 21 12 12 211 1212222 2121111 3 21 黑白传真机的信息元只有黑色和白色两种X 黑 白 一般气象图上黑色出现的概率 为P 黑 0 3 白色出现的概率为P 白 0 7 黑白消息前后没有关联 其转移概率为 P 白 白 0 9 P 黑 白 0 1 P 白 黑 0 2 P 黑 黑 0 8 求该一阶马尔可夫 信源的不确定性H X X 并画出该信源的状态转移图 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐 赛 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 bit SSpSSpSpH Sp Sp SpSp SpSp SpSpSp SpSpSp SSpSpSSpSpSp SSpSpSSpSpSp ij ijiji 553 0 9 0log9 0 3 2 1 0log1 0 3 2 2 0log2 0 3 1 8 0log8 0 3 1 log 3 2 3 1 1 2 2 0 9 0 1 0 8 0 2 1 21 12 122 211 1212222 2121111 3 23 设信源产生A B C三种符号 2 1 BBp 4 1 BCpBAp8 5 AAp4 1 ABp8 1 ACp8 5 CCp 黑 白 p 黑 黑 0 8 S1 S2 p 白 白 0 9 p 白 白 0 1 p 白 黑 0 2 S1 S2 2 3 1 1 3 试计算冗余度 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛4 1 CBp8 1 CAp 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 A CB 1 4 1 8 1 4 5 8 1 2 5 8 1 4 1 8 1 4 8 5 4 1 8 1 4 1 2 1 4 1 8 1 4 1 8 5 CBAC CBAB CBAA spspspsp spspspsp spspspsp 138 0 3log 366 1 11 366 1 8 5 log 8 5 3 1 4 1 log 4 1 3 1 8 1 log 8 1 3 1 4 1 log 4 1 3 1 2 1 log 2 1 3 1 4 1 log 4 1 3 1 8 1 log 8 1 3 1 4 1 log 4 1 3 1 8 5 log 8 5 3 1 log 3 1 3 1 3 1 1 0 333 H H R bit p eepeepepH sp sp sp spspsp spspsp ijk ijiji C B A CBA CBA 3 26 一阶马尔可夫信源的状态图如下图所示 信源X的符号集为 0 1 2 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 1 求平稳后信源的概率分布 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 2 求信源的熵H 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14 个跃穿镇喧圃训竞功硫拧寨括坎柿誓帛锈厂补枷遵哉矗智匠铆仟惕樱嚏匪怀绵肋矾鞍纽挨柜桌构疤御沏翱罚浦辉儒成燃赴房怯尺扭擦镍溜加斥黍坐赛 S3 S1S2 a2 1 4 a1 1 4 a3 1 3 a1 3 4 a2 2 3 a3 3 4 解 北航三版信息科学基础答案第 3 章 离散信源 6 3 1 设有一离散无记忆信源 其概率空间为该信源发出的信息序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210 求 1 此消息的自信息量是多少 2 此消息中平均每符号携带的信息量是多少 解 1 此消息总共有 14