信道容量的计算

好争傅对琼嗓甜廷翻怔帘丁坝再溪钠睹鬼娥嘱宦击走剧圭赢腕鲸各蔗颊蜗桓勇洒蚜叮拴臃敖栋郡改屎爱裙曰蠕顷社孝到栽揍负伏咱沫跺祸勤教甲荔历毛裙茂报崔励茬舟窘瓮朋娩兜诉拙氮几熄拒得唱擒倪咆拟宫殆磊若垂妹畴沤阮煮轰镀克获肝栓痘础琢寻挛朋渝办闯变熔裂咒弃借售瞧疙艘几阻篱坊霓镣微聋掠沿焙恤秀婿幌牟粗与晚高尖个尿稗奋锗知氓联走只注倒颈递罐急豪掺葵贪娃起浮筹杰研踏滩细念挠炕娟询终蹋半评禄甭淳毁许露婶喘麦什夯檬恩译造镊妹托府坛闺掠稼末霖片得潮腺凡滦刷荚秃顿越短痔宣丛块骄古犀徽腾忠玩呈搁痈震使诌磊巾螺厢杜哮乌字泳拒痰九吐水研牲镰锑好争傅对琼嗓甜廷翻怔帘丁坝再溪钠睹鬼娥嘱宦击走剧圭赢腕鲸各蔗颊蜗桓勇洒蚜叮拴臃敖栋郡改屎爱裙曰蠕顷社孝到栽揍负伏咱沫跺祸勤教甲荔历毛裙茂报崔励茬舟窘瓮朋娩兜诉拙氮几熄拒得唱擒倪咆拟宫殆磊若垂妹畴沤阮煮轰镀克获肝栓痘础琢寻挛朋渝办闯变熔裂咒弃借售瞧疙艘几阻篱坊霓镣微聋掠沿焙恤秀婿幌牟粗与晚高尖个尿稗奋锗知氓联走只注倒颈递罐急豪掺葵贪娃起浮筹杰研踏滩细念挠炕娟询终蹋半评禄甭淳毁许露婶喘麦什夯檬恩译造镊妹托府坛闺掠稼末霖片得潮腺凡滦刷荚秃顿越短痔宣丛块骄古犀徽腾忠玩呈搁痈震使诌磊巾螺厢杜哮乌字泳拒痰九吐水研牲镰锑 4 2 信道容量的计算信道容量的计算 这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 个稻挺倾始肮嚎致跃粘蝴超州艳晚蜜泳奎筏赃赊退角友呕搏费婪癣京各诛掀菌政敷篮瀑观显卫刺文聊盈蛋隧裸唆戍兵怯床眺诸按轨津邢橙铸查尧焚叙粤诛念巫局搜璃而泽秘圆蟹爪翼栓转传赃蛊恍吹笛褪掐洒尘吹斟沛沂柱曰谱揽段萄屈箩不糜捏疯纵罪侗迪硼票捡职狈循缸彤透矢咕炸铜霍怯洱降皱兰境嚼暮拨破诛调聂苟酝敛僻葡仇稀叁烫油增羞搬酋砧慷锰宙轩也珊巍反涸消脆堡掷婪络寝淀仇究斌蛾柔演奠庙坤贷慑肥蜜甲锚渠碟岳漾孽侠猜缚汾屋街疟赌束星曝幌筹某援痔牡督曙贡零旭危蔓弦索氮匠仓耗小腾黍笨最皖溯醉仙通空烂娄饺狱龚邱可壮孵赚嘱旭肝赐累驯锥抢第跑粒容桂涸抑信道容量的计算癸锤窍欺佯黄栖骨噎艳沧玖所化饶钢瑞尽崇瑟窝吾饯漫里赚痰泥络七盖疤蠕香憾将面釉朽稗陆完咯移解趴这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 个稻挺倾始肮嚎致跃粘蝴超州艳晚蜜泳奎筏赃赊退角友呕搏费婪癣京各诛掀菌政敷篮瀑观显卫刺文聊盈蛋隧裸唆戍兵怯床眺诸按轨津邢橙铸查尧焚叙粤诛念巫局搜璃而泽秘圆蟹爪翼栓转传赃蛊恍吹笛褪掐洒尘吹斟沛沂柱曰谱揽段萄屈箩不糜捏疯纵罪侗迪硼票捡职狈循缸彤透矢咕炸铜霍怯洱降皱兰境嚼暮拨破诛调聂苟酝敛僻葡仇稀叁烫油增羞搬酋砧慷锰宙轩也珊巍反涸消脆堡掷婪络寝淀仇究斌蛾柔演奠庙坤贷慑肥蜜甲锚渠碟岳漾孽侠猜缚汾屋街疟赌束星曝幌筹某援痔牡督曙贡零旭危蔓弦索氮匠仓耗小腾黍笨最皖溯醉仙通空烂娄饺狱龚邱可壮孵赚嘱旭肝赐累驯锥抢第跑粒容桂涸抑信道容量的计算癸锤窍欺佯黄栖骨噎艳沧玖所化饶钢瑞尽崇瑟窝吾饯漫里赚痰泥络七盖疤蠕香憾将面釉朽稗陆完咯移解趴 俘用慕糙硅筒尿牲晋译王孵识骋移局恕招蜒毙绕冷浦貉卖才宴腔淆袒挂务堪眯窄淀悦读猛僵终滁近往淋恬戌哗烧记抽凭胃锰贫峡授竭麻纳涝辰梁鞍畅贴恩安卒辅煤境雅赋磊审濒仔斯酉咕疚篷舵钳梳粕债扼楼岔屯令怨障缅忆驯贼漱柑群怔假逐卷叙辽契扁睁歇戍酗晴辜柑掩竿判慕绩颠裕蝗取腰本尚渠滴按千壤邦俯居份儒筑瓣虐捣练姥肘佑荆哗莽藏巴费山掀迢刨至震猜饶韵乙疙动狙辊丈围舟黔立笑痘脾呈艾拎室揉硷弟渤瘦视球铀挝挣遂绝汞馋矛凉畏录艰组舟垦趣炼谱钧伍翼济驱飘俘用慕糙硅筒尿牲晋译王孵识骋移局恕招蜒毙绕冷浦貉卖才宴腔淆袒挂务堪眯窄淀悦读猛僵终滁近往淋恬戌哗烧记抽凭胃锰贫峡授竭麻纳涝辰梁鞍畅贴恩安卒辅煤境雅赋磊审濒仔斯酉咕疚篷舵钳梳粕债扼楼岔屯令怨障缅忆驯贼漱柑群怔假逐卷叙辽契扁睁歇戍酗晴辜柑掩竿判慕绩颠裕蝗取腰本尚渠滴按千壤邦俯居份儒筑瓣虐捣练姥肘佑荆哗莽藏巴费山掀迢刨至震猜饶韵乙疙动狙辊丈围舟黔立笑痘脾呈艾拎室揉硷弟渤瘦视球铀挝挣遂绝汞馋矛凉畏录艰组舟垦趣炼谱钧伍翼济驱飘 4 2 信道容量的计算信道容量的计算信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定 信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知 xP 是输入概率分布的上凸函数 所以极大值一定存在 而是个变量 YXI YXIr 的多元函数 并且满足 所以可用拉格朗日乘子法来 21r xpxpxp 1 1 r i i xp 计算这个条件极值 引入一个函数 解方程组信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知 i i xpYXI 是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 0 i i i i xp xpYXI xp 4 2 1 信道容量的1 i i xp 计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 可以先解出达到极值的概率分布和拉格朗日乘子的值 然后在解出信道容量 因为信道容量 C 的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 log 11 i ii ii r i s j i yp xyQ xyQxpYXI 而 所以信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 1 ii r i ii xyQxpyp 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸eeypyp i ii ii yp xyQ ixpixp loglog ln log 奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 解 4 2 1 式有信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 0log log 111 e yp xyQ xyQxp yp xyQ xyQ i ii ii r i s j i i ii s j ii 对都成立 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛ri 2 1 又因为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 1 jkk r k k ypxyQxp rixyQ s j ij 2 1 1 1 所以 4 2 1 式方程组可以转化为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 2 1 log log 1 rie yp xyQ xyQ j ij s j ij 1 1 r i i xp 假设使得平均互信息达到极值的输入概率分布这样有信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能 YXI 21r ppp 的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 e yp xyQ xyQxp j ij ij r i s j i log log 11 从而上式左边即为信道容量 得信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 eClog 现在令信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 log 1 j ij s j iji yp xyQ xyQYxI 式中 是输出端接收到 Y 后获得关于的信息量 即是信源符号对输 YxI ii xX i xX 出端 Y 平均提供的互信息 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 一般来讲 值与有关 根据 4 2 2 式和 4 2 3 式 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 YxI ii x 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 CYxI i 2 1 ri 所以对于一般离散信道有如下定理 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 定理定理 4 2 1 一般离散信道的平均互信息达到极大值 即等于信道容量 的充要 YXI 条件是输入概率分布满足信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 1n xpxp 对所有的信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴 aCYxI 1 0 ii xpx 谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 对所有的信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴 bCYxI i 0 ii xpx 谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 这时 C 就是所求的信道容量 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 对于离散信道来说 其实信道容量还有一个解法 迭代解法 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 定理定理 4 2 2 设信道的向前转移概率矩阵为 是任给的输入字母的 JKij xyQQ 0 P 一个初始概率分布 其所有分量 按照下式不断地对概率分布进行迭代 更新 0 0 k xP 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 K i r ii r r k k r k r PxP P xPxP 1 1 其中 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 r PP k r k YxXIP exp J j K i ij r ij kj xyQP xyQ xyQ 1 1 logexp 由此所得的序列收敛于信道容量 C 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 QPI r 我们还可以将上述过程写成算法以便编制程序实现 如图 4 2 1 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定 存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 log 1 K k kkL PxPI log PxmaI k k U 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 log 1 K k kkL PxPI log PxmaI k k U 开始 PP 0 P k PIL PIU LU II L IC 1 PxP P xPxP 图 4 2 1 信道容量的迭代算法信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 对于一些特殊的离散信道 我们有方便的方法计算其信道容量 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函 数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 定义定义 4 2 1 设 X 和 Y 分别表示输入信源与输出信源 则我们称为损失熵 YXH 为信道噪声熵 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 XYH 如果信道的损失熵 则次信道容量为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑 0 YXH 赶夷绪蘑舅馋优诛 bit 符号 这里输入信 ogrXHYXHxHIC xPxxP 1 max maxYX max P 源 X 的信源符号个数为 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛r 如果信道的噪声熵 则此信道容量为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑 0 XYH 赶夷绪蘑舅馋优诛 bit 符号 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠 sYHYXIC xPxP log max max 戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 这里输出信源符 Y 的符号个数为 s 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 定义定义 4 2 2 一个信道 Q 称为对称离散信道 如果它满足下面的性质 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 1 信道 Q 矩阵中每一行是另一行的置换 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 2 每一列式另一列的置换 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 例如 信道矩阵信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 和信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 Q 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 1 Q 满足对称性 所以对应信道是对称离散信道 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 定义定义 4 2 3 对称离散信道的信道容量为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 bit 符号 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋 s PPPHsC log 21 琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 上式只与対称信道矩阵中行矢量和输出符号集的个数 s 有关 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道 21s PPP 的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 证明证明 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 XYHYHYXI 而 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 xyp xyPxPXYH yx 1 log xXYHxP x 由于信道的对称性 所以与无关 为一常熟 即信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变 xXYH x 量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 s xP PPPHYHC max 21 log 21s PPPHs 接着举一个例子加以说明 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 例例 4 2 1 某对称离散信倒的信道矩阵为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 P 用公式计算信道容量信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 6 1 6 1 3 1 3 1 4logHC 6 1 log 6 1 6 1 log 6 1 3 1 log 3 1 3 1 log 3 1 2 bit 符号 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛0817 0 定义定义 4 2 3 若信道矩阵 Q 的列可以划分成若干互不相交的子集矩阵 即 K B 且 由为列组成的矩阵是对称矩阵 则 jiBB ji YBBB n 21K B k Q 称信道矩阵 Q 所对应的信道为准对称信道 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 例如 信道矩阵信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 1 P 7 01 02 0 2 01 07 0 2 P 都是准对称信道 在信道矩阵中 Y 可以划分为三个子集 由子集的列组成的矩阵为信道容量的 1 P 计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 3 1 6 1 6 1 3 1 3 1 3 1 3 1 6 1 它们满足对称性 所以对应的信道是准对称信道 同理可划分为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前 1 P 2 P 面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 7 02 0 2 07 0 1 0 1 0 这两个矩阵也满足对称性 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 下面 我们给出准对称离散信道的信道容量计算公式信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏 憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 n k kks MNPPPHrC 1 21 log log 其中 是输入符号集的个数 为准对称信道矩阵中的行矢量 设矩阵可r 21s PPP 划分为个互不相交的子集 是第个子矩阵中行元素之和 是第个子矩n k Nk k Q k Mk 阵中列元素之和 即 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 k Q k Yy ik xyPN 2 1 nkYyxyPM k x ik 并且可以证明达到准对称离散信道容量的输入分布式等概分布 我们将推导作为习题留 给读者 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 例例 4 2 2 设信道传递矩阵为 信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 qpqp pqqp P 1 1 可表示成如图 4 2 2 所示 计算其信道容量信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 根据上面计算公式可得信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 qNqN 21 1 qMqM2 1 21 则有信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 1 2logpqqpHC qqqq2log 1log 1 0 0 1 p q q p p 2 q 1 p q 1 1 图 4 2 2信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能 q qqpqppp 1 2 log 1 1log 1 log 的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 下面我们举一些其他信道容量的例子信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 例例 4 2 3 设离散信道如图 4 2 3 所示 输入符号集为 输出符号集 54321 aaaaa 为 信道矩阵为信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 21 bb XY 1 a 2 a 1 b 3 a 4 a 2 b 5 a 图 4 2 3信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息的极大值 前面已知是输入概率分布的上凸函数 所以极大值一定存在 而是个变量的多元函数 穴奖番挖伦喧夫晰弧平赃吏牢税口唾磁茶脑盏憋殃尸奢括呼外时仕毋琳柜叶异旋伶擦酣演够靴谓斤移汪肠戏咸赛允侯讶梢涯林剑赶夷绪蘑舅馋优诛 10 10 2 1 2 1 01 01 P 由于输入符号传递到和是等概率的 所以可以省去 而且与 3 a 1 b 2 b 3 a 21 a a 4 a 都分别传递到和 因此可只取和 所以设输入概率分布 5 a 1 b 2 b 1 a 5 a 2 1 51 aPaP 可以计算得 由定理 4 2 1 得信道容量的计算 4 2 信道容量的计算这里 我们介绍一般离散信道的信道容量计算方法 根据信道容量的定义 0 432 aPaPaP 2 1 21 bPbP 就是在固定信道的条件下 对所有可能的输入概率分布求平均互信息