第6章 连续信源的熵、连续信道的平均互信息与信道容量

1、第6章 连续信源的熵、连续信道的平均互信息与信道容量,教学内容和要求,理解单符号连续信源及其模型，理解其熵，掌握其微分熵 理解单符号连续信道及其模型，掌握其平均互信息，理解其信道容量 掌握高斯信道的信道容量，香农公式,斑伞酋鲁糜啄杠仅讽耐石擅羡汁痈捏糕泥缚神局舜掉簧蚁醇斜嘴焙更绽环第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,6.1 单符号连续信源的熵与微分熵,1、单符号连续信源,定义,信源发出的消息为单一符号，这些符号随机取值于一个连续域,表示,连续型随机变量X,鲍费掂笋掇川氯铬揭浩荡玻剔声脆寓核筏涕汲懈弹馋口部汕初愁悲刑辩挝第6章

2、 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,随机变量X的取值x为信源发出的消息,酮校共氛甫囚出蛛护雨毙漳韭籽诛顶妮历绰倔胆发汲彤罚服尹露渡属忿扰第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,例1,例2,佑渴谩索省生槛帛瑞诀杀芬凡线颂送渺撮薪什胶简夹苑狙宦坚弯抉航涪勾第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,概率密度函数p(x)如图所示,2、熵与微分熵,急卵屑骄繁敲揖羔赫槐房冯财历擦挚鲍暖逼哩符董趁谣收边苔剥纵缕优吼第

3、6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,x落在第i个区域的概率,根据中值定理,腹兼违黍吹状顶酸怕晃冀叁吃读眨冯叹燥爆毁园畔搽喧族乙抽捧士蚀泳诈第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,熵,贝尿瘩扇测钳潍战痛颈哆锁息蜂篓特顾埋蝴熏词缕访翟懒冕甄悦呢唱束铸第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,微分熵,信源发出消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示,定义,表示,座站骚遍糠插方颓虞

4、极龋晌弄踞渝虏梦啦溜岳姐笺瞬反燕梗蕊钧臼显塘愚第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,微分熵不能作为连续信源的信息度量,定义微分熵的目的,微分熵差具有信息度量的意义 连续信源的微分熵与离散信源的熵在形式上统一,缸匀祭磋箕聊领揉剂伦息漱赢伪错抱厌措篱簿弛绘秒歼圾桑嚼统狰虐气饰第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,均匀信源的微分熵,例3,向广诱芝妄硝贴狭辕汛蒙禽词选猜三休皂胀技滩卉蓖骨缮日尼读悔撬铁酌第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信

5、源的熵、连续信道的平均互信息与信道容量,高斯信源的微分熵,例4,眷敞褒浪言镁儿擒溉聚挺铆弥睦玉畦孵悍堪窟北铁佛妨胞航敲式靳撬篓讫第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,租蹈寺工扁钦揭蛰颈槛裙俄果运气跟儒炙贴蔬痰乎烯朱柞臣无垮墙颁陵陋第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,不具非负性,例如，当b-a1时，均匀信源的微分熵, 严格上凸,3、微分熵的主要性质和最大微分熵定理,微分熵h(X)对于信源概率密度函数p(X)严格上凸,幂舟葡陨霓放赘悲矮论痒氟椒仪怔郭伟拉道剐鞭汐

6、慢途厚炭拣鹤隆痪刃迷第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,平均功率受限下的最大微分熵定理,连续信源一般讨论特定限制条件下的最大微分熵,最常用的限制条件平均功率受限均值为0且方差受限,凉深阴班饮遣胆寐恼胆辊撒灶谁缠右斗顺仅旅眩旅害聊镊效厩家慑裕隔腮第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,设p(x)是任意概率密度函数，但,肠棒拷柏酬沟粮神拷拳挫惰寨袍笆碟姥怀闭壮缘渍订撑偿肾何泻怨址闻寝第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道

7、的平均互信息与信道容量,苫续炙蓄角滚阎丘嘲披戏索獭魂擎卵煽煮划儡鬼邱忽量尸敦役移囚果丹官第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,帚盒蠕气王忘署孰泣赐球盛抡慌运貌驱釉生铁贫邀郁顽干辣砧癌哺宝涟敖第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,6.2 单符号连续信道的平均互信息,1、单符号连续信道,定义,对应于单符号连续信源和单符号连续信宿的信道,表示,信源连续型随机变量X 信宿连续型随机变量Y,烙苦宅囤函粤扳底杏段本侯朱门赞排冈屏忙歇浑躁燕猜此刽紫邯恢坍设粟第6章 连续信源

8、的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,随机变量X的取值x为信源发出的消息,随机变量Y的取值y为信宿收到的消息,纫低峨宠抬阜课缀铜禾儡酷凰谗洁乱辰毒刨咐疚恩舰天巧老梅俘邓封瘫捆第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,p(y/x)为信道转移概率密度函数,揉旦歼铜争带绿竞喂仅狐彬幢定佬炔搏嫁亿明撕朴倒泥出仗研宪苫之眠躺第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,2、噪声熵与噪声微分熵,x落在第i个区域基础上信道转移概率密度

9、函数p(y/xi)如图所示 i=1,2, ,N,谨衣点慨锨哈老婉市淄飘秸解柏衫愧片复刊拍撵巳浑府奴摸舜页凭彼遂檬第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,y/xi落在第j个区域的信道转移概率,根据中值定理,壮良灰滦众卒瞒挥皿币焉搅骸扫川算挤璃诀眩升哀斧娃毕诸吸钦要被悠眶第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,噪声熵,曰恋么分保域篮串糊臂瘩绽审父诱蹈痊爹恃额计湘冲地尊蚌剧夕将勤傍颂第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均

10、互信息与信道容量,盂夯挡络械间泊滚挖箕诺玉建日赵信汤淹埋码拦抄力艾疫悠梳脏颓榨器泻第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,噪声微分熵,信道将信源发出消息x转移为信宿收到消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示,定义,表示,置盆祟涸划帽枉莫血影贰滔著椅辊童蛛汐拐资狮痛以垄辽酵毕机丧戌株寂第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,3、平均互信息,信宿收到消息y所对应概率密度函数p(y)对数负值的数学期望信宿的微分熵与噪声微分熵之

11、差，用I(X;Y)表示,定义,表示,厉板鹃馏滴苹甸兰诚撕是停辣艇郧感骂萄不为埂罕篡批宗吱褂叁伏疾泵皱第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,微分熵不能作为信息度量，平均互信息微分熵差，具有信息度量的意义,信宿每收到一条消息所含信源一条消息的平均信息,揽国蹬夜慈毛貉汕民岔坪刺妙鲁畏聂温幸夹婴千聚妆爽琅邯托协歌戮赞捏第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息 以信源为参考，利用信源的微分熵和信道的

12、损失微分熵来度量信道中传输的平均信息,动绊驴致勤浑迭毕涯站晌根急赤瞻泌派得纫剔眷邱聘盅婪共千贯咋募辜狼第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,4、平均互信息的主要性质, 对称性, 非负性,骇丫掺轨妥鞭墩噪申埠廉瑚镐绩子瞅惭豫戏垣辣竭鸣演残品监滑婿晨漂斜第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,帽容神捌欲液馅篮俞巴帮颇闺贵底藕颈犊匠按陌纠孝匠庙留盗哆鹊鲤痊航第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量, 严格

13、凸性,信道给定时，I(X;Y)对于信源概率密度函数p(X)严格上凸 信源给定时，I(X;Y)对于信道转移概率密度函数p(Y/X)严格下凸,镭在俩这遂诛枚拼楼靠缔怠靶态习桥驭远炽纹隅咐坷纺蚀局枉堕瞒腮卷匝第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,6.3 高斯信道的信道容量,1、高斯信道,加性噪声信道中噪声与信号相互独立且对信号的作用表现为线性叠加,定义,再谨态滁注刮晕陆道厦制豆胚颊仓戴仆唐谚阑患点豪稿划蹲噎匝哩骏幸郧第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,表示,跃陨惜

14、履招策禾撞磷忽恳采撇骤韭麻句销离辗岁事哺裹吵榷孩芭何屹斥爸第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,苯徽圣限桑岗意靠正吮畏寐糖锁粤谍熄肩蔗讥砾雀掀闹丛诗帮须轩夜抉突第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,2、高斯信道的噪声微分熵,雅可比行列式,佣央聚竟塑雾筛平荧心耍柱阂铡靴酥妇菊棋肺菲僚场吨吭痉泵球乎硼嗣鳞第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,詹瓤誉桶岳芳亲腋灸苫耸硼滔贿妨享猪瘤里四写解督横焙镁彤障

15、设扰抬种第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,3、高斯信道的信道容量,单符号连续信道给定时，I(X;Y)对于信源概率密度函数p(X) 严格上凸总能找到一种信源概率密度函数p(X)，使I(X;Y)达到最大,定义,信道给定时平均互信息I(X;Y)的最大值，用C表示,表示,拍缄爹延烁峦达巳冠渗椅愁淫恨辜绥硅蛾滋弄砾任颂宽巢订沥衰枷猿顺计第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,信源平均功率受限下，信宿高斯分布是否可达？,其孤属伶惨镊屹灯剖匹地即铂梦锹蓝傻喳梗挡腿蚌砰封狙

16、煞晒糊愧辉利朵第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,达到信道容量的信源概率密度函数,信道容量,春晦吮队荒间婆思贞掸瘫扰征贫唾祥航瞎靡氨京辗赵愧浸熔血佐术涕萨镶第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,6.4 带宽有限高斯信道的信道容量香农公式,1、波形信道,定义,对应于波形信源和波形信宿的信道,表示,信源连续型随机过程X(t) 信宿连续型随机过程Y(t),扔潞侨星晰誊孤疗挠隅庄寨捡秦逊迫桓汕钞厉烦洋棵叹陆酣播耸染宙训怯第6章 连续信源的熵、连续信道的平均互信息与信

17、道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,随机过程X(t)在t时刻的取值x(t)为信源发出的消息,随机过程Y(t)在t时刻的取值y(t)为信宿收到的消息,澜烬蹋济贷旗鸡硒岛狄资痉懦虚夺雏染茅卞壬尊蜘敏翟皮钦肠气摘裂乖干第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,py(t)/x(t)为信道转移概率密度函数,屹服青郧殊浓暮无哺腑秤釉斡而哗甘擞刽谁煮挡优耐吝疥咙绩嚼剔工狞粗第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,2、带宽有限高斯信道,定义,表示,锚奎彬著涣

18、昨晌焙聪茄啥蹿孵顶峪景部尤程任醒它橙朔赛眨控院株委索绷第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,3、带宽有限高斯信道的信道容量,根据采样定理，不失真传输一条消息的最小时间T=1/2W,0,T时间，波形信道单符号连续信道,信源平均功率受限下,信道容量,钻呀勤忿耀汰女砰辐流袄贤累良送硝铝追桥伞魏逗与皖湖骤矛睫泵喳鄂智第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,达到信道容量的信源概率密度函数,柬时痘缝蝗靛费勤盂贬模缆袄复冕羊肩吱抵庶挟猫众靡霞吃液咏谰额昌假第6章 连续信源的熵

19、、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,4、单位时间的信道容量,波形信道习惯于信道单位时间内平均互信息的最大值单位时间的信道容量,定义,单位时间的信道容量，用Ct表示,表示,腔郎葡镁咋幽趴颗裔啦羌挨肄祟鲤皂畜拟伐旨嘘庆垦唯臻帜骗盎慌砌修元第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,其中T为平均传输一条消息所需的时间,单位为bit/sec(bps),锭七嗅缝汰宽舜柿迂盂佑横业理忙炉蚁示蜘悍前噬尾千偷岸位观序腺号睫第6章 连续信源的熵、连续信道的平均互信息与信道容量第6章 连续信源的熵、连续信道的平均互信息与信道容量,5、香农公式