总结与复习课件

6、纪律是自由的第一条件。——黑格尔7、纪律是集体的面貌，集体的声音，集体的动作，集体的表情，集体的信念。——马卡连柯8、我们现在必须完全保持党的纪律，否则一切都会陷入污泥中。——马克思9、学校没有纪律便如磨坊没有水。——夸美纽斯10、一个人应该：活泼而守纪律，天真而不幼稚，勇敢而鲁莽，倔强而有原则，热情而不冲动，乐观而不盲目。——马克思总结与复习总结与复习6、纪律是自由的第一条件。——黑格尔7、纪律是集体的面貌，集体的声音，集体的动作，集体的表情，集体的信念。——马卡连柯8、我们现在必须完全保持党的纪律，否则一切都会陷入污泥中。——马克思9、学校没有纪律便如磨坊没有水。——夸美纽斯10、一个人应该：活泼而守纪律，天真而不幼稚，勇敢而鲁莽，倔强而有原则，热情而不冲动，乐观而不盲目。——马克思总结与复习信息论与编码

总结与复习2011本课程主要内容一个理论和三个编码:理论--------香农信息论编码--------信源编码信道编码保密编码捷克大教育家夸美纽斯曾说：“兴趣是创造欢乐和光明的教学环境的主要途径之一”。教育教学工作者们在课堂教学中也着实运用了很多提高学生兴趣的教学方法，尤其是随着科学技术的高度发展，多媒体信息技术在音乐课堂中被广泛运用，激发了学生的兴趣、激活了学生的灵感、激起了学生创新创造的热情，使其能力得到了发展。歌德曾经说过这样一句话：“韵律有一种魔力，它甚至会使我们相信我们怀有最崇高的感情”。正因为音乐有这样的魔力，从而在教学中可以培养学生健康的审美情趣和感受，使他们的情感得到陶冶、心灵得到净化，就像莱杰说的“许多年轻人在学习音乐中学会了爱”，我们就要让学生在学习音乐中学会爱：树立正确的审美观念，完善他们的人格。江泽民同志说：“创新是一个民族发展的不竭动力”,我们的孩子将来也是民族发展中的一支生力军，我们在教学中应培养学生的创新能力，为社会的发展培养有用的人才。但是，在多媒体信息技术被广泛的运用在课堂教学的大环境下，针对只有一台收音机就走进课堂的农村音乐教学，如何激发学生的兴趣、完善学生的人格、培养学生的创新创造能力呢？本人在实际教学中探究了一种开放式教学模式，模式结构如下：一、课堂教学中角色的开放在课堂教学中有老师和学生两个角色，传统的教学模式是教师讲，学生听，新教学改革后教师是主导，学生是主体，在本人的模式中主导和主体是开放的，教师不一定永远是主导，学生不一定永远是主体，适当的时候可以让学生来主导，而教师就变成了主体中的一员。1.变教师内容、形式的主导为形式的主导，内容的主体教师在课堂中往往会在内容和组织形式上都处于主导地位，而我们仔细的探讨一下，有很多的内容学生比教师还熟悉，还有感受力，这样的内容教师完全可以作为一种形式上的组织者，而把内容的组织交给学生，如我在上《音乐与影视》这一课时，课前布置每一位学生准备一首自己喜欢的影视音乐，在课堂上介绍给大家。在这一节课中，教师只是形式上的主导，而学生在自己的主导下了解很多影视音乐，不同的介绍风格培养了学生创新创造能力，激活了学生的思维。2.变学生内容、形式的主体为形式的主体，内容的主导同样是上面这节课中，学生由原来的内容和组织形式上的主体，变成了形式的主体，内容的主导，在培养学生创新创造能力、激活学生思维的同时，也增强了学生的自信心，激发了学生自我表现的欲望，提高了学生的自身素质。二、课堂教学内容的开放传统的教学内容是按部就班，完全按照书本的内容一一讲述，也有的教师在课堂中全部流行歌曲化，几乎不接触课本内容，这样就造成了学生知识面的狭窄。本模式中把教学内容分为书本内容和书本外内容。1.书本内容的开放新教材的内容更接近学生、更集中、更有针对性、也更加强了与其他艺术的联系，但在具体的教学中，也可以更开放的、灵活的使用教材，如我在上《音乐作品的个人风格》这一课时，我把贝多芬的《命运》和阿炳的《二泉映月》放在一起赏析，让学生感悟遭受命运同样不公平待遇的音乐家的作品的不同风格，对比的赏析中学生体会到了作曲家的内心的感受，强烈感染了学生的情感，激发了学生心中的爱。2.书本外内容的开放音乐教学的目的之一是培养学生高尚的审美情趣，让学生感受音乐的美，必须让学生对作品的背景有所了解，最好学生有自己真切的感受，教师要为学生创造这一条件，我利用了课本外的一些内容，如在上《影视音乐》这一课时，课本上选的电影内容学生根本不熟悉，也没有条件让学生观看，这样对作品的理解就较空洞，我在这一课内容上作了修改，改用获奥斯卡奖的影片中的音乐，这样学生对影片内容较熟悉，有的学生对音乐也非常熟悉，再来了解音乐作品，就容易得多，大大拓宽了学生的参与面，激发了学生的思维，培养了学生的审美能力。三、课堂教学方法的开放什么是教学？有人认为教学就是教书；有人认为教学是讲授一门学问，这些都不是很确切的，陶行知先生说：“教学应是教会学生学，即教学生学会学习”，教与学是相辅相成的，不可相互替代，教与学活动的质与量从根本上决定了学生的发展方向和水平，因此教师开放的教，学生开放的学，对学生的发展是非常重要的。1.多元的教学方法（1）情境法、体验法的教学策略有了很多的情景氛围，为学生的体验和感知创设了一个良好的环境，为培养学生创新创造能力创造了天空，如我在上《音乐与造型艺术》时，利用列宾的一副油画《伏尔加河上的纤夫》，让学生欣赏，讨论油画表现的主题，为音乐体验创设情景，让学生在欣赏油画时，产生自主学习的愿望，形成初步的艺术感受，为作品的艺术审美演奏了一个很好的前奏曲。（2）探索法、创作法和表现法的教学策略仔细研究教材，教材中有很多内容是完全可以让学生动起来的，如我在上《牛车》这一课时，用绘画来表达自己对音乐的理解，有的学生在黑板上画，有的学生在自己画本上画，整个教师被一股创作热情而笼罩，又如我在上《两个犹太人》时，请学生根据作品表现的内容设计一个小品来表现。先让学生分组讨论剧本，各组公布自己的剧本，学生自由选择来表演，既促进了学生个性的发展，也让学生尝到了成果的喜悦，培养了学生的表演欲望和创新能力，完善了学生的人格。2.合作学习法（1）师生合作师生间的合作，以学生发展为目标。充分发挥学生的学习主动性，从而培养学生的创造力，在一切可能的教学环节上，都让学生的意见参与其中，鼓励学生自行探索，并允许不同感受和见解的存在，即使是错误的见解也不应立即给予消极性的判断，而应引导学生从失误中获取经验。这样的合作方式能使学生的心态完全开放，给了学生更多的创新机会，整个教学过程充满自由、轻松、和谐的气氛，在师生互相尊重的前提下，学生动而有节，大胆创新。（2）生生合作这种合作方式需要教师给学生以开放的时间，多留些时间给学生，让学生真正成为课堂的主人，为学生的创造提供更好的条件和机会。如上面讲到的几个课例中，学生分组讨论，就是生生合作的一种体现，分组的组员要合理搭配，保证组内成员之间的差异性和互补性、小组之间合理竞争的公平性。根据不同的内容可以设计不同的座位排列，有利于学生的合作探究学习，有利于内容的展开，这样不仅缩短了学生间的空间距离，有利于学生交流，学生毫无顾忌、畅所欲言，提出自己的见解和设想，培养了学生的创新创造能力，也完善了学生的人格。四、课堂评价方式的开放1.学生自评、互评在教学中，广泛的开展自评、互评等艺术批评，对促进学生的发展有巨大的推动作用。课堂教学中应渗透着艺术批评，如在设计“两个犹太人”的音乐小品时，让学生创作剧本，再让学生自由选择剧本和对象来表演，这就是自评、互评的一种手段，这种艺术批评让学生初步尝到了成功的喜悦，而且艺术批评的结果反馈，能提高学生对艺术的感受力和审美能力，为创新能力的持续发展提供动力。2.家长的评价、社会的评价每学期，让学生自编、自演一台节目，请家长代表、一些社会人士参与节目评价，结果也是对学生的一种艺术批评。广泛的艺术批评，给学生以激励和接受不足之处的勇气，培养了学生创新创造的能力，完善了其人格。本人就农村的音乐教学条件构建了这一模式，在农村高中音乐欣赏中反复实践，学生的兴趣高涨，课堂气氛活跃，学生的个性得到了发展，特长生越来越多，学生对音乐的感受力及审美能力有了明显的提升，下列的反馈表是根据高一（1）、（2）、（3）班150位学生所做的问卷调查。从以上两张表格的对比可以看出，实施开放式教学有利于培养学生独立的人格和良好的心理品质；有利于培养他们主动学习、主动探索、敢于冒险又善于合作的良好品质；有利于培养他们敏锐的观察力、良好的思维力和丰富的想象力，从而培养学生的创新思维、创新精神和实践能力。因此我将继续对农村音乐教育中实施开放式教学的理论和实践进行积极的研究和探索，使音乐教育充分发挥其在激发学生兴趣、完善学生人格、培养学生创新能力中的巨大作用。中学生健康不仅仅是指生理、躯体方面的，而且应包括心理方面的。而农村学生占中国学生的半壁江山，农村地区经济欠发达，文化氛围不浓，绝大部分农民对教育缺乏足够认识，对心理教育相关知识更是知之甚少，同时农村中学心理健康教育师资相对薄弱，受农村大环境的影响，农村学生容易出现心理问题，尤其是自卑心理问题。高中生是自卑感的多发期，多数高中生都有不同程度、不同方面的自卑心理。笔者就以当前农村高中文科班女生自卑心理问题谈谈自己的一些看法。一、农村高中文科班女生自卑心理问题成因（一）外部环境因素。1.家庭因素。宝应县经济相对落后，老百姓的思想有点落后，存在着严重的重男轻女思想，在这样的传统氛围中，在这样的生活环境中，农村女生能不自卑吗？家庭气氛的不和谐是造成高中生自卑的另一个重要家庭因素。如果家庭中父母关系不和，经常为琐事吵架；或者父母离异导致家庭破裂以及单亲家庭都有可能导致学生产生自卑。这种由于家庭不幸而自卑的学生平时不愿在别人面前谈论自己的家庭和父母，他们总是感到自己处处都不如别人。此外，家庭经济状况或者父母的文化水平、工作性质等等也都有可能导致某些高中女生的自卑心理。2.学校因素。学校中教师的不良教育方式也常常是直接导致某些高中女生自卑感过重的重要因素。例如有的老师不恰当地批评学生，甚至对她们进行讽刺、挖苦和嘲笑。初中到高中，知识容量和思维容量突然加大，所学的知识具有高度的复杂性和抽象性，对思维也就有了更高的抽象性、概括性的要求。况且在学习某一知识时，相关的知识准备对学生能否准确理解和产生兴趣至关重要。农村女生，知识面太窄，生活范围太窄，接触事物太少，兴趣单一，这都很不利于高中学习。她们对某些事物知之甚少，老师讲解时，引发不了她们丰富的联想，她们就不容易对事物产生深刻的理解并发生兴趣，必然导致成绩的落后。高中生活对有的女生而言，简直成了一种挫败感和不自信教育。这种挫败感和不自信对她们的影响非常大，不仅影响现在的学习，还会影响以后的生活。（二）内在身心因素。1.受知识的局限、经验的制约及各方面的影响，往往富于幻想的色彩，不切实际的情况十分常见。她们从不同学校、班级进入高中，大多有一个好的理想。在原来的学校，她们都是比较优秀的学生，往往对自己的理想、抱负要求很高。但是进入高中后，高手如云，曾经的理想与抱负似乎问题难如人意，面临的竞争压力很大。因而容易产生挫折感，如果不能正确认识现实自我与理想自我之间的差距，就会陷于痛苦的矛盾之中，进而进入一个恶性循环。农村高中文科班女生涉及的人际关系主要是与同学、与父母、与教师的关系。其中最易出问题的是同学关系。女中学生内心有强烈的交友需要，但却不知如何处理同学之间的矛盾、摩擦。同学之间的人际关系往往成为困扰高中女生最严重的问题。2.没自信心。不敢与别的同学交流，感到孤独，特别关注别人对自己的看法，总是觉得自己被孤立，上课走神等正是缺乏自信心的表现。她的一些苦恼——“他们不喜欢我”、“我觉得他们总不愿和我做朋友”，更多的只是一些主观上的感受。3.遭受失败。某些高中女生的过度自卑心理是由于他们在学习、生活和交往中屡屡受挫导致的。如接连几次的考试不理想，学习成绩的下滑；过多地遭受老师和家长的批评，与同学的多次交往不快；家庭或生活中的不幸遭遇等都会打击她们年轻气盛的自尊心、自信心而导致自卑。二、农村高中文科班女生自卑心理问题对策（一）让学生了解心理学知识，学会疏导和调节自身心理的方法。农村高中文科班女生心理问题的解决，需要她们通过自身的努力来完成。学生要适当地进行自我教育与心理训练，培养良好个性品质，锻炼心理能力，逐渐掌握自我心理调适的方法，并在生活、学习实践中灵活运用，不断总结提高。如学会微笑；多角度思考问题，辩证看问题；想自己高兴的事；及时转移、暂时回避不愉快的事；掌握一些转移情绪、宣泄痛苦、发泄愤怒、克服自卑、树立自信心的心理调节手段。让学生学会心理保健，学会自我分析、自我体验、自我完善，自我调适，学会承受挫折，学会人际交往，培养自我承受能力。（二）体验“成功”喜悦，克服“自卑”心理。人们都有获得成功、避免失败的需要。学生取得成功，可以得到家长、教师的肯定、赞许，提高自己的自尊心。因此，我采取了多形式、多层次的让女同学“体念成功喜悦，克服自卑心理”的措施。1.教学降低难度，重视基础。在高二的教学中，受“应试教育”的影响，我校有的学科教学中出现了较高的要求，导致不少同学产生高中学习“难”的感觉，加重了学生的负担和心理压力。因此，我们觉得“降低重心，重视基础，提高能力”才是符合农村地区教学特点的。教学中可以通过解决近年来的某些高考原题，让她知道“我现在就可以解决高考题了”；考试中严格按照“622”的要求命题，让她和她的同学们感到学习的“快乐”、“成功”的喜悦。2.课堂上小组合作。课堂上让她们回答能够解决的问题、主题班会让她们发言等，让她们知道“我的回答可以得到老师的表扬、我的讲话可以得到同学们的掌声”。3.克服“自卑”心理的两个方法：第一是恰当评价自己。自卑的本质就是自我评价过低，以至信心不足。要克服自卑，应从恰当评价自己入手。要善于发现自己的优点和长处，肯定自己的成绩；要进行“别人能行，我也能行”的积极暗示，以振作精神，增强信心。其二是确定合乎实际的目标。奋斗目标应根据自己的能力分阶段制定，首先确定最有可能实现的近期目标，集中精力向这个目标冲刺。这个近期目标实现后，再制定下一个近期目标，循序渐进，这样可以减少挫折和失败，有效的保护和增强信心，防止自卑感的产生。（三）开设阳光信箱，培养乐观向上健康心理。她们所处的特殊阶段，决定了她们内心的矛盾性与冲突性。这种矛盾与冲突若长期得不到解决或发泄，就会导致心理疾病，为此，我校还面向全体学生开设了“心理问题咨询信箱”，鼓励学生把心头的困惑说出来，向老师咨询。由于此项活动绝对保密，很受学生欢迎。因为这使她们有了自己情感的发泄地，即使得不到相应的指导，把烦恼说出来，也仿佛甩掉了一个大包袱，在老师的指导下，使自己的困惑得到解答，促进心理健康的发展。我们知道，对于农村高中文科班女生来说，高考无疑是重要的，但再重要也没有身心健康重要，而身心健康的核心就是心理健康，没有乐观向上的心理，再好的成绩、再好的体魄也没有多大意义。6、纪律是自由的第一条件。——黑格尔总结与复习总结与复习6、1信息论与编码

总结与复习2011信息论与编码

总结与复习20112本课程主要内容一个理论和三个编码:

理论--------香农信息论编码--------信源编码信道编码保密编码本课程主要内容一个理论和三个编码:3第一部分、信息论基础1.1信源的信息理论:

1、信息的定义：（1）自信息I=log(1/p)=-logp

（2）信息量=通信所消除掉的不确定度

=通信前的不确定度-通信后的不确定度

（3）信息的单位：对数的底取2时，自信息的单位叫比特(bit)。第一部分、信息论基础1.1信源的信息理论第一部分、信息论基础1.1信源的信息理论:第一部分、信息论42、信息熵的定义：（1）离散信源（2）连续信源相对熵第一部分、信息论基础1.1信源的信息理论2、信息熵的定义：（2）连续信源相对熵第一部分、信息论基础53、信息熵的特点（1）非负性：H(X)≥0（2）对称性：H(p1p2……)=H(p2p1……)（3）极值性：

《1》离散信源各符号等概率时出现极大值：

H0=logm

《2》连续信源信号幅度受限时均匀分布出现极大值：hmax(X)=log(b-a)；

《3》连续信源信号方差有限时高斯分布出现极大值：第一部分、信息论基础1.1信源的信息理论3、信息熵的特点第一部分、信息论基础64、离散序列的信息熵（1）无记忆信源的联合熵与单符号熵：

H(X1X2……XN)=H(X1)+H(X2)+H(X3)+……+H(XN)=NH(X1)（2）有记忆信源的联合熵与条件熵：

H(X1X2……XN)=H(X1)+H(X2|X1)+H(X3|X1X2)+……+H(XN|X1X2……XN-1)（3）平均符号熵：

HN=H(X1X2……XN)/

N第一部分、信息论基础1.1信源的信息理论4、离散序列的信息熵第一部分、信息论基础7（4）序列信息熵的性质：

《1》条件熵不大于无条件熵，强条件熵不大于弱条件熵：H(X1)≥

H(X2|X1)≥

H(X3|X1X2)≥

…

……

≥H(XN|X1X2……XN-1)《2》条件熵不大于同阶的平均符号熵:

HN

≥H(XN|X1X2……XN-1)《3》序列越长，平均每个符号的信息熵就越小：

H1

≥

H2

≥

H3

≥

……

≥HN总之：H0

>

H1

≥

H2

≥

H3

≥

……

≥HN≥H∞

（无记忆信源取等号。）第一部分、信息论基础1.1信源的信息理论（4）序列信息熵的性质：第一部分、信息论基础8第一部分、信息论基础1.1信源的信息理论5、马尔可夫信源的信息熵（1）马尔可夫信源的数学模型和定义：

N阶马尔可夫信源的关联长度是N+1，N+2以外不关联。（2）N阶马尔可夫信源可以有2N个状态；状态转移（3）稳态符号概率：结论：N阶马氏信源稳态信息熵(即极限熵)等于N+1阶条件熵。（4）稳态信息熵：第一部分、信息论基础1.1信源9[例1]已知二阶马尔可夫信源的条件概率：

p(0|00)=p(1|11)=0.8；p(0|01)=p(1|10)=0.6；求稳态概率、稳态符号概率、稳态符号熵和稳态信息熵。解：二阶马氏信源关联长度=3，状态由相继2符号组成，共有4个状态，分别为：E1=00；E2=01；E3=10；E4=11；已知的条件概率即是：

p(0|E1)=p(1|E4

)=0.8；p(0|E2)=p(1|E3

)=0.6；根据归一化条件可求出另外4个状态符号依赖关系为：

p(1|E1)=p(0|E4

)=0.2；p(1|E2

)=p(0|E3)=0.4；

第一部分、信息论基础1.1信源的信息理论[例1]已知二阶马尔可夫信源的条件概率：第一部分、信息论基10E4E3E2E10:0.80:0.40:0.21:0.81:0.21:0.41:0.60:0.6稳态方程组是：第一部分、信息论基础1.1信源的信息理论E4E3E2E10:0.80:0.411可解得：稳态符号概率为：稳态信息熵为：=0.895bit/符号第一部分、信息论基础1.1信源的信息理论因此，稳态符号熵=1bit/符号。可解得：稳态符号概率为：稳态信息熵为：=0.895bit/12第一部分、信息论基础1.2信道的信息理论1.2信道的信息理论:

1、信道的数学模型：进入广义信道的符号为ai∈A；从广义信道出来的符号bj∈B；其前向概率为pij=p(bj|ai)。传输矩阵:第一部分、信息论基础1.2信道13第一部分、信息论基础1.2信道的信息理论

3、信道有关的信息熵：（1）信源熵(先验熵)：

（2）噪声熵(散布度)：（3）联合熵：（4）接收符号熵：（5）损失熵(后验熵)：第一部分、信息论基础1.2信道14第一部分、信息论基础1.2信道的信息理论4.平均互信息（1）系统统计平均而言，平均每收发一对符号信宿所获得的信息量为：计算公式：I(X;Y)=H(X)–H(X|Y)=H(Y)–H(Y|X)=H(X)+H(Y)–H(XY)

第一部分、信息论基础1.2信道15第一部分、信息论基础1.2信道的信息理论5.信道容量（1）传码率RB：每秒信道所传输的码元数。单位是波特(B)，所以传码率也叫波特率。一般说来信道所传输的码元就是信源所发出的码元，传码率=发码率。

发信率Rb：每秒信源所发送的信息数。单位叫比特/秒(b/s)，所以发信率也叫比特率，Rb=RB·H(X)

。

传信率Rt：每秒信道所传输的净信息数。单位也是比特/秒(b/s)，

Rt=RB·I(X;Y)。

第一部分、信息论基础1.2信道16[例2]已知信源先验概率p(x)={0.7,0.3}，信道传输矩阵；试计算各信息熵和互信息。

H(XY)=-0.21log0.21–0.14log0.14–0.35log0.35–0.12log0.12–0.09log0.09–0.09log0.09=2.3924bit/符号解:(1)先验熵：

H(X)=-0.7log20.7–0.3log20.3=(-0.7lg0.7–0.3lg0.3)/lg2=0.881bit/符号

(2)联合熵：第一部分、信息论基础1.2信道的信息理论[例2]已知信源先验概率p(x)={0.7,0.3}，信道17

H(Y|X)=–0.21log0.3–0.14log0.2–0.35log0.5–0.12log0.4–0.09log0.3–0.09log0.3=1.5114bit/符号(4)接收符号熵：由P(Y)=（0.21+0.12，0.14+0.09，0.35+0.09）

=（0.33,0.23,0.44）

H(Y)=-0.33log0.33-0.23log0.23-0.44log0.44=1.5366bit/符号(3)噪声熵：由和第一部分、信息论基础1.2信道的信息理论H(Y|X)=–0.21log0.3–18H(X|Y)=-0.21log(7/11)-……0.09log(9/44)=0.8558bit/符号

或：H(X|Y)=H(XY)-H(Y)=2.3924-1.5266=0.8558bit/符号(6)平均互信息：

I(X;Y)=H(X)-H(X|Y)=0.881–0.8558=0.0252bit/符号(5)损失熵：第一部分、信息论基础1.2信道的信息理论H(X|Y)=-0.21log(7/11)-……19第一部分、信息论基础1.2信道的信息理论（2）信道容量的定义：对于给定的信道，把平均互信息极大值定义为该信道的信道容量：

有时，也把单位时间的最大传信率定义为信道容量，记做Ct=CRB；信道容量反映了一个信道最大所能传输的平均互信息，是给定信道的属性。第一部分、信息论基础1.2信道20第一部分、信息论基础1.2信道的信息理论（3）信道容量的计算：1）无损信道：C=max{I(X;Y)}=max{H(X)}=logm；

2）无噪信道：C=max{I(X;Y)}=max{H(Y)}=logS；3）对称信道：传输矩阵的各行都是一些相同元素的重排，各列也是一些相同元素的重排。C=max{I(X;Y)}=logS-H(p1,p2,……,pS)；[例3]求对称信道的信道容量。解：C

=log4-H(0.2,0.3,0.2,0.3)=2+(0.2log0.2+0.3log0.3)×2=0.03bit/符号；第一部分、信息论基础1.2信道21第一部分、信息论基础1.2信道的信息理论（4）波形信道的信道容量：高斯加性噪声（AWGN）波形信道的容量由Shannon公式给出：

C=Blog(1+PX/Pn

)香农公式给出了信道容量C、带宽B和信噪比

PX/Pn三者之间的制约关系。也可以作为非AWGN信道的信道容量下限值。信道容量不变

时带宽与信噪比有互换关系。

第一部分、信息论基础1.2信道22第二部分、无失真信源编码第二部分、无失真信源编码2.1信源编码理论1.1信源编码理论:

1、信源的相对信息率和冗余度：

（1）实际信源由于非等概，使H(X)<H0=logm

（2）实际信源由于有记忆，使H∞<HN<H(X)

（3）信源每个符号最大可以荷载的信息量是

H0

（4）平均每个符号的实际信息荷载量是H∞

（5）只要信息熵没有达到最大值，就存在冗余。第二部分、无失真信源编码第二部分、无失真信源编码23定义相对信息率：

μ

=H∞/H

0

信源冗余度（或剩余度）：γ

=1-μ怎样将这些冗余压缩掉？寻找一种更短的代码序列，在不损失信息的前提下，替代原来的符号序列。应当尽量使所找的编码序列各个码元相互独立且等概，就会使单位符号信息含量更多，代码就比原来更短。第二部分、无失真信源编码2.1信源编码理论定义相对信息率：μ=H∞/H0第二部分、无失真信源24第二部分、无失真信源编码2.1信源编码理论

2、变长码编码原理：（1）概率匹配原则：信息量大(不常出现)的符号用长码，信息量小(经常出现)的符号用短码。（2）平均码长：（3）极限码长

∞=H∞/logr;（4）编码效率：第二部分、无失真信源编码25第二部分、无失真信源编码2.1信源编码理论

3、唯一可译性与即时性：（1）唯一可译码（2）即时码，（异前缀码，非延长码）（3）构造码树的方法（4）克拉夫特不等式：唯一可译码的必要条件。第二部分、无失真信源编码26[例4]以下哪些编码一定不是惟一可译码？写出每种编码克拉夫特不等式的计算结果。码A：0，10，11，101；码B：1，01，001，0001；码C：0，10，110，1110，111110；解：码A：1/2+1/4+1/4+1/8>1，不能唯一可译；码B：

1/2+1/4+1/8+1/16<1,有可能唯一可译；码C：1/2+1/4+1/8+1/16+1/64<1，有可能唯一可译；第二部分、无失真信源编码2.1信源编码理论[例4]以下哪些编码一定不是惟一可译码？写出每种编码克拉夫27第二部分、无失真信源编码2.2编码方法1.2编码方法:

1、Huffman编码：

（1）信源符号按概率大小排队。

（2）合并概率最小的两个符合为一个节点。

（3）节点参与排队放在与自己概率相等符号后面。（4）重复这个过程直到合并完全部符号。

（5）标记每个分支的的0与1。（6）从根到叶的路径就给出了相应符号的码字。（7）计算平均码长与编码效率。

2、Huffman编码的推广：第二部分、无失真信源编码28第二部分、无失真信源编码2.2编码方法3、游程编码适用于连0连1情况。不改变信息熵，但将二元码变成了多元码。为使用Huffman编码创造了条件。4、算术编码属于序列编码。通过计算非等概信源的序列概率和积累概率直接找到相应的等概序列。5、词典编码不依赖于概率的通用编码。建立初始小词典后边输入边查词典边补充新词条，以词条序号为编码。第二部分、无失真信源编码29第三部分、信道编码3.1信道编码理论第三部分、信道编码3.1信道编码理论:

1、检错与纠错原理：

（1）检错原理：添加冗余避免码字非此即彼；

（2）纠错原理：添加冗余拉大码字汉明间距；

（3）检错能力：d0≥e+1

纠错能力：d0≥2t+1

纠检同时：d0≥e+t+1(e>t)第三部分、信道编码302、译码规则与错误概率：（1）最小错误概率准则：选联合概率矩阵每列最大元素（2）最大似然准则：选传输概率矩阵每列最大元素（3）差错率计算：采用信道编码与译码后仍然不能纠正的错误所具有的概率。

（4）漏检率计算：使用信道编码与译码后仍然不能发现的错误具有的概率。使用反馈重发方式时的差错率就等于漏检率。第三部分、信道编码3.1信道编码理论2、译码规则与错误概率：第三部分、信道编码31[例5]已知对称信道(1)求信道容量和最佳信源。第三部分、信道编码3.2信道编码理论(2)在上面最佳信源分布下，按最大似然译码准则确定其译码规则，并计算错误概率。解:（1）最佳输入为等概率分布。信道容量为：

C=logS-H(p1,p2,p3)=log3-=1.5850-1.3516=0.2334bit/符号（2）译码规则:F(b1)=a1;F(b2)=a2;F(b3)=a3;

错误概率：PE=3(3/9+1/9)/3=4/9=0.44第三部分、信道编码323.2线性分组码:

码长为n，信息位为k，记作（n,k）；

监督位r

＝n-k1、编码

C=K•G

生成矩阵G=[Ik

Q]2、检错、译码

H一致校验矩阵H=[QT

Ir]C·HT

=0；满足此方程的均为正确的许用码字第三部分、信道编码3.2线性分组码3.2线性分组码:第三部分、信道编码33N维错误格式矢量

E

E=CR；

R=C

E；

C=R

E；伴随子向量S=R·HTS=R·HT=(C

E)·HT=C·HT

E·HT

=E·HT；

用于对接收码R检错：若R=C，E=0（零向量），则S=0，R正确；反之，若R≠C，则E≠0，导致S≠0；因此R有误。

第三部分、信道编码3.2线性分组码N维错误格式矢量E第三部分、信道编码34纠错：R错一位的情况：S与HT的哪一行相同，就表明错在哪一位。

R错两位以上：查表法，查R-C对照来译码。3、纠错能力不等式：

2

r

≥Cn0+Cn1+Cn2+……+Cnt

完备码：上式取等号的情况。汉明码：纠1位错的完备码，2r

=1+n第三部分、信道编码3.2线性分组码纠错：第三部分、信道编码35[例6]已知二元无记忆对称信道的单符号传输的错误概率为0.01；试讨论（7,4）汉明码对减小差错率的作用。（1）不进行信道编码,每位信息差错率为:

p=0.01

（2）通过编码：(7,4）码能纠正1位错。

7位码元中1位错6位对的概率是：7p(1-p)6；

7位全对的概率是(1-p)7，所以每个码字的

差错率为：

1-

(1-p)7-7p(1-p)6=1-0.997-7×0.01×0.996=0.002

平均每位信息的差错率为0.002/4=0.0005第三部分、信道编码3.2线性分组码[例6]已知二元无记忆对称信道的单符号传输的错误概率为0.363.3、循环码1.码多项式2.生成多项式——码多项式中那个次数最低的非零多项式g(x)

第三部分、信道编码3.3循环码n-k=r次；常数项为1。任意码多项式都是生成多项式g(x)的倍式。g(x)是xn-1的一个因式。3.3、循环码1.码多项式第三部分、信道编码373.编码确定编码的n、k、r

值；写出给定信息位多项式：K(x)；左移r位：xr·k(x)计算监督位多项式：

r(x)=xr·K(x)

modg(x)

；写出码多项式：C(x)=xr·K(x)

+r(x)

写出码字：C

第三部分、信道编码3.3循环码3.编码第三部分、信道编码384.

纠错、译码接收码多项式R(x)；伴随子多项式S(x)=R(x)modg(x)；若

S(x)=0，则表明接收码无误。若

S(x)≠0，表明接收码有误。S(x)=[C(x)+E(x)]modg(x)=E(x)modg(x)；列S(x)—E(x)对照表，由S(x)查出E(x)C(x)=R(x)+E(x)第三部分、信道编码3.3循环码4.纠错、译码第三部分、信道编码39[例7]求(7,4)循环码生成多项式且为信息位（0100）编码。若接收到一个码字R=(0110010)，试进行检、纠错。解：1）分解x7-1=(x-1)(x3+x+1)(x3+x2+1)得到4次的生成多项式g(x)=x3+x+1；或g(x)=

x3+x2+1。选前者。

2）k(x)=x2,r=3,xr·

k(x)=x5∵

r(x)=x5modx3+x+1=x2+x+1；∴

C(x)=x5+x2+x+1；∴

C=(0100111)；注意：可看出，这里不能通过g(x)对应的码字（0001011）移位得到。

3）R=(0110010)，R(x)=x5+x4+x；

S(x)=（x5+x4+x）mod（x3+x+1）=x+1；当E(x)=x3时S(x)=x3mod（x3+x+1）=x+1；

∴

C(x)=R(x)+E(x)=x5+x4+x3+x；∴

C=(0111010)；注意：也可以写出生成矩阵G，得到H，利用S=RHT判断码字R的误码位置再纠错。第三部分、信道编码3.3循环码[例7]求(7,4)循环码生成多项式且为信息位（010040第三部分、信道编码3.4循环码的扩展3.4、循环码的扩展1.截短的循环码

由(n,k)循环码截短生成的(n-i,k-i)码。如CRC码2.本原BCH码本原BCH码取码长为n

=

2m

–1，生成多项式为：

它是能纠正多位错的循环码。式中t是纠错位数，mi(x)是xn-1的第i类因式。第三部分、信道编码413.5、卷积码1.(n,k,m)的含义

2.输出对输入的依赖关系监督方程逻辑电路冲激响应转移函数矩阵3.状态转移图与格图：状态指寄存器的值。4.编码与译码第三部分、信道编码3.5卷积码3.5、卷积码1.(n,k,m)的含义第三部分、信道42[例8]已知(2,1,2)卷积码的冲激响应为：

g1=(1,1,1)，g2=(1,0,1)；（1）写出监督方程和转移函数矩阵。（2）画出编码器的电路框图。（3）画出状态转移图与格图。（4）求输入序列为u=(10111)时的输出编码序列。解:(1)转移函数矩阵G(D)=(1+D+D2,1+D2)

监督方程:第三部分、信道编码3.5卷积码[例8]已知(2,1,2)卷积码的冲激响应为：第三部分、4300011011000110110/000/100/011/101/111/011/000/11（2）电路图（3）状态转移图:第三部分、信道编码3.5卷积码S1S2kc1c2aiai-2ai-1S2S1注意！ai的状态是ai-2ai-1即寄存器S2S1的值。（注意先后次序）kc1c200000/000/100/011/101/111/011/440/101/101/111/011/000001101100011011（4）当输入为10111时，沿红色路径前进，（3）格图得到的输出编码是：1110000110第三部分、信道编码3.5卷积码0/101/101/111/011/000000（4）当输入45第四部分、限失真信源编码第四部分、限失真信源编码4.1失真度4.1失真度平方失真：绝对失真：相对失真：汉明失真：1、失真度的定义第四部分、限失真信源编码第四部分、限失真信源编码463、平均符号失真度：第四部分、限失真信源编码

4.2：率失真函数4.2率失真函数1、保真度准则：预先指定一个允许失真的上限值D，叫做保真度，要求：2、失真度矩阵D：由单符号失真度排列成，“行”为发送符号，“列”为接收符号。2、率失真函数的定义：在满足保真度准则下，传信率R的下限值是保真度D值的函数，R(D)叫做率失真函数。

R(D)在定义域上是单调递减的。3、平均符号失真度：第四部分、限失真信源编码473、R(D)的定义域：4、R(D)的计算：R(Dmin)=R(0)=H(U)R(D

max)=0（1）一般情况，按定义：（2）特殊情况，汉明失真：R(D)=min{I(U;V)}=H(U)-H(D)-Dlog(r-1)第四部分、限失真信源编码

4.2：率失真函数3、R(D)的定义域：4、R(D)的计算：R(Dmin)=48[例9]已知信源概率为：p(X)=(0.5,0.3,0.2),，求汉明失真下保真度D=0.3时的最小传信率和该信源的最大平均失真度。

解：由汉明失真的率失真函数公式：

R(D)=H(X)-H(D)-Dlog(r-1)

H(X)=-0.5log0.5-0.3log0.3-0.2log2=1.4855

当D=0.3时，H(D)=-0.3log0.3-0.7log0.7=0.8813

最小传信率：R(0.3)=1.4855-0.8813-0.3log2=0.3042；

所以Dmax=min[0.5,0.7,0.8]=0.5计算Dmax：

↓↓↓0.50.70.80.50.30.2各列相加第四部分、限失真信源编码

4.2：率失真函数[例9]已知信源概率为：p(X)=(0.5,0.3,0.49密码学

密码学基本概念对称密钥体制：解密是加密的逆运算；解密与加密使用同样的密钥。

公开算法的对称密钥体系保密完全依靠密钥。典型算法：DES。非对称密钥体制（公开密钥体制）：加密解密使用非对称的双密钥，一把可以公开，私钥由用户自己秘密保存。系统安全是基于计算（算法）复杂性，算法可以公开。

典型算法：RSA。密码学密码学基本概50典型题目讲解第五部分、典型题目一．填空：码长为10最多可纠2位错的线性分组码可写为(

)码;2.监督位为r=6的汉明码，信息位为________位，编码效率等于________，能够纠正

位错。

3.信源编码的主要目的是

；信道编码的主要目的是

；保密编码的主要目的是

。4.某二元无记忆信源发出100个二元符号，其中有m个“1”，若P(0)=1/4，则总自信息为____________。10,45757/63=0.905

1检查纠正错误压缩代码长度增强抗攻击性200-1.585m

典型题目讲解第五部分、典型题目一．填空：10,45757/515．信道误码率为p=10-3，采用三连重复码编码传输时的差错率约为

。6.香农信源编码定理指出，无失真压缩的极限信息率R不能大于

，香农信道编码定理指出，无差错传输的传信率不能大于

。7.已知p(0)=0.2，p(1)=0.8，则序列S=11110的概率p(S)=

，积累概率F(S)=

，算术编码长度应为l=

，编码是

。8.错传率为p的BSC的信道容量为

。

9.在平均功率受限的高斯加性信道中，信道带宽3kHz，已知（输入信号功率＋噪声功率）/噪声功率＝8，该信道的最大信息传输率是_________。

第五部分、典型题目3×10-6logM信道容量0.081920.59043k*log8=3k*3=9kbps

41+plogp+(1-p)log(1-p)10105．信道误码率为p=10-3，采用三连重复码编码传输时的差错52第五部分、典型题目10，若__________受限,输出波幅度在[a,b]之内，则均匀分布的连续信源具有最大熵，熵值为__________；若_________受限，正态分布的连续信源具有最大熵，熵值为

；11.用户A与B均有各自的公钥、私钥密钥对。若为了对消息M内容保密，要求用户A利用_______密钥把明文M加密后发送给B，B收到密文C后，用__________密钥解密；若为了使得B能认证用户A身份的合法性，则需要A利用____________密钥把明文M加密后发送给B，B收到密文C后，用__________密钥解密；12.某有记忆信源，H(X)为该它的单符号熵，H(X4|X1X2X3)为该信源的条件熵，H4=H(X1X2X3X4)/4为它的平均符号熵。则，三者大小关系是

≥

≥

。log(b-a)峰值功率平均功率B的公钥B的私钥A的私钥A的公钥H(X)H4H(X4|X1X2X3)第五部分、典型题目10，若__________受限,输出波53第五部分、典型题目二．判断(正确打√，错误打×)

(共12分，每小题1分)

1．信源符号的相关程度越大，信源的信息熵越大。2、异前缀码一定是即时码；3、信道编码定理指出：信道无失真传递信息的条件是信息率小于信道容量；

4、Huffman编码是单符号信源编码的最佳编码；

5、最大似然译码准则是使平均译码错误率最小的准则。6、满足克拉夫特不等式的码必定是惟一可译码。×√√√××第五部分、典型题目二．判断(正确打√，错误打×)(共12分54第五部分、典型题目

7、交织码，Fire码，游程编码都可用于纠正突发错误。

8、(15，11)码是汉明码。

9、(23，12)码不是完备码。10、信源编码中往往无法指出哪几个码元或符号是冗余，冗余表现为信息熵没有达到最大值。11、恒比码是线性分组码。12、离散等概信源具有最大信息熵。

√√×××√第五部分、典型题目7、交织码，Fire码，游程编码都可551.二元无记忆信源发出a、b两个符号，概率分别为0.7和0.3，试用三次扩展信源进行Huffman编码。解：根据p(x1x2x3)=p(x1)p(x2)p(x3)不难求出三次扩展信源的概率空间为：

按8个符号的概率排队，进行Huffman编码第五部分、典型题目三．计算题：

1.二元无记忆信源发出a、b两个符号，概率分别为0.7和0.56bbb

0.027

bba

0.063bab

0.063

abb

0.063

(0.09)(0.126)

baa

0.147

aba

0.147

aab

0.147

(0.216)(0.294)aaa

0.343

(0.363)

0.637

root

1010101010101010111010100110000110101100

码字44443322码长第五部分、典型题目bbb0.027bab0.063(057

码字00110100111000100110101011

码长22334444

码字平均长度：

LN=2.726；信源符号平均编码长度：信源信息熵:H(X)=-0.3log0.3-0.7log0.7=0.881编码效率：η=0.881/0.909=96.9%第五部分、典型题目码字00110100111000100582．二元信源每秒发出100个符号，若信源概率为0.6和0.4；信道传输矩阵为:；求发信率和传信率。第五部分、典型题目解：发信率就是信源符号熵乘以码率：Rb=RB·H(X)：

H(X)=-0.6log0.6-0.4log0.4=0.9710bit/符号

Rb=RBH(X)=97.1bit/s

传信率就是平均互信息乘以码率，Rt=RB·I(X;Y)

：联合熵：H(XY)=1.7822;接收符号熵：H(Y)=0.9928;平均互信息：I(X;Y)=H(X)+H(Y)-H(XY)=0.1816bit/符号传信率:Rt=RBI(X;Y)=18.16bit/s2．二元信源每秒发出100个符号，若信源概率为0.6和0.4593.（1）求(7,3)截短循环码生成矩阵与一致校验矩阵。（2）为信息111编码；（3）为R=1101011译码。解：（1）n=7,k=3,r=4,2r-1=15,可构造(15,11)汉明码，对x15-1分解因式可得(15,11)码的一个生成多项式为：g(x)=x4+x+1(7,3)码可以由(15,11)

截短得到（15-8，11-8）截短后对应g(x)的码字是：0010011，循环移位得到：0100110与1001100

因此生成矩阵是：第五部分、典型题目一致监督矩阵是：3.（1）求(7,3)截短循环码生成矩阵与一致校验矩阵。第60（2）信息111编码为：第五部分、典型题目（3）当收到R=1101011时：S与HT最下面一行相同，错误格式为E=(0000001)，纠错得到：C=R⊕E=(1101010)（2）信息111编码为：第五部分、典型题目（3）当收到R=1614.(15,11)汉明码的生成多项式为g(x)=x4+x+1；利用截短循环码为信息位（0111010）编码；若接收到一个码字R=(11101011001)，问是否有错？第五部分、典型题目（1）编码:

现在k=7,r=4,因此n=11,应编(11,7)截短循环码

信息位多项式K(x)=x5+x4+x3+x

监督位多项式r(x)=xrK(x)modg(x)=

=(x9+x8+x7+x5

)mod(x4+x+1)=x

码多项式：C(x)=x9+x8+x7+x5

+

x

所以码字是(01110100010)（2）译码:

R(x)=x10+x9+x8+x6

+

x4+x3+1

因为R(x)modg(x)=x3+x2+x≠0；所以此码有错。4.(15,11)汉明码的生成多项式为g(x)=x4+x62全面复习重点掌握重视概念细心运算动手动脑不存侥幸祝大家取得满意的考试成绩！全面复习6331、只有永远躺在泥坑里的人，才不会再掉进坑里。——黑格尔

32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德

33、希望是人生的乳母。——科策布

34、形成天才的决定因素应该是勤奋。——郭沫若

35、学到很多东西的诀窍，就是一下子不要学很多。——洛克31、只有永远躺在泥坑里的人，才不会再掉进坑里646、纪律是自由的第一条件。——黑格尔7、纪律是集体的面貌，集体的声音，集体的动作，集体的表情，集体的信念。——马卡连柯8、我们现在必须完全保持党的纪律，否则一切都会陷入污泥中。——马克思9、学校没有纪律便如磨坊没有水。——夸美纽斯10、一个人应该：活泼而守纪律，天真而不幼稚，勇敢而鲁莽，倔强而有原则，热情而不冲动，乐观而不盲目。——马克思总结与复习总结与复习6、纪律是自由的第一条件。——黑格尔7、纪律是集体的面貌，集体的声音，集体的动作，集体的表情，集体的信念。——马卡连柯8、我们现在必须完全保持党的纪律，否则一切都会陷入污泥中。——马克思9、学校没有纪律便如磨坊没有水。——夸美纽斯10、一个人应该：活泼而守纪律，天真而不幼稚，勇敢而鲁莽，倔强而有原则，热情而不冲动，乐观而不盲目。——马克思总结与复习信息论与编码

总结与复习2011本课程主要内容一个理论和三个编码:理论--------香农信息论编码--------信源编码信道编码保密编码捷克大教育家夸美纽斯曾说：“兴趣是创造欢乐和光明的教学环境的主要途径之一”。教育教学工作者们在课堂教学中也着实运用了很多提高学生兴趣的教学方法，尤其是随着科学技术的高度发展，多媒体信息技术在音乐课堂中被广泛运用，激发了学生的兴趣、激活了学生的灵感、激起了