福建农林大学信息论与编码课后实验

信息论与编码课后实验 1、信源建模 背景说明：一个通信系统的最重要的任务是将信息发出者发出的信息准确、高效地传 送给信息的接收者。而信息是以消息的形式表现的。从理论上说，要完成一定量的信息的 传递，有其最高效的方法这是由 Shannon 信源编码定理给出的。 对于工程师而言，要传递的对象总是以消息的形式呈现的。以下是几类最常见的消息 形式：（1）文本。比如文学著作，工作文档等；（2）图像。比如照片，数字图像等； （3）声音。比如一段录音等；（4）视频，一般由动态图像和与动态图像同步的语音共同 组成。 请你设定一个传递对像，并找到较大量的样本，由你获得的样本请你设定一个传递对像，并找到较大量的样本，由你获得的样本 中构建你设定的传递对象的信源模型。中构建你设定的传递对象的信源模型。 以下是一个简单示例： （1）假设在一个通信过程中主要传递的对象以英文文本的方式呈现。 （2）我们认为以英文文本方式呈现的消息，一般情况下类似于英文文学作品，即传递对象 中所使用的英文单词和语法规则与英文文学作品中使用的单词和语法规则表示同样的意思。 如“student”在通信传递对象中与在文学作品中都表示“学生”的意思。 （3）我们以以下的每一部小说为一个消息：“Gone with the wind” 、 “Robinson Crusoe” 、 “Pride and Prejudice” 、 “Jane Eyre” 、 “Oliver Twist” 、 “Treasure Island” 、 “Joan of Arc” 、 “Ulysses” 、 “A Passage to India” ， “Emperor Jones” （4）我们用统计的方式，发现这十个消息分别是由 N1，N2，N10 个符号组成的。在这 些消息是中出现了以下符号 （符号 1，符号 2，符号 M） 每个符号总共现了 （次数 1，次数 2，次数 M） 我们认为，传递对象的信源模型可表示为：X 为随机变量（即每次一个字符） ；取值空间为： （符号 1，符号 2，符号 M） ；其概率分布列为：（次数 1/（N1+N10） ，次数 M/( N1+N10）) 2、信源编码实验 背景说明：由实验 1 我们可以获得一个通信对象的信源模型，由信源模型即可以计算 它的熵 H。由 Shannon 编码定理可知，理论论上传递一个符号只需 H 个比特，但实际上要 使得只用 H 个比特表示一个符号，是相当困难的，实际上有时是不可能的。 实际工程中常使用的编码方法有：香农编码、哈夫曼编码、算术编码等。 请你给出香农编码、哈夫曼编码、算术编码的实现过程（包含编请你给出香农编码、哈夫曼编码、算术编码的实现过程（包含编 码过程与解码过程）码过程与解码过程） 并用一种编码方法对一个消息进行编码，给出编码结果。 3、连续信源模型与率失真函数 背景说明：试用录音机（一般在“开始菜单”“程序”-“附件”-“娱乐”- “录音机” ）录制一些音频片段，试用实验 1 示例的方法构造信源编码，并指出实验 1 中 所给的示例方法只适用于离散信源。如果消息是由语音表示的，那么信源采用连续信源更 合适。 （1 1）请你联合若干位同学，每一位同学诵读一小段文章，并请你联合若干位同学，每一位同学诵读一小段文章，并 录制下来用你熟悉的软件查看音频文件中数据的形式；录制下来用你熟悉的软件查看音频文件中数据的形式； （2 2）对这些数据进行分段，每段对这些数据进行分段，每段 6464 个；个； （3 3）查阅查阅“离散余弦变换离散余弦变换”相关资料，在熟悉它的原理的基相关资料，在熟悉它的原理的基 础上，对（础上，对（2 2）中的每个数据段进行离散余弦变换，得）中的每个数据段进行离散余弦变换，得 到变换系数；到变换系数； （4 4）查阅查阅“卡方优度检验卡方优度检验”方法，将这个方法应用于（方法，将这个方法应用于（3 3） 中得到的所有系数，得到的它的分布函数，对这个分布中得到的所有系数，得到的它的分布函数，对这个分布 函数进行求导，得到概率密度函数；函数进行求导，得到概率密度函数； （5 5）设定一个误差上限，利用率失真函数理论，将（设定一个误差上限，利用率失真函数理论，将（3 3）中）中 得到的系数进行离散化（一个有效的方法是得到的系数进行离散化（一个有效的方法是 LloydLloyd 算法，算法， 这个过程也称为最优量化）这个过程也称为最优量化） ； （6 6）在（在（5 5）的基础上，再利用实验）的基础上，再利用实验 1 1 与实验与实验 2 2 的方法，将的方法，将 量化后的变换系数以二进制的形式存储起来。量化后的变换系数以二进制的形式存储起来。 （至此，（至此， 你完成了一个简单的音频压缩软件）你完成了一个简单的音频压缩软件） （7 7）别忘了为你前面的工作设计相应的逆过程哦。别忘了为你前面的工作设计相应的逆过程哦。 4、信道容量的迭代算法 背景说明：任何一个信道都是一个物理存在。一旦选定，它的物理特性就给定了。它 的特性一般只能用转移概率矩阵来表示。为了实现信道的可靠通信，一般来说要在信源编 码的基础上加上特定的校验码元，以用于输出序列的纠正与判别。一般来说校验位越多其 传输结果越可靠，但设备的利用率降低。信道容量定理告诉我们，只要信道上的码元所携 带的信息量不超过信道容量，那么就存在信道编码方法使得几乎无差错地传输。其基本前 提是，对于一个给定的信道，工程师得决定它的信道容量。 请你设计一个小程序迭代地计算一个任意信道的容量（算法见教请你设计一个小程序迭代地计算一个任意信道的容量（算法见教 材相应章节）材相应章节） ，误差设定为亿分之一。，误差设定为亿分之一。 5、请设计一个小程序用于模拟一个差错概率为万分之一的对称二进制信道。并将这个信道 作用于实验 3 得到的二进制序列上，验证：信源编码的结果若在一个差错概率不为零的信 道上传输，其差错结果都是不可忽略的。 信息论与编码课程实验报告 组别：不同组之间不重复就行 小组成员：（学号 姓名） 组长