信息论与编码基础教程第一章

张丽英制作 目录 第1章绪论第2章信源及信源熵第3章信息率失真函数第4章信源编码第5章信道及信道容量第6章信道编码第7章 密码技术 目录 第1章绪论 1 1信息论发展简史1 2信息论研究的目的和本门课主要学习的内容1 3信息论的概念及常用术语1 4通信系统的模型 第1章绪论 1 1信息论发展简史我国古代 烽火告警 是一种最早的快速 远距离传递信息的方式 造纸术和印刷术的发明 使信息的表示和存储方式产生了一次重大的变化 电报 电话 电视的发明 再次引导了信息加工和传输的革命 1 1信息论发展简史 20世纪后半叶 计算机技术 微电子技术 传感技术 激光技术 卫星通信技术 移动通信技术 航空航天技术 广播电视技术 多媒体技术 网络技术 新能源和新材料等新技术的应用 将人类社会推入到高度信息化的时代 1 1信息论发展简史 一位美国科学家在诗中这样描述 没有物质的世界是虚无的世界 没有能源的世界是死寂的世界 没有信息的世界是混乱的世界 可见信息的重要性 1 1信息论发展简史 这一成果于1948年以 通信的数学理论 AMathematicalTheoryofCommunication 为论文题目公开发表 这是一篇信息论开创性的权威论文 为信息论理论建立了基础 1 1信息论发展简史 1951年 美国无线电工程师协会 InstituteofRadioEngineers IRE 成立了信息论组 1955年正式出版了信息论汇刊 香农等科学家在其发表了许多重要文章 1948年香农在论文中提出了无失真信源编码定理 给出了简单的编码方法 香农码 1952年费诺 Fano R M 和哈夫曼 Huffman D A 分别提出了各自的编码方法 并证明其方法都是最佳编码法 信息论的发展 1 1信息论发展简史 1959年 香农在发表的 保真度准则下离散信源编码定理 CodingTheoremsforaDiscreteSourcewithaFidelityCriterion 一文中 系统地提出了信息率失真理论和限失真信源编码定理 这两个理论是数据压缩的数学基础 为各种信源编码的研究奠定了基础 1 1信息论发展简史 20世纪60年代 信道编码技术有了较大发展 成为信息论的又一重要分支 它把代数方法引入到纠错码的研究中 使分组码技术达到了高峰 找到了可纠正多个错误的码 提出了可实现的译码方法 同时卷积码和概率译码也有了重大突破 1 1信息论发展简史 1961年 香农的 双路通信信道 Two wayCommunicationChannels 论文开拓了多用户信息理论的研究 到20世纪70年代 有关信息论的研究 从点与点间的单用户通信推广发展到多用户系统的研究 1972年 TCover发表了有关广播信道的研究 以后陆续进行了有关多接入信道和广播信道模型和信道容量的研究 1 1信息论发展简史 近30多年来 这一领域的研究十分活跃 大量的论文被发表 使多用户信息论的理论日趋完整 近几年 随着计算机技术和超大规模集成电路技术的发展 信道编码 如Turbo码 LDPC等编解码取得了重大突破 Turbo码 LDPC采用长码 交织技术 迭代解码技术进行编解码 从而提高了编码效率和纠错能力 1 1信息论发展简史 目前 信息论不仅在通信 广播 电视 雷达 导航 计算机 自动控制 电子对抗等电子学领域得到了直接应用 还广泛地渗透到医学 生物学 心理学 神经生理学等自然科学 甚至语言学 美学等领域 信息论已成为涉及范围极广的信息科学 1 1信息论发展简史 1 信息论研究的目的 高效 可靠 安全并且随心所欲地交换和利用各种各样的信息 1 2信息论研究的目的和内容 1 2信息论研究的目的和内容 2 本门课主要研究的内容 1 离散信息的度量与离散信源 2 连续信息的度量与连续信源 3 信息率失真函数 4 无失真信源编码 限失真信源编码 5 离散无记忆信道容量 6 加性白噪声 AWGN 信道容量 7 有噪信道编码定理 8 差错控制编码 9 密码技术 1 2信息论研究的目的和内容 1 3信息论的概念及常用术语 1 信息论的定义1 狭义信息论 又称为香农信息论 信息论是在信息可以度量的基础上有效地和可靠地传递信息的科学 它涉及信息的度量 信息的特性 信息传输速率 信道容量 干扰对信息传输的影响等方面的知识 1 3信息论的概念及常用术语 2 广义信息论 信息论包括通信的全部统计问题的研究 香农信息论 信号设计 噪声理论 信号检测与估值等 还包括如医学 生物学 心理学 遗传学 神经生理学 语言学甚至社会学和科学管理学中有关信息的问题 1 3信息论的概念及常用术语 2 信息 消息 信号及其区别1 信息香农定义 信息是事物运动状态或存在方式的不确定性的描述 信息的基本概念在于它的不确定性 任何确定的事物都不会有信息 1 3信息论的概念及常用术语 2 消息定义 用文字 符号 数据 语言 音符 图片 图像等能够被人们感觉器官所感知的形式 把客观物质运动和主观思维活动的状态表达出来就成为消息 消息包含信息 是信息的载体 但不是物理性的 1 3信息论的概念及常用术语 3 信号定义 把消息换成适合信道传输的物理量 如电信号 光信号 声信号 生物信号等 这种物理量称为信号 信号是信息的载体 是物理性的 1 3信息论的概念及常用术语 3 信息的可靠性 有效性 保密性 认证性 1 可靠性 使信源发出的消息经过信道传输以后 尽可能准确 不失真的再现在接收端 2 有效性 用尽可能短的时间和尽可能少的设备来传送一定数量的信息 1 3信息论的概念及常用术语 3 保密性 隐蔽和保护通信系统中传送的消息 使它只能被授权接收者接收 而不能被未授权接收者接收和理解 4 认证性 接收者能正确判断所接收的消息的正确性 验证消息的完整性 而不是伪造和篡改的 1 3信息论的概念及常用术语 1 信息是新知识 新内容 2 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识 3 信息可以产生 也可以消失 同时信息也可以被携带 储存及处理 4 信息可以度量 4 信息的特征 1 3信息论的概念及常用术语 1 按信息的性质分类 语法信息 语义信息和语用信息 2 按观察过程分类 实在信息 先验信息和实得信息 3 按信息的地位分类 客观信息 效果信息 环境信息 和主观信息 决策信息 指令 控制和目标信息 4 按信息的作用分类 有用信息 无用信息和干扰信息 5 信息的分类 1 3信息论的概念及常用术语 5 按信息的逻辑意义分类 真实信息 虚假信息和不定信息 6 按信息的传递方向分类 前馈信息和反馈信息 7 按信息的生成领域分类 宇宙信息 自然信息 思维信息和社会信息 8 按信息的信息源性质分类 语言信息 图像信息 数据信息 计算信息和文字信息 9 按信息的信号形成分类 连续信息 离散信息和半连续信息 1 3信息论的概念及常用术语 其它分类 按信息的应用部门 载体性质等分类 在众多的分类原则和方法中 最重要的就是按照信息性质分类 香农信息论主要讨论的是语法信息中的概率信息 1 3信息论的概念及常用术语 1 4通信系统的模型 1 4通信系统的模型 注意 1 图1 1给出的模型只适用于收发两端单向通信的情况 只有一个信源和一个信宿 信息传输也是单向的 更一般的情况是信宿和信源各有若干个 即信道有多个输入和多个输出 信息传输也可以是双向的 例如 广播通信是单输入多输出 卫星通信网是多输入多输出和多向传输的通信 2 研究这样一个概括性很强的通信系统的目的 就是要找到信息传输过程中的共同规律 以提高信息传输的可靠性 有效性 保密性和认证性 从而达到信息传输系统最优化 3 不是所有的通信系统都采用图1 1所示的那样全面的技术 例如 点对点的有线电话只需一对电话机和一条电话线路 铜线 即可 话音基带信号通过电话机变为相应的电信号 模拟信号 即在电话线上传送 接收端的电话机再把电信号恢复成人耳能听到的话音 如果是点对点的无线电话 需要在发送端加一台发射机 将模拟信号调制到射频上 再用大功率发射机经天线发射出去 经无线信道传输 接收端的收信机把收到的调制射频信号解调恢复为发送端的原始话音 如系统需保密则可在系统中增加加密和