信息论与编码绪论.ppt

是一门应用概率论 随机过程 数理统计和近世代数的方法 来研究广义的信息传输 提取和处理系统中一般规律的科学 它的主要目的是提高信息系统的有效性和可靠性 最优化 其主要内容 或分支 包括 香农理论 编码理论 维纳理论 检测和估计理论 信号设计与估计理论 调制理论和随机噪声理论 信息论与编码 目的 了解学习信息论的作用 方法与意义 对信息论的研究方法和成果有广泛的基本认识 学会应用 为进一步研究打下基础 课程概况 以信息理论为中心 区别与 信源编码 信道编码 以概念和物理意义为主 数学推导尽量放到课外结合通信系统实际应用 特点 课程内容 信息论的基本问题 信息的度量无失真信源编码定理 香农第一定理信道编码定理 香农第二定理限失真信源编码定理 香农第三定理信源编码信道编码 教学目标 充分理解 熟练掌握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描述通过学习和习题练习 具备一定的解决问题分析问题的能力掌握一定的科学思想方法 用信息论的思想和观点 和怎样描述 学信息论意义 信息论基础是通信和信息领域的专业基础课程 只有学好这门课 才能学好后继课程 将来进一步从事通信和信息领域的科研和创新 要珍惜这个良好的学习机会 认真学习 逐渐培养科研能力 树立完善的人格基础 为将来的进一步学习和科研奠定坚实的基础 有关事项 讲课 概念 方法 实际应用 自学 数学推导 定理证明 考试 基本概念 基本计算 实际应用平时成绩 上课情况 作业成绩 考试成绩 平时成绩 实践成绩 参考书 1 信息论 基础理论与应用 傅祖芸编 电子工业出版社 20012 信息论与编码 陈运编著 电子工业出版社 20023 信息理论与编码 吕锋等编著 人民邮电出版社 2004 第一章绪论 1 1信息1 2通信系统1 3信息论的形成和发展 1 1信息 信息是指各个事物运动的状态及状态变化的方式 人们从来自对周围世界的观察得到的数据中获得信息 信息是抽象的意识或知识 它是看不见 摸不到的 人脑的思维活动产生的一种想法 当它仍储存在脑子中的时候它就是一种信息 信息不是静止的 它会产生也会消亡 人们需要获取它 并完成它的传输 交换 处理 检测 识别 存储 显示等功能 研究这方面的科学就是信息科学 信息论是信息科学的主要理论基础之一 它研究信息的基本理论 主要研究可能性和存在性问题 为具体实现提供理论基础 信息技术主要研究如何实现 怎样实现的问题 概率信息 1948年 美国一位数学家克劳特 香农 C E Shannon 发表了一篇著名的论文 通信的数学理论 差不多与此同时 美国另一位数学家诺伯特 维纳也发表了题为 时间序列的内插 外推和平滑化 的论文以及题为 控制论 的专著 在这些著作中 他们分别解决了按 通信的消息 来理解的信息 狭义信息 的度量问题 并得到了相同的结果 香农的论文还给出了信息传输问题的一系列重要结果 建立了比较完整而系统的信息理论 这就是香农信息论 也叫狭义信息论 简称 信息论 对通信过程作进一步分析就可发现 人们要进行通信 不外有两种情形 一是自己有某种形式的信息要告诉对方 同时估计对方既会对这种信息感到兴趣 而又尚不知道这个信息 也就是说 对方在关于这个信息的知识上存在着不确定性 另一种情况是 自己有某种疑问要向对方询问 而且估计对方能够解答自己的疑问 接收者收到某一消息后所获得的信息 可以用接收者在通信前后 不确定性 的消除量来度量 简而言之 接收者所得到的信息量 在数量上等于通信前后 不确定性 的消除量 或减少量 不确定性是与 多种结果的可能性 相联系的 而在数学上 这些 可能性 正是以概率来度量的 概率大 即 可能性 大 概率小 可能性 小 显然 可能性 大 即意味 不确定性 小 可能性 小 即意味 不确定性 大 由此可见 不确定性 与概率的大小存在着一定的联系 不确定性 应该是概率的某一函数 那么 不确定性 的消除量 减少量 也就是狭义信息量 也一定可由概率的某一函数表示 狭义信息论 在信息可以度量的基础上 对如何有效 可靠地传递信息进行研究 涉及信息度量 信息特性 信息传输速率 信道容量 干扰对信息传输的影响等方面的知识 又称为香农信息论 广义信息论 包含通信的全部统计特性问题的研究 除了香农信息论之外 还包括信号设计 噪声理论 信号的检测与估值等 本书讲述的信息理论的内容为狭义信息论 信息的基本概念在于它的不确定性 其特征如下 接收者在收到信息之前 对其内容是未知的是新知识 新内容 信息是能使认识主体对某一事物的未知性和不确定性减少的有用知识 信息可以产生 也可以消失 同时它可以被携带 被存储及处理 信息是可以度量的 信息量有多少的差别 例 气象预报甲乙 甲地晴 比 乙地晴 的不确定性来的小某一事物状态出现的概率越小 其不确定性越大 某一事物状态出现的概率接近于1 即预料中肯定会出现的事件 那它的不确定性就接近于零 信息 它依附于物质和能量 但又不同于物质和能量 没有信息就不能更好地利用物质和能量 人类利用信息和知识改造物质 创造新物质 提高能量利用效率 发现新能量形式 信息也是客观存在的 它是人类认识 改造客观世界的主要动力 是人类认识客观世界的更高层次 就狭义而言 在通信中对信息的表达分为三个层次 信号 消息 信息 信息 消息 信号 信息是指各个事物运动的状态及状态的变化的方式 抽象的 非物理的 是哲学层表达 消息是具体的 非物理的 可描述为语言文字 符号 数据 图片 能够被感觉到 同时它也是信息的载荷体 是信息论中主要描述形式信息的数学层表达信号是消息的物理体现 信号最具体 它是一物理量 可测量 可显示 可描述 同时它又是载荷信息的实体信息的物理层表达 消息是信息的数学载体 信号是信息的物理载体信号 具体的 物理的消息 具体的 非物理的信息 非具体的 非物理的 信息是具体信号与消息的内涵 是信号载荷的内容 是消息描述的对象 反过来 信号则是信息在物理表达上的外延 消息则是信息在数学表达上的外延 同一信息 可以采用不同形式的物理量来载荷 也可以采用不同的数学描述方式 同样 同一类型信号或消息也可以代表不同内容的信息 1 2通信系统模型 信源 信宿和信道 信源 发送消息的源离散信源模拟信源信源是信息论的主要研究对象之一 但在信息论中并不探讨信源的内结构和物理机理 而把注意力放在信源的输出上 重点讨论信源输出的描述方法及性质 信宿 信息归宿之意 亦即收信者或用户 是信息传送的终点或目的地 信道 传输信息的物理媒介 信源编码器与译码器 信源编码器的作用是把信源发出的消息变换成由二进制码元 或多进制码元 组成的代码组 这种代码组就是基带信号 同时通过信源编码可以压缩信源的冗余度 以提高通信系统传输消息的效率 信源编码器分为两类一类是无失真信源编码 适用于离散信源或数字信号 另一类是限失真信源编码 用于连续信源或模拟信号 如语音 图像等信号的数字处理 信源编码器与译码器 信源编码器的主要指标是它的编码效率 即理论上能达到的码率与实际达到的码率之比 一般来说 效率越高 编译码器的代价也将越大 信源译码器的作用是把信道译码器输出的代码组变换成信宿所需要的消息形式 它的作用相当于信源编码器的逆过程 信道编码器与译码器 信道编码主要作用是提高信息传送的可靠性 信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元 使之具有检错或纠错的能力信道编码的主要方法增大码率或频带 即增大所需的信道容量 这恰与信源编码相反 信道译码器的作用具有检错或纠错的功能 它能将落在其检错或纠错范围内的错传码元检出或纠正 以提高传输消息的可靠性 1 3信息论的形成与发展 从历史上看 由两部分人共同努力完成 通信工程 统计学 通信技术的理论基础人们关心的是信息能在接受端精确再现发送端 正因为此 人们苦苦追求一种理论 即信息论 19世纪面临的主要问题是如何获得信息的电气表现形式 以及如何将它们进行远距离的传输 19世纪30年代发明了电报 1876年发明了电话 Bell 获得电信号形式 1904年发明了二三级管 是远距离传输成为可能 20世纪电信技术飞速发展 如何提高信道利用率问题 20世纪30年代前 研究发送信号无失真地送到接受端30 40年代后期 香农提出了信息论的一系列概念 除通用编码外 是信息论的创始人 50年代 通信界 主要精力转向信源编码和信道编码 如Huffman 算术 通用编码 形成各种标准 如 H 261 JPEG MPEG 香农提出的理论缺陷是不能构造好的编码提出指导 统计学的一个分歧 略 信号与信息处理的一般理论基础 信息论的主要研究成果 语音信号压缩长途电话网标准1972年CCITTG 711标准中的64kbit s 1995年CCITTG 723 1标准中的6 3kbit s 移动通信中1989年GSM标准中语音编码速率为13 2kbit s1994年在为半码速GSM研究的VSELP编码算法中 码速率为5 6kbit s军用通信美国NSA标准的速率在1975年已达2 4kbit s目前在实验室中已实现600bit s的低速率语音编码 特别是按音素识别与合成原理构造的声码器其速率可低于100bit s 已接近信息论指出的极限 信息论的主要研究成果 图像信号压缩图像信号的信息量特别巨大 这对图像信号的传输及存储都带来极大的不便 1989年CCITT提出电视电话 会议电视的压缩标准H 261 其压缩比达到25 1到48 1左右1991年CCITT与ISO联合提出的 多灰度静止图像压缩编码 标准JPEG 其压缩比为24 1在运动图像方面 运动图像专家组继成功定义了MPEG 1和MPEG 2之后 于1993年7月开始制订全新的MPEG 4标准 随着MPEG 4标准的不断扩展 它不但能支持码率低于64kbit s的多媒体通信 也能支持广播级的视频 信息论的主要研究成果 降低信息传输所需的功率在远距离无线通信 特别是深空通信中如何降低信息传输所需的功率至关重要 因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题 正是在这个领域信息论获得了它第一批令人信服的成果 60年代后期起 NASA发射的所有深空探测器无一例外地在其通信设备中