第一章：概论.ppt

信息论基础 课程概况 目的 了解学习信息论的作用 方法与意义 对信息论的研究方法和成果有广泛的基本认识 学会应用 为进一步研究打下基础特点 以信息理论为中心 区别与 信源编码 信道编码 以概念和物理意义为主 数学推导尽量放到课外结合通信系统实际应用 参考书目 付祖云 朱雪龙 应用信息论基础 清华大学出版社吴伟陵 信息处理与编码 人民邮电出版社王育民等 信息与编码理论 西电出版社周炯槃 信息理论基础 人民邮电出版社McElice TheTheoryofInformation CodingProakis DigitalCommunicationViterbi PrincipleofDigitalcommunication Coding 其它有关事项 讲课 概念 方法 自学 数学推导 定理证明 考试 基本概念 基本计算 联系方式 Email wintermeizi Phone 0597 2800591 欢迎提出各种问题 意见和建议 是否学过信息论 信源 信道编码或密码学等 程度如何 希望重点讲什么 希望哪些可以简略 希望增加哪些内容 对授课方式有什么意见和建议 第一章 概述 信息 信息科学与信息论信息论研究的对象 目的和内容信息论发展简史与现状信息论的形成与发展信息论方法的应用及其取得的成果 1 1信息理论的基本内容 Inform information 某人被通知或告知的内容 情报 消息 牛津英文字典广义的信息 信息的形式 内容 最广泛意义技术术语的信息 表达信息所用的形式或载体 具体但无确切定义统计信息 信息表达形式中统计方面的性质 明确定义的科学名词 与内容无关 独立于形式 什么是信息 信息 信息科学与信息论 信息 信息科学与信息论 IT 计算机所涉及的各种各样的技术 优点 笼统 不明确适应 种类繁多 不断发展统一的 全面的 高层次的 什么是信息技术 信息 信息科学与信息论 出现于图书馆学 研究图书文献的检索计算机出现后 新的含义不同国家 含义不尽相同发展和长远的观点 能与信息技术相对应的基础科学 什么是信息科学 信息 信息科学与信息论 信息论 统计信息理论四十年代末期C E Shannon 克劳德香农 以客观概率信息为研究对象 从通信的信息传输问题中总结和开拓出来的理论 统计信息理论局限性 不能解决一些问题如 人工智能中启发式搜索和学习发展的观点 信息科学所不可缺少的理论基石 什么是信息理论 信息 信息科学与信息论 在通信中对信息的表达分为三个层次 信号 消息 信息 信号 信源 是信息的物理表达层 是三个层次中最具体的层次 它是一个物理量 是一个载荷信息的实体 可测量 可描述 可显示 信源分类 自然信源 社会信源 知识信源消息 或称为符号 是信息的数学表达层 它虽不是一个物理量 但是可以定量地加以描述 它是具体物理信号的进一步数学抽象 可将具体物理信号抽象为两大类型 1 离散 数字 消息 是一组未知量 可用随机序列来描述 U U1 Ul UL 2 连续 模拟 消息 也是未知量 它可用随机过程来描述 U t 信息 它是更高层次哲学上的抽象 是信号与消息的更高表达层次 三个层次中 信号最具体 信息最抽象 它们三者之间的关系是哲学上的内涵与外延的关系 通信中的信息含义 信息 信息科学与信息论 关系 信息 可以认为是具体的物理信号 数学描述的消息的内涵 即信号具体载荷的内容 消息描述的含义 信号 则是抽象信息在物理层表达的外延 消息 则是抽象信息在数学层表达的外延 同一信息 可以采用不同的信号形式 比如文字 语言 图象等 来载荷 同一信息 也可以采用不同的数学表达形式 比如离散或连续 来定量描述 同一信号形式 比如 0 与 1 可以表达不同形式的信息 比如无与有 断与通 低与高 电平 等等 通信中的信息含义 信息论研究的对象 目的和内容 信息论的研究范畴 信息论研究的对象 目的和内容 统计信息论对象 信息传输系统 统一的通信系统模型 信息论研究的对象 目的和内容 统计信息论 Shannon信息论 本课程的主要内容 主要研究通信系统的数学描述与定量分析 研究系统的最优状态与优化理论 即研究通信系统理论上的潜在能力与数学上的极限情况 它是以存在性研究为主体 又称它为数学信息论 研究内容 1 信源的描述 信息的定量度量 分析与计算 2 信道的描述 信道传输的定量度量 分析与计算 3 信源 信道与通信系统之间的统计匹配 以及通信系统的优化 Shannon的三个编码定理 信息论诞生五十年来 至今 仍然是指导通信技术发展的理论基础 是创新新通信体制的源泉 信息论研究的对象 目的和内容 系统优化的实质就是要研究系统在不同优化指标下 两类参量 主 客观 之间的统计匹配与匹配的条件 优化的目标 系统传输最有效 对无失真信源 对限失真信源系统传输最可靠 系统传输最安全 有以上三个指标 四个方面所讨论的系统优化就构成了最著名的C E Shannon三个编码定理与一个密码学基本定理 信息论研究的对象 目的和内容 工程信息论以工程为背景 主要研究通信系统中各部分的最佳工作规律 与最佳设计原则 它以构造性为主体 以工程上技术问题为主 研究内容主要包括 信源编 译码理论及其设计构造方法 信道编 译码理论及其设计构造方法 最佳调制与解调理论与实现 最佳检测 估值与最佳接收理论与实现 检测 估值 滤波理论最佳信息处理理论 方法与算法 均衡 模式识别 人工智能 随机控制 信息论研究的对象 目的和内容 目的找到信息传输过程的共同规律提高信息传输的可靠性 有效性 安全性可靠性 信源发出 信道 准确 不失真地再现于信宿有效性 尽可能短的时间 尽可能少的资源实现传送安全性 隐蔽 保护传送到消息达到信息传输系统最优化 1 2信息论发展简史 通信技术的理论基础 交通 物资运输 电网 能量 电力 运输 通信 信息的表现形式 通信 关心 简单 基础的广义信息 信宿不能准确再现信源时 信息论发展简史与现状 信息论的形成与发展 信息论发展简史与现状 信息论的形成与发展 1948年以前Telegraph Morse 1830 s Telephone Bell 1876 WirelessTelegraph Marconi 1887 AMRadio early1900 s Single SidebandModulation Carson 1922 Television 1925 1927 Teletype 1931 FrequencyModulation Armstrong 1936 Pulse CodeModulation PCM Reeves 1937 1939 Vocoder Dudley 1939 SpreadSpectrum 1940 s 通信技术的发展提出新的问题 远距离传输 提高信道利用率等 信息论发展简史与现状 信息论的形成与发展 Claude E Shannon的两篇论文 Shannon信息论1948年 信息时代的里程碑 AMathematicalTheoryinCommunication 通信的数学理论 Shannon第一 二定理1959年 Codingtheoremsforadiscretesourcewithafidelitycriterion 保失真度准则下的有失真信源编码定理 Shannon第三定理 信息论发展简史与现状 信息论的形成与发展 1948年以后 调制解调DigitalModulation BPSK QPSK QAM FH DS FDMA TDMA CDMA空间时间自适应处理 智能天线技术多用户检测 干扰抑制技术多载波和OFDM 信息论发展简史与现状 信息论的形成与发展 1948年以后 信源编码Huffman FanoCode 1950 波形编码 PCM DM DPCM 语音参量编码 图象编码 DCT 帧间预测插值 运动补偿数据压缩编码语音编码标准图象编码标准 信息论发展简史与现状 信息论的形成与发展 1948年以后 信道编码HammingCode CyclicCode 1950 ConvolutionCode Fano Viterbi 1950 BCHCode ReedSolumnCode 1959 级连码 内码 RS码 外码 卷级码 TrelliscodedModulation 1976 1982 TurboCode 1993 10 5 0 5dB LDPC Gallager 1963 10 6 0 04dB 信息论发展简史与现状 信息论的形成与发展 统计数学的一个分支Fiser信息量 Shannon熵 率失真理论 熵 阶熵 次熵 熵等信号与信息处理的一般理论基础密码学 最大熵谱估计 最大熵准则等 1 3控制论 信息论与系统论 老三论 系统论 控制论和信息论是本世纪四十年代后提出又称SCI论 新三论 耗散结构论 协同论 突变论是本世纪七十年代后创立 也称为DSC论 1 控制论 控制论是著名美国数学家维纳 WienerN 创始的 重要特点 1 摆脱了牛顿经典力学和拉普拉斯机械决定论的束缚 而是建立在统计理论基础上2 抛开对象的物质和能量的形态观 着重一信息观点来研究系统3 抛开 一时一地 固定的观点 而着重于所有行为方式缓和状态 重视变化的趋势 4 把系统观点 信息观点和反馈观点结合起来 形成一门新的科学技术 2 系统论 系统论的创始人是美籍奥地利生物学家贝塔朗菲 系统论要求把事物当作一个整体或系统来研究 并用数学模型去描述和确定系统的结构和行为 整体功能 各部分功能的总和系统论的三大基本特征目的性动态性有序性 系统工程 系统工程 系统工程是以系统论的观点来解决系统的分析与设计的问题 系统论 控制论和信息论的共同点 1 综合的整体的观点 从个别的分析到综合的研究 2 从机械的静止观点到动态的观点和方法 3 从物质能两者的交换发展到物质能量信息三者的交换 4 信息反应了系统的重要特征 反映了系统的组织化 复杂化 系统越复杂 信息