信息论与编码第一章绪论.pptVIP

信息论与编码 主 讲： 许鸿奎 副教授/博士 山东建筑大学 信息与电气工程学院 电话Email: 2012年2月 教材及参考书 教材：曹雪虹、张宗橙，信息论与编码，清华大学出版社 参考书：1. 傅祖芸，信息论基础理论与应用，电子工业出版社 2. 方军、俞槐栓，信息论与编码，电子工业出版社 3. 吴伯修、祝宗泰、钱霖君，信息论与编码，东南大学出版 社 4. 姜丹，信息论与编码，中国科学技术大学出版社 。 前修课程 1、概率论与数理统计，概率的计算 2、线性代数，矩阵及其运算，线性空间的概念 后续课程 1、语音信号处理 2、数字图像处理 通信工程和电子信息工程专业的专业基础课 考核方法： 1、平时成绩： 20% （包括考勤、作业、测验） 2、期末考试： 80% 第一章 绪论 主要内容： 信息论的形成和发展 通信系统的模型 信息论是关于信息的本质和传输规律的科学理 论，是研究信息的度量、发送、传递、交换、接收和 储存的一门新兴学科。它为各种具体的信息技术提供 理论依据，而信息技术则以此为根据去研究如何实现 、怎样实现的问题。 信息论的定义： 举例说明： 电话通信中的PCM编码是一种具体的信息技术。 语音信号以8KHz的速率抽样后，进行对数量化，然后 进行8位二进制编码，变换成数字信号。这个过程叫做 PCM(脉冲编码调制)。其理论基础就是信息论。 又如：图像压缩 哪些图像文件格式？ 它们的大小？ 哪些压缩工具？ 为什么能压缩？如何压缩？ 理论依据 为信息论 信息的定义，不下百种，其中30多种比较典型、 有代表性。它们从不同的角度对信息进行定义。可以 归纳如下： 1、用人们熟知的与信息有某种联系的概念来定义信 息 如：信息是消息；信息是数据。 这种定义比较表面化，未反映信息的本质。 消息可能含有信息，也可能不含任何信息，消 息不是信息本身。（举例） 一、信息的基本概念 数据也是记录信息的一种形式，如： 工资报表。但 数据并不是信息的唯一形式，信息还可以表现为文 字、图像等。 2、用某些学科的专门术语和名词来定义信息 如：信息是信号；信息是一种场。 3、从控制论的角度来定义信息 信息是控制的指令，是与控制系统相联系的一种功能 现象。 4、从随机不确定性的角度 来定义信息 信息是指各个事物运动的状态及状态变化的形式。 信息是事物运动状态或存在方式的不确定性的描述 。 （香农-信息论的奠基人） （举例：天气预报） 5、从广义或哲学的角度来定义信息 信息是事物之间的差异； 信息就是信息，既不是物质，也不是能量。（维 纳-控制论的奠基人） 第一次将信息上升到“最基本概念”。 20世纪20年代奈奎斯特（Nyquist，H.瑞典美国）和哈特 莱（Hartley，LVR美国）最早提出了信息的定义 1924年奈奎斯特解释了信号带宽和信息速率之间的关系 1928哈特莱最早研究了通信系统传输信息的能力，给出了 信息度量方法 1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使 抗干扰能力加强 19411944年香农用概率论的方法研究通信系统（通信中的 数学理论），揭示了通信系统传递的对象就是信息，并对信 息给以科学的定量描述，提出了信息熵的概念。指出通信系 统的中心问题是在噪声下如何有效而可靠地传送信息以及实 现这一目标的主要方法是编码等。香农因此成为信息论的奠 基人。 二、信息论的形成与发展 50年代信息论在学术界引起了巨大的反响 60年代信道编码技术有较大进展，使它成为信息论的 又一重要分支；信源编码的研究落后于信道编码。香农 1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信 息率失真理论，它是数据压缩的数学基础，为各种信源 编码的研究奠定了基础 到70年代，有关信息论的研究，从点与点间的单用 户通信推广到多用户系统的研究。1972年盖弗（Caer ）发表了有关广播信道的研究，以后陆续有关于多接 入信道和广播信道模型的研究，但由于这些问题比较 难，到目前为止，多用户信息论研究得不多，还有许 多尚待解决的课题。 理论上还有突破吗？ 内奎斯特（香农）抽样定理 信息是指各个事物运动的状态及状态变化的方式。人们 从来自对周围世界的观察得到的数据中获得信息。信息 是抽象的意识或知识。 消息是指包含有信息的语言、文字和图像等，例如我们 每天从广播节目、报纸和电视节目中获得各种新闻及其 它消息。消息是具体的，它承载信息，但它不是物理性 的。在通信中，消息是表示信息的符号或符号序列。 信号是消息的物理体现，是信息的载体。为了在信道上 传输消息，就必须把消息加载（调制）到具有某种物理 特征的信号上去。信号是物理性的，如电信号、光信号 等。 三、信息、消息和信号之间的关系 信息论主要应用方向之一是通信领域。 信 源 信源 编码 u 加密 密钥 信道 编码 信道 干扰源 窃听者 信道 解码 解密 解密 密钥 信宿 信源 解码 加密 xyz Z yxv k k 四、信息论的研究对象(通信系统的模型 ) 传输的本质内容：信息 发送端：将信息表示成具体的消息（符号或符号序列），再将 消息载至信号上。 信道：传送信号（信息） 接收端：信号-消息-信息 1. 信源 信源是向通信系统提供消息（u）的人和机器 信源输出的是以符号形式出现的具体消息，它载荷信 息。 信源输出的消息可归纳为两类 离散消息，例如由字母、文字、数字等符号组 成的单个符号或者符号序列； -离散信源 连续消息，例如话音、图像等。-连续信源 信源的核心问题 它包含的信息到底有多少，怎样将信息定量地 表示出来，即信息的度量。 2、编码器（信源编码器、加密编码器、信道编码器） 编码器的作用：把消息变成适合信道传输的信号。 信源编码器 对信源输出的消息（符号）进行变换和处理， 提高信息传输效率。 变换成 信号 如：压 缩处理 信道编码器 对信源编码器的输出进行检错和纠错处理（接 收端的译码器能够检错和纠错），提高信息传 输的可靠性。 分为：无失真信源编码器适用于离散信源 限失真信源编码器适用于离散信源 和连续信源 加密编码 将明文变成密文，隐藏消息中的信息内容。一 般是用加密密钥对信号处理，只有用相应的解 密密钥才能进行解密，可防止窃听。 广义上的编码，还包括：换能、调制、发射、数字化、 时分复用等等。不是本课程的内容。 3、信道 传递信息的通道，通常指传送信号的传输介质。 信道的问题主要是它能够传送多少信息的问题，即信 道容量的大小 4、干扰源 是整个通信系统中各个干扰的集中反映，用以表示 消息在信道中传输时遭受干扰的情况。 对于任何通信系统而言，干扰的性质、大小是影响 系统性能的重要因素。 5、其它部分 信宿 消息传送的对象；受信者。对应于发送端的信源 信宿需要研究的问题是能收到或提取多少信息 译码器 与发送端的编码器对应（反变换) 解 密-加 密* 信道译码-信道编码 信源译码-信源编码 小结： 通信系统由信源、编码器、信道、译码器、 信宿和干扰源构成。本课程以“信息”为主线，对各个 部分展开研究和讨论。主要内容如下： 第2章主要介绍信源及信息度量，包括自信息量、条 件自信息量、互信息量、条件互信息量、平均信息量 （熵) 、熵的性质;连续信源熵、随机序列的熵和最大熵 定理等，并解释了冗余度的概念和产生的原因。 第3章主要介绍信道及信道容量。包括信道的基本概念、分 类、信道的表示参数（数学模型）。介绍离散单符号信道 （包括无干扰信道、对称DMC信道、准对称DMC信道和一般 DMC信道） 、离散序列信道、连续信道（包括连续单符号 加性信道、多维无记忆加性连续信道、限时限频限功率加 性高斯白噪声信道），它们的信道容量的计算。 第4章主要介绍了失真函数和信息率失真函数R(