信息科学技术通识-课件 第3章 三个理论

第3章三个理论引言信号论作为电子与通信领域的支柱理论，探究信息的传递和变换。信号论的核心思想在于理解和优化信息传递中的信号，使其在不同媒介和系统中得以有效传输信息论则深入挖掘了信息的本质和度量方式。由香农提出的信息熵理论成为信息论的核心，揭示了信息量与不确定性之间的紧密关系控制论则聚焦于系统的动态过程和稳定性。从生态系统到工业生产，从机器人到经济系统，控制论为各种复杂系统的建模、分析和优化提供了强大的工具目

录3.1信号论3.2信息论3.3控制论1、信号的概念与分类3.1信号论概念信息：人类社会和自然界中需要传送、交换、存储和提取的内容消息：表示信息的语言、文字、图像、数据等信号：为了传递和交换消息，需要依靠某种物理量作为载体。这些物理量称为信号，其变化中包含了所传递的信息3.1信号论分类来源：自然信号和人为信号传输方式：有线信号和无线信号时间函数特性：①确定性信号与随机信号②连续信号与离散信号

③模拟信号与数字信号④周期信号与非周期信号

⑤能量信号与功率信号1、信号的概念与分类2、信号的表示与变换3.1信号论表示：信号具有大小和方向，主要属性是能量和波形。如果用向量的长度表示信号的能量，用向量的方向表示信号的波形，则可以用向量来表示信号正交向量基：设正交函数集

,

为任意信号，则一定存在一组系数满足

。该正交函数集就是正交向量基信号采样：信号可以视为一个列向量,其中的每个元素表示信号在对应时间点上的采样值，即,其中是信号的长度3.1信号论变换傅里叶变换：是信号处理的基石

对于一个实信号，将其转换为解析信号，此时解析信号的傅里叶变换满足

以上即为单边频谱的复信号表示。这种处理方式能够简化信号分析和处理，特别是在带宽受限的系统中具有实际意义，具体优点如下：

①消除负频率成分②消除频率交叉问题③提高带宽利用率2、信号的表示与变换3.1信号论拉氏变换：

通过拉普拉斯变换，信号

可以被表示为在复平面上的一个复数函数

。这可以看作是一个复数域上的向量表示，其中复平面的实部和虚部表示不同的信号特性。拉普拉斯变换的基元是指数函数，其中

是复数，这些指数函数构成了拉普拉斯域的基础，用于表示信号在复平面上的频域特性。2、信号的表示与变换3.1信号论小波变换：

：小波基函数：尺度参数：平移参数

通过小波变换，信号

可以表示为小波系数的向量。小波系数对应于不同尺度和频率的小波基函数在信号中的权重。小波变换使用小波基函数作为基元，其中基函数是通过缩放和平移得到的一组基。这些基函数具有局部性，使得小波变换可以在时域和频域上提供局部信息。2、信号的表示与变换3.1信号论沃尔夫变换：

沃尔夫变换的结果可以被看作是一个二维时频矩阵，其中矩阵的每一列对应于信号在不同时刻的瞬时频率分量。这可以被看作是一个向量表示，其中每列代表信号在时频域上的一种特性。沃尔夫变换的基元是信号自身的平移和调制。它通过计算信号在不同时间和频率上的自相关来获取时频表示。2、信号的表示与变换3.1信号论卷积

连续信号：

离散信号：

在连续情况下，叠加是对乘积求积分的过程；在离散情况下则是将两个序列相乘并求和。对于线性时不变的系统，输入可以分解成很多强度不同的冲激的和的形式（对于时域就是积分），输出是这些冲激分别作用到系统产生的响应的和（或者积分），即输入与系统冲激函数的卷积。2、信号的表示与变换3、信号的检测与估计3.1信号论检测理论假设检验：信号检测的核心方法，旨在通过观察数据来判断某个假设是否成立。

在信号检测的场景中，假设检验分为两个基本假设：①零假设

：信号不存在，观察到的只是噪声②备选假设

：信号存在，观测数据包含信号和噪声的混合

信号检测的任务是根据接收到的数据，决定是否接受或

。这个过程可以形象地看作是信号与噪声之间的区分，其中数据是从噪声中观测到的结果。3.1信号论检测理论奈曼-皮尔逊准则：在对数似然比检验中，如果已知信号和噪声的概率密度函数和，最佳的检测准则是比较似然比与阈值的值：当时，接受，否则接受

这个准则保证了在限定虚警概率的前提下，检测概率最大。通过调节阈值，可以在

和

之间做权衡，这形成了接收机操作特性曲线，表示不同检测器性能之间的折中。3、信号的检测与估计3.1信号论估计理论最小均方误差（MMSE）估计：

根据贝叶斯理论，最小均方误差估计的解析表达式为：即在给定观测数据

的条件下，的条件期望值就是MMSE估计。MMSE估计在复杂的噪声环境下具有良好的性能，因为它充分考虑了估计过程中信号和噪声的统计特性。3、信号的检测与估计3.1信号论最大似然估计（MLE）：这意味着MLE估计选择的参数值能够使得观测数据最有可能出现。

最大似然估计具有无偏性和渐进有效性。其中，无偏性是指当样本量足够大时，MLE估计的期望值等于真实参数值；渐近有效性是指MLE估计在大样本下具有最优的估计性能，能够达到克拉美-罗下界。3、信号的检测与估计3.1信号论贝叶斯公式与机器学习贝叶斯公式：常见的贝叶斯估计方法有两种：最大后验概率估计：选择使得后验概率最大的参数值贝叶斯平均估计：计算后验分布的期望值，即3、信号的检测与估计3.1信号论贝叶斯公式与机器学习机器学习：传统的神经网络通过调整权重和偏置来最小化损失函数，但这种方法通常是基于点估计的，即训练得到的参数只有一个确定的值。

贝叶斯神经网络通过引入贝叶斯推断来学习神经网络中的权重。换句话说，网络的每个权重都不再是一个固定值，而是一个随机变量，其有一个概率分布。这样，贝叶斯神经网络能够提供不确定性估计，即不仅知道某个预测的值，还能知道这个预测值的可靠性。3、信号的检测与估计3.1信号论克拉美-罗下界（CRLB）

克拉美-罗下界提供了一个评估估计器精度的理论下限。CRLB给出了任何无偏估计器在估计过程中所能达到的最小方差，帮助我们判断一个估计器是否已经接近最优。 CRLB由参数的Fisher信息矩阵给出，表示为：其中表示Fisher信息量，定义为：3、信号的检测与估计3.1信号论应用实例在雷达系统中，信号检测用于从噪声中检测目标的回波信号，从而判断目标物是否存在。相干检测能够在已知信号相位的情况下提供更高的检测精度，广泛应用于现代雷达系统中。而在相位信息不可用的情况下，非相干检测则是一种有效的替代方案在检测到目标存在后，雷达还需要估计目标的具体参数，如距离、速度和方位角。目标距离估计通常基于回波信号的到达时间，速度估计则依赖于多普勒效应。最大似然估计和MMSE估计常用于雷达系统中的目标参数估计3、信号的检测与估计目

录3.1信号论3.2信息论3.3控制论3.2信息论1、信息的定性理解概念概括信息是对客观世界中各种事物的运动状态和变化的反映，是客观事物之间相互联系和相互作用的表征，表现的是客观事物运动状态和变化的实质内容消除的是客观事物不确定性几点总结第一，信息都是有源作支撑的，这个源就是信源，信源是信息的载体，也可理解为消息，如文字、语音、图像、视频等都可以做信息的载体3.2信息论第二，信息就是对事物存在的状态和存在方式不确定性的描述，它的作用是消除事物的不确定性，获取信息，就是对信息源状态进行了采样，就意味着消除或部分消除了信息源的不确定性，信息就是认识主体对事物的不确定性减少或消除第三，信息是抽象的，看不见摸不着，它与采用的载体形式无关，也就是说，信息是隐含在消息之中的，无论采用何种消息都能描述信息。信息不同于消息，消息只是信息承载的“外壳”，信息则是消息的“内核”；信息也不同于信号，信号是消息的载体，当然也是信息的载体，信息是信号所载荷的内容；信息不同于数据，数据是记录包含信息和噪声的一种数字化形式，信息要通过基于知识的处理去掉噪声，才能提取出来1、信息的定性理解3.2信息论通信传输举例假设要传输的信源有8个样本，其出现是等概率的，即其样本空间表示为对应的样本信号编码分别为000到111，其发送的消息是信源传输，发送的信号是编码传输1、信息的定性理解3.2信息论信源输出的是消息，编码输出的是信号信息是隐含在信源和信号之中的1、信息的定性理解3.2信息论2、信息的定量描述信息的量化定义是从通信系统模型切入的，通信系统的模型可以用下图表示3.2信息论信源：信源是产生消息的源，消息可以是文字、语言、图像和视频等编码器：将信源产生的消息变换为“适应”信道传输信号的设备信道：将信号从发送端传送到接收端的媒介干扰源：传输过程中，在整个通信系统中各部分引入的干扰，干扰不仅仅作用于信道上，在信源、编码、译码等环节都会引入干扰信息量：总信息量：2、信息的定量描述3.2信息论3、香农信息论的三个定理香农第一定理三个关键词可变长编码：为不同概率事件分配不同长度的二进制编码，常出现的事件概率小，信息量大编码短一些，摩尔斯编码就是这种思路信源编码：对通信过程中的信源进行编码，其目的是压缩信源数据量，使得存贮和传输及计算效率更高无失真：经过编码压缩后的数据仍能保留应有完整的信息，不会出现失真3.2信息论两层逻辑第一层是定义了独立事件集的信息熵，即平均信息量，设信源符号有几种，这些符号抽象为

，对应每个符号出现的概率为，且各种符号出现彼此独立，则信源的平均不确定性就是每个符号不确定性的统计平均值，也称为信息熵，即第二层是无失真信源编码的平均码长只能做到无限接近信息熵值，不可能小于信息熵值3、香农信息论的三个定理3.2信息论香农第二定理

在有噪声的情况下，如何可靠地传输信息，其信道传输信息量的上限能力表达式为：

：信道带宽（）：信噪比（）：信道容量（）在通信工程中，处处有香农第二定律应用的身影，例如在移动通信工程中，很多工程实现方法都是利用香农第二定理，用下式加以描述：3、香农信息论的三个定理3.2信息论香农第三定理香农第三定律是保失真度准则下的有失真信源编码理论，也称有损信源编码定理。两个关键词：①信源编码②有失真第三定理指出了有失真（在允许的范围内）编码方向，即可以根据允许的失真度和信源特性，设计一种合适的编码方法，在保证一定传输效率的同时，控制失真度在一定范围内第三定理指导下的编码，实现了对语言、图像和视频的有损压缩，大大减轻了信道和存贮的压力3、香农信息论的三个定理3.2信息论香农信息论的逻辑关系图中的①、②、③分别代表香农第一、第二、第三定理3、香农信息论的三个定理目

录3.1信号论3.2信息论3.3控制论3.3控制论控制论由维纳于1948年提出，是一门研究人机交互的学科。控制论涵盖了反馈控制和信息理论的定量分析以及定性的分析工具。通过探索控制论的多方面应用，可以更深入地理解技术与人类社会的互动及其发展趋势。3.3控制论早期实例最早见诸记录的控制系统是古希腊人和阿拉伯人在公元前300年至公元1年间发明的浮球调节装置，例如用于水深调节的浮球系统。中国古代著名的控制系统包括都江堰水利工程、指南车。这些系统利用反馈机制维持稳定，展现了早期控制思想。1、控制论的发展史3.3控制论近代发展

Drebbel孵化箱温度控制系统。瓦特飞球调速器。最早应用于工业过程的控制器是飞球式调速器，是工业革命的重要控制装置。1、控制论的发展史3.3控制论19–20世纪中期麦克斯韦《OnGovernor》：首次系统研究反馈控制稳定性瓦特飞球调速器。PID控制器的提出与发展。广泛应用于船舶自动驾驶、电机控制、工业过程。1、控制论的发展史3.3控制论20世纪中期Bell实验室发展频域方法。Ziegler-Nichols调整法。动态系统仿真。Wiener《控制论》、钱学森《工程控制论》。1、控制论的发展史3.3控制论现代控制科学现代控制科学的发展主要受到两大因素的推动：一是美苏太空竞赛，二是数字计算机的出现。贝尔曼的动态规划、庞特里亚金的极大值原理和卡尔曼滤波被认为是现代控制理论的三个代表性工作。罗森布罗克——多变量频率域控制理论、泽德——模糊控制理论。1、控制论的发展史线性系统理论3.3控制论线性系统理论系统控制理论的基础，主要涉及系统分析与系统综合两大研究方向。其中系统分析的目标是理解系统的运动规律，而系统综合则聚焦于如何通过设计改变这些运动规律。线性系统理论形成了四个主要的研究分支，即状态空间法、几何理论、代数理论和多变量频域方法2、控制论的基本内容最优估计理论3.3控制论最优估计理论考虑的是如何进行最佳的估计。经典估计：最小二乘估计、极大似然估计。现代估计：Wiener滤波、卡尔曼滤波。非线性扩展：扩展卡尔曼滤波、粒子滤波2、控制论的基本内容系统辨识3.3控制论

基于输入-输出数据建立系统模型，构建一个与被辨识系统性质相等价的模型。系统辨识的三个基本元素：数据、模型以及检验模型近似程度的性