《多媒体信息与通信》课件第2章

第二章多媒体信息的处理任务2.1音频信号噪声检测及噪声去除任务2.2颜色空间模型及转换任务2.3车牌图像的预处理任务2.4雾霾图像的增强处理

任务2.1音频信号噪声检测及噪声去除

【学习目标】

（1）了解噪声的分类及产生方法。

（2）掌握音频信号中噪声的检测方法及其原理图。

（3）掌握MATLAB语言中音频数据与信息的读取、处理方法。

（4）掌握信号频谱的绘制。

（5）结合具体应用，掌握音频信号噪声去除的典型方法及其特点。

【任务分析】

（1）理解噪声产生的原理。

（2）分析并掌握噪声检测的系统框图、硬件结构设计及软件结构设计。

（3）绘制出原始音频信号一个声道的时域图和频谱图；绘制出加噪声后混合信号同一声道的时域图和频谱图；绘制出滤波后音频信号同一声道的时域图和频谱图。

（4）掌握音频信号噪声去除的方法，并了解每一种方法的工作原理及实现思路。

（5）能够画出每种去噪方法的实现流程图。2.1.1噪声的分类方式噪声的物理学概念是指无规律的不具周期性特征的声响，卫生学概念泛指干扰睡眠休息和交谈思考，给人以烦恼的感受，造成听觉危害的一切声响。因此可按噪声源的物理特性、时间特性以及频率成分分布等方式进行分类。2.1.2语音信号的时域与频域分析1.信号的特点（1）在频域内。语音信号的频谱分量主要集中在300～3400Hz的范围内。利用这个特点，可以用一个防混迭的带通滤波器将此范围内的语音信号频率分量取出，然后按一定的采样率对语音信号进行采样，就可以得到离散的语音信号。（2）在时域内。语音信号具有“短时性”的特点，即在总体上，语音信号的特征是随着时间的变化而变化的，但在一段较短的时间间隔内会保持平稳。语音信号在浊音段表现出周期信号的特征，在清音段表现出随机噪声的特征。2.语音信号的时域分析1）窗口的选择在5~50ms的范围内，语音频谱特性和一些物理特性参数基本保持不变。我们将每个短时的语音称为一个分析帧。一般帧长取10~30ms。采用一个长度有限的窗函数来截取语音信号形成分析帧，通常会采用矩形窗和汉明窗。在语音频谱分析时常使用汉明窗，在计算短时能量和平均幅度时通常使用矩形窗。2）短时能量由于语音信号的能量随时间变化，清音和浊音之间的能量差别相当显著。因此对语音的短时能量进行分析，可以描述语音的这种特征变化情况。定义短时能量为短时能量函数可用于区分清音段与浊音段，En值大对应于浊音段，En值小对应于清音段；还可用于区分浊音变为清音或清音变为浊音的时间；对高信噪比的语音信号，也可以用来区分有无语音。无信号时，En值很小，有语音信号时，能量显著增大。过零率可以反映信号的频谱特性。当离散时间信号相邻两个样点的正负号相异时，称之为“过零”，即此时信号的时间波形穿过了零电平的横轴。统计单位时间内样点值改变符号的次数就可以得到平均过零率。自相关函数用于衡量信号自身时间波形的相似性。清音和浊音的发声机理不同，因而在波形上也存在着较大的差异。浊音的时间波形呈现出一定的周期性，波形之间相似性较好；清音的时间波形呈现出随机噪声的特性，样点间的相似性较差。因此，一般用短时自相关函数来测定语音的相似特性。短时自相关函数定义为令m=n+m，并且ω(-m)=ω(m)，可得3）时域分析方法的应用（1）可用于基音频率的估计。首先可利用时域分析（短时能量、短时过零率、短时自相关）方法的某一个特征或某几个特征的结合，判定某一语音有效的清音和浊音段；其次，针对浊音段，可直接利用短时自相关函数估计基音频率，其方法是：先估算浊音段第一最大峰的位置，再利用抽样率计算基音频率。（2）可用于语音端点的检测与估计。可利用时域分析方法的某一个特征或某几个特征的结合，判定某一语音信号的端点，尤其在有噪声干扰时，如何准确检测语音信号的端点，在语音处理中是富有挑战性的一个课题。3.语音信号的频域分析1）短时傅里叶变换由于语音信号是短时平稳的随机信号，某一语音信号帧的短时傅里叶变换的定义为式中，令n-m=k′，则得到于是可以得到短时傅里叶变换有两个变量：n和ω，所以它既是时序n的离散函数，又是角频率ω的连续函数。与离散傅里叶变换逼近傅里叶变换一样，如令ω=2πk/N，则得离散的短时傅里叶变换如下：2）语谱图语谱图的水平方向是时间轴，垂直方向是频率轴，图上的灰度条纹代表各个时刻的语音短时谱。语谱图反映了语音信号的动态频率特性，在语音分析中具有重要的实用价值，被视为可视语言。语谱图的时间分辨率和频率分辨率是由窗函数的特性决定的。时间辨率高，可以看出时间波形的每个周期及共振峰随时间的变化，但频率分辨率低，不足以分辨由于激励所形成的细微结构，称为宽带语谱图；而窄带语谱图正好与之相反。宽带语谱图可以获得较高的时间分辨率，清晰地显示共振峰结构和语谱包络，反映频谱的快速时变过程；窄带语谱图可以清晰地显示谐波的结构，反映基频的时变过程，反映频谱的精细结构。两者相结合，可以提供与语音信号相关的特性。语谱图上因其不同的灰度，形成不同的纹路，称之为“声纹”。声纹因人而异，因此在司法安全等场合得到应用。3）复倒谱和倒谱复倒谱是x(n)的Z变换取对数后的逆Z变换，其表达式如下：倒谱c(n)定义为：对x(n)取Z变换后的幅度求对数，再取逆Z变换，即在时域上，语音产生模型实际上是一个激励信号与声道冲激响应的卷积。对于浊音，激励信号可以由周期脉冲序列表示；对于清音，激励信号可以由随机噪声序列表示。声道系统相当于参数缓慢变化的零极点线性滤波器。这样经过同态处理后，语音信号的复倒谱、激励信号的复倒谱、声道系统的复倒谱之间满足下面的关系：由于倒谱对应于复倒谱的偶部，因此倒谱与复倒谱具有同样的特点，由复倒谱很容易知道语音信号的倒谱，激励信号的倒谱以及声道系统的倒谱之间满足下面的关系：4）基因周期估计浊音信号的倒谱中存在峰值，它的出现位置等于该语音段的基音周期，而清音的倒谱中则不存在峰值。利用倒谱的这个特点，可以进行语音的清浊音判决，并且可以估计浊音的基音周期。首先计算语音的倒谱，然后在可能出现的基因周期附近寻找峰值。如果倒谱峰值超过了预先设置的门限，则输入语音判断为浊音，其峰值位置就是基因周期的估计值；反之，如果没有超出门限的峰值，则输入语音为清音。5）共振峰估计对倒谱进行滤波，取出低时间部分进行逆特征系统处理，可以得到一个平滑的对数谱函数，这个对数谱函数显示了输入语音段的共振峰结构，同时谱的峰值对应于共振峰频率。通过此对数谱进行峰值检测，从而可以估计出前几个共振峰的频率和强度。对于浊音的声道特性，可以采用前三个共振峰来描述；清音不具备共振峰特点。2.1.3噪声检测系统的设计根据对噪声检测系统的分析，确定噪声硬件系统主要可由传声器、功率放大电路、交直流转换电路、V/F变换电路、单片机和液晶显示系统构成。传声器俗称“麦克风”，是声电转换器件，在此硬件系统中占重要地位。其原理主要是：传感器的振动膜受到声波作用而振动，进而转换为电信号。此次设计使用咪头作为传声器，咪头主要利用膜片一面来感受声压，完成声音信号的采集并转换成信号。其他各电路或系统的设计详细介绍如下。进行功率放大以满足设计要求。1.功率放大电路的设计功率放大电路主要由LM386构成，其作用是对声音信号进行功率放大以满足设计要求。2.交直流转换电路的设计交直流转换电路主要由AD536A构成，其作用是完成电信号由交流到直流的转换。AD536A可直接计算任何复杂输入波形的均方值，并且测量误差大小。当输入电压为正时，CMIN输出高电平，RS触发器置位，输出驱动管导通，FOUT输出逻辑低电平。同时，当C16两端电压大于VCC的2/3时，定时比较器输出一高电平，使RS复位，输出驱动管截止，FOUT输出逻辑高电平。同时，C16放电，C10对电阻R8放电，当C10所放电压与输入电压相等时，CMIN输出高电平。如此就构成了电压频率转换电路。4.单片机的设计单片机集成了CPU、存储器、定时/计数器等功能，所以一直被广泛应用。本次噪声检测使用的是AT89C51单片机，其原理简单，功能易实现，是整个系统的核心，其外部引脚与对应电路相连，把各个部分的电路连接起来成为一个完整的系统，内部程序则完成相应功能。该单片机内部所带可编程的FLASH存储器为4KB，同时还带有16位的定时/计数器各一个，程序可擦写达几万次。这里主要利用单片机的定时计数功能，在内部装载软件程序，根据在限定时间内电压/频率传送来的电平上升沿的计数值对应出分贝值。5.液晶显示系统的设计液晶显示系统由LCD1602构成。LCD1602是字符型液晶，1602是指显示两行内容，每行16个字符。与常用的发光管和LED数码管相比，LCD液晶显示器画质高且不会闪烁，当有信号时，每一个液晶屏上的点都恒定发光；LCD1602是数字式接口，便于与单片机连接，操作方便；芯片本身体积小、重量轻、功耗低。LCD1602用来显示噪声的分贝值，通常接+5V的电源，工作电流为2mA。LCD1602分为14脚或16脚，在实际应用中两者并没差别，其引脚D0~D7是数据接口，与单片机外部P0.0~P0.7引脚对应连接。液晶显示系统通过编程完成显示分贝值的功能，主要步骤为LCD经初始化后延时，根据规定时间内电平上升沿的统计次数来对应噪声的分贝值，设置第一行显示位置，显示第一行内容，其形式为Noise:dB；设置第二行显示位置，显示第二行内容，其形式为Limit:dB。PROTUES仿真时，会具体显示数字大小。硬件电路设计完成后，在焊接前需要在PROTUES软件上进行仿真，仿真成功则说明可以进行实际电路的焊接。仿真时首先通过电路连接线把各个部分的电路进行连接，在检查连接无误后，把噪声检测的程序装入单片机，噪声信号由信号发生器代替。2.1.4噪声检测系统的软件设计噪声检测系统的软件设计总体框图如图。由图可见，开始后首先设置SP，8155相当于单片机的扩展，然后完成定时器和计数器的初始化，此时把中断服务系统打开，在此期间，读取计数器的值。再调用显示子系统，对噪声的分贝取一个大致的值。最后分贝值的大小决定了蜂鸣器报警声音的变大或变小。2.1.5系统的调试步骤及可能的故障分析硬件系统在焊接完成后要进行检测和调试，只有这样才能给软件调试提供一个正确的环境，去除一些硬件错误的干扰。硬件调试和软件调试是不可分离的，只有硬件与软件完美结合才算是完成了一个系统。系统的调试分为以下几个步骤：（1）用电压法检查电路中器件的引脚是否焊接正确。（2）用数字万用表检测器件的各引脚是否连接正常。用两只表笔分别接触器件的引脚，若万用表发出声音则连接正常。（3）使用KEIL编写程序，调试运行没有错误后，在硬件仿真时将程序下载到单片机。（4）连接好各硬件电路，观察连线和接口是否正确，显示系统是否正常。通电进行观察，看检测系统是否正常工作，测量结果是否与实际相符。在噪声检测系统的设计与实现中可能会出现以下故障：（1）电源电压错误。起初给所有电路提供+5V的电源，但是电压/频率转换器输出端没有信号输出，而LM331的工作电压是+15V，改正后电路可以正常工作，有信号输出。（2）硬件电路焊接错误。在实际焊接中，元器件较小，线路较多，所以容易焊错。其中可能出现时钟电路没有接地，经改正后，晶振才可以正常启动，单片机也才可以正常工作；LCD显示结构的显示完全反了，位选线连接错误，改正后会显示正常。（3）软件程序编写错误。这会使显示系统dB显示错误，该故障可能是由于地址分配的问题引起的，可以重新分配地址，使显示结果正常显示。2.1.6去噪算法设计1.谱减法增强语音和减小噪声是处理带噪语音的两种方法，谱减法是一种增强语音的方法。在假设噪声是统计平稳且与语音不相关的前提下，利用短时傅里叶变换在频域将带噪语音的功率谱减去估计噪声的功率谱，得到语音功率谱估计。由于人耳对相位的感觉不是很灵敏，所以可以将原带噪语音的相位作为处理后信号的相位，只需在得到的幅度估计中插入带噪语音的相位，再进行快速傅里叶逆变换，就可以在时域上得到增强后的语音信号。在降噪算法研究中，噪声以高斯白噪声为主要对象，这种噪声一般符合以下条件：噪声是加性的；噪声是平稳的；噪声与语音统计独立。2.滤波法要进行数字信号处理通常需要先将接收到的模拟信号经过A/D(数模转换器)进行转换，将模拟信号经过采样转换为数字信号；接着需要保留有用的数字信号，滤除掉无关紧要的信号，这就需要用到滤波器，经过滤波器的处理后得到一系列数字序列，然后经过（D/A）转换，将数字序列转换为人们所能接收的模拟信号。3.最小均方算法LMSLMS以最小均方值为准则，采用迭代计算得到最优解。该算法采用的是梯度下降方法，因此不需要计算相关函数，所以所需程序简单，且对信道特性变化不敏感，简单便捷，效果良好，在语音降噪领域应用广泛。出信号在时域幅值有所减小，而从频域角度看，带噪语音信号的幅值分布的频率范围较大。但带噪语音经过FIR低通滤波器处理后，频谱主要分布在1500Hz之内，FIR低通滤波器滤除带噪语音信号的高频部分，留下自然的低频部分，而人发出的声音处于低频段，因此我们可以听见较为清晰的原声。但由于高频部分的语音信号被滤除，使得语音信号听起来有点低沉、沉闷。利用LMS算法设计的FIR低通滤波器会根据输入信号的统计特性自动调整自身的参数以达到最佳滤波效果。经LMS算法处理后的带噪语音信号的频谱与原始语音信号的频谱极为接近，与经FIR数字低通滤波器处理后的语音信号相比，保留了原始语音信号的高频部分，听觉上不沉闷，比较悦耳。5.三种降噪算法仿真数据分析本次对三种降噪算法的评价主要从主观和客观出发。主观方法是指通过人的听觉对语音质量有一个大致判断，即根据人们的听觉对处理后语音信号的优劣进行判断统计，将降噪处理后的语音信号划分优、良、差三个等级。质量优表示处理前后的语音听起来没有什么差异；质量良表示带噪信号在处理后有明显改善；质量差表示降噪后的信号听起来有明显噪声。客观方法是指用实际测量的数据进行评判，即信噪比SNR和对数谱失真度LSD。SNR越大、LSD越小则表明降噪效果越好。带噪语音信号经过处理后，信噪比都有明显的改善，对数谱失真度数值都较小，说明算法达到了降噪的目的。三种算法从主观和客观两方面来看，LMS算法在降噪方面性能最好，即处理后的语音信号和纯净语音信号有极小的差别，几乎分辨不出；FIR低通滤波器降噪效果较好，但由于滤除了带噪语音信号的高频部分而使声音变得低沉；谱减法基本上实现了语音信号的增强，但是效果并不明显，因为除去高斯白噪声时带来了音乐噪声，听起来会使人疲惫，所以降噪效果一般。2.1.7任务实施框图软件部分主要是C语言程序的设计，主要分为四个模块。主程序是软件系统的核心，处于循环工作状态,主要完成定时/计数器和中断系统的初始化,并循环调用查表和显示子程序。查表子程序中的内容主要是计数值与噪声分贝值的对应，显示子程序主要是根据定时内电平上升沿的计数值来确定分贝值并显示。另外，在硬件部分加防风防雨保护措施后可以用于室外的测量。2.1.8其他常用语音信号去噪方法简介1.小波去噪原理在自动化系统中，小波是一个常用的用于语音处理的工具,像语音分析、基音检测和语音识别等。小波分析是一种窗口大小固定但其形状可改变，时间窗和频率窗都可以改变的时频局部化分析方法。语音通信过程不可避免地会受到各种噪声的干扰，噪声降低了语音的信噪比和可懂度。语音去噪有各种小波变换的方法，小波变换具有多尺度的特性，可以由粗及细地逐步观察信号。首先对带噪语音信号进行小波变换，得到各尺度的小波系数，然后对得到的小波系数进行噪声估计。进行噪声估计的方法比较多，可以针对每一层分解得到的小波系数进行噪声估计，也可以只是对近似部分的系数进行估计，还可以针对所有得到的系数进行估计。因为小波变换具有和人耳相似的频率特性，所以利用小波变换进行去噪可以达到比较理想的效果。使用小波变换进行去噪的关键在于阈值的选取，阈值的选取方法可以是“硬阈值”，也可以是“软阈值”。如果阈值选得过高，会使信号丢失过多的细节，使信号失真；如果阈值选得过低，则不能达到去噪的目的。对待去噪的信号可假定其噪声接近高斯分布，通过使用一个多分辨率的小波滤波器组计算系数，滤波器的选择取决于噪声级和其他参数。然后再通过估算一个正确的门限电平来得到一个好的去噪效果，小波函数和分解层数对去噪信号的质量也起了重要作用。2.遗传算法去噪遗传算法（GeneticAlgorithm）是一类借鉴生物界的进化规律（适者生存、优胜劣汰遗传机制）演化而来的随机化搜索方法。其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐蔽性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。遗传算法的基本运算过程如下：（1）初始化过程：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P（0）。（2）个体评价过程：计算群体P（t）中各个个体的适应度。（3）选择运算过程：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代，或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。（4）交叉运算过程：将交叉算子作用于群体。所谓交叉，是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。遗传算法中起核心作用的就是交叉算子。（5）变异运算过程：将变异算子作用于群体。即对群体中个体串的某些基因座上的基因值作变动。群体P（t）经过选择、交叉、变异运算之后得到下一代群体P（t1）。（6）终止条件判断过程：若t>T，则以进化过程中所得到的具有最大适应度的个体作为最优解输出，终止计算。

任务2.2颜色空间模型及转换

学习目标（1）理解颜色空间的表示及转换。（2）结合具体应用，掌握颜色空间转换的原因、方法及应用场合。任务分析（1）在多媒体系统中经常涉及用几种不同的颜色空间表示图形和图像的颜色。常见的颜色空间模型有：RGB、YUV、HIS、CMYK、YCbCr、YIQ、HSV、CIELAB，它们是如何定义和表示的？（2）从一种颜色空间模型转换到另一种颜色空间模型的流程是什么？（3）颜色空间转换的意义是什么？（4）由于RGB颜色空间多用于显示器等发光设备中，其他硬件设备大都与其之间有数据和图像的传输，就不可避免地要与基于设备工艺的颜色空间进行转换。而与设备无关的基于感知的颜色空间用于图像分析时也多依赖于显示器，故与RGB颜色空间有关系的转换在众多转换中占据着重要的地位。（5）实现下列颜色空间模型的转换：RGB→CMY空间；RGB→YUV空间；RGB→YCbCr空间；RGB→HSI空间；RGB→CIELAB空间。2.2.1颜色的基本概念颜色是通过眼、脑和人们的生活经验所产生的一种对光的视觉效应。人对颜色的感觉不仅仅由光的物理性质所决定，比如人类对颜色的感觉还往往受到周围颜色的影响。有时人们也将物质产生不同颜色的物理特性直接称为颜色。光是一种电磁波。电磁辐射的波长范围很宽，按波长从长到短的顺序排列，依次是无线电波、红外线、可见光、紫外线、X射线和宇宙射线等。波长在380～780nm范围内的电磁波能够使人眼产生颜色感觉，称为可见光。可见光在整个电磁波谱中只占极小的一段。2.2.2彩色三要素描述一种色彩需要用亮度、色调和色饱和度三个基本参量，这三个参量称为彩色三要素。1.亮度亮度反映光的明亮程度。彩色光辐射的功率越大，亮度越高，反之亮度越低；不发光物体的亮度取决于它反射光功率的大小。若照射物体的光强度不变，则物体的反射性能越好，物体越明亮，反之越暗；对于一定的物体，照射光越强，物体越明亮，反之越暗。2.色调色调反映彩色的类别，例如红、橙、黄、绿、青、蓝、紫等不同颜色。发光物体的色调由光的波长决定，不同波长的光呈现不同的色调；不发光物体的色调由照明光源和该物体的吸收、反射或透射特性共同决定。3.色饱和度色饱和度反映彩色光（色调）深浅的程度。同一色调的彩色光会给人以深浅不同的感觉。深红、粉红是两种不同饱和度的红色，深红色饱和度高，粉红色饱和度低。2.2.3三基色原理1.三基色原理根据人眼的视觉特性，在电视机中重现图像时并不要求完全重现原景物反射或透射光的光谱成分，而应获得与原景物相同的彩色感觉。仿效人眼三种锥状细胞，可以选择三种基色，将它们按不同比例进行组合，就可得到自然界中绝大多数的彩色。同样绝大多数单色光也可以分解成红、绿、蓝三种色光。这是色度学的最基本原理，即三基色原理。这三种基色必须是独立的，任何一种基色都不能由其他两种颜色合成。自然界中绝大多数的彩色可以分解为三基色。在彩色电视中，选用了红、绿、蓝作为三基色，分别用R、G、B来表示。2.相加混色原理在一般的彩色电视中，通常使用以下两种相加混色法：（1）空间混色法：它将三种色光投射到同一表面上彼此相距很近的三个点上，由于人眼的分辨力有限，故产生一种基色光混合的色彩感觉。（2）时间混合法：它把三种基色光轮流投射到同一表面上，只要轮流速度足够快，就能达到相加混色的效果（人的视觉惰性）。3.相减混色原理在白光照射下，青色颜料吸收红色而反射青色，黄色颜料吸收蓝色而反射黄色，品红颜料吸收绿色而反射品红。2.2.4RGB与CMY颜色空间模型1.RGB颜色空间模型在多媒体计算机中，使用最多的是RGB颜色空间模型。计算机和电视机的彩色显示器的输入需要RGB的彩色分量，通过3个分量的不同比例，在显示器屏幕上合成所需要的任一颜色，所以此模型是相加性的。不管其中采用什么形式的颜色空间表示，多媒体系统的最终输出一定要转换为RGB表示。在RGB颜色空间模型中，对任意彩色光F，其配色方程可写为F=r[R]+g[G]+b[B]2.CMY颜色空间模型彩色印刷或彩色打印的纸张是不能发射光线的，因而印刷机或彩色打印机就只能使用一些能够吸收特定的光波而反射其他光波的油墨或颜料。CMY模型将青色（C）、品红(M)、黄色（Y）三种不同比例的彩色墨放到印版上来展现出种类繁多的色彩。该模型根据色彩的减法来得到其他彩色，这种方法称为减色合成法。3.两者的关系因为CMY通过减色合成法得到，RGB通过加色混合法得到，故两者是互补的。2.2.5RGB与YUV颜色空间模型1.YUV颜色空间模型YUV是PAL（PhaseAlternatingLine，逐行倒相）制彩色电视系统所采用的一种颜色空间模型，其中Y表示亮度，U表示蓝色色差（即B-Y），V表示红色色差（即R-Y）。亮度信号Y和色度信号U、V是分离的，完成了彩色和黑白电视的对接，使带颜色的图像能在所有电视机上显示；U、V为色差并且能完全显示所有彩色。它被欧洲的电视系统广泛采用。另外，可以利用人眼对彩色的敏感度低于对亮度的敏感度的视觉特性，用较窄的频带传送U、V信号，优化彩色电视信号的传输。即用亮度信号Y传送细节，用色差信号U、V进行大面积涂色。因此，彩色信号的清晰度由亮度信号的带宽保证，而把色差信号的带宽变窄。2.RGB与YUV的关系RGB与YUV的转换公式为3.与YUV相似的YIQ颜色空间模型YIQ模型中Y也为所有电视提供亮度信号，I和Q表示色度，即图像的色调及饱和度，该模型被北美的电视系统广泛采用。YIQ颜色空间是由YUV推导而来，是NTSC制彩色电视系统所采用的一种颜色空间模型；I代表“同相”，Q代表“正交”，它们指的是用于发射颜色信息的调制方法；I、Q是通过将U、V轴逆时针旋转33°获得的。由人眼彩色视觉的特性表明，人眼分辨红、黄之间颜色变化的能力最强，而分辨蓝、紫之间颜色变化的能力最弱。通过一定的变化，I对应于人眼最敏感的色度，而Q对应于人眼最不敏感的色度。这样，传送Q信号时可以用较窄的频带，而传送分辨率较强的I信号时，可以用较宽的频带。4.RGB与YIQ的关系RGB与YIQ的转换公式为

反转换为2.2.6RGB与YCbCr颜色空间模型1.YCbCr颜色空间模型YCbCr是由YUV颜色空间派生出的一种颜色空间模型，主要用于数字电视系统。其中Y是亮度，可以完整地表示除了色度之外的所有图像信息。色度信息完全存储在Cb和Cr中，Cb代表蓝色信息，Cr则代表红色信息。基本上，YCbCr和YUV代表相同的颜色空间，但YCbCr中的各成分是YUV颜色空间中各成分比例的补偿数值。2.两者的关系RGB与YCbCr的转换公式为2.2.7RGB与HSI颜色空间模型1.HIS颜色空间模型HSI用色调（Hue）、色饱和度(Saturation)、亮度（Intensity）描述色彩信息，它可以用一个圆锥空间模型来描述。色调表示某颜色与纯净颜色的差距，饱和度表示纯净颜色中混入白色的多少，亮度代表眼睛受到光照射的强度。HSV与HSI近似相同，属于同一类别，只有第三个分量不一样，V代表明度（Value），HSV相比HSI在色彩的感知方面更好。2.2.8RGB与CIELAB颜色空间模型1.CIELAB颜色空间模型LAB是一种不常用的色彩空间。它是在1931年国际照明委员会（CIE）制定的颜色度量国际标准的基础上建立起来的。1976年，经修改后被正式命名为CIELAB。它是一种与设备无关的颜色系统，也是一种基于生理特性的颜色系统。它用数字化的方法来描述人的视觉感应。L分量用于表示像素的亮度，取值范围是[0，100]，表示从纯黑到纯白；A表示从红色到绿色的范围，取值范围是[127，-128]；B表示从黄色到蓝色的范围，取值范围是[127，-128]。LAB颜色空间比计算机显示器、打印机甚至比人类视觉的色域都要大，在获得同样的精度时，LAB位图比RGB或CMYK位图需要的像素数要多。2.两者的关系RGB无法直接转换成LAB，需要先转换成XYZ再转换成LAB，即RGB-XYZ-LAB。

任务2.3车牌图像的预处理

学习目标（1）理解并掌握位图图像的基本概念、性能指标。（2）理解并掌握图像的灰度化处理、常用边缘检测算子、常用图像增强方法、数学形态学处理等常用图像预处理方法。（3）结合具体应用，能够选择合适的图像预处理方法加以应用。（4）会用MATLAB编程实现常用预处理方法。任务分析（1）针对获取的车牌图像，采用怎样的处理流程实现车牌的提取？（2）在每个流程中，可以采用哪些处理方法，为什么选择这种方法？（3）这些方法如何实现？（4）应用图像预处理方法的效果怎样？还能再改进哪些地方？2.3.1认识位图图像在对图像进行预处理前，应先了解有关图像处理的基础知识，这有助于对图像进行分析和处理方法的选择。1.图像与位图图像图像（Image）是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。静止的图像可用一个矩阵来表示，矩阵列中的各个元素用来描述构成图像的各个点（称为像素Pixel）的强度和颜色等信息。这种图像也称为位图（Bitmap）。2.位图图像的技术指标1）分辨率（1）显示分辨率：确定屏幕上显示图像区域的大小，即构成全屏显示的像素点个数，以每行拥有的像素点个数×屏幕显示行数来表示。（2）图像分辨率：确立组成一幅图像的像素数目，即该图像在水平和垂直方向上的像素个数，用dpi（每英寸多少点）表示。不同分辨率的图如图2-3-2所示，图像分辨率与清晰度的关系如图2-3-3所示。（3）打印分辨率：打印机输出图像时采用的分辨率。不同打印机最高分辨率不同，而同一台打印机也可以使用不同分辨率进行打印。2）像素深度像素深度描述图像中每个像素数据所占的二进制位数，它决定了彩色图像中可出现的最多颜色数，或灰度图像中最大灰度等级数。3）真彩色、伪彩色与直接色（1）真彩色：图像中的每个像素值都分成R、G、B三个基色分量，每个基色分量直接决定其基色的强度，这样产生的颜色称为真彩色。（2）伪彩色：图像中每个像素值是一个索引或代码值，作为颜色查找表中某项入口地址，查找出包含实际R、G、B的强度值，这样产生的颜色称伪彩色。（3）直接色：通过每个像素点R、G、B分量分别作为索引值进行变换，经相应颜色变换表找出各自基色强度，用变换后的R、G、B强度值产生的颜色称为直接色。4）调色板在生成一幅位图图像时，图像处理软件要对图像中不同的色调进行采样，产生包含在此幅图像中各种颜色的颜色表，即一组（R，G，B）组合值，这个颜色表就称作调色板。5）显示深度显示深度表示显示缓存中记录屏幕上一个点的二进制位数，即显示器可显示的颜色数。显示深度大于像素深度时，屏幕上的颜色能够比较真实地反映图像文件的颜色效果；显示深度小于像素深度时，屏幕上的颜色不能真实地反映图像文件的颜色效果，即发生失真；显示深度等于像素深度时，若真彩色显示模式显示真彩色图像，或显示调色板与图像调色板一致，则屏幕上颜色能较真实地反映图像色彩效果，不一致则显示颜色会出现失真。6）位图图像的数据量位图图像的数据量的估算方法为3.位图的特点（1）表达图像逼真：位图与图像复杂程度无关，表现力强，适合表现细节和层次。（2）对硬件要求高：当处理高质量彩色图像时，对计算机硬件平台要求较高。（3）文件数据量大：位图由大量不同的亮度和颜色像素点组成，因此文件数据量大。（4）缺乏灵活性能：当位图图像被放大时，图像的清晰度会降低并出现锯齿。4.位图文件的结构位图文件的结构主要包含文件头、文件体、文件尾三部分。2.3.2矢量图与位图的区别1.矢量图的定义矢量图是一种抽象化的图像。它用一组计算机指令集合描述图形内容，这些指令描述构成该图形所有直线、圆、圆弧、矩形、曲线等图元的位置、维数和形状等。在计算机屏幕上显示矢量图形有专门的软件，如AutoCAD、CorelDraw、Adobe、Illustrator等。2.矢量图的原理矢量图的原理在于它用数学方式来描述一幅图形。当在计算机上显示一幅图时，先要使用专门软件读取并解释这些指令，再将它们转成屏幕上显示的形状和颜色，最后通过使用实心的或有等级深浅的单色或色彩填充一些区域而形成图形。3.矢量图的特点（1）压缩后不变形：尺寸可以任意变化而不损失图像质量，压缩后不会变形。（2）局部可处理性：各部件相对独立，无论放大、缩小或旋转等都不会失真。（3）文件数据量小：对图像进行抽象化，它使用图形指令集合取代原始图像。（4）不易描述复杂图：对复杂图，计算机要花费很长的时间去执行绘图指令。4.矢量图与位图的对比2.3.3彩色图像的灰度化处理灰度图像只有亮度，不含其他颜色，它的值在0~255之间，且数值越大越亮，数值越小越暗，最亮为白色，最暗为黑色。灰度图像的处理速度快、操作简单、储存空间小，更有利于车牌定位处理。每个像素等于三个基色的加权平均值，根据人眼对三个基色的敏感性强弱，可给予三个基色不同的权值。2.3.4图像的增强处理图像增强处理的目的：一是改善图像的视觉效果，二是将图像转换成一种更适合让人或机器进行分析和处理的形式。根据所处理的空间不同，可以有两大类处理方法：基于空间域的方法：直接在图像所在的空间进行处理。基于频率域的方法：在图像变换域间接进行处理。2.3.5图像的二值化处理图像二值化就是将图像上像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果。将256个亮度等级的灰度图像通过适当的阈值选取，即可获得仍然可以反映图像整体和局部特征的二值化图像。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。常用的图像二值化阈值的选取方法有双峰法、P参数法、最大类间方差法（Otsu）、最大熵阈值法、迭代法等。该任务中采用最大类间方差法实现图像的二值化处理。最大类间方差法是由Otsu于1979年提出的，它是基于整幅图像的统计特性实现阈值的自动选取的，是全局二值化最杰出的代表。Otsu算法的基本思想是用某一假定的灰度值t将图像的灰度分成两组，当两组的类间方差最大时，此灰度值t就是图像二值化的最佳阈值。设图像有L个灰度值，取值范围在0～L-1，在此范围内选取灰度值T，将图像分成两组，即G0和G1，G0的灰度值在0～T范围内，G1的灰度值在T+1～L-1范围内，用N表示图像像素总数，ni表示灰度值为i的像素的个数。2.3.6图像的边缘检测边缘是图像上灰度变化最明显的地方，传统边缘检测利用此特点，对图像各像素点进行求微分或二阶微分来定位边缘像素点。由灰度变化特点，可将边缘类型分为阶梯状、脉冲状和屋顶状三种。对于阶梯状边缘，图像边缘点对应一阶微分图像的峰值和二阶微分图像的零交叉处；对于脉冲状和屋顶状边缘，边缘点对应一阶导数的零交叉和二阶导数的峰值。根据数字图像的特点，处理图像时常采用差分代替导数运算。对于图像的简单一阶导数运算，由于其具有固定的方向性，只能检测特定方向的边缘，所以不具有普遍性。为了克服一阶导数的缺点，我们定义图像的梯度为梯度算子，它是图像处理中最常用的一阶微分算法。图像梯度最重要的性质是梯度的方向在图像灰度最大变化率上，恰好可以反映出图像边缘上的灰度变化。边缘检测算子是利用图像边缘的突变性质来检测边缘的。它主要分为两种类型：一种是以一阶导数为基础的边缘检测算子，通过计算图像的梯度值来检测图像边缘；另一种是以二阶导数为基础的边缘检测算子，通过寻求二阶导数中的过零点来检测边缘。2.3.7数学形态学处理数学形态学的基本思想是运用具有一定形态结构的元素去度量和提取图像中的对应形状，以达到对图像分析和识别的目的，它能有效地消除噪声。在进行边缘检测之后，车牌的特征已经很明显得到了加强，为了进一步确定车牌的位置，还要对它进行数学形态学处理。在形态学算法中，结构元素是很重要的，它的形状、大小的选择以及运算的性质对于图像的提取和识别起着关键作用。结构元素过大会使候选区域增多，还可能会使车牌区域与背景区域连接起来，给车牌的定位带来困难。结构元素选取过小，则很可能会使车牌区域无法真正地连接在一起，就无法确定出车牌的候选区域。数学形态学的基本运算有：腐蚀运算、膨胀运算、开运算和闭运算四种运算。1.腐蚀运算腐蚀是一种消除边界点的过程，目的是使目标缩小，空洞增大，以有效地消除孤立噪声点。腐蚀可以把小于结构元素的物体去除。2.膨胀运算膨胀是将与目标体接触的所有背景点合并到物体中的过程，目的是使目标增大，空洞减小，以填补目标物体中的空洞。3.开运算和闭运算虽然腐蚀运算可以将粘连的目标物体分离，膨胀运算可以将断开的物体连接起来，但是这两种运算都存在一个问题：经过腐蚀运算后，目标物体的面积小于原有面积；而经过膨胀运算后，目标物体的面积大于原有面积。开运算和闭运算就是基于这个问题被提出的。开运算的过程：先对图像进行腐蚀，然后再对图像进行膨胀，最后得到结果。开运算通常用于去掉小对象物体，以及去掉目标外的孤立点。开运算在平滑目标物体边界的同时并不明显改变其面积。闭运算的过程：先对图像进行膨胀，然后再对图像进行腐蚀，最后得到结果。闭运算主要用来填充物体内的细小空洞，可以去掉目标内的孔。闭运算在连接邻近物体、平滑其边界的同时并不明显改变其面积。

任务2.4雾霾图像的增强处理

学习目标（1）掌握常用的图像处理方法。（2）结合雾霾天气下获取的图像，能够分析图像特征，采用合适的方法进行图像增强处理。（3）能够举一反三，对于恶劣天气条件下获取的图像，能够采用合适的方法，对图像进行有效增强处理。任务分析（1）通常采用的雾霾图像增强方法有哪些？各自是如何实现的？（2）不同增强方法在增强效果上有什么不同？传统的方法是否存在弊端，能否改进？怎样改进？（3）每种方法实现的流程是怎样的？2.4.1直方图均衡化算法直方图是一种能反映图像灰度分布情况的图表。图像的不同灰度值出现的概率和像素数量的多少，反映了图像的信息内容。直方图均衡化就是经过某种变换之后能使图像灰度的概率变得更均匀化，使其信息熵能够达到最大值。要寻找一种算法，实现经过该算法变换后，图像的所有像素分布的概率密度为1。设图像的原像素灰度值为r(0≤r≤1)，概率密度为Pr(r)；经过一系列变换之后，像素灰度值为s，概率密度为Ps(s)；T(r)为变换过程函数，则得出以下等式：以上等式所要满足的条件有：①T(r)必须是单值单调递增函数，从而保证灰度是单值映射的同时且灰度值不会出现反转；②0≤T(r)≤1，确保原图像的灰度动态范围在经过变换后不会被缩小，假设令则有2.4.2改进的直方图均衡化算法直方图均衡化理论主要是针对于连续函数，然而对具有离散灰度值的数字图像进行处理时，就需要在函数变换过程中，灰度值经历从连续到离散的近似。因而在直方图均衡化中存在的问题有以下几点：（1）量化误差，损失了原图中的某些灰度信息。（2）由于原图像中的低灰度层像素过多，概率密度极其不均匀，从而导致整个图像的灰度动态范围未能有效改善，在进行直方图均衡化过程中，图像高低灰度的转变导致图像信息转化不均衡，导致一些信息被覆盖。为了解决这个问题，人们对常规的直方图变换进行改进。改进算法的基本思想是：通过变换函数对原图像的直方图进行灰度拉伸，使其生成具有“平坦”概率分布的直方图，再用新的均衡化后的直方图去校正图像。1.具体改进方法（1）减少原图像的低灰度层在生成图像中的概率，进而减少其对生成图像的影响，使生成图像的灰度分布范围更广。（2）由于原来图像的低灰度层范围的像素较密，分布不均匀，从整体观察，相近的区域亮度相差较大，不利于对中间细节信息的观察，为此需要对生成图像作适当的调整，对亮度参数进行修正。以下列出调整函数变换：在