一种应用于电视机图像处理的肤色增强算法的设计与实现

1、一种应用于电视机图像处理的肤色增强算法的设计与实现学生姓名 蔡圣豪 学 号 1121470 指导教师 向伟 学 院 机电学院专 业 电子科学与技术摘要 图像处理就是数字图像处理，数字化后的图像可以堪称是存储起来的有序数据，可以通过对数字图像进行处理。我们把利用计算机对图像进行去除、增强、复原等方法技术成为数字图像处理。图像处理技术拥有处理精度高，再现性好，处理的多样性，图像处理技术综合性强等特点。通过图像处理技术，可以提高图像的视感质量，以达到赏心悦目的；提取图像中所包含的某些特征信息；对图像数据进行变换、编码、压缩等方法，以便图像的存储和运输，来帮助我们满足视觉、心理或应用上的需求。 本文以

2、一套算法为核心，通过识别人脸并调整皮肤颜色的CbCr值来实现电视机里图像处理使肤色增强。绪论 电视机的发展现状目前数字电视占据着市场的主要地位，所谓数字电视(Digital TV)指从电视节目采集、制作、存储、播出到发射、传输、接收全部采用数字编码与数字传输技术的新一代电视系统。由此可见，数字电视不仅仅指我们日常所用的电视机，数字电视机只是数字电视的终端接收设备。数字电视技术与原有的模拟电视相比，有着其无法比拟的优点，数字设备输出信号稳定可靠，易于实现信号的存储，便于数字处理和计算机处理，并且可以合理地利用各种类型的频谱资源，实现各种设备的自动化和多样化操作等等。绪论 肤色增强的影响评价数字图

3、像的优劣的参考依据是由人眼主观判断和经验知识作用为主导，并不是一个通用客观的标准。人们在看电视时，一方面希望显示器能够还原自然界的真实色彩，但真实的色彩并不一定满足人们的需求，另一方面由希望显示的色彩符合心理的色彩喜好。特别是电视剧中人们的肤色问题，每个人对于肤色的喜好度是不同的，有的人喜欢更白一些的肤色，有些偏好稍微偏深一些的肤色，另外的则忠于原来的肤色。通过图像中肤色检测和增强，使图像中人物的皮肤变得圆润有光泽。另外，对图像亮度、色度、对比度、饱和度的调整也可以使图像的质量更高，看起来画面更加舒服，人们可以根据自己的喜好来调整皮肤颜色。增强肤色不仅可以在视觉上使人愉悦，也可以在心理上影响人

4、们。绪论 图像增强的现状目前对于图像处理的方案主要由以下几种：（1）通用计算机（2）并行处理（3）专业集成电路（4）数字信号处理器（5）现场可编程门阵列视频信号基础 视频信号制式目前世界上主流的彩色信号制式可分三种，分别为NTSC制式、PAL制式和SECAM制式。它们具有不同的编码方式、传送频率和刷新速度。PAL制式是我国所采用的标准。PAL制式电视信号由图像信号、复合同步信号、复合消隐信号构成。复合消隐信号的作用是消除显像管在行、场扫描逆过程中产生的回扫线，避免干扰图像信号。复合同步信号分为行同步信号和场同步信号，确保接收和发送两端扫描的同步。这三种信号复合构成一个完整的电视信号。PAL制式

5、中采用的扫描方式是隔行扫描，即一帧图像分两次扫描，得到的两幅图像分别称作奇数场和偶数场。PAL制式采用了YUV的色彩空间。视频信号基础 YUV和YCbCr色彩空间YUV 是被欧洲电视系统所采用的一种颜色空间（即一种彩色编码方法）。在现代彩色电视系统中，通常采用红绿蓝三管彩色摄影机进行取像，然后把获得的模拟彩色图像信号经分色、信号放大、校正后得到 RGB，再经过矩阵变换电路得到亮度信号 Y 和两个色差信号 U 和 V（U=RY、V=BY），最后将亮度 Y 和色差 U、V 三个信号分别进行编码，转换成数字信号后从同一信道发送出去。视频信号基础 YUV和YCbCr色彩空间YCbCr 颜色空间是由 Y

6、UV 颜色空间派生的一种颜色空间，是 YUV 颜色空间压缩和偏移后的版本。其中 Y 与 YUV 中的 Y 含义一致；Cb，Cr 同样都指色度，只是表示方法不同。YCbCr 的应用领域很广泛，JPEG、MPEG 等均采用此格式。一般人们所讲的 YUV 通常是指 YCbCr。YCbCr 有许多采样格式，主要的采样格式有 YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中 YCbCr 4:2:2 比较常用，其含义为：每个点保存一个 8 位的亮度值（也就是 Y 值），每 2 个点保存一个 8 位的色度值（Cb 和 Cr 分别为 8 位大小），图像在肉

7、眼中的感觉不会起太大的变化。所以，原来用 RGB(R，G，B 都是 8 位大小，数值范围是 0255)模型，每个点需要 83=24bits，而现在仅需要 8+(8/2)+(8/2)=16bits。这样就把图像数据压缩了。视频信号基础 YUV和YCbCr色彩空间YCbCr 和 RGB 是可以相互转换的，转换公式如下：视频信号基础 ITU-R BT.656协议简介ITU-R Recommendation BT.656 是一种简单的数字视频协议，用于将未压缩的PAL 或 NTSC 制式（625 行或者 525 行）的信号进行编码。ITU-R BT.656 协议定义了一个并行的硬件接口，用来传送一路

8、4:2:2 的 YCbCr 的数字视频流数据。视频流数据的分辨率为 720576 像素的 d1 格式，行、场同步信号嵌入在数据流中。ITU-R BT.656 有 8 位或 10 位的数据传输格式，目前主要使用的是 8 位的数据传输格式。但是在本文设计中所采用的是10位数据传输格式。图像增强技术 数字亮度瞬态增强DLTI由于信号在传输过程中有噪声的存在，会造成一定的损失，除了图像中、高频分量减弱外，还会降低图像质量的表现，例如图像轮廓模糊、层次不清边界过度不明显。如图所示。图像增强技术 数字亮度瞬态增强DLTIY1、Y2代表两个不同的亮度值，点A为Y1的边界点，点B为Y2的边界点，从A点经过O点

9、逐渐上升到B点的这一段称为亮度信号的过渡带。这一过渡带的大小直接影响到图像的画质。过渡带越窄，图像中两种亮度的边界就越清楚，图像越清晰。而在实际接收到的电视信号中，这一过渡带通常是较宽的，造成图像层次不鲜明。数字亮度瞬态增强(Digital Luminance Transient Improvement，简称DLTI)算法便是检测亮度分量水平方向的过渡带并使过渡带变窄，边缘变陡，增强图像的瞬态特性，使图像边界轮廓变清晰。理想情况下可将过渡带缩短成垂直边缘，如图中的COD所示。图像增强技术 数字色度瞬态增强DCTI数字色度瞬态增强(Digital Color Transient Improvem

10、ent，简称DCTI)就是对色差信号(Cb、Cr)进行瞬态特性改良，使色度信号的过渡带变窄、边缘变陡，从而增加彩色的清晰度。DCTI的原理与DLTI一样，所不同的只是DLTI对亮度分量进行处理，而DCTI是对色度分量进行处理。在YCbCr空间中，DCTI是使Cb、Cr信号的边缘变陡。DCTI也可通过移位替代法或叠加勾边法实现。图像增强技术 图像边缘锐化ES视频信号传输中由于多种多样的原因，肯定会造成不同程度的中频和高频信号的衰减，进而视频图像的清晰度都会有所降低，视频图像也变得比原始的图像糊糊。而边缘锐化的主要目的是检测视频图像中的中高频信号，并夸张突出它们，进而使视频图像的细节更突出，当然也

11、就是使图像更清晰。在图像锐化这一块所要做的主要工作就是带通和高通滤波的构造，以及对中频和高频信号的增益系数的设计，这也是算法成功与否的关键。图像增强技术 黑电平扩展BLE黑电平扩展技术只对亮度分量进行处理。在数字信号域中，其处理方法是：预先设定一个阀值(THR)，将它与图像的亮度信号比较，将低于这个阀值的信号取出以进行黑电平扩展，扩展的具体方法是用原信号减去阀值得到一个差值，将差值乘以一个小于1的增益，得到增益处理后的亮度信号，再与原始信号相加，得到最终输出，THRYifTHRYifTHRYgainYYYinininininout,图像增强技术 白电平扩展WLE白电平扩展(White1evel

12、 Expansion，简称WLE)与黑电平扩展相似，不同的是它扩展的是白电平部分。它的作用是增强亮度的“浅白”信号，保持黑电平不变，使“浅白”变得更白，从面提高图像的对比度，传输函数如下：THRYifTHRYifYTHRYgainTHRYininininout,图像增强技术 肤色补偿FTC人对人体的肤色区域比较敏感，当色调调整对其他颜色调整得效果比较好时，仍容易觉得肤色区域色彩不自然。肤色校正(Flesh Tone Correction，FTC)的功能便是专门针对肤色对色度信号进一步的调整，使人体皮肤看起来更加自然。因此，肤色校正包含两个步骤：肤色区域分割及肤色校正。研究表明，尽管不同种族、不

13、同年龄、不同性别的人体肤色看上去不同，但是这种不同主要集中在亮度上，在去除亮度的色度空间中，不同人的肤色都集中分布在一定的范围内。这个区域范围与所采用的色彩空间有关。大量研究数据表明，在YUV（YCbCr）色彩空间中当77Cb127且133Cr173时，为肤色区间。当确定肤色区间后，根据设定的参数，对Cb和Cr的值进行补偿，即可完成肤色校正。图像增强技术 亮度、对比度调整BCA在YCbCr色彩空间中，亮度、对比度调整对亮度分量Y进行处理。图像的对比度是指图像中最亮区域与最暗区域的亮度比值。对比度越高，能够表现的灰度层次和色彩层次越丰富，图像越清晰醒目，而对比度小，会让整个画面都灰蒙蒙的。对比度

14、拉伸的思想是提高图像处理时灰度级的动态范围，常用的调整对比度的方法有幂次变换、分段线性变换、直方图处理等。图像增强技术 色度、饱和度调整HAS色调和饱和度只处理色度信号，对于YCbCr信号，只针对输入的Cb、Cr信号进行色调和饱和度调整。色调由光的波长决定，不同波长的光代表不同的色调，它们之间也可能互相配合而产生新的色调。色饱和度是指颜色的深浅程度。它与彩色光中所含白色的比例有关。白色的比例越多，色饱和度越低；白光的比例越小，色饱和度越高。通过分别在Cb、Cr信号上乘以一个可调的常数来控制调整色度和饱和度。FPGA设计方法 层次化设计中自顶向下的结构示意图FPGA设计方法 FPGA开发流程图像

15、增强模块整体设计 功能描述图像增强模块主要用于数字电视系统图形后处理设计。电视观众对于图像质量的需求，往往是希望观看的图像明亮、清晰、背景噪声小、黑白层次得当，并富有轻微的立体感。但是模拟信号在传输过程中不可避免的高频分量会损失，造成的后果就是图像轮廓模糊，层次不清。如果一幅图像能够将其轮廓勾画清楚，往往可以给人留下深刻的印象，对提高图像质量起到事半功倍的效果。所以在数字电视系统中需要通过图形增强的处理，通过数字亮度、色度瞬态增强（DLTI、DCTI）以及图像锐化（SHARPER）将图像轮廓勾画清楚，通过黑白电平延伸（BLE、WLE）将图像明暗层次更加鲜明，通过图像中肤色检测和增强，使图像中人

16、物的皮肤变得圆润有光泽。另外，对图像亮度、色度、对比度、饱和度的调整也可以使图像的质量更高，看起来画面更加舒服。图像增强模块整体设计 设计环境整个模块的设计是在Altera公司的Quartus II 14.0下进行的，模块的仿真验证是在Mentor公司的ModelSim SE 10.2c下进行的。本设计选用Altera公司的Cyclone IV E系列的EP4CE10F17C8来完成参考设计。该芯片采用65nm的工艺结构，包含10320的逻辑单元（Logic Element，LE），共256个引脚，其中用户引脚（User I/Os）为180个，Block RAM大小为423936bit，即46

17、个M9K资源，2个PLL锁相环，10个全局时钟管脚，速度等级为8。最后通过Quartus II 14.0完成逻辑的编译和综合以及布线布局，生成了静态时序分析报告和系统整体设计报告。图像增强模块整体设计 功能框图图像增强模块整体设计 （1）亮度瞬态增强电路，用于恢复图像亮度信号的高频分量，使过渡带变窄，边缘变陡。 （2）色度瞬态增强电路，用于恢复图像色度信号的高频分量，使图像色度信号的边缘变陡，从而增加彩色的清晰度。 （3）图像边缘锐化电路，用于检测图像边缘信号，使图像更加清晰。 （4）黑白电平延伸电路，用于拉伸图像对比度，使图像黑白分明，更具有层级感。 （5）肤色补偿电路，用于检测图像中肤色区

18、域，并做出颜色补偿，使人物肤色更圆润。 （6）对比度、亮度调整电路，用于调节图像的对比度与亮度。 （7）色度、饱和度调整电路，用于调节图像的饱和度与色彩度。 （8）颜色空间转换电路，用于将YCbCr数据转换到RGB数据输出。 （9）MCU控制接口逻辑电路，采用SPI总线协议，用于访问内部自定义寄存器，设定图像增强相关参数。图像增强模块整体设计 输入接口时序图像增强模块整体设计 输出接口时序肤色增强的FPGA实现 电路架构肤色增强的FPGA实现 模块框图肤色增强的FPGA实现 引脚列表信号名称信号名称类型类型位宽位宽功能描述功能描述ie_clkI1系统时钟信号ie_rst_nI1系统复位信号ie

19、_vsync_inI1垂直同步信号输入信号，指示帧启始。ie_hsync_inI1水平同步信号输入信号，指示行启始ie_datavaild_inI1数据有效输入信号，表明当前输入数据有效。ie_ftc_disI1肤色增强模块使能信号，低电平有效，高电平不调整ftc_cb_adjI6调整Cb色差信号的幅度，用6bit表示，共64级ftc_cb_maxI10设定Cb色差信号的肤色范围的最大值，用于判断肤色区域ftc_cb_minI10设定Cb色差信号的肤色范围的最小值，用于判断肤色区域ftc_cr_adjI6调整Cr色差信号的幅度，用6bit表示，共64级ftc_cr_maxI10设定Cr色差信号

20、的肤色范围的最大值，用于判断肤色区域ftc_cr_minI10设定Cr色差信号的肤色范围的最小值，用于判断肤色区域ftc_cbcr_inI10CbCr信号输入，分离Y信号后，CbCr信号交替出现ftc_cbcr_outO10CbCr信号输出ie_vsync_outO1垂直同步信号输出信号ie_hsync_outO1水平同步信号输出信号ie_datavalid_outO1输出数据有效信号肤色增强的仿真结果分析 激励信号信号名称信号名称激励激励ie_clk50Hz时钟信号，周期为20nsie_rst_n复位信号，初始值为0，执行复位，延迟200ns复位撤销ie_vsync_in周期信号，由两个计数

21、器控制，间隔出现一个时钟的高电平ie_hsync_in周期信号，由一个计数器控制，每512个时钟周期出现一个时钟的高电平ie_datavaild_in数据输入有效信号，行同步信号有效后，拉高并持续500个周期后拉低，等待下一个行同步有效信号ie_ftc_dis肤色增强使能，初始值为1，即不进行肤色增强运算，延迟20us后拉低，使能肤色增强ftc_cb_adjCb调整设置为5ftc_cb_max确定肤色范围的Cb最大值为127ftc_cb_min确定肤色范围的Cb最小值为77ftc_cr_adjCr调整设置为11ftc_cr_max确定肤色范围的Cr最大值为173ftc_cr_min确定肤色范围的Cr最小值为133ftc_cbcr_in间隔输入CbCr的值，Cb的初始值为0，并且按1递增，Cr的初始值为55，并且按1递增。仿真结果分析仿真结果图仿真结果分析可以看出，ie_hsync_in周期出现，ie_ftc