（通信与信息系统专业论文）视频后处理芯片中核心算法的硬件实现及芯片的可测试性设计.pdf

浙江人学硕士学位做 y5 8 1 5 0 1 摘要 数字电视是当前蓬勃发展的个产业，是目前发达国家争夺激烈的一个技术 制高点，反映了一个国家i t 产业的综合实力。我国已在2 0 0 3 年全面启动了数字 电视的产业化工作，2 0 1 5 年将全面完成由模拟到数字的过渡。 数字电视的接受机中，主要包括信道解调、信源解码、视频后处理三个核心 芯片。其巾，数字视频后处理芯片由于数字电视出现后，各种新业务的不断加入 以及各类新颖显示终端的出现，目前尚无定型产品，是当前最有市场开发价值的 数字电视核心芯片之一。 2 0 0 2 年6 月至2 0 0 3 年1 2 月，作为视频后处理芯片设计项目的核心设计 开发人员，本人参与了该芯片的全部设计过程，主要负责前端设计、硬件实现和 f p g a 验证。 本文以视频后处理项目为依托，详细讨论了s o c 芯片硬件设计中的核心及 难点。前半部分着重于论述视频后处理芯片中的核心算法及其硬件实现方案，按 先后顺序依次论述了基于运动补偿的时域递归去隔行算法，基于运动补偿的帧率 提升算法和一种基于九抽头滤波器的色度瞬态改善( c t i ) 算法；后半部分着重 论述了芯片的可测试性设计，并创造性的提出了利用f p g a 搭建芯片自动测试 ( a t e ) 设备、利用芯片内的扫描链( s c a nc h a i n ) 进行功能故障检测的方法， 并取得了成功：同时还针对f p g a 系统测试的困难，提出了一种基于并口e p p 模式的f p g a 系统调试方案。 本文的主要贡献在于针对视频后处理芯片的特点，对其核心算法及其硬件实 做了详细的论述，重点讨论了算法硬件实现的方案和难点。另外，在芯片的可测 试性方面，创造性地提出了利用芯片内部的扫描链进行功能故障测试的思想；在 f p g a 系统的调试方面，创造性地提出来利用计算机并口的e p p 模式构建测试平 台的思想，同时把这两种思想成功运用于芯片测试和验证中。 【关键词】： 集成电路设计，数字电视，视频后处理，去隔行技术，帧率变换技术，色度瞬态改善，n 瑚 试性设计，扫揣链 爿躐作者、导师船意 i 身全文公布 堑些查耋堡兰堡丝兰 a b s t r a c t d i g i t a lt e l e v i s i o n ( d i g i t a lt v ) ，a st h et h i r dg e n e r a t i o nt e l e v i s i o nt e c h n o l o g y ，h a sb e c o m e t h em o s ti m p o r t a n ti n d u s t r yi nt h i sc e n t u r yi ti sn o wt h ef o c u so f t h et e c h n i c a lc o n t e s ta l l o v e rt h e w o r l d i tr e f l e c t st h eg e n e r a lc o m p e t e n c eo fac o u n t r y si tt e c h n o l o g yi no u rc o u n t r y , t h ed ，l 、v i n d u s t r yh a sa l r e a d ys t a r t e di n2 0 0 3 ，a n db yt h et i m e2 0 1 5w ew i l lf i n i s ht h et r a n s f o r m i n gf r o m a n a l o gt v t od i g i t a lt v t h e r ea r ea l t o g e t h e rt h r e em a i n c h i p si nt h ed i g i t a lt v sr e c e i v e r , t h ec h a n n e ld e m o d u l a t i n g c h i p ，t h es o u r c ed e c o d i n gc h i pa n dt h ep o s t - p r o c e s sc h i pw i t ht h ea p p e a r a n c eo fv a r i o u sk i n d so f n e wf u n c t i o n sa n dd i s p l a yd e v i c e s ，t h ep o s t - p r o c e s sc h i ph a sb e c o m et h em o s lv a l u a b l eo n ei n d i g i t a lt v i t i s v e r yi m p o r t a n tt od e s i g na n dm a n u f a c tt h i s c h i p w i t ho u ro w ni n d e p e n d e n t i n t e l l i g e n c ep r o p e r t yb o t hf o rm a r k e t i n ga n df i n a n c i a lr e a s o n s f r o mj u n2 0 0 2t on o v 2 0 0 3 一h a db e e na ni n t e mi nt h en a t i o n a lc h i p t e c h n o l o g yc o m p a n y a sac o r ee n g i n e e ra n dd e v e l o p e ri nt h ep o s t - p r o c e s sc h i p p r o j e c t ，it o o kp a r ti nt h ew h o l ed e s i g n p r o c e s so f t h i sc h i pa n da c c u m u l a t e dal o to f k n o w l e d g e ，s k i l l sa n de x p e r i e n c ei na s i c d e s i g na n d d t v t e c h l o n o g y t h i sp a p e rf o c u s e so nt h ec o r e a l g o r i t h m si n t h ep o s t - p r o c e s sc h i pa n dt h e i rh a r d w a r e r e a l i z a t i o n si na s i ca f t e rt h a t ，i ti n t r o d u c e st h ed e s i g nf o rt e s tt e c h l o n o g yi nt h i sc h i pa n ds o m e v a l u a b l ea n di m p o r t a n tm e t h o d s o f d e b u g g i n g a n d t e s t i n gf o rb o t ht h ec h i pa n df p g a s y s t e m s t h em a i nc o n t r i b u t i o n so f t h i sp a p e ra r ed i s c u s s i n gt h ec o r ea l g o r i t h m si np o s t - p r o c e s s c h i p a n dt h e i ri m p l e m e n t a t i o n si na s i c i ta l s op r o p o s e ss o m e c o n s t r u c t i v ei d e a so f t h ed e b u g g i n ga n d t e s t i n go f t h ea s i ca n df p g as y s t e m s 【k e yw o r d s l a s i cd q v p o s t - p r o c e s sd e i n t e r l a c e u p - c o n v e r s i o n c t id f t s c a n c h a i n 浙江人学硕士! 位论文 筇1 章绪论 1 数字电视及视频后处理芯砖 数字电视是当前蓬勃发展的一个产业，是目前发达国家争夺激烈的一个技术制高点， 反映 r 一个国家l t 产业的综合实力。我国已在2 0 0 3 年全面启动了数字电视的产业化t 作， 2 0 1 5 年将全面完成由模拟到数字的过渡。 数字电视是继黑白模拟电视，彩色模拟电视之后的第三代电视。数字电视的信号不再 是模拟信号，而是采用以数字形式进行传输、处理、存储的数字信号。由于数字电视信号 的存储和处理电路便于大规模和超大规模的集成，因而其设各比模拟电路设备元件少，便 于调整，其重量轻、体积小、功耗少，寿命长且可靠性高，容易与计算机以及其它数字化 设备接口连接，适合于公用数据通讯网，便丁实现生产、运行的自动化和视听信息处理的 综合化、网络化。计算机技术的发展和介入，使得正处于方兴未艾的电视工业得到了新的 支持，带来了又一次巨大变革的历史机遇。数字时代带来了先进的图像压缩技术、高性能 的数字传输技术以及其它一系列高新处理技术，这使数字电视的产生成为可能。数字高清 晰度电视使用数字信号传送远距离的图像，是数字化信息技术革命的产物。它通过先进的 图像压缩技术和数字化的信息传输方式，提供更大的屏幕、电影质量的图像和c d 质量的 立体声音响。从节目制作到信息的接收和显示，数字电视工作原理和模拟电视都大相径庭。 同时，数字电视又是计算机化了的电视，与计算机技术融为一体，数字化的处理、传输、 接收和显示信息。数字电视终将淘汰模拟电视，而进入数字化时代，一场电视革命的序幕 就此拉开。 图1 1 1 数字电视接收机框图 如图1 1 1 所示，数字电视的接受机中，主要包括信道解调、信源解码、视频后处理 三个核心芯片。其中，信道解调芯片的开发有待于国家标准的最后确定；信源解码国际上 统一采用m p e g 一2 ，已有以s t 公司的s t i 系列为代表的多种型号的典型产品；而数字视 频后处理芯片由于数字电视出现后，各种新业务的不断加入以及各类新颖显示终端的出现， 目前尚无定型产品，是当前最有市场开发价值的数字电视核心芯片之一。 数字视频后处理芯片项目是基于数字高清晰度电视的业务多样性提出来的。通过数字 信号处理方法把众多格式的视频信号转换成统一格式的输出信号，从而在数字域实现多种 信号到电视显示器件之间的无缝连接，大大降低对显示器件及其扫描等周边电路的性能要 求，降低数字电视机的设计成本。同时，后处理芯片的数字处理功能可以方便地实现精确 的伽马校正、抗锯齿、运动补偿、轮廓增强等图像处理算法，实现消除闪烁，提升图像观 赏质量和视觉效果。 浙江人学硕士学位论文 我们所开发的数字视频后处理芯片是一块高性能的数字视频处理芯片。使i i = j 运动补偿 算法，利州场间运动矢量，剥输入的隔行信号进行去隔行处理输出高清晰度、高分辨率 的模拟和数字信号。 作为一个独立系统，集成r 去隔行器、内存控制器、彩色卒问变换器、d a 变换器。 输入端可以接收i t u r 6 0 t 和i t u r 6 5 6 格式的y u v 数字图像信号，通过降噪处理和训算 运动矢量，利h j 运动补偿算法剥图像进行内插，产生低噪声、无锯齿的逐行图像。在帧率 变换叫，利用运动矢量，对两唢图像进行内插，得到更加真实、自然的视觉效果。 特点： 基于块匹配的运动估计器 基于运动补偿的去隔行算法 数字视频信号增强 输入格式多样( n t s c 和p a l ) 运动补偿帧率变换 彩色空间变换 三路1 0 b i t d a 变换器 一路8 b i t d a v m 输出 应用： 平面电视( l c d ，d l p ) l c d 多媒体监视器 逐行扫描c r t 电视 数字电视 1 。2 芯片设 流程 专用集成电路( a s i c ，a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t s ) 是面向专门用途的电路， 以此区别于标准逻辑( s t a n d a r dl o g i c ) 路、通用存储器及通用微处理器等电路。按字面解 释，凡是用于某一类专用系统的电路都可以称为a s i c 。目前在集成电路界，a s i c 被认为 是用户专用集成电路( c u s t o m e rs p e c i f i c1 c ) ，即它是专门为一个用户而设计和制造的。换言 之，它是根据某一用户的特定要求，能以低研制成本、短交货周期供货的半定制、定制电 路以及p l d 和f p g a 电路。 a s i c 的提出和发展说明集成电路进入了一个新阶段。通用的、标准的集成电路已不 能完全适应电子系统的急剧变化和更新换代。各个电子系统厂家都希望生产出具有自己特 色和个性的产品，而只有a s i c 产品才能达到这种要求。这也是自8 0 年代中期以来，a s i c 得到广泛传播和重视的根本原因。a s i c 电路的蓬勃发展正推动着设计方法学和设计工具 的完善，同时也促进着系统设计人员和芯片设计人员的结合和相互渗透。 a s i c 可以有以下几种设计方法：全定制法( f u l l c u s t o md e s i g na p p r o a c h ) ，它适用 于要求得到最高速度、最低功耗和最省面积的芯片设计：定制法f c u s t o md e s i g n a p p r o a c h ) ，它适用于芯片性能指标比较高而生产批量又比较大的芯片设计；半定制法 ( s e m i c u s t o md e s i g na p p r o a c h ) ，它适用于要求设计成本低、设计周期短而生产批量又比 较小的芯片设计；模块编译法( b l o c k c o m p i l e r ) ，它是一种全自动的设计方法。先对设计 模块的性能进行描述，再通过编译直接得到该电路的掩膜版图；可编程逻辑器件法 ( p r o g r a m m a b l el o g i cd e v i c e s ) ；逻辑单元阵列法( l o g i cc e l la r r a y ) ；这种器件通常被称为 f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) ，即现场可编程门阵列。 由第一节对数字视频后处理芯片项目的介绍可知，此芯片集成了图像输入接口、去隔 行器、内存控制器、彩色空间变换器、d a 变换器、数字模拟输出，可以算的上是一个 s o c 芯片。所以，我们在开发此项目时也基本上遵循了传统的s o c 设计流程，大致设计 流程如下： 2 浙江大学硕士学位论文 图1 2 - l 视频后处理芯片设计流程图 根据上述芯片设计流程，我们整个视频后处理芯片项目组也相应地分成了五个小组， 分别为：算法设计组、系统设计组、f p g a 验证组、芯片设计组和后端设计组。 算法设计组：主要是对芯片所涉及的核心算法进行反复的探索，寻找出一种最优的作 为最终算法。在我们的后处理芯片中主要有两大核心算法，一个是对图像进行去隔行处理 的补偿算法，一个是实现帧率变换的帧间插值算法。 系统设计组：主要包括两部分，一是整个f p g a 验证平台的设计；另一个是对于整个 芯片的硬件实现方案进行设计，主要包括：芯片的系统时钟频率、内部总线宽度、外部 浙江大学硕r 学位论文 s d r a m 的容量及带宽、软硬件划分、各个功能模块的划分、算法的硬件实现方案、内部 缓存( c a c h e ) 的容量以及存储结构等等。 f p g a 验证：由_ 】前面的算法探索都是在p c 上用纯软件的方法进行的，还需要进一 步在硬件上进行验证。f p g a 验匹完成的主要工作就是在硬什平台上对系统的算法、结构、 方案进行完备的验证。 芯片设计：主要是把f p g a 验证过的系统结构和方案用硬件描述语言设计为可以综合 的模块，_ j 1 二完成r t l 级的仿真。 后端设计：把前面设计好的r t l 级模块结合特定的l c 库综合为门级的网表文件，并 耍完成门级的后端完全仿真验证，为以后的一次流片成功打好基础。 飞3 本文的主要i 作 2 0 0 2 年6 月至2 0 0 3 年1 2 月，作为主要设计开发人员，本人参与了视频后处理芯片 设计项目，参与了该芯片的全部设计流程。该项目为国家计委投资的重点科研项目，是 国内开发设计的首块能够运用与模拟电视、数字电视和高清晰度电视的视频后处理芯片。 该芯片采用深亚微米工艺设计超大规模集成电路芯片，实现输入电视信号的处理，本人负 责该芯片中核心算法模块的硬件实现，包括基于运动补偿的时域递归去隔行处理算法、基 于运动补偿的帧率变换算法以及这种基于数字域的画质增强算法，具体工作包括系统设计、 结构设计、逻辑设计以及逻辑综合、后仿真；同时本人还参与了该芯片的f p g a 系统原型 验证，负责其中核心算法的实现以及基于e p p 模式的系统测试模块的设计；该芯片第一版 本v 1 0 于2 0 0 3 年7 月在t s m c 采用u m c 1 8 工艺流片成功，本人负责了对整个芯片的测 试工作，利用芯片内的可测试性设计扫描链，成功检测定位了芯片中的故障。 本文前半部分着重于论文视频后处理芯片中的核心算法及其硬件实现方案，按先后顺序 依次论述了基于运动补偿的时域递归去隔行算法，基于运动补偿的帧率提升算法和一种基于 九抽头滤波器的色度瞬态改善( c t i ) 算法；后半部分着重论述了芯片的可测试性设计，并 创造性的提出了利用f p g a 芯片搭建芯片自动设备( a t e ) 设备，利用芯片内的扫描链( s c a n c h a i n ) 进行功能故障检测的方法，并取得了成功；同时还针对f p g a 系统测试的困难，提 出了一种基于并口e p p 模式的f p g a 调试方案。 本文第一章绪论首先概述了数字电视，引入了数字电视视频后处理芯片的基本概念。 然后对专用集成电路( a s i c ) 设计的发展以及该芯片的设计流程做了简单介绍。 第二章着重阐述总视频后处理芯片中设计的两个核心图像处理算法：去隔行算法和帧 率提升算法。在论述了这两个算法的背景、理论之后，详细对比了各种算法的优劣，最后 提出了视频后处理芯片中采用的两种算法。 第三章主要讨论在两个核心算法的硬件实现方案，着重讨论了硬件设计时考虑的重点、 难点以及实现方法。 第四章介绍了一种常用的数字域画质增强算法一色度瞬态改善( c t i ：c o l o r t r a n s i e n t i m p r o v e m e n t ) 。在介绍了该算法主要解决的问题、理论背景以后提出了一种基于九抽头滤 波器的算法，并详细讨论了其实现方案，列出了硬件实现的效果。 第五章详细介绍了s o c 设计中芯片的可测试性设计。在介绍了芯片的常见故障和可测 试性测试的理论背景后，详细介绍了视频后处理芯片中的可测试性设计，并创造性的提出 了利用扫描链对芯片进行功能测试的思想及其实现方法。 第六章提出了一种基于并口e p p 模式的f p g a 调试方案，详细讨论了该方案的性能有 点及其实现代价，并给出了实现结果。 4 浙江大学硕士学位论文 第2 章核心算法 视频后处理芯片中一共包括_ 二个核心的图像处理算法，他们分别是：基于运动估计的 去隔行处理算法，通过降噪处理和计算运动矢量，产生低噪声、无锯齿的逐行图像，利用 场间运动矢量，剥输入的隔行信号进行去隔行处理，输出高清晰度、高分辨率的模拟和数 字信号：基丁运动估计的帧率变换算法，利用运动矢量，对两帧图像进行内插，得到更加 真实、自然的视觉效果；各种画质增强算法，通过各种数字域中的图像处理算法，例如伽 马校正、边缘检测、色度瞬态增强、亮度瞬态增强等，对输入图像的画质进行细节上的改 上，使输出的图像更加逼真。 r 面将分别介绍这些核心算法的背景及基本原理。 2 1 去隔行技术 2 1 1 隔行与逐行 人的视觉系统对图像的小面积闪烁没有对大面积闪烁感觉敏锐。电视1 。播系统中所采 用的传输标准正是利用了人眼的这一特性而采用了隔行显示技术，这一技术给电视广播系 统带来了很多的便利。但是隔行显示技术也给电视系统带来了很多的缺陷，概括起来主要 有： 行间闪烁：在英国，有些研究人员将这个称为“颤抖”，指的是屏幕上的物体的水平 边缘所造成的闪烁效果。产生这种效果的原因是摄像机的分解力过高。例如，奇数场 的第5 l 行是亮的，而紧邻的偶数场的第5 2 行是黑的，则表现为图像中某个物体边缘 的第5 1 行就以3 0 h z 的速率在屏幕上闪烁。此速率已低得令人烦恼。 爬行：由于在现代阴极射线管( c r t ) 显示器中使用的是短余辉荧光粉，因而荧光屏 上单行亮度的衰减非常快，1 6 0 秒后即在上面出现新的一行( 下一场的一部分) 。人 眼很容易跳到新的上一行，而这一新行又被上面离得很近的另一新行所跟着，依次类 推。最终爬完一个荧光屏高度。人眼一旦盯住了这种爬行的图案，他看到的就不再是 4 8 3 行图像，而是仅仅包含2 4 2 行的图像，所以图像质量受到损失。 垂直混叠：垂直混叠也是由c r t 的短余辉荧光粉所引起的，它是对一场只有2 4 l 有 效行垂直细节的图像取样的结果，所产生的网纹图案理应为下一场产生的同类图案所 抵消，但从人眼和屏的组合并未使两场完全合成整体，其结果是在屏幕上伴随垂赢细 节产生异常的混乱。 移动物体的垂赢和对角线轮廓会发生畸变：当垂直方向相邻的图像像素在前后两场以 不同时间出现时就会发生这种畸变。由于一帧图像分两场扫描，一行上的某个像素会 比它在前一场中垂直相邻的像素的时间晚1 5 0 秒。如果景物中的物体是平稳的，那 么不会造成不好的影响。但如果物体是快速运动的，上面所说的延迟会使得本来相邻 的像素发生位移，第二场的这个像素会在第一场垂直相邻像素的右边出现，这时候图 像就会显示一连串的阶梯锯齿，使图像的轮廓不够清楚。 隔行扫描技术不但在图像显示上有以上这些先天的缺陷，而且它还使得很多图像处理 任务变得很复杂。其中一个很重要的是，它使得扫描格式的转换变得很复杂。由于国际电 视节目交换的需要，以及近些年出现的高清晰度电视、视频电话、互联网、p c 视频等，各 种各样的扫描格式需要相互转换，而隔行技术使得这一任务变得复杂。 由于隔行技术的种种缺陷，去隔行技术的发展势在必行。近2 0 年来，去隔行技术也得 5 浙江大学硕士学位论文 到了很人的发j 梃，山现了各种各样的去隔行算法。从最开始的简单空间线性插值，到目前 最流行的运动补偿( m o t i o n c o m p e n s a t e d ) 插值，去隔行技术大致可以分为两类：限运动 补偿算法_ 取l 运动补偿算法。f 面将分别介绍。 2 1 2 去隔行 f 幅阁很好的说明了去隔行技术所耍完成的任务。图的左边是输入，它是电视信号中 常所说的图像的一场，它是由一副图像的所有奇行或偶行抽样组成，相应地称为奇场或偶 场，是隔行信号。图的右边是输出，经过去隔行处理后变成了一帧图像，它代表了同输入 的场所代表的同一副图像，但包含了所有行的抽样信息，是逐行信号。 图2 1 - 1 去隔行示意图 一般我们定义输出帧为 嘶川黧一硼2 焉黑孑 ( 2 1 1 ) 其中i = ( x ，y ) 7 代表空间位置，n 代表场的编号。从式中可以看出，当y r o o d2 = n m o d 2 时，输出c ( i ，”) 等于输入场f ( i ，n ) ：否则，输出等于插值像素f ( i ，”) 。 由于隔行技术存在着很多缺陷，研究人员提出了很多去隔行的算法。有人提出了线性 插值的算法，这些算法在一定程度上能够达到可以接受的效果，但不是很理想。直到7 0 年代来期，这些线性插值的算法还是电视运用领域中的主流应用算法。大概从八十年代早 期开始，有人提出了非线性中值的算法，这些算法在一定程度上超过了线性插值算法。接 下来，为了解决图像中物体运动的问题，运动补偿的算法被提了出来，虽然这些算法具有 非常好的性能，可是由于硬件实现代价过大而只能被运用于专业应用领域。直到九十年代 初期，随着半导体和微电子技术的发展，使得能够在一块芯片上集成几百万个晶体管，从 而大大地促进了基于运动补偿的去隔行算法被运用于消费类电子。下面就分别来讨论各种 各样的去隔行算法，大致可以分为两类：无运动补偿算法和基于运动补偿的算法： 6 浙江人学硕士学位论文 2 1 2 1 无运动补偿的去隔行算法 我们着重讨论两类无运动补偿的去隔行算法线性和非线性。这两类算法都包含以 f 三种：空问去隔行算法，该算法只利用同一场内( i n t r a - - f i e l d ) 的图像信息；时间去隔 行算法，该算法利用r 前后连续儿场( i n t e r - - f i e l d ) 的信息；空间一时问算法，该算法结 合了前两种算法的优点。 2 1 2 1 1 线性技术 在电视运用领域中，时间空间滤波器( s p a t i a la n d t e m p o r a lf i l t e r s ) 很少被用到。然而， 在多媒体电脑( m u l t i - - m e d i ap c s ) 运用领域，这样的滤波器近年来被提出来，并通常被 称为“b o b ”滤波器和“w e a v e ”滤波器。这些滤波器很快同时空线性滤波器一起，被运用 于商业电子领域，引起了该领域研究人员的注意。所有的线性去隔行算法都可以概括为以 下的公式： i f ( i ，n ) 1 f ( 孑+ 旃，n + 聊) ( i ，m ) l k vr o o d2 = 2 o t h e r w i s e ( 2 1 2 ) ( t ，肌 ，一1 , 0 12 ) 其中h ( k ，m ) 是滤波器在垂直时空域( v t d o m a i n ) 的冲击响应。同样，我们定义： 根据对于h ( k ，m ) 的不同选择，可以把相应的算法分为空间滤波算法、时间滤波算法和 时空滤波算法。 2 1 211 1 空间滤波算法 空间滤波去隔行算法是利用了同一场内相邻抽样行之间的相关性来进行去隔行的。该 算法在时间域内对所有频率的全通特性保证了运动假象( m o t i o na r t i f a c t s ) 的消除，可是当 图像中的物体在垂直方向上有很高频率的运动时，该算法具有比较差的去隔行效果。空间 滤波算法又称场内插值( i n t r a - 一6 e l d ) 算法，该算法最大的优势是它具有极小的硬件实现 代价。 最简单的空间滤波算法是线性重复，即对于公式( 2 ) 中的h ( k ，m ) 选择：当k = 一 1 时，h ( k ，0 ) = 1 ；当k 等于其他值时，h ( k ，o ) = o 。对于这种滤波器的频率响应可 由下式给出： h ，( l ) = c o s ( 矾) ( 2 1 - 3 ) 其中，f y 代表垂直方向的频率( 该频率应对图像信号的垂直采样频率进行归一化处理) h ，( f y ) 代表了垂直方向上的频率响应。这种频响特性没有非常陡峭的滚降( r o l l - - o f f ) 。 结果，造成了第频谱的复制点没有被很好地抑制掉，而基带信号却被部分地抑制掉了。 这造成了在输出信号中存在伪信号( a l i a s ) 和闪烁( b l u r ) 。 7 浙江大学硕士学位论文 图2 1 2 一种空间滤波算法的频率响应 这些伪信号和失真能够用增加插值阶数的方法米抑制。线性平均算法( 在电脑运用领 域被称为b o b 算法) 是一种最常用的方法。该算法中的h ( k ，m ) 按下述方法选择：当k = 一1 ，1 时，h ( k ，0 ) = o 5 ；当k 等于其他值时，h ( k ，o ) = o 。它的频率响应为： ；+ i 1c o s ( 2 矾) ( 2 1 - 4 ) 它能够比线性重复算法更好地抑制伪信号和失真，但是这同样更多地抑制了基带频谱 信号。通常来说，纯空间滤波算法无法区分基带频谱信号和重复频谱信号。如图2 1 2 所 示，这些算法通常要在伪信号失真和基带信号之间做出选择。图中灰色阴影部分说明，该 滤波器地通带要么抑制垂直方向上的细节，要么造成伪信号失真。 “b o b ”空间场插值，是电视行业中采用最普遍地去隔行算法。这样方法是基于场 来计算，不考虑另一场中的行，把输入的图像大小由4 2 0 x 4 8 6 转成7 2 0 2 4 3 。在通过相 邻行中值把图像恢复为7 2 0 4 8 6 。采用这样方法运动图像不会有显著的恶化，并具有晟小 的计算量。不足之处是在插值前输入场的垂直解析度减半，这减少了图像的垂直细节。处 理的结果见图2 1 3w e a v e d ( a ) 和b o b ( b ) 去隔行算法效果图。 2 1 2 1 1 2 时域滤波算法 时域滤波去隔行算法是利用了时域内相邻“场”之间图像的相关性来进行线性插值的。 纯的时域线性插值，意味着空间域内的全通滤波，这样对于静止图像可以毫无失真的进行 去隔行插值。 与前一节所讨论的线性行重复( 1 i n er e p e t i t i o n ) 算法相类似，在时域内存在着线性场 重复( f i e l dr e p e t i t i o n ) 算法，该算法又称线性场插值算法( f i e l di n s e r t i o n ) 。该算法中的h ( k ，m ) 按f 述方法选择：h ( 0 ，一1 ) = 1 ；对其他所有的k 和m ，h ( k ，m ) = 0 。由 该公式可以看出，该算法就是把当前场的前一场数据原封不动的插值到当前场来的。该算 法的频响特性同前一节讨论的线性行重复算法相类似，只是把公式中的f v 用代替即可。 在p c 运用领域中，场插值算法又称为“w e a v e ”算法，它在垂直频域内提供了全通的 特性。对于静止的图像，该算法是最好的解决方案，因为它保留了所有的垂直频率分量。 然而，对于移动的物体，由于它们在奇场和偶场的位置是不同的，这样会在图像中运动物 体的边界处造成锯齿状图案。它只是在时间进行插值的线性滤波器。直接把两个输入场重 叠或交织在一起产生一个逐行的帧。采用这种算法对静j l 图象不会造成图质恶化，但是对 于运动图像的边界上会存在较严重的锯齿。处理结果见图2 1 3 。 8 浙江大学硕士学位论文 图2 1 _ 3w e a v e d ( a ) 和b o b ( b ) 去隔行算法效果图 w e a v e 算法用的是一阶的时域滤波器，它只利用了前一场的信息。对于更高阶数的时 域滤波算法，需要存储更多场的图像信息，这显然需要很大的硬件实现代价，在经济上是 很不合算的。而且，这些算法也同样无法区分基带信号和重复频谱信号，参见图21 4 ： 图2 1 - 4 纯时域滤波算法的频响特性 2 1 2 1 1 3 空问一时间滤波算法( v tf i l t e r i n g ) 对于那些在抽隔行之前是带限( b a n d w i d t hl i m i t e d ) 的视频信号来说，空间一时间组台 去算法能够在理论上完全解决去隔行的问题。该算法中需要的前置滤波器同帧率变换中的 滤波器具有相似的特性，图2 1 5 空间一时间( v t ) 滤波算法的频响图画出了该算法需要 的频响特性。从图2 1 5 可以看出，空间一时间滤波算法应该是最好的线性滤波算法，对 于静止的图像，它同时抑制了伪信号( a l i a s ) 失真和闪烁现象。可是，随着时域内频率的 增加，空间上的细节被逐步模糊掉。这样对于运动的物体看上去会很不自然。 9 浙江大学硕士学位论文 图2 1 5 空间一时闻( v t ) 滤波算法的频响图 在此类算法中，设计滤波器时通常尽量使相邻场中提供的信息被限制在较高的垂直频 率分量中。这样，对于那些水平运动同时在垂直方向上没有细节的物体，就可以去除运动 的噪声。下面的公式给出了常用的空间一时间滤波算法： m 咖肛s 2 1 2 1 2 非线性算法 ，( i = 一3 , - 1 ，1 ，3 ) ( m = o ) ，( 七= 一2 ，0 ，2 ) ( 卅= - 1 ) ( 2 1 5 ) ，( o t h e r s ) 线性时域滤波插值对于静止的物体可以达到完美的去隔行效果；线性空间滤波插值对 于在垂直方向上没有细节的物体也可以达到较为理想的去隔行效果：可是这些算法都只能 在特定的场合下达到好的处理效果。这样，就促使大家去寻找对于运动物体或在垂直方向 上有细节的物体能够达到好的效果的去隔行算法。大约在上世纪8 0 年代，很多基于探测物 体运动和垂直细节的算法被提了出来。在这一节，我们首先讨论一些常用的检测运动运动 和垂直方向细节的方法，以及这些方法的实际运用：最后介绍一下非线性自适应去隔行算 法，这种方法直到9 0 年代，一直被认为是最好的去隔行算法，直到在单个芯片( s i n g l ec h i p ) 上实现运动补偿( m o t i o nc o m p e n s a t e ) 算法成为可能。 2 1 2 1 2 1 运动自适应算法 为了检测物体的运动，就必须要计算两幅图像之间的差异。然而很不幸的是，由于噪 声的影响，两幅相邻图像之间的差异即使是在静止的图像上也不为零。同时，一些系统还 存在着很多不利于运动检测的因素。例如：用于调制颜色信号的副载波造成了在颜色域里 的不稳定；隔行技术造成了在垂直方向上图像细节的不稳定；抽样时钟的抖动对图像在水 平方向上的细节造成了严重的伤害。所有的这些问题暗示着，运动检测器的输出应该是一 个多电平的信号，而不是一个二电平的信号，用来指示物体运动的可能性。很显然，运动 检测并不简单。所以，为了能够在大多数情况下使运动检测器产生足够好的性能，必须事 先做出一些假设。经常用来提高运动检测器性能的假设有以下四个： 1 、噪声相对于图像信号来说，通常是很小的； 2 、位于颜色副载波附近的频谱信息通常不包含运动信息： 3 、有效信号中低频分量的能量大于噪声和伪信号中低频分量的能量： 4 、同象素点来比较，图像中的物体是很大的。 图2 1 - 6 画出了常用的基于上述四个假设的运动检测器的结构：一个在时域内的差分 1 0 浙江大学硕士学位论文 信号首先通过个低通滤波器( 载波信号无法通过) ，这利用了第2 、3 个假设，此低通滤 波器同时也减小了由于时钟抖动而在图像边界处造成的噪声；再经过校丁f ( r e c t i f i c a t i o n ) 处理后，另一个低通滤波器刚米提高输出信号的致性( c o n s i s t e n c y ) ，此处是基丁第4 个 假设；最后， 个非线性转换模块把信号转换成运动的概率特征数据( p 。) 。这其中的低 通滤波器可以是非线性的。如果想要产生更加可靠的运动检测信息，可以使用多个运动检 测器，利用多丁两场的连续图像信息来产生多个运动估计信息，然后再利用这些估计信息 的组合产生更加准确的运动检测信息。 输 输 图2 1 6 常用运动检测器的结构框图 通过运动检测器( m o t i o nd e t e c t o r ) 得到的信息可以用来在系统中的两种不同的处理 模式之间做出选择：一种是对于静止物体具有最佳的处理效果，另一种是对于运动物体具 有较好的去隔行处理效果。a c h i h ae ta 1 1 2 和p r o d a n 【1 3 】指出：利用运动检测器得到的 信息作为反馈，可以把时域滤波和空间域滤波两种滤波器结合起来很好的抑制掉伪信号并 保留住真实的图像频率分量。b l o c k 1 4 也指出，利用下面列出的公式可以很好地在对于静 止图像最优的插值器和对于运动图像最优的插值器之间做出折中： 嘶，加髓”城撕，。， ，y m o d2 = m o d2 o 胁坩 ( 2 - l - 6 ) 其中f s t 代表了对于静止图像部分的插值结果，f m 眦代表了对于运动图像部分的插值结 果。运动检测器得到的结果来决定混合参数的大小。 s e t h - - s m i t h 和w a l k e r 1 5 指出：一个好的空间一时间( v t ) 滤波器能够达到同运动 自适应滤波相同的插值效果，而前者具有更小的硬件代价。 f i l l i m a ne ta 1 【1 6 】提出了一种在多于两个的插值器之间做出折中的算法：用来进行插 值的高频信息从前一行得到，低频信息从一个运动自适应插值器中得到： m o d2 ，0 t h e r s ( 2 1 7 ) 其中f 和f l f 分别代表了输入信号f 通过高通滤波器和低通滤波器的结果，f a y 由下式得 到：只y ：f l f ( i , - - f i r , n ) _ = + f l f ( i + f l y , n ) ( 2 1 1 8 ) 式中的混合参数a 由运动检测器得到的结果来决定。f i l l i m a ne ta 1 提出的运动估计器利 用了图像帧之间的差异。对于没有运动的低频分量，采用了场插值；对于有较大运动的分 量采用r 线性平均算法。 h e n t s c h e l 1 7 ，18 】提了一种算法用来对垂直方向上的边界进行检测而不是检测运动。 h = 2 d ) o 1 m 卜 y k 垆 f口“ 力峨 砷 ，一栅 一 喇 r，、l 浙江大学硕t 学位硷文 这个边界榆测器( e d g ed e t e c t o r ) 的输出信号l 一 _ 由r 式得到 e d ( 王， ) = g 江( i i ，”) 一f ( 王+ i ，”) ) yr o o d2 r o o d2 ( 2 1 9 ) 其1 1g ( ) 代表了 个能略决定边界存在的作线性函数。g ( ) 的输出信号或者是0 或 者是l 。此处应注意，该检测器并无法区分静止区域和运动区域，而只能找出那些采用时 间插值算法能够达到最优的地方。 2 1 2 122 基于边界的插值算法 d o y l ee ta 1 【9 】利用了大量相邻点的图像信息来提取图像中边界的方向信息。如果由 丁物体的运动而必须采用场内( i n t r a f i e l d ) 插值，那么这些插值必须能够保留基带频谱 信息。当检测出最佳的滤波插值方向后，就在此方向上插入所需信号。 图2 1 7 边界插值算法示意图 如图2 1 - 7 所示，插值点x 的值由它相邻点之间的相互关系来决定 x = 巨 ( ( 1 爿一f l l c - q ) n ( i 爿一f 1 l b e i ) ) ( ( 1 c d i i a f i ) ，、( i c d i i 口一e i ) ) o t h e r s 其中x a ，x b 和x c 由下式定义 弘等 = 半 = 丁c + d ( 2 1 1 1 ) 象素点a 、b 、c 、d 、e 和f 如图2 1 7 边界插值算法示意图所示，由下式定义 a 2 f ( 王一厅，一百，h )b = f ( i 一厅。，”) c = = ，( i + 厅，一i y ，n ) d = f ( i 一舀，+ 砑，n ) 1 2 3 2 l 1 2 3 n 卜 n y 浙江大学硕l 。学位论文 e = = f ( 膏+ 打p h )f = f ( 王十五；+ 孬y ， ) g = = f ( i 一3 f f 。，n ) h 2 2f ( i + 3 厅。， ) 如果相邻的抽样点之间的差异为0 ，很难确定在该方向上图像是否是静止的。例如， 噪声和伪信号可以列判断做出负面的影响。边界检测器可以用于在至少两种处理模式中做 山选择或折中，这些模式中的每一种都是对某一特定方向一l 进行插值的最优算法。 利用对相邻象素点h 的边界方向进行检查，可以提高边界检测算法的一致性。在参考文献 2 2 中，定义了方向边界探测操作符。例如 a n g l e 9 0 = 1 b e l + i c f 1 同样，对于1 6 6 度角的边界由f 式定义 a n g l e l l 6 = l a e i + i b f l 对于垂直方向的错误检测测量由下式定义 ( 2 1 1 3 ) 通过寻找在一个相邻区域中最主要的边界方向可以更进一步来提高边界检测算法的一 致性。但是，伪信号的问题仍然存在。 2 1 2 1 2 3 隐式自适应算法( i m p l i c i t l ya d a p t i n g ) 与自适应线性滤波去隔行算法相对应，有人提出了非线性滤波算法，这些算法都暗含 着对物体运动和边界的自适应特性，所以称为隐式自适应算法。中值滤波算法是这些算法 中运用最广泛的一个。最简单的中值滤波算法使用了在空间一时问域( v t ) 里的三抽头中 值波器，见图2 1 8 。 在该算法中，去隔行时被插的值取了以下三个值的中值：当前场中垂直方向上相邻的 两个点( a 和b ) ，前一场中对应的i l l i i 近点( c ) ，公式如下： 啪，= f 嚣 啊ym o d n 2 脚= nm 叫o d 埘2 。 其中函数m e d ( a 、b 、c ) 见如下定义 爿，( 占 a c ) v ( c a b ) m e d ( a ，b ，c ) = b ，( 爿 b c ) v ( c t 3 l ) ，则令k = l ，其中l 为降噪的容限值，可以根据实际系统的要求 进行配置，以得到晟优的参数；那么，降噪后的值y d 就由下式决定： y d = ( k + y c + ( l k ) + y p ) 41 ，l 图3 1 2