（微电子学与固体电子学专业论文）高画质视频格式转换关键技术研究.pdf

摘要摘要近年来，随着信息技术、通讯技术、广播电视、多媒体技术的发展，多格式视频间的交互需求越来越旺盛，为视频扫描格式转换提供了广阔的市场前景。一方面，环保、轻薄的l c d 、p d p 、d l p 等新型平板( f p d ) 显示器件逐渐取代c r t 显示器件，成为显示设备的主流。f p d 器件的共同特点是具有固定的显示格式( 幅宽比、解析度) 。这就需要将各种扫描格式的输入信号源重建为显示器件所能兼容的格式。另一方面，虽然数字电视的全面实施不可避免，但是传统模拟电视到高清晰度数字电视的过渡将是一个渐进的过程，此阶段大量视频格式并存，这就要求接收终端具有格式转换功能以兼容不同视频格式。所有这些技术的发展和市场要求的提高，都依赖于更多更先进的视频扫描格式转换技术。开发高性能、低成本、易于a s i c 实现的视频扫描格式转换算法是视频后处理的核心内容。本论文的主要研究目的是采用大规模集成电路的设计技术和方法，对输入的各种数据信号( 包括p a l 、n t s c 制式的模拟电视信号、数字电视信号、计算机图像信号) 进行扫描格式的转换，并提高重建图像的显示质量，以适应f p d 的显示格式需求。对视频扫描格式转换的研究主要从去隔行技术、图像缩放技术、运动检测与估计技术、边缘检测技术等几个方面展开。首先，论文综述了经典的和新兴的扫描格式转换算法及扫描格式转换的发展趋势，指出了当前算法中存在的问题。进而，结合视频信号的特征、人类视觉感知特性和实现复杂度提出了高性能的视频扫描格式转换新算法或改进方案。1 ) 在去隔行技术的研究方面，提出了基于时空权重的小角度边缘和运动自适应去隔行算法及其v l s i 设计。此算法能够自动融合场内插值和场合并的优点，电路实现简单，克服了传统算法对运动图像和小角度边缘插值等方面的缺陷和不足，取得比较理想的处理效果。2 ) 图像的边缘对人类视觉系统f f i v s ) 具有非常重要意义，这就需要对图像的边缘进行检测和相应的保护。论文在利用最大像素相关性得到边缘方向的基础上，增加对相邻像素的考虑，实现半像素精度，提高了边缘检测的精度，能检测最小角度为6 0 的边缘，边缘检测的最大精度为0 7 0 。这一边缘检测精度在现有文献报道中未见报道。在电路设计上，采用并行的自适应搜索半径方法减小了硬件的复杂度。3 ) 运动自适应插值算法的性能严重依赖运动检测的准确性。本文设计了两种运动检测算法：同极性场间基于时空像素灰度梯度的运动检测和基于同极性场匹配块的运动检测，并采取两方面措施增强运动检测的鲁棒性：一方面，利用四个周极性场的检测来减少对快速运动的漏检；另一方面，采用数学形态学滤波处理消除噪声影响，提高运动检测的精度。4 ) 运动补偿插值的核心是运动估计技术。论文提出了基于初始搜索点预测的无限制中心倾向菱形搜索运动估计算法，在保持了传统快速块匹配法快速实时优点的同时，可以得到更加精确平滑的运动矢量场，提高了运动估计的精度。5 ) 在图像缩放研究方面，针对传统插值缩放算法对边缘区域的处理效果不佳、向下缩放时容易出现频谱混叠和无法真正实现无级缩放等不足。本论文提出了边缘自适应的四点分段抛物线图像缩放算法及其v l s i 设计。该算法不但弥补了传统算法中存在的不足，支持最大分辨率达到q x g a ( 2 0 4 8 x 1 5 3 6 ) ，而且通过在图像的不同区域产生不同的缩放系数的非线性缩放实现了1 6 ：9 5 d 4 ：3 幅型比的转换。在v l s i 的设计中，采用f a r r o w 结构提高缩放过程的处理速度和降低硬件复杂度，只需要2 个乘法器、9 个加法器和5 个延时寄存器，表现出很好的性能。最后，对论文的工作进行了总结，并对今后的工作方向提出了设想和展望。目前，以上这些主要算法和v l s i 电路已形成3 6 项国家发明专利，其中，图像缩放方法被评为“2 0 0 6年国家信息产业重大技术发明”。而且，这些技术已经被应用到基于中芯国际0 1 8 岬c m o s i 艺的数字视频扫描格式转换芯片中，并得到了大批量的市场应用。这款芯片的成功发布获“2 0 0 5 年获中国电子学会电子信息科学技术奖二等奖”。关键词：视频扫描格式转换，运动估计，运动检测，边缘检测，去隔行，图像缩放a b s t i 认c ta b s t r a c tr e c e n t l y , w i 也t h er a p i dd e v e l o p m e n to fm u l t i m e d i a , c o m m u n i c a t i o n , a n di n t e g r a t e dc i r c u i t ,s c a nf o r m a tc o n v e r s i o nb e c o m e sam o r ea n dm o r ei m p o r t a n ts u b j e c t o nt h eo n eh a n d , f l a tp a n e ld i s p l a yd e v i c e s ( f p d ) ，s u c ha sp d p ，l e d ，d l p ，b e c o m et h em a i n s t r e a mo fd i s p l a ym a r k e t t h ec o m m o nc h a r a c t e r i s t i co ff p di s 也e i rf i x e dd i s p l a yf o r m a t , s u c ha ss o l u t i o na n ds c a nr a t e s oi ti sn e c e s s a r yt oc o n v e r tv a r i o u si n p u ts i g n a lf o r m a ti n t o 也eo n ew h i c hc a nb ed i s p l a y e db yf p d o nt h eo t h e rh a n d 。i ti si n e v i t a b l e 也a td i g i t a lt vw i l lr e p l a c ea n a l o gt vb u tt h et r a n s i t i o nw i l lb eal o n g t e r mp r o c e s s i nt h i st e r m v a r i o u sf o r m a tw i l lc o e x i s t d u et ot h ev e r s a t i l i t yo fr e a l 。w o r l dv i d e of o r m a t s ，f o r m a tc o n v e r s i o nh a sb e c o m ea ni n d i s p e n s a b l ep a r ti nm o d e mv i d e od i s p l a ys y s t e m s t h e r e f o r ev i d e os c a nf o r m a tc o n v e r s i o ni sak e yt e c h n o l o g yi nt h ep o s tp r o c e s s i n go fd i g i t a lv i d e o t h eo b j e c t i v eo ft h i sp a p e ri sf o c u s e do i li n v e s t i g a t i n gas e r i a lo fs c a nf o r m a tc o n v e r s i o na l g o r i t h m st os a r i s f yt h er e q u i r e m e n t so ff p d a sw e l la st h e i rv l s ii m p l e m e n t a t i o n al o to fc o n t e n t so ft h i sp r o b l e mh a v et ob ea d d r e s s e d , w h i c hi n c l u d e ss c a l i n g ，d e i n t e r l a c e ，a n ds oo n at o t a ls o l u t i o no fv i d e os c a nf o r m a tc o n v e r s i o nw i t l lh i g hp e r f o r m a n c eh a sb e e nd e v e l o p e di n也i sr e s e a r c h 1 ) i no r d e rt or e a l i z ea r b i t r a r ye x p a n s i o na sw e l la se d g ee n h a n c e m e n t , af o u r - p o i n tp i e c e w i s ep a r a b o l i cs c a l i n ga l g o r i t h ma n di t sv l s ii m p l e m e n ta r ep r o p o s e d i te x h i b i t ss i g n i f i c a n ti m p r o v e m e n ti ni m a g eq u a l i t y , w i mt h em a x i m u mr e s o l u t i o no fm i sa l g o r i t h mi sq x g a( 2 0 4 8 x 1 5 3 6 ) i tc a na l s os u p p o r tt 1 1 ec o n v e r s i o nb e t w e e n1 6 ：9a n d4 ：3 i nv l s ii m p l e m e n t a t i o n af a r r o ws t r u c t u r ei su s e dt or e d u c eh a r d w a r ec o s t i tg e t st h eb e s tp e r f o r m a n c e ，a sw e l la ss u p p r e s s e st l l ea l i a s i n ge f f e c to fd o w ns c a l i n g 2 、d e i n t e r l a c ei st oc o n v e r ti n t e r l a c e di m a g e st op r o g r e s s i v eo n e s i nt h i sp a p e r ，ad e i n t e r l a c i n ga l g o r i t h mb a s e do ns p a t i o t e m p o r a lw e i g h ta n de d g ed i r e c t i o ni sp r e s e n t e d t h ep r o p o s e dm e t h o dc a no b t a i nq u i t eg o o dd i s p l a yq u a l i t ya n ds a t i s f i e sr e a l - t i m ep r o c e s so fh d t vs e q u e n c e s 3 ) d u et oi t ss i g n i f i c a n c ef o rh u m a nv i s u a ls y s t e m ，e d g ei ni m a g es h o u l db ed e t e c t e da n dp r o t e c t e dp r o p e r l yi ni n t e r p o l a t i o na l g o r i t h m s 1 1 1o r d e rt od e t e c tl o w a n g l ee d g ew i t hl o wh a r d w a r eu s a g e ，a na d a p t i v es e a r c h i n gr a d i u si su s e d t h r o u g ht h i sm e t h o d ，a6 0 e d g ec a nb ed e t e c t e d t h i sp r e c i s i o nh a sn o tb e e nr e p o r t e di nt h ep r e v e n i e n tp a p e r s 4 ) t h er o b u s t n e s so fm o t i o nd e t e c t i o np l a y sa ni m p o r t a n tr o l ei nm o t i o na d a p t i v ed e i n t e r l a c i n g f o u rf i e l d si n f o r m a t i o ni sc a p t u r e di nf i e l ds t o r a g et od e t e c tt h ep r e s e n c eo fm o t i o n f u r t h e r l y , t h em o t i o ni n f o r m a t i o ni sf i l t e r e db yam o r p h o l o g i c a lf i l t e rt os u p p r e s s 也ee f f e c to fn o i s e 5 ) m o t i o ne s t i m a t i o ni sa ni n d i s p e n s a b l ep a r ti nm o t i o nc o m p e n s a t i o ni n t e r p o l a t i o nt e c h n o l o g y i nt h i sr e s e a r c h ，a nu n r e s t r i c t e dc e n t e r - b i a s e dd i a m o n ds e a r c ha l g o r i t h mw h i c hi sm o r ee 历c i e n t ，e f f e c t i v e a n dr o b u s tt h a nt h ep r e v i o u st e c h n i q u e si sp r o p o s e d i to b t a i n sp r o m i n e n tp e r f o r m a n c e ，a n di ta l s op o s s e s s e st h er e g u l a r i t ya n ds i m p l i c i t yt h a ta r eu s e f u lf o rh a r d w a r ei m p l e m e n t a t io n t i l ln o w , m o s to ft h ea l g o r i t h m sd e s c r i b e di n t h i sp a p e ra n dt h e i rc o r r e s p o n d i n gv l s ii m p l e m e n t a t i o n sh a v eb e e np a t e n t e d i nw h i c ht h ei n t e r p o l a t i o nm e t h o do fs c a l i n gg o tt h eh o n o rb e s ti n v e n t i o no fn a t i o n a ii n f o r m a t i o ni n d u s t r yi n2 0 0 6 b e s i d e s a l lt h ea l g o r i t h m sh a v eb e e na p p l i e di nt h es c a nf o r m a tc o n v e r s i o nc h i pb a s e d0 n0 18p mc m o st e c h n o l o g yo fs m i c ，a n da c h i e v ep r e v a l e n ta p p l i c a t i o n si nt h ed i g i t a lt vm a r k e t k e y w o r d s ：v i d e os c a nf o r m a tc o n v e r s i o n ，m o t i o ne s t i m a t i o n ，m o t i o nd e t e c t i o n ，e d g ed e t e c t i o n ,d e - i n t e r l a c e ，s c a l i n g东南大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。东南大学学位论文使用授权声明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。研究生签名导师签名：期：k p ，伊第一章绪论第一章绪论1 1 视频扫描格式转换技术的背景和市场前景1 1 1 视频扫描格式转换技术的背景人类对客观世界的认识，有7 0 来自于视觉，特别是随着近现代电子技术的发展，各种各样的显示器件在日常生活的各个领域中发挥着越来越重要的作用。自上个世纪4 0 年代电视出现以来，从早期的黑白显像管到后来的彩色显像管，c r t ( 阴极射线管) 显示器件一直是显示电子化信息的主要方式。但随着科学技术的不断发展和人们生活水平的不断提高，环保、轻薄的l c d 、p d p 、d l p 等新型平板显示器件( f p d )逐渐取代c r t 显示器件，成为主流显示设备。f p d 器件有一个共同的特点是每个像素的亮度和色度信息和屏幕上相应的像素点对应，所以其输出的格式( 幅宽比、解析度) 是固定的，如具有1 0 2 4 x7 6 8 像素的l c d 或p d p 等，其输出的图像格式只能是1 0 2 4 x 7 6 8 。f p d 屏的工作原理决定了它只支持所谓的真实分辨率，f p d只有在真实分辨率下才能呈现最佳的影像效果，这点与c r t 显示器大相径庭。而在实际环境中，作为显示设备的输入信号不可能仅仅是一种采样率格式，而可能是从p a l 锖i j ( 7 2 0 x 5 7 6 i ) 、n t s c ( 7 2 0 x 4 8 0 i ) 锘0 的标准清晰度视频( s d t v ) 信号到高清晰度视频( h d t 信号( 7 2 0 p 、1 0 8 0 i 、1 0 8 0 p ) 、从v g a ( 6 4 0 x 4 8 0 ) 到q x g a ( 2 0 4 8 x 1 5 3 6 ) 的分辨率。为了能够正确显示图像，需要将输入信号源的采样率重建为各种不同的显示器件所能兼容的格式。另一方面，随着时代的进步，人们越来越关心图像质量，越来越追求电视画面的观赏性和舒适性，而传统隔行信号在分辨率上的先天不足随着人们对视频质量要求的提高明显地暴露出来。由于隔行图像的垂直分辨率只有逐行扫描图像的一半，对于一些特定的纹理和运动，隔行视频可能产生令人不愉快的视觉赝像。近年来，随着大屏幕电视的兴起，隔行扫描的固有缺点如行间闪烁、爬行、并行等现象以及行结构粗糙等更加明显，严重影响了电视的收看效果。所以，高质量的格式转化技术成为视频处理的一个重要谋题，其目的是消除隔行扫描中的行间闪烁、行蠕动、并行和锯齿化等固有缺陷，使现有的大量以隔行扫描方式记录的节目源能够在逐行扫描的显示设备上显示，以及在高清晰度电视系统中不同制式之间的转换。另外，近几年来数字电视技术发展迅猛，正在逐步取代目前的模拟电视。所有这些技术的发展和市场要求的提高，都依赖于更多更先进的图像处理技术。模拟电视系统的数字化研究，起步于8 0 年代初期。从上世纪末到本世纪初，是广播电视从模拟走向数字的过渡阶段，作为广播电视系统的末端和人机交互界面，数字电视在广播电视数字化的浪潮中出现了前所未有的发展机遇。许多国家和组织都提出了自己的格式标准。表1 1 y u 出了一些重要的视频格式标准。表1 1 部分数字电视视频格式标准采样格式标准制定组织应用领域( 水平x 垂直x 场率)n 丁s cc c m ( i n x j )与原n t s c 模拟制式兼容的数字电视格式6 4 0 x 4 8 0 x 6 0 ip a lc c m ( r ；u )与原p a l 模拟制式兼容的数字电视格式7 2 0 x 5 7 6 x 5 0 ih d t v - 7 2 0s 口t e高清数字电视格式1 2 8 0 x 7 2 0 x 6 0 p 3 0 p 2 4 ph d t v 二10 8 0s 巴t e高清数字电视格式l9 2 0 xl0 8 0 x 6 0 p u 3 0 p 2 4 ps i fi s o i e cm p e g 1 ，用于视频存储2 4 0 x 3 5 2 x 3 0 pc i s o i e cm p e g 2 ，用于会议电视2 8 8 x 3 6 0 x 3 0 p目前，我国高清数字电视产业正以日新月异的速度迅猛发展。我国正在加紧制定全国统一的数字电视标准方案，计划至u 2 0 1 5 年全面实现数字化。但是，由于建立全数字电视台需要高昂的费用、高清格式拍摄的节目相对缺乏、现在家庭拥有大量模拟制式电视机等各种因素的影响，这一切都决定了从模拟到数字电视时代的转变是一个渐进的过程。传统电视到高清晰度数字电视的过渡过程将会持续很长一段时间，此阶段大量视频格式并存，需要接收终端提供格式转换功能以兼容不同视频格式。其次，在这个转型时期，模拟电视，标准清晰度电视，高清晰度电视将相互并存，为了覆盖所有的标准，电视产品必然是多功能的，东南大学博士学位论文并能兼容各种清晰度。另外，在高清晰度电视推广的初期，高清晰度的节目源非常有限，也需要格式转换设备将大量标清格式的节目转成高清格式。视频格式的多样性还表现在监控、会议电视等应用领域，由于通讯带宽、存储容量、设备成本等限制，不同的应用场合会选用特定的格式，如此众多的视频格式方便了视频应用在各个专业领域的快速推广。同时也造成了不同视频格式间信息交流、编辑、传输、演播的障碍。如现在p a l 制式地区的观众和n t s c s f 式地区的观众之间无法共享电视节目。近年来，随着信息技术、通讯技术、广播电视、多媒体技术的发展，多格式视频间的交互需求越来越旺盛，为视频采样格式转换提供了广阔的市场前景。1 1 2 视频扫描格式转换技术的市场前景由于在未来较长的时闻内将是从模拟电视转向数字电视的过渡期，而且业务多样性将是未来数字电视产业发展的一个非常明显的特点，因此，支持多种格式输入的显示设备将是未来显示设备的主流，视频格式转换技术大有用武之地。第一，未来的一段较长的时间内将是从模拟电视转向数字电视的过渡期。在这段时期内，采用p d p 和l c d 等平板显示器件的数字处理电视是适应市场需求的过渡产品。它不仅可以基于现有的模拟电视广播系统提供给观众近似数字电视的视觉效果，而且能够满足当今消费者对超薄超大屏幕的需求。必将带来丰厚的利润。视频格式转换芯片是数字处理电视的核心芯片，其市场前景不言而喻。第二，业务多样性是未来数字电视产业发展的一个非常明显的特点。未来的电视产品必须能兼容各种扫描频率和各种清晰度的视频输入信号，这就需要视频格式转换芯片来完成它们之间的转换。第三，随着生活水平的提高，数字化摄录设备将逐步走进普通家庭。它的信号输出格式并不一定符合数字电视的标准，甚至可能是遵循模拟电视接口或计算机接口标准的。另外，未来家庭的娱乐中心将是计算机，这是计算机普及和信息化发展的必然结果。因此，支持多种输入格式的显示设备将是未来显示设备的主流。1 ) 平板显示监视器和平板显示电视近年来，全球平板显示电视取得飞速发展。2 0 0 6 年，全球电视出货量为l 亿8 7 7 0 万台，销售额为1 0 2 0亿美元，其中液晶电视出货量达至u 3 9 8 1 万台，销售额为4 6 9 亿美元，同比增长7 6 ，占到整个电视市场的4 6 t ”。全球显示器市场调研公d i s p l a y s e a r c h 最新研究数据显示，2 0 0 7 年全球液晶电视出货量达n 8 0 0 0万台，出货金额达至u 6 9 7 亿美元，较2 0 0 6 年增长7 3 【2 1 。预计在全球电视市场销售收入中，液晶电视的份额将逐渐增长，到2 0 1 0 年可达到7 3 。中国作为世界最大的电视生产国，平板平板显示电视的生产和普及也发展十分迅猛。d i s p l a y s e a r c h 发布全球电视出货与预测报告指出，2 0 0 6 年大陆平板电视总销售额达7 2 亿美元，年增长率为9 2 8 。自2 0 0 6年第三季以后平板电视出货金额已超过c r t t v ，成为市场主流，中国彩电行业进入平板时代【j j 。2 0 0 7 年中国彩电市场进入全新阶段，c r t 的比重从2 0 0 4 年的7 7 下降至u 2 0 0 7 年的3 0 ；平板电视则由2 0 0 4 年的1 0 上升到2 0 0 7 年的接近7 0 。2 0 0 8 年北京奥运会将给中国平板电视产业创造历史性的商机。届时，大屏幕、高清晰、数字化的平板电视将迎来井喷行情，成为市场主流。由中国电子商会和国务院发展研究中心市场所家电课题组联合发布的2 0 0 7 2 0 0 8 年度中国平板电视消费自皮书预测，2 0 0 8 年国内彩电销售将达到1 8 0 0亿元，其中平板电视将突破1 4 0 0 亿元。白皮书显示。2 0 0 8 年c r t 与平板电视销售额之比将为2 ：8 【4 】。2 0 0 5 2 0 0 7年，不同应用技术电视在大陆市场份额如表l 一2 所示。2 0 0 5 2 0 0 7 年不同应用技术电视在大陆销售额的比例如表1 3 所示。表1 22 0 0 5 2 0 0 7 年不同应用技术电视在大陆市场份额应用技术2 0 0 52 0 0 62 0 0 72 0 0 6 - 2 0 0 7 增长c r t t v9 2 。7 8 5 6 7 4 1 1 1 3 l c d t v4 o 1 2 4 2 3 7 9 6 o p d p t v1 ，6 1 5 1 7 1 7 9 r p t v1 6 0 8 0 4 - 4 9 4 资料来源：d i s p l a y s e a r c h2第一章绪论表1 32 0 0 5 2 0 0 7 年中国大陆电视出货量占全球市场份额应用技术2 0 0 52 0 0 62 0 0 72 0 0 6 - 2 0 0 7 增长c i 玎t v6 3 4 5 1 2 3 7 2 2 4 l c d t v1 9 8 4 0 3 5 6 3 4 7 p d p t v1 1 2 6 5 5 8 6 r p t v5 6 1 9 o 8 5 8 资料来源：d i s p l a y s e a r e h2 ) 数字电视由于许多国家颁布了向数字电视过渡的强制命令，美国将在2 0 0 9 年2 月之前完成过渡，其他国家将在2 0 0 9 2 0 1 5 年前陆续过渡，在未来几年全球d t v 将保持强劲的增长。据i s u p p l i 公司预计2 0 1 2 年全球d t v 的出货量将从2 0 0 7 年的1 7 7 7 亿台长到2 4 8 9 亿台，2 0 0 6 2 0 1 2 年全球d t v 的出货量现状及展望如图1 一l 所示：2 0 1 2年的d t v 销售额将从2 0 0 7 年的8 5 1 亿美元上升至1 j 1 3 5 6 亿美元，2 0 0 6 2 0 1 2 年全球d t v 的销售额现状及展望如图1 2 所示。图1 12 0 0 6 - 2 0 1 2 年全球d t v 的出货量现状及展望2 0 0 6 2 0 1 2 年d t v 锌j 售额现状及展望2 0 0 62 0 0 72 0 0 82 0 0 92 0 1 02 0 112 0 1 2图1 22 0 0 6 2 0 1 2 年全球d t v 的销售额现状及展望3 ) 其它数字设备未来其它较具市场潜力的视讯产品包括：数字媒体机顶盒、数字个人助理( p d a ) 、数字投影机、视频手机等也将呈现爆炸式增长，如表1 4 所示。30oooooo00们加加，东南大学博士学位论文表1 - 4 全球主要电子产品的现状及展望( 万台)产品类别1 9 9 9 年2 0 0 0 年2 0 0 1 年2 0 0 2 年2 0 0 3 年2 0 0 4 年2 0 0 5 年2 0 0 6 年a1 1 8 52 2 5 42 5 1 32 6 8 02 9 7 03 2 0 03 4 6 04 0 6 0便携电脑b2 6 0 02 9 5 03 3 0 04 0 0 0a9 0 41 2 8 91 6 5 92 0 1 42 4 2 92 9 2 63 5 1 84 2 3 0p d ab1 0 0 01 1 0 01 2 0 01 4 0 0a2 5 2 9 24 3 8 6 13 9 9 2 04 2 3 0 44 6 8 5 05 2 5 4 05 8 9 5 76 6 1 8 0手机b3 9 0 0 04 1 0 0 04 6 5 0 05 8 3 0 0便携游戏机a2 3 2 11 3 1 43 1 2 93 3 1 43 4 0 03 4 0 02 8 0 03 2 0 0a3 0 4 23 9 6 04 1 2 24 2 4 04 2 8 04 4 4 05 0 6 05 8 3 0台式游戏机b3 1 0 03 7 0 03 4 5 03 2 0 0数码相机b1 8 0 02 2 0 02 9 0 04 3 0 0摄像枧b6 2 07 5 08 3 01 0 0 0d v d 机b2 9 0 03 9 0 04 3 0 05 1 0 0数据来源：a “3 0 种主要电子产品现状与展望”( 日) 川合晶室2 0 0 2 2 ；b “世界主要电子产品中期市场预测”( 日) 半导体产业新闻2 0 0 2 7 1 0总之。随着技术的发展和人们对高清晰、高画质的影像设备要求的提高，视频扫描格式转换技术符合显示技术的发展方向，市场前景十分广阔。视频扫描格式转换芯片迎合数字电视飞速发展的契机，是一个具有市场潜力的产品，是一个新兴的经济增长点。d i s p l a y s e a r c h 电视电子季度报告指出，2 0 0 5 年电视商业芯片供应商的出货量为3 9 5 0 万个，总体销售额为3 7 4 亿美元。其中，商业去隔行扫描缩放( d s ) 是最大电视电子市场领域，销售额为1 7 2 亿美元。出货量为2 1 8 0 万个。报告预计2 0 1 0 年电视电子产品出货量将从2 0 0 5年的6 9 0 0 万个增长到1 4 1 亿个。另据i s u p p f i 公司的预测，未来全球d t v 半导体的销售额将从2 0 0 7 年的8 6 亿美元迅速增长至u 2 0 1 2 年的1 6 6 亿美元。2 0 0 6 2 0 1 2 年全球d t v 半导体的销售额现状及展望如图1 3 所示。图1 32 0 0 6 2 0 1 2 年全球d t v 半导体的销售额现状及展望1 2 本文的主要研究内容本论文的研究得到江苏省专用集成电路设计重点实验室开放课题的资助( 项目编号：j s i c k 0 4 0 5 ) 。主要研究目的是针对目前出现的新型显示器件，如等离显示屏( p d p ) 、液晶显示屏( l c d ) 、背投显示器( r e a rp r o j e c t i o nd i s p l a y ) 等，将可能作为这些显示器件的输入的各种数据信号( 包括模拟p a l 、n t s c $ i j 式的电视信号、数字电视信号、计算机图像信号) 按照显示器件的要求，采用大规模集成电路的设计技术和方法，对其进行扫描格式的转换，使之能够适应上述新型显示设备的要求。其应用环境如图1 0 所示。4第一章绪论图1 _ 4 数字视频扫描格式转换的应用环境本文对视频扫描格式变换的关键技术研究，主要从图像缩放技术( 空间采样率转换) 、去隔行技术( 空间采样率转换) 、运动检测与估计技术和边缘检测技术等方面进行阐述。与其相关的主要研究内容如下；( 1 ) 运动检测在运动自适应的扫描格式转换过程中，需要根据视频信号的相邻图像的帧间差估算出图像的运动信息进行相应的插补。运动检测的结果为运动与否的二元判定( 0 或1 ) 或运动的概率( 处于0 1 间的多个量化级) 。自适应内插器根据此结果在针对运动和静止场景作优化的两种处理模式间切换或过渡。场景运动与否通常由图像的场差求取，其工作过程基于如下假设：( 1 ) 噪声远小于有用信号：( 2 ) 彩色副载波附近的频谱中不包含运动信息；( 3 ) 信号中的低频能量大于噪声和混叠中的低频能量；( 4 ) 视频对象大于采样点。根据场差求取中所使用的场图像为相邻的不同极性场还是同极性场，运动检测方法可以分为：不同极性场间的运动检测【l8 】和同极性场间的运动检测两大类。进一步，根据所使用的场的数目，又可将同极性场的运动检测方法分为：两个同极性场的运动检测【2 s 和四个同极性场的运动检测刀两种。运动自适应插值算法的性能严重依赖运动检测的准确性，如果运动的区域没有检测出来而使用了场间处理的方式，则会出现锯齿、运动模糊等缺陷；如果静止的区域被侦测为运动而采取场内插值技术，则会丧失这部分应有的清晰度。因此，设计一种鲁棒的运动检测器是运动自适应扫描格式转换算法的关键。这种鲁棒的运动检测应该对噪声有一定的抵抗性，并且能够尽可能减少误判，尤其是减少将运动区域误判为静止的可能性。为了消除噪声影响，增强运动信息的鲁棒性，可以通过对运动信息进行形态学滤波处理，去除其中的一些孤立子域和毛刺。( 2 ) 运动估计对多帧间的运动矢量的估计和利用的技术称之为运动估计与运动补偿技术。运动估计与运动补偿技术在数字视频处理技术中占有相当重要的位置。视频扫描格式转换处理中需要根据图像的运动矢量对帧间图像数据和行间图像数据进行预测和处理。运动估计的方法有很多 2 6 | ，如光流分析法、基于块的分析法、像素递归法、贝叶斯法等。由于视频信号处理对实时性要求很高，而运动估计与补偿的算法通常较为复杂，运算量相当大，因此迫切需要寻找适合实际工程应用的先进算法。实践证明，基于块运动模型的块匹配运动估计与补偿算法是最实用和先进的运动估计与补偿方法，易于大型集成电路的逻辑实现。块匹配算法是在块内运动场一致性的假设下实现的，即假设方块内所有像素均具有相同的运动参数，并且这种运动被看作是刚体平移。块匹配运动估计将图像划分成规则的矩形像素块进行运动估计，每个块分配一个运动矢量。块匹配算法中最传统的算法是全搜索算法，但计算量巨大，特别是在大搜索范围运算时，加大了硬件资源的消耗。如果系统处理速度不够，用这种方法很难实现多媒体系统的实时化。利用运动矢量在视频图像序列中的分布特性，发展出了多种快速块匹配的运动估计算法【2 乳3 6 1 。快速搜索算法的可靠性不如全搜索算法，但是通过减少搜索窗中搜索的点数可以极大地减少计算量，因此是以牺牲性能来换取处理速度的提高。块匹配算法的一个难以解决的问题是运动物体的遮挡效应。块匹配算法对于物体边缘的检测也存在很大的问题，所以会导致对图像整体的人为割裂，从而引起补偿后图像边缘的锯齿或不连续。另外，块匹配算法还会带来比较严重的块效应，如果不进行块的消除处理，在运动补偿后的图像中会在块的边缘处出现明显的拼接痕迹，形成块效应，影响图像的画面质量【3 卜3 9 1 。5东南大学博士学位论文( 3 ) 边缘检测图像中灰度变化最大的位置称为边缘。边缘是图像的最基本特征。边缘广泛存在于物体与背景之间、物体与物体之间、基元与基元之间，它是边界检测、外形检测、图像分割、模式识别、机器视觉等的重要基础【4 0 】。图像的边缘对人类视觉系统( h v s ) 具有非常重要意义，人类判别物体在很大程度上依赖边缘。这就需要对图像的边缘进行检测和相应的保护。在传统的线性算法中，物体的边界会被模糊掉或者出现比较严重的锯齿和阶梯状插值缺陷。在非线性空间插值滤波器中，通过准确检测边缘信息，由边缘信息确定边缘的方向，然后再根据边缘方向进行相应的插值。这种方法使像素在最大相关性的方向上进行插值以保护边缘信息，对提高图像质量相当关键。边缘检测主要是图像的灰度变化的量度、检测和定位。1 9 5 9 年j u l e z 最早提出边缘检测。1 9 6 5 年r o b e r t s开始系统研究边缘检测【4 1 1 。截至目前，发展出了许多边缘检测的方法【4 2 。4 6 】，如微分法获取边缘、曲面拟合法获取边缘、统计判决法获取边缘、小波多尺度边缘检测【4 7 1 、基于边缘流的边缘检测、基于积分变换的边缘检测、基于张量的边缘检测等。但是，如果在视频格式转换中采用这些边缘检测技术，计算量比较大，硬件资源消耗的代价也比较大。因此，需要研究适用于视频扫描格式转换的边缘检测和边缘自适应的插值技术【4 8 5 1 1 。( 4 ) 去隔行隔行扫描方式的设计初衷是利用视觉残留特性，在有限的处理带宽内提供尽可能高的垂直分辨率。由于隔行处理是直接在图像平面垂直方向上的抽取，并未进行前置滤波，理论上将引入垂直方向的频谱混叠。实践中，经常能观察到的隔行缺陷主要有：行间闪烁、爬行、运动物体垂直轮廓畸变等。由于历史原因，隔行扫描视频广泛存在，并且为大量视频终端设备采用，为了使现有的大量以隔行扫描方式记录的节目源能够在逐行扫描的显示设备上显示，以及在高清晰度电视系统中不同制式之间的转换，都需要用到隔行到逐行扫描转换技术。去隔行过程不是一个简单的线性过程，对静止图像和运动图像的处理方法将有很大的差异，并且去隔行算法将涉及到时域和空域两方面的问题 博1 9 1 。去隔行算法大致可以分为三大类：采用空间插值技术的去隔行，采用时间插值技术的去隔行和采用时空插值技术的去隔行等。其中，采用空间插值技术的去隔行包括：空间线性算法和空间非线性算法。空间线性算法主要有行复制和行平均算法两大类；空间非线性算法主要包括边缘自适应场内插值技术等。采用时间插值技术的去隔行包括：时间线性算法和时间空间非线性算法。时间线性算法主要是场合并技术，而时间空间非线性算法主要是指内容自适应去隔行、运动自适应和运动补偿去隔行算法。线性类去隔行算法利用了视频信号在时间一空间频域内带限这一基本假设，算法结构简洁，规则易于芯片实现，处理品质比较稳定。但线性滤波器也存在诸多缺陷，如通带和止带的频率很难选择和所设计的低通滤波器不够理想等。随着对多种算法的特性和由此引起的图像退化机理的深入理解，人们开始设计能够根据场景内容在不同算法和不同系数之间进行自动调整的算法，以综合不同算法的优点。在上世纪8 0 年代后期和9 0 年代陆续出现了很多非线性的自适应变换算法，主要有基于边缘的白适应滤波1 2 m 引j 、基于运动的自适应滤波【2 2 】和基于内容的自适应滤波等。这些算法通过对边缘、运动、内容等不同滤波场景的检测来自动切换或调整不同的滤波器结构或参数，以削弱模糊和混叠效应。后来又发展出沿着运动轨迹进行插值的运动补偿法【2 3 2 5 1 。运动补偿法最大限度地利用了视频信号时间和空间上的相关信息，是三类算法中性能最好的一类。但是，由于运动补偿去隔行算法对运动估计误差非常敏感，硬件实现的高代价，导致了人们对次优的、且更具鲁棒性算法感兴趣 2 6 - 2 7 。( 5 ) 图像缩放l c d 、p d p 、d l p 、l c o s 等显示器件有一个共同的特点是采用数字式的点阵驱动方式，其输出的格式( 幅宽比、解析度) 是固定的。但是，作为显示设备的输入信号不可能仅仅是一种采样率格式，因此，需要将输入信号源的采样率重建为显示器件所能兼容的格式。这就需要经过缩放处理，具体地说，就是对行、场两个方向进行缩放，从而达到显示设备所需要的分辨率格式。图像的缩放还包括图像幅宽比变换，即4 ：3 与1 6 ：9 幅宽比间的互相转换。一方面，随着电视技术的进步，幅型向大屏幕方向发展，如果收、发端幅型比不同，则重现的图像不是被压扁就是被拉长，从而产生失真。另一方面，尽管标清向高清过渡的趋势不可阻挡，但由于经过几十年的发展，已经有大量的4 ：3 格式的电视6第一章绪论系统和设备在运行中，还有海量的4 ：3 格式的素材，所以高、标清频道同时并存的局面将持续一段时间。另外，为了应对高清频道中的节目资源问题，将丰富的电影资料转化为高清电视节目是一个很好的办法。这就意味着在相当长的时间内存在4 ：3 和1 6 ：9 两种幅型比转换处理的问题。目前，插值算法大致可划分为两类：线性方法和非线性方法。比较常用的线性插值方法有：最邻近插值、双线性插值【5 】o 后来又发展出t x 2 - - 次卷积【每7 】、双三次样条睁9 1 、多项式抛物线【i o l 等。为了得到更好的图像缩放效果和图像质量，并且适应不同的幅型比的图像输入，非线性插补的s c a l i n g 技术逐渐成为当前的技术热剧1 1 j 5 1 。中值滤波、有理滤波是比较早的用于图像处理中的非线性方法。随着数学理论及其应用技术的发展，加之对图像认识的深入，近来出现了诸如小波插值【1 6 - 1 、分形插值【l 7 】等非线性方法。由于图像插值处理的视觉质量主要依赖于图像的轮廓，插值图像边缘部分的分辨率对一幅图像的质量有非常重要的影响。因此，对图像的轮廓点以及靠近图像轮廓的邻近点如何插值才能防止边缘模糊或细节退化的出现成为提升插值算法性能的重点。1 3 本文的