（微电子学与固体电子学专业论文）数字视频处理的fpga实现.pdf

华中科技大学硕士学位论文 摘要 数字视频处理是面向数字电视业务的多样性而产生的数字处理技术。随着数字电 视产业以及视频技术的蓬勃发展，目前在视频领域内，出现了数字标清电视，高清电 视，计算机视频等多种视频格式在内的大量格式标准。如何通过数字处理方法在多种 视频格式之间进行相互转换是数字图像处理领域的研究重点。同时，通过各种数字视 频处理技术提高视觉观赏效果也是各种图像处理芯片的研究内容。 本文介绍了基于x i l i n x 公司s p a r t a n 3 系列f p g a 芯片x c 3 s 4 0 0 的视频处理系统 实现过程。这个过程是芯片设计的重要步骤，起到验证处理算法效果和验证系统硬件 方案可行性的作用。 本文在对数字视频处理中各种视频格式转换算法进行了深入研究的基础上，提出 了适合f p g a 实现的图像格式转换算法，包括分辨率转换算法和帧率提升算法两方面。 在视频格式转换算法方面，论文提出了一种适于f p g a 实现的任意分辨率转换算法， 该算法在实现数字图像处理功能的同时，复杂度低，易于硬件实现：在帧率提升算法 方面，提出了一种5 0 h z - - 7 5 h z 的帧率提升算法，充分利用了原始图像的信息，减少 了计算造成的负面效果。 同时，本文还讨论了使用f p g a 实现色度空间转换的方法。探讨了色度空间的原 理和转换算法，以及转换算法的f p g a 硬件实现。 本论文中所有算法和结构都己经在x i x i n xs p a r t a n 3 系列的f p g a 平台上进行了验 证，均通过了综合和功能仿真，大部分模块已经运用于实际工程当中。 关键词：数字视频处理视频格式转换f p g a 色度空间转换 i 华中科技大学硕士学位论文 a b s t r a c t d i g i t a lv i d e op r o c e s s i n gi sak i n do f d i g i t ms i g n a lp r o c e s s i n gt e c h n o l o g yf a c e dt od i v e r s i t y o fd i 酏a lt e l e v i s i o nf o r m a t s w 砧t h ed e v e l o p m e n t so fd i g i t a lt e l e v i s i o ni n d u s t r ya n dd i g i t a l v i d e ot e c h n o l o g y ，al o to fv i d e of o r m a t sc o e x i s ti nh d t v ，s d t va n dv i d e of o r m a t so f c o m p u t e ri nc u r r e n tv i d e of i e l d t h ea b i l i t yt oc o n v e r tf o r m a t sf r o mo n et y p et oa n o t h e r b e c o m e i n d i s p e n s a b l ei nm o d e mh j 睁e n dt vs e t h e n c e ，h o wt oe n h a n c et h ev i d e oq u a l i t yt h r o u g ht h e d i g i t a lp r o c e s st e c h n o l o g yi st h em a i nt a s ki nt h er e s e a r c h e so f i m a g ep r o c e s s i n gc h i p t h er e a l i z a t i o np r o c e d u r eo f t h ev i d e op r o c e s s i n gs y s t e mb a s e do nt h ef p g ax c 3 s 4 0 0o f x i l i n xc o i si n 廿o d u c e di n t h i sp a p e r t h ep r o c e d u r ei st h ei m p o r t a n ts t e pf o rt h ef u r t h e r i n t e g r a t ec i r c u i td e s i g n , w h i c hv e r i f yt h es y s t e mf u n c t i o n a l i t ya n de f f e c ta sw e l l b yt h o r o u g h l ys t u d yo f t h ec u r r e n t l ya l g o r i t h m sf o rv i d e of o r m a tc o n v e r s i o n si nt h ed j i g i t a l v i d e of i e l d , a na l t e r n a t i v em e t h o do fi m a g es c a l i n ga p p r o p r i a t ef o rf p g ai m p l e m e n t a t i o ni s p r o p o s e d t h e r ea r et w om a i na s p e c t si n c l u d e d , t h ea l g o r i t h mo fd i s p l a yr e s o l u t i o nc o n v e r s i o n a n ds e c o n d l yf r a m ef r e q u e n c yu p - c o n v e r s i o n o nt h ev i d e of o r m a tc o n v e r s i o na l g o r i t h m s ，a n a l g o r i t h m f o ru n l i m i t e dd i s p l a yr e s o l u t i o nc o n v e r s i o ni sd i s c u s s e da n dp e r f o r m e d t h i s a l g o r i t h mh a st h e m e r i t ss u c ha sl o w e rc o m p u t a t i o n a lc o m p l e x i t y ，a n dr e l a t i v es i m p l yh a r d w a r e a r c h i t e c t u r ee t c o nt h eo t h e rh a n d ，a5 0 h z 一7 5 h zf r a m ef r e q u e n c yu p c o n v e r s i o na l g o r i t h mi s c a r r i e do u t t h ep r o p o s e da l g o r i t h mt a k e sa d v a n t a g eo fo r i g i n a li n f o r m a t i o na sw e l la s d e c r e a s e st h ed e f e c t sa t t r i b u t et oc o m p u t i n g t h ec o l o rs p a c ec o n v e r s i o nm e t h o dh a sa l s ob e e ni n v e s t i g a t e da sw e l l t h et h e o r i e sa n d c o n v e r s i o na l g o r i t h m so fc o l o rs p a c ea r es u m m a r i z e d , a n dt h ef p g ah a r d w a r ei m p l e m e n t a t i o n o f c o n v e r s i o na l g o r i t h mi sc a r r i e do u t a l l t h ea l g o r i t h m sa n da r c h i t e c t u r e sd i s c u s s e di nt h i sd i s s e r t a t i o nh a v eb e e nv e r i f i e do nt h e x i l i n xf p g ap l a t f o r m ，a n dt h e nh a v eb e e ns i m u l a t e da n ds y n t h e s i z e ds u c c e s s f u l l y s o m eo f t h em o d u l e sh a v e b e e nr u ni nt h ep r a c t i c a lp r o j e c t k e y w o r d s ：d i g i t a lv i d e op r o c e s s i n g v i d e of o r m a tc o n v e r s i o n f p g a c o l o rs p a c ec o n v e r s i o n 独创性声明 本人声明所里交的学位论文是我个人在导师的指导下进行的研究工 作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不 包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出 贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明 的法律结果由本人承担。 学位敝作者答名：易洲 y 。易年￥月易日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。 保密 本论文属于 不保密 年解密后适用本授权书。 指导教师签名多彳i 一 7 1l 。6 年毕月2 ，) 日 z 彳年月。岁日 华中科技大学硕士学位论文 1 绪论 在席卷全球的数字化浪潮中，被称作第三代电视的数字电视，将成为2 l 世纪国 民经济新的增长点，因而，近年来世界各国都加快了广播电视数字化的步伐，我国政 府也已经制订了由模拟电视向数字电视过渡的时间表。 数字电视的应用将为人们提供更加适合人类自然视域的画面结构、优质的电视图 像和更多形式的电视服务，并将对相关的工业技术领域产生深远的影响，因而世界各 国均把数字电视技术看作是对人类社会信息发展具有极其重要意义的战略技术。随着 数字传输和处理技术的发展，数字电视将是今后电视业发展的方向和主流。 1 1 研究背景 从2 0 世纪初发明的黑白电视到5 0 年代出现的彩色电视，再从模拟时代跨入到数 字时代，从标清电视过渡到高清电视，伴随着信息高速公路以及国际互联网的飞速发 展，广播电视在不同时期不同领域出现了多种格式。这其中有早期彩色电视领域的 p a l ( p h a s ea l t e r n a t i o nl i n e ) 制，n t s c ( n a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e e ) 9 0 ， s c e a m ( s e q u e n t i e lc o u l e u ra v e cm 6 m o i r eo rs e q u e n t i a lc o l o rw i t hm e m o r y ) 常0 ；近期数 字电视领域的d v b ( d i g i t a lv i d e ob r o a d c a s t i n g ) 欧洲，a t s c ( a d v a n c e dt e l e v i s i o ns y s t e m s c o m m i t t e e ) 美国，日本的i s d b ( i n t e g r a t e ds e r v i c e sd i g i t a lb r o a d c a s t i n g ) 等；以及根据数 字电视图像清晰度不同而出现的s d t v ( s t a n d a r d d e f i n i t i o nt v ) 和 h d t v ( h i g h - d e f i n i t i o nt v ) 等。表1 1 列出了一些重要的视频格式标准，如此众多的视 频格式既方便了视频应用在各个专业领域的快速推广，同时也造成了不同视频格式间 信息交流编辑传输演播的障碍，如现在p a l 制式地区的观众和n t s c 制式地区的观 众之间无法共享电视节目。所以这些格式多样化的存在为数字电视的发展提出了一个 新课题，那就是如何解决电视信号格式间的相互转换。 随着数字电视的成熟与发展，高清电视将成为数字电视发展的必然趋势。数字高 清电视技术及其标准体系的形成，实际上标志着彩电由模拟技术向全数字技术的发展 华中科技大学硕士学位论文 进入了产业经济轨道，是人类社会电视技术发展的质的飞跃，也是数字技术发展的一 个重要里程碑。目前，欧洲、美国、日本已出现了数字高清电视技术热潮。 表1 1 几类重要视频标准的采样格式 标准制定组织应用领域采样格式 有效像素( 水平垂直场率) n t s cc c i r 模拟制式兼容的数字 6 4 0 4 8 0 6 0 i 5 2 5 6 0电视格式 p a l6 2 5 5 0c c i r 模拟制式兼容的数字 7 2 0 5 7 6 5 0 i 电视格式 h d t v 一1 2 8 0s 皿t e高清数字电视格式1 2 8 0 7 2 0 6 0 p 3 0 p 2 4 p h d t v 1 9 2 0s 【p t e 高清数字电视格式 1 9 2 0 1 0 8 0 5 0 i 3 0 p 2 4 p s i s 0 cm _ p e g l 的标准输入2 4 0 3 5 2 x 3 0 p 格式用于视频存储 c i s o ch 2 6 1 的标准输入格2 8 8 3 6 0 3 0 p 式用于会议电视 q c i f i s o ch 2 6 1 的标准输入格 1 4 4 18 0 3 0 p 式用于可视电话 在我国，国家发改委表示，要集中国家的部分优势资源，重点发展和实施包括高 清晰度电视在内的十二项高技术工程。这标志着数字高清晰度电视的产业启动和市场 启动。我国已于1 9 9 9 年国庆首播高清晰度电视，2 0 0 0 年先后在北京、上海、深圳等 地定期试播高清晰度数字电视节目【l 】 2 】。但是，由于市场的惯性，传统电视到高清晰 度数字电视的过渡过程仍将会持续很长一段时间，此阶段大量视频格式并存，需要接 收终端提供格式转换功能以兼容不同视频格式。如美国自推广数字电视以来，由于美 国c e a ( c o n s u m e re l e c t r o n i c si n d u s t r y ) 要求，所有的h d t v 电视接收装置都必须支持a t s c 制定的1 8 种数字电视格式；另外在高清晰度电视推广的初期，高清晰度的节目源非 常有限，也需要格式转换设备将大量标清格式的节目转成高清格式，所以市场对数字 图像显示控制和处理芯片的需求将会非常巨大。因此，根据市场的需要，研究高效的、 且成本较低的视频格式转换系统也就是本论文工作的主要目的。 华中科技大学硕士学位论文 1 2 研究内容 根据对当前市场现有状况的考虑，以及为了适应未来发展的需要，考虑即将开发 的基于f p g a 的视频处理系统应该包括以下功能： 支持i t u _ rb t 6 0 1 及i t u rb t 6 5 6 视频输入接口 支持p a l ，n t s c 电视制式 视频格式识别，多种视频分辨率任意转换 输出视频帧率提升 色度空间转换 数字画质增强 画中画，画外画等图像特技效果 系统采用x i l i n xs p a r t a n 3 系列芯片x c 3 s 4 0 0 实现。该芯片基于查找表( l u t ) 的结 构，拥有丰富的逻辑资源和片内存储器，比较适合需要较多逻辑资源和较多存储器资源 的图像处理算法。项目的整体体系结构图和验证系统原理示意图见图1 1 和图1 2 。 藐 1 豳 黉 噩i , l 一卜 盥幽誊1 噬堡磐冒必量绷i 输入 色度空k i 空间分辨k l “。藿n 言；凡： 釜鲞7 瞄誊l e 一豳f p c i 桥 黪- l 8 0 5 1 l j 厂 p c i 总线 图i 1 项目体系结构图 一 i 上- l l i i 3 翠 j 华中科技大学硕士学位论文 图l l2 验证系统原理图 所谓视频格式转换，就是改变视频序列的时间空间采样栅格位置。视频采样栅格 结构有很多种类，按空间栅格分布划分有正交采样，偏置采样等。按时间域栅格点分 布划分有逐行，隔行等。相同结构的采样栅格结构也可由不同的参数构造，形成不同 的采样点位置，新栅格点下的数据是通过原结构栅格点的己知数据通过内插算法重构 而来的。这种重构过程按功能划分有( 1 ) 空间分辨率变换，只改变空间采样结构或 参数；( 2 ) 去隔行变换d e i n t e r l a c e i n t e r l a c e ，将隔行采样结构变换为逐行采样 结构引【4 1 。( 3 ) 帧场率变换，改变时间轴采样结构参数。 除了上述的图像格式转换算法外，本文还就输入色度空间转换，s d r a m 控制模块 设计的做了深入的分析和探讨，并提出了基于f p g a 的实现方法。 1 2 1 空间分辨率转换 空间分辨率转换即通常的图像缩放( s c a l i n g ) 。如果输入图像和需要显示的输出 图像的每行像素数或者每帧行数不同，那么必须采用空间缩放技术，图像的空间缩放 4 华中科技大学硕士学位论文 技术可以实现图像的放大或者缩小。一般来说，处理图像缩小图像质量损失不大，处 理相对简单：而图像放大通常将损失图像的高频分量，造成图像质量下降6 ，所以， 如何保持放大图像的高频分量是插值算法的研究重点。本文也将主要研究图像放大算 法。 图像的缩放可以运用到以下几个方面： ( 1 ) 高清格式( h d t v ) 下行变换至标清格式( s d t v ) ：从h d t v 转换到s d t v 是典 型的下变换，即图像缩小。下行变换使取样频率降低，为防止混迭失真，在转换前必 须进行反混迭滤波，但反混迭滤波会使原信号中的高频分量永久丢失，这些高频信息 在以后的转换中不可能被恢复。 ( 2 ) s d t v 上行变换至h d t v ：由于当前h d t v 刚刚开始起步，高清晰度的节目源 比较缺乏，但市场上出现的液晶电视需要h d t v 节目源才能达到最佳显示效果，所以 由s d t v 转换成h d t v 具有较为现实的意义。 ( 3 ) 视频特效：一些视频的特技处理如画中画( p - i n _ p ) ，画外画( p o u t p ) 等， 需要用到图像缩放技术。 目前比较常用的图像空间缩放方法有：最邻近插值、双线性插值、s i n e 函数截短 插值、s i n c 函数加窗插值、c u b i cb 样条插值、c u b i c 插值、米切尔插值和高斯插值 等。 1 2 2 帧率变换 根据显示设备对场帧率的不同要求，需要对输入视频进行帧率变换。如普通的 电视摄像机采用的帧率为5 0 或6 0 h z ，而电影的帧率为2 4 ，2 5 或3 0 h z ，而电视机或 p c 显示器的刷新率则一般在5 0 到1 2 0 h z 之间。帧率变换的方法主要有重复帧率变换、 线性插值帧率变换和更复杂的利用运动估计和运动补偿进行帧率变换【刀。 在原始图像的帧场间重构出新的帧场，最简单的方式就是重复当前帧场，这种 技术非常易于实现，但其缺点也很明显，那就是对运动物体有非常明显的跳动现象 ( j i t t e r ) ，可以明显看到两场图像之间的不连续【8 。 还有一种较简单的方式，是通过对相邻帧场进行内插系数运算，产生新的帧场 数据，也就是我们所说的线性插值帧率变换算法。这种算法引起的跳动现象显然比重 华中科技大学硕士学位论文 复某些场数据时要轻微一些，但是还是不能完全消除运动图像的不连续性，而且可能 还会产生不连续动作的爬行现象【9 】。 为了进一步减小这种不连续性，可以采用运动估计和运动补偿技术对场内数据进 行校正，运动估计通过检测运动图像在时域的变化幅度来计算图像的运动，精确的算 出图像中运动单元的运动方向和速度，决定内插数据和运动补偿时的时间一空间方向 再采用运动补偿技术减少运动估计带来的图像内插失真【1 0 l i l l 1 2 1 。 1 2 _ 3 色度空间转换 根据三原色原理，我们可以在3 维立方体中通过绘制三原色( 即红色、绿色和蓝 色，简写为r o b ) 的构成比率图以表示各种颜色，其中黑色位于原点，而白色则位于原 点的斜对角，得到的立方体就是著名的r g b 色彩空间吲，如图1 3 。 利用r g b 格式处理图像时，每个像素由3 个分别对应于三原色的8 位或l o 位字 确定，因而这不是一种最高效的处理方法。这种格式下，必须在所有的红色、绿色和 蓝色信道上对像素进行操作，所需的存储空间和数据带宽毫无疑问将比其它可供选择 的色彩格式更大。为了解决这个问题，许多广播标准( 如欧洲的p a l 和北美的n t s c 电 视系统) 均采用亮度和色度分离的视频信号，如y u v 或y c b c r 。因此，不同的色彩格式 之间需要一种能互相转换的机制，即色彩空间转换，转换原理图如图1 4 。 m a g e n l a b e d y e l l o w 图1 3r g b 色彩空间立方图 g r e e n 华中科技大学硕士学位论文 r b y ew h ( 1 1 ，0 )( 1 ，1 ，1 ) 图1 4r g b 色彩空间到y c b c r 的转换 1 2 4 画质增强 画质增强是对经过缩放后，输出前的图像再进行处理，得到更清晰、更明亮的图 像。主要包括：亮度调节、色度调节、对比度饱和度调节、黑电平扩展、自适应动态 峰化、亮度边沿改善、色度边沿改善、动态扫描速度调节和g a m m a 校正。 进行黑电平扩展主要是因为在实际电视信号传输过程中，黑电平是幅值较低的信 号，容易受到各种干扰，容易被下限幅( 二极管等的单向导通性) 【1 4 1 。人眼对于暗梯度 变化也比亮的梯度来的更为敏感。所以有必要对黑电平进行扩展，增大它变化的梯度。 亮度瞬态增强和动态峰值都是通过改变亮度的频谱分量来实现增强物体轮廓的作用， 黑电平扩展则是通过提高图像的对比度来改善画质。进行动态峰化是因为由于信号在 传输过程中，由于信道频率响应的非线性，不可避免的会造成高频和中频信号的衰落， 使得图像的清晰度下降。需要在整个频率范围内对信号进行补偿。亮度边缘改善是对 输出视频的亮度信号进行勾边处理，色度边缘改善是对输出视频的色差信号进行勾边 处理【l ”。有关画质增强的内容不属于本文的研究重点，因此将不做详细介绍。 1 3 主要章节安排 本文共分为六个章节。 第一章绪论，论述了课题研究背景及相关技术的国内外发展概况，并且介绍了本文 的主要研究内容。 华中科技大学硕士学位论文 第二章详细论述了格式转换中分辨率转换相关算法，分析比较了各类算法的优缺 点，选择了适合f p g a 实现的缩放算法，并详细描述了根据此算法构建的系统 框架及子模块功能。 第三章首先详细叙述了帧率提升的相关算法，提出了适合f p g a 实现的线性帧频提升 算法，以及算法的f p g a 实现，并详细描述了其中重要模块s d r a m 控制模块的实 现。 第四章论述了色度空间的相关概念以及色度空间转换的f p g a 实现。 第五章讨论了系统框架内部输入模块的设计，及其子模块的设计细节。 第六章对全文进行了总结，概述了本文的研究成果，并展望了后续研究开发工作的 努力方向。 华中科技大学硕士学位论文 2 1 引言 2 视频图像的任意分辨率转换及其f p g a 实现 各种数字视频系统，其范围从全数字，高清晰度t v 到可视电话，具有不同的空间 分辨率的要求，从而导致了不同格式的存储、传输和显示数字视频的标准出现。因此， 需要有一种有效的变换方式可以在各种使用不同格式标准的数字视频系统之间交换 信息。视频图像空间分辨率转换则是视频格式转换的重要部分，是数字视频处理中的 关键技术之一 1 6 】。视频图像分辨率转换也叫图像缩放技术【1 7 l ，图像重采样1 1 8 等。图像 分辨率转换技术的应用十分广泛( 图2 1 所示) ，例如，高清晰度数字电视收到n t s c 或p a l 格式的标准清晰度电视( s d t v ) 时，需要转换成高清晰度( h d t v ) ，才能在电视上 显示。另外，等离子( p d p ) 电视，液晶( l c d ) 电视等逐行显示器，需改变接收到原始 图像的分辨率使之和液晶显示器的最佳物理分辨率一致，才能正常显示视频图像。 图2 1 典型的分辨率转换应用 由于我国的电视制式采用p a l 制，绝大部分模拟输入视频信号是p a l 制信号，因 此在本文的f p g a 设计中，主要针对p a l 制数字化信号进行处理。同时，分辨率转换 可以实现图像的放大或者缩小，处理图像缩小时图像质量损失不大，且应用场合以画 中画( p i p ) 为主，应用场合较少，并且对图像质量要求不高；而图像放大因为损失了 图像的高频分量，降低了图像质量，并且应用场合较多，所以基于以上考虑，本文将 华中科技大学硕士学位论文 图像缩放算法的研究重点放在图像的放大上。 当前的缩放芯片一般只能实现一种或几种特定格式的图像缩放，如p a l 制的 6 2 5 5 0 i 转换为v g a 格式等，能实现任意比例的缩放效果的芯片较少。在本文中笔者 基于双线性插值算法，提出了一种可实现任意比例的分辨率缩放，且具有较高性能和 低成本的图像缩放算法。该算法在综合考虑图像缩放效果和硬件实现代价的基础上， 能较好的解决锯齿问题，较清晰的实现图像放大。经过全面的系统验证，缩放后的图 像结果较好的满足了系统的要求。 2 2 分辨率转换算法研究 分辨率转换，又叫图像插值或图像缩放1 9 1 ，实际上是三维采样结构的变换问题，亦 即是一个时空插入抽选( i n t e i p 0 1 a t i o i 似e c i n l 撕o n ) 问题【2 0 】。采样结构变换问题可以分为两 步来考虑：基本的连续时空信号的重构以及在所期望的三维采样结构上的重新采样。图 2 2 表示的是全数字采样结构变换系统的块图，它采用了在a ；上采集的三维输入信号 s ( x ，r ) 和a ；上采样的输出y ( x ，f ) ，这里a ：和a i 分别表示三维输入和输出采样结构口“。 ( ，z 2 ，f ) ( x l ，x 采样结构转换 q ，x z ，t ) a ； ( ，x 2 ，f 2 2 1 图像缩放算法理论基础 图2 2 采样结构变化的块图 在图像缩放线性算法中，待插值点由其时一空邻域内的采样点加权求得，出于对 复杂度的考虑，本文采用的缩放算法为空间插值算法，即仅仅利用当前帧场中对应 邻域的像素点来获取插值点的数据值。计算一般采用邻近像素的加权平均，这种加权 平均可以表现为信号的离散化采样与插值基函数之间的卷积旧。对于插值函数的不同 华中科技大学硕士学位论文 选择，会获得不同的插值效果，也会有不同的插值误差，将会需要不同的计算量。 对数字图像进行插值的一般公式为 s ( x ，y ) = s ( k ，o h ( x k ，y 一，) ( 2 1 ) 其中s ( x ，y ) 为待插值点的数据值，s ( k ，) 为原始图像的像素点数据 值，h ( x 一_ j ，y 一，) 为插值基函数。 对于均匀采样的信号，插值的过程对应在频域就是把因采样而引入信号频谱的周 期性高频信号成分过滤的过程【1 5 】。因此，插值过程也是一种滤波过程，插值基函数也 就是一种滤波器了。对于线性二维时不变的系统，插值基函数可采用形式h ( x 一七，y 一，) 或k 一七) 向，( y f ) ，也就是进行图像空间域的一般卷积或横纵向可分离卷积： s ( x ，_ y ) = s ( k ，1 ) h a x 一七) 一) ( 2 2 ) 插值基函数的选择可以有很多种，通常有矩形函数，三角形函数，三阶样条函数 及s i n c 函数等。下面给出几种常用的插值算法，并详细分析了各自的特点和优劣。 2 2 2 各种插值算法及其比较 依据抽样定理，对一幅连续的图像s ( x ，y ) 进行采样，只要满足奈奎斯特定理的条 件，那么采样它的连续频谱s ( u ，v ) 在频域的重复就不会发生混迭，只要在频域中增加 一个适当的矩形框，原始的连续图像就可以从它的离散函数s ( ，f ) 完全恢复出来2 2 1 。 一维理想插值在时域就可以通过与s i n c 函数的卷积来实现，所以理想插值的一维插值 基函数可表示为： a ) “一s i n ( ；r x ) s i n e ( x ) ( 2 3 ) 石z 它的空间域，傅氏变换图如图2 3 。 图2 3 a 中我们给出了理想无限抽头插值器的空间域图，它在一3 x 3 间隔内被 截断。图b 中给出的频域响应的日( w ) 。“是有限的，通带为一万 w 厅，并且在通带 内幅值为常数l ，阻带为0 ，为理想矩形框。 1 1 华中科技大学硕士学位论文 圈 回 图2 3 理想插值 ( a ) 插值基函数( b ) 傅氏变换幅度 虽然理想插值器在理论上可以完全重建s ( x ，y ) ，但由于理想插值器在空间域是无 限的，所以物理上是无法实现的，各种插值器的效果可以接近它，但永远无法实现理 想插值器的效果。 最邻近插值 近似理想s i n e 函数最简单的方法就是用空间有限的最邻近原则，s ( x ) 的值选择与 它最接近点s ( k ) 的值，因此，插值基函数为： 向f z l = j 1 ，一o 5 x o 5 ( 2 4 ) l 0 ，o t h e r s 等价于在空间域与一个矩形函数进行卷积。图2 4 给出了它的空间域和傅氏变换图： 回 回 ，叫，、 1 1 咐1 “1 u j，、，、 _、， i ”l ! ：，。! ：! 图2 4 最邻近插值 ( a ) 插值基函数( b ) 傅氏变换幅度 华中科技大学硕士学位论文 它的频谱为s i n c 函数，在临界点上，通带的增益迅速下降到2 石= 6 4 ，边带的 最大幅度超过了2 0 ，因此，这种插值器会产生强烈的图像混淆现象和模糊效果。 双线性插值 对于独立的双线性插值，两个方向的值都是通过与距离成反比的加权值来得到 的。所以s i n c 函数的线性近似是一个三角函数： m ，= 刮慧i “ 弦s ， 插值函数空间图和傅氏变换如图2 5 。 。 。b 己 墨口。 n 2 n 0 回 图2 5 双线性插值 ( a ) 插值基函数( b ) 傅氏变换幅度 从频谱图可以看出，虽然阻带中的边带幅度已经降到1 0 以下，但是还是较大。 所以线性插值的主要缺点是高频分量的削弱和数据混淆现象，位于交界点以外的数据 会进入低频区域。 三次方插值 三次方多项式经常被用到，因为它满足二次导数连续条件。当然，也可以用三次 方多项式去近似表示s i n c 函数。 ( 1 ) 两点c u b i c 插值 插值基函数可表示为 ) 。“c a l x l 3 + b l x 1 2 ) 羔捌如0 q 引d ( 2 6 ) 华中科技大学硕士学位论文 由边界条件，得到 ( z ) 。“= 2 1 x 1 3 - 3 。1 x 。l 腩2 + g 坶1 , 。 i x 1 ( 2 7 ) 它得到的曲线与线性插值类似，第一个旁瓣出现在l l f i 1 5 ，幅度为2 左右， 第二个旁瓣出现在1 5 lf l 2 ，幅度为l 左右。 ( 2 ) 四点c u b i c 插值 由边界条件，四点c u b i c 插值基函数可以表示为 j ( a + 2 ) l x | 3 一( + 3 ) f x l 2 + 1 ，0 i z l 1 ( x ) = 口i x f 一5 a i x t 2 + 8 a ix l 一4 a ，l i x l 图2 7 系统框图 a n a l o g c v b sv i d c o 华中科技大学硕士学位论文 图2 8 验证系统实际电路板 p a l 信号在经过a d c 进行编码以后，以i t u _ rb t 6 5 6 格式输出，其中数字信号中， 视频有效行数目为2 8 8 行场，每行有效像素的个数为7 2 0 个，每个像素的亮度值和 色度值分别用8 1 3 i t 数据表征。 2 3 2 插值实现过程 以7 2 0 5 7 6 i 通过插值运算，转换成1 0 8 0 x 7 2 0 i 的图像为例，说明图像的整个插 值过程。对于7 2 0 5 7 6 i 的图像，每场图像有2 8 8 行数据，每行有7 2 0 个像素点，1 0 8 0 x 7 2 0 i 格式的图像，每场图像有3 6 0 行数据，每行有1 0 8 0 个像素点，因此，变换成 1 0 8 0 7 2 0 i 格式的图像，在水平方向的像素点个数将增加为原来的3 2 ，垂直方向将 增加为原来的5 4 。如图2 9 所示： 插值实现的过程分成两个步骤，第一，在水平方向的插值；第二，在垂直方向实 现插值。其中，在两个方向的插值又可以分成两个步骤，第一，实现像素的增补或删 减，已达到目标格式所需的像素的个数。第二，根据双线性插值方法确定插值像素的 华中科技大学硕士学位论文 图2 9 插值示意图 根据上例，在水平方向每读出两个像素，将重复读出一个像素，然后，再根据此 像素在图像中的坐标位置，决定其相邻像素权值后，计算出此像素的数据值。 确定权值的过程如图2 1 0 所示： 图2 1 0 水平权值决定示意图 偷偷 、u 通过图2 9 ，我们可以发现，原始图像可以划分2 4 的小块，每个小块在权值的 计算过程中是等价的。在水平方向中，每个小块中包括1 个原始像素点，以及新生成 的2 个像素点，其像素的数据值为 6 1 = 以1 6 2 2 0 7 5 a l + 0 2 5 a 2 ( 2 1 2 ) b 3 = 0 2 5 a 2 + 0 7 5 a 3 b 4 = a 3 在垂直方向中，垂直权值的示意图如图2 1 1 值 据数 华中科技大学硕士学位论文 图2 11 垂直方向插值示意图 在垂直方向上，每个像素块包括1 个原始图像的像素，以及4 个插值图像的像素。 其像素的数据值为 b l = a l b 2 = 0 8 a l + 0 2 a 2 6 32 o6a2+04a3(213 b 4 = 0 4 a 3 + 0 6 a 4 b 5 = 0 2 a 3 + 0 8 a 5 b 6 = 5 根据式2 1 2 和式2 1 3 ，计算每个像素块的新像素值，就可以得到插值后的新图像。 2 3 3f p g a 总体模块框图 在算法确定后，就必须对f p g a 如何实现此算法进行分析，提出可行的模块框架， 从中选择较优的方案，根据此方案对系统中每个模块功能进行完整的定义，写出其程 序代码。 根据双线性算法的特点，其线性滤波器的本质是空间邻域内的加权求和 3 0 】。因此， 空间滤波器的核心运算单元为乘加器( m a c ) 。原始算法中，如果加权系数实时计算， 华中科技大学硕士学位论文 将浪费大量的电路资源。因为，系统需要实现任意分辨率转换，每个像素点的权值将 根据像素点的位置而改变，是一个( o ，1 ) 区域内的随机值，如果需要实时运算，系 统根据待插值像素与原始像素的距离精确计算权值，这将要求乘法器设计的精度要达 到非常大，对f p g a 来说几乎是个不可能完成的任务 3 1 】 3 2 】，所以，需要采取折衷的方 法，既能满足一定的精度要求，又能将计算量控制在一个可以接受的范围之内。 因此，笔者采用了量化插值精度的办法，也就是说，对于任意相邻的两个点，在 这两点之间的插值位置是固定且有限的，根据系统的要求，可以设定插值精度，即当 系统精度要求较高时，可以增加插值点位置，如1 6 ，而当系统对精度要求较低时，可 以适当减少插值点的位置，如4 。对于每个固定的插值点，其对应的相邻像素的权值 也是固定的，可以离线计算产生，存储在查找表中。 如果经过计算，待插值点不在任意一个插值点上，则根据它到最近插值点距离， 选取其对应的插值点。也就是说，将任意的插值位置圆整到固定的插值点中，以此实 现任意比例的分辨率缩放。根据上述思想，可以构造二维线性插值框图如下： 图2 1 2 二维线性插值框架图 图2 1 2 即为f p g a 实现二维线性插值滤波器的基本框架图，其中行存储单元( 1 i n e m e m o r y ) 用来对输入视频流进行片内缓存，插值相位控制器( i n t e r p 0 1 a t ep h a s ec o n t r 0 1 ) 用来生成插值相位和生成缓存的读取命令。前者控制存储插值系数r o m ( c o e f f i c i e m r o m ) 输出响应的插值系数，后者从缓存单元读取对应的像素数据，送给m a c 单元 华中科技大学硕士学位论文 完成待插值像素的数据计算。生成的数据存储在行缓存中，由格式化单元重组成符合 系统要求的目标格式码流。 对上述架构进行定量分析。假设滤波窗口为n n ( 对于双线性插值n = 2 ) ，视 频流每行采样点数为l ，插值精度为k 个像素，即两点间分成k 个插值相位，则上图 所示系统需要例化- t 2 个m a c 单元，行缓存单元需要片上存储n x l 字，插值系数r o m 需要片上存储k 2 x , 2 字，显然，随着插值精度和每行采样点的增加，系统片上资源需 求将剧增。鉴于以上原因，系统可以采取双一维结构，即将在两个方向同时插值转换 为在x 和y 两个方向的插值分开进行。结构框图如图2 1 3 。 图2 1 3 双一维线性插值框架图 如上图示，对于水平方向插值和垂直方向插值，都只需要n 个m a c 单元，所以， 系统需要例化2 n 个m a c 单元，2 k n 字的片内插值系数r o m ，比较二维线性插值 系统，将大大减少片内资源，并且两者在插值效果上相差不大，不会造成视频品质的 降低。 2 3 4f p g a 内部子模块描述 根据上节所述的系统划分，将整个缩放模块划分成行内插值和行间插值两部分， 行内插值模块和行间插值模块的结构大体相同，只是像素缓存模块( p i x e lm e m o r y ) 的容 量不同，对于行内插值模块，像素缓存模块不需要太大，只需要3 4 个像素存储容 量的小规模存储单元就可以了；而对于行间插值模块来说，至少需要缓存两行像素数 据，所以需要使用f p g a 内部的块内存实现。 华中科技大学硕士学位论文 l 肾h 盅 p i x e 【 ：淼卜一 n e w - 1 ) i x e l v i d e 0 g e r s e r a t e m e m o r y ：c o n t r o ls i g n a l + ：d a t as i g r l a l 图2 1 4 行内插值模块结构框图 图2 1 4 就是f p g a 行内插值模块的结构框图，像素数据经过输入模块后，存储到 像素缓存模块q h ( p i x e lm e m o r y ) ，由于写像素和读像素的同步时钟不同，像素缓存模 块采用双端口的r a m 实现，可以实现异步读写。当执行图像放大操作时，读像素时 钟频率高于写像素时钟频率，在相位生成模块( p h a s eg e n e r a t e ) 的控制下，将某些特定 像素重复读出，当执行图像缩小操作时，直接舍弃特定像素，以达到系统设定的输出 格式需求。 当输出格式满足要求后，根据原始图像信息，取新生成像素的邻近像素点数据值 进行加权运算，得到新生成像素的数据值，这样可以平滑输出图像，消除图像锯齿等 明显影响图像质量的因素。 处理后的图像存入图像缓存中，经过同步插入，重组成为符合协议要求的格式输 出到下一个模块。 2 4 本章小结 基于双线性算法，本文提出了一种易于硬件实现的任意比例分辨率变换的图像缩 放算法以及其f p g a 结构，该算法在降低硬件复杂度的同时，保证了图像的输出质量， 达到了令人满意的缩放效果，该算法已经得到了f p g a 的验证和系统验证。图2 ，1 5 为分辨率转换模块的m o d e l s i m 仿真结果。 华中科技大学硕士学位论文 图2 1 5 系统仿真图 从上图看出，在接收到输入数据v 5 1 4 5y x 7 0 1 后，