（电工理论与新技术专业论文）图像缩放算法的研究与fpga设计.pdf

上海大学硕士学位论文 a bs t r a c t s c a l e ri so n eo ft h em o s ti m p o r t a n tp a r t so ff p d ( f l a tp a n e ld i s p l a y ) ，w h i c h c o n v e r t st h es o u r c ei m a g es i g n a li n t ot h a tw i t ht h es a m er e s o l u t i o na sf p d ，a n dt h e n m a k e si td i s p l a y e do nf p d b a s e do nt h er e s e a r c ho f i m a g es c a l i n ga l g o r i t h ma n dt h e a n a l y s i so fs c a l e r ，t h ed i s s e r t a t i o nc h o o s e sat o p d o w nd e s i g nt o p o l o g yt of u l f i l lt h e d e s i g no fs c a l e ra n di m p l e m e n t si t sv e r i f i c a t i o ni nf p g a o u rs c a l e ri sa b l et os u p p o r t s c a l i n go p e r a t i o nt oi m a g e sw i t hd i f f e r e n tr e s o l u t i o ni na d j u s t a b l em o d e s b e s i d e s ，i t c a l lb ei n t e g r a t e di no t h e ri m a g ep r o c e s s i n gc h i p si nt h ef o r mo fi pc o r e i m a g es c a l i n gc o r ei st h ek e yp a r ta n dm a i nc o m p u t i n gu n i ti ns c a l e r , w h i c h i m p l e m e n t st h eb a s i cf u n c t i o no fi m a g es c a l i n g t h eu t i l i z e dc o r ea l g o r i t h ma sw e l la s s t r u c t u r ed e t e r m i n e st h es c a l i n gp e r f o r m a n c ea n dc o s to fc h i pd e s i g n t h e r e f o r e ，t h e w h o l es t r u c t u r eo fs c a l e ri sd e s i g n e ds t a r t i n g 、析mt h ea n a l y s i so f s c a l i n gc o r e i ta l s o b r i n g su pan e wo p t i m i z e da l g o r i t h m - - w i n d o ws c a l i n ga l g o r i t h mo nt h eb a s eo f r e s e a r c hi nt h ec l a s s i c a li m a g es c a l i n ga l g o r i t h ma n dt h e ns i m p l i f i e st h ec a l c u l a t i o nt o r e d u c et h ec o m p u t i n gc o m p l e x i t y i nf p g ai m p l e m e n t a t i o n , o u rd e s i g ns e p a r a t e st h e s c a l i n gi n t oc o l u m np r e - s c a l i n ga n dr o ws c a l i n ga n du t i l i z e sd r a m 嬲d a t ab u f f e r t h ea d v a n t a g e so ft h i ss t r u c t u r ea r ea sf o l l o w s c o l u m na n dr o ws c a l i n ga r ea b l et o o p e r a t ea tt h es a m et i m e 、i t l lt l i g l lr e l i a b i l i t ya n df a s ts p e e di nd a t ap r o c e s s i n g w i t h t h es i m p l ec o r es t r u c t u r e ，i ti sc o n v e n i e n tt of u l f i l lt h ed a t ab u f f e rd e s i g nw i t hs u i t a b l e s i z e t h ed i s s e r t a t i o na l s op r e s e n t st h ed e s i g no fo t h e ra u x i l i a r ym o d u l e ，i n c l u d i n g d v ii n t e r f a c es i g n a lp r o c e s s i n gm o d u l e ，s c a l i n gp a r a m e t e rc o m p u t i n ga n dc o n t r o l l i n g m o d u l ea sw e l la so u t p u ts i pd e t e c t i o na n dt i m i n gf i l t e rm o d u l e 1 1 1 ed e s i g nf i r s tm a k e sr t ld e s c r i p t i o nt oa l lt h em o d u l e sw i t hv e r i l o gh d l , t h e np e r f o r m sl o g i cs i m u l a t i o n 、7 l r i me d at o o l sa n da tl a s t ，c o m p l e t e st h ec e r t i f i c a t i o n w i t hf p g ac h i p sf r o ma l t e r a t h ed i s s e r t a t i o ni n t r o d u c e st h eb u i l d i n go ff p g a v e r i f i c a t i o np l a t f o r ma n dt e s t i n gi ni t ，a n dt h e nv e r i f i e st h a tt h ed e s i g no fs c a l e r a c h i e v e st h ed e s i r e do b j e c t i v e s f o ri m a g e sw i t hd i f f e r e n tr e s o l u t i o n , t h e yc a nb e s t a b l yd i s p l a y e di nf p d k e y w o r d s ：f l a tp a n e ld i s p l a y , s c a l e r , w i n d o ws c a l i n g ，f p g a v i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 签名：三啦l e l 期：鱼蚪 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，i i 学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 珥吼钾 上海大学硕士学位论文 1 1 引言 第一章绪论 图像缩放技术是平板显示器( f p d ，f l a tp a n e ld i s p l a y ) 中视频图像处理的 关键技术之一，它直接影响了视频图像的显示效果。s c a l e r 即是f p d 中完成图像 缩放功能的芯片，它可以为显示屏提供可靠的图像缩放引擎和图像增强处理，以 满足不同用户、不同应用环境的需求。本课题即是针对s c a l e r 芯片中使用的算法 进行研究并加以实现，其算法的选取和硬件结构的设计直接影响到图像缩放的效 果和硬件实现的成本。 1 2 平板显示技术发展现状与趋势 伴随着现代信号处理技术和大规模集成电路技术的飞速发展，显示技术正在 发生一场革命，平板显示1 】【2 】( f p d ，f l a tp a n e ld i s p l a y ) 技术以其低功耗、小型 化、数字化、便携式、多功能越来越受人们的青睐，已可与阴极射线管显示器 ( c r t ，c a t h o d er a yt u b e ) 相抗衡，正成为新世纪的主流显示技术。平板显示 一般是指显示器件的深度小于显示屏幕对角线1 4 长度的显示技术【3 】。按工作原 理的不同，平板显示器可分为液晶显示( l c d ) 4 1 、等离子体显示( p d p ) 【5 1 、 电致发光显示( e l d ) 【6 】、有机发光二极体显示( o l e d ) 【7 】【8 】、场发射显示( f e d ) 【9 1 、真空荧光显示( v f d ) u 0 1 和发光二极管拼接显示【1 1 1 等。就目前来看，l c d 、 p d p 及o l e d 成为平板显示的三大支柱。 下面对几种平板显示技术的基本特征进行概述，以比较异同及发展前景。 1 液晶显示技术( l c d ，l i q u i dc r y s t a ld i s p l a y ) l c d 有“第二半导体”的称谓，它具有低工作电压、功耗小、重量轻、厚度 薄、长寿命、无电磁辐射、不耀眼、抗干扰性好、抗震性能好、有效显示面积大、 适于大规模集成电路直接驱动、易于实现全彩色显示等优良特色。 液晶显示器件利用了液晶晶体各向异性产生光电效应的物理特性：在通电导 通后排列有序，使光线容易通过；不通电时排列混乱，阻止光线通过。液晶显示 技术经历了扭曲向歹i j 【1 2 1 ( t n l c d ) 、超扭曲向列1 3 1 ( s t n l c d ) 和薄膜晶体管 上海大学硕士学位论文 阵列【1 4 】( t f t - l c d ) 三个重要发展阶段。其中，t f t - l c d ( t h i nf i l m t r a n s i s t o r - l c d ) 是集大规模半导体集成电路技术、驱动i c 技术和平板光源技术 于一体的高新技术，采用薄膜晶体管有源矩阵，在每个像素上设计有一个场效应 开关管，易于实现真彩、高分辨率，而且响应速度快、灰度高，因此成为l c d 的主要发展方向。它使l c d 进入高画质、真彩图像显示的新阶段，具有高科技 含量、高附加值、高效益等特质，拥有美好的发展前景。 但l c d 也有不足之处，它属于非主动发光型即被动光源，显示视角小，对 比度和亮度受环境的影响较大，响应速度较慢且工艺复杂。但是长期困扰液晶平 板显示器的三大难题：视角、色饱和度、亮度现在已经获得重大突破，液晶平板 显示技术已经步入成熟阶段。 2 等离子体显示技术( p d p ，p l a s m ad i s p l a yp a n e l ) p d p 是伴随惰性气体等离子体放电，利用行、列矩阵电极交点发光的显示器 件。其中等离子体( p l a s m a ) 是指正负电荷共存，处于电中性的放电气体的状态。 p d p 分为交流和直流两种类型，采用表面放电式的a c p d p 1 5 】占主导地位。 与其它平板显示器件相比，p d p 具备许多独特的优点，具体如下： ( 1 ) 屏幕亮度非常均匀，没有亮区和暗区，不会出现图像几何畸变和色彩 漂移现象，不受磁场影响，具有更好的环境适应能力； ( 2 ) 具有非常陡峭的阈值特性，适合于时分多路驱动； ( 3 ) 具有存储效应，即使增加显示容量，也容易获得高亮度显示； ( 4 ) 结构及制造工艺简单，不需要t f t 那样的高精度，投资小，适合现代 化大批量生产； ( 5 ) 具有记忆特性，高亮度、大屏幕、全彩色，高对比度和高分辨率，使 图像更加清晰，色彩更加鲜艳，感受更加舒适，效果更加理想； ( 6 ) 色彩还原性好，灰度丰富可超过2 5 6 级，色域与c r t 相近，对迅速 变化的画面响应速度快，适用于显示动画和播放视频； ( 7 ) 视野开阔，能提供格外亮丽、均匀平滑的画面和更大观赏角度，视角 高达1 6 0 度； ( 8 ) 纯平面、厚度薄、体积小，特别适合公共信息显示、壁挂式大屏幕电 视和自动监视系统。 但是p d p 也有不足：显示屏上的玻璃极薄，不能承受过大或过小的气压， 2 上海大学硕士学位论文 更不能承受重压。显示屏的每一颗像素都是独立地自行发光，功耗大，在显示器 背板必须装有多组风扇用于散热。此外，p d p 驱动电压高，价格也较高。 3 有机发光显示技术( o l e d ，o r g a n i cl i g h te m i t t i n gd i s p l a y ) o l e d 被誉为“梦幻显示器”，是基于有机材料的一种电流型半导体发光器 件。它用表面粗糙度小的高质量玻璃作为基板，用铟锡氧化物( i t o ) 导电玻璃 作为阳极，在阳极上制作一层几十纳米厚的有机发光材料作为发光层，发光层上 方再用一层低功函数金属盖作为阴极。当两电极上加有电压时，阳极提供空穴， 阴极提供电子，空穴和电子在发光层的有机物中复合，就可以释放能量，产生光 辐射。通过选择不同的发光材料或掺杂的方法，就可以得到不同颜色的光，实现 彩色显示。 o l e d 与l c d 一样，也有主动式和被动式【1 6 1 之分。被动方式下由行列地址 选中的单元被点亮；主动方式下，o l e d 单元后有一个薄膜晶体管( t f t ) ，发 光单元在t f t 驱动下点亮。主动式的o l e d 比较省电，但被动式的o l e d 显示 性能更佳。 o l e d 显示技术之所以倍受关注，是因为它作为显示器件有着很多优点。 ( 1 ) 显示效果出众。o l e d 在对比度、亮度方面有着无可比拟的优势，它 不存在视角和响应时间的问题，可轻松实现真彩色高分辨率显示。 ( 2 ) 实现软屏化。由于o l e d 器件的核心层厚度很薄，甚至可以小于1 毫 米，并且可以呈现各种各样的弯曲形状，因此可以在塑料、树脂等不同的材料上 生产。如果将有机层蒸镀或涂在塑料基衬上，就可以实现软屏。 ( 3 ) 屏幕微型化、巨型化。小分子o l e d 可以制作出小于1 英寸的屏幕， 使显示屏幕微型化。高分子o l e d ( p l e d ) 则在超大尺寸、低成本上占有更大 的技术优势。高分子材料有良好的热稳定性与机械性质，可以使材料完美地均匀 分布于超大面积基板上。由于p l e d 可采用喷墨式的制造工艺，只要喷印技术 和面板尺寸许可，显示器尺寸之大将让现有的显示器望尘莫及，实现巨型化的高 清晰显示。 ( 4 ) 环境适应能力强。o l e d 显示技术具有全固态特性，无真空腔，无液 态成分。因此它的机械性能好，抗震性强，温度适应能力也很强，在4 0 - 8 0 范围内都可正常工作，大大超过了其它显示器件，因此在军事，航天领域将大有 作为。 3 上海大学硕士学位论文 ( 5 ) 环保、省电。同样是自发光，和c r t 、p d p 、l c d 相比，o l e d 具 有低压驱动和低功耗特性，驱动电压在1 0 v 以下，且更加省电。高分子p l e d 有着更低的驱动电压( 3 v 一- 4 v ) ，其功耗更低。 ( 6 ) 更低的生产成本。o l e d 技术的构成简单，无需背光单元，基板选择 面广，材料和工艺方面的要求比l c d 低近1 3 。 o l e d 在商业、通信、工业应用、交通、消费类电子产品等很多领域都有应 用价值。但由于这项技术还处于起步阶段，还存在着各种缺陷，如发光材料的寿 命问题、色度问题、屏幕大尺寸化问题等，因此暂时还不能广泛推广使用。 如上文所述，平板显示器具有轻、薄、低功耗等特点，相对于传统的c r t ， f p d 能够与i c 更好的融合【1 7 1 。以i c 为首的半导体和平板显示器先后发展，到 1 9 9 0 年，半导体产值已达4 9 9 亿美元，而f p d 还不过1 0 亿美元，到2 0 0 5 年， 半导体增加到2 2 7 5 亿美元，而f p d 也达到了7 5 0 亿美元的规模。两者合计达3 0 2 5 亿美元，约占世界电子工业产值的2 5 ，所占比例甚大。1 9 9 0 2 0 0 5 年1 6 年间， 半导体产业规模扩大到5 倍，年均增长率1 0 7 ，f p d 同期则扩大了8 5 倍，年 均增长达3 2 ，比半导体快得多，势头很猛。半导体和f p d 的产值在电子工业 中不仅占有相当比重，发展迅速，并且f p d 与半导体相比，也从1 9 9 0 年的o 2 ： 1 0 0 缩小到了2 0 0 6 年的3 5 6 5 ，比例接近，地位大大提高，因此，今天在电子 器件领域，不再是半导体一家独领风骚，而是与f p d 双雄并踞，一起成为了电 子工业的中心，占有核心地位，其上游有原材料和制造、测试设备，下游为各种 电子产品，再通过流通进入市场。 正是因为平板显示器件的广泛应用及快速发展，带动了其附属产品i c 的高 速发展，图像缩放芯片s c a l e r 就是其中的一部分，它也是平板显示器件的重要组 成部分，直接影响了视频图像的显示效果。 1 3s e a l e r 在平板显示器中的作用及其发展状况 平板显示器具有薄、轻、清晰度高、亮度高、功耗低、抗震强等优点，应用 越来越广泛，从手机、电脑、电视到户外大型显示屏幕，屏幕尺寸范围可以从 l i n 延伸到1 0 0 i n 以上。但平板显示器件具有固定的分辨率，而输入的视频图像 信号是可变的，这就需要将分辨率可变的图像信号映射到分辨率固定的平板显示 4 上海大学硕士学位论文 器上，这样一个图像处理的过程被称为缩放( s c a l i n g ) 。图像缩放是f p d 视频图 像处理中的关键技术，它直接影响显示效果的好坏。s c a l e r 芯片就是用来完成这 一功能的，它将输入源图像信号转换成与显示屏固定分辨率一致的图像信号，并 控制其显示在显示屏上。 图i is c a l e r 在平板显示系统中的典型应用 图1 1 所示为s c a l e r 在平板显示系统中的典型应用，该系统包括控制板和显 示面板，控制板接收模拟或数字的v g a 信号，经过a d c 或t m d s 芯片转换后 变成2 4 b i t 的数字信号以及显示时钟，行、场同步和数据使能信号等。s e a l e r 在 m c u 和o s d 协助下完成缩放和图像质量增强处理后，通过p a n e l 接口将信号送 给显示面板，在时序控制模块作用下，驱动d r i v e 显示到屏幕上。近年来，随 着显示技术的飞速发展，显示系统中输入信号的接口有了长足的发展，由支持模 拟信号接口逐步发展到数字接口，减少了因视频信号在发送和接收端进行模数及 数模转换引起的信号失真，因此基于数字信号传输的接口标准正成为l c d 显示 系统的接口标准。常见的应用于l c d 显示数字信号传输的接口标准包括：p & d 、 d f p 、d v i 和l d i 接口，目前常用的是d v i 和l d i 接口。 目前，市场上已有很多集成了s c a l e r 功能的芯片，例如台湾m y s o n 公司的 m t l 0 0 5 18 1 ，台湾a v e r l o g i e 公司的a l 3 0 0 19 1 ，加拿大g e n e s i s 公司的g m 5 0 6 0 2 0 】 和意法半导体( s m t ) 公司的a d e 3 3 0 0 2 1 】等，这些芯片在不同的缩放算法和体 系结构的基础上，各自有其自身的特点。 ( 1 ) m t l 0 0 5 m t l 0 0 5 主要应用于l c dt v 及t f tl c d 监视器。自动识别输入信号格 式，支持1 5 p i n 的d s u b r g b 信号、来自数字视频解码器的y u v 信号( 4 ：2 ：2 4 ：1 ：1 ) 和基于t m d s 接收器的数字r g b 信号，支持单像素( 1 8 2 4 b i t ) 或双像素 ( 3 6 4 8 b i t ) 数字r g b 信号输出，支持v g a s v g a x g a 输出模式，仅能放大 5 上海大学硕士学位论文 处理，1 2 c 主机接口。它的数据处理流程为：输入颜色空间转换数据缓冲一 缩放( 放大) 一伽马校正抖动处理一输出。 m t l0 0 5 可支持最大为3 2 倍的放大处理，有相互独立的垂直与水平放大功 能。在图像处理时，为用户提供了4 种缩放模式： a 、旁路模式：无需考虑任何缩放因子，图像直接通过缩放模块，即不对图 像进行任何缩放处理： b 、复制模式：根据缩放因子对图像进行放大，输出图像中的每一个像素点 都来源于输入图像。使用该方法得到的输出图像具有较高的对比度，但可能会出 现不规则的图像。 c 、双线性模式：根据缩放因子对图像进行放大，输出图像的每一个像素点 都由双线性滤波器滤波获得。该方法具有较高的缩放质量，但输出图像可能会产 生模糊的现象。 d 、插值表模式：根据缩放因子对图像进行放大，输出图像的每一个像素点 也是由滤波器滤波而得，但该滤波器可以由用户来定义。 ( 2 ) a l 3 0 0 a l 3 0 0 主要应用于平板显示控制器中，它可以将不同格式和不同分辨率的视 频图形数字信号转换成平板显示器能显示的数据格式，具有多种控制功能，可 由微处理器通过接口实现。 a l 3 0 0 可接收四种输入数据格式：2 4 b i tr g b 、8 b i ti t u r b t 6 5 6 ( c c 瓜6 5 6 4 2 2 ) 、1 6 b i tc c i r 6 0 14 2 2 和4 2 b i tc c i r 6 0 14 4 4 信号，支持单像素与双像素输出， 支持输出最大分辨率可达1 2 8 0 x 1 0 2 4 。a l 3 0 0 有相互独立的水平和垂直两个方向 的放大功能，水平和垂直放大的线性范围为1 - - - 8 倍，缩放系数可调，由输入输 出图像分辨率决定。 它的主要工作流程为：输入颜色空间转换缩放( 放大) 伽马校正一 抖动处理一o s d 输出。但在实际工作时，a l 3 0 0 无法进行帧频率的转换，也存 储不了完整的一帧图像数据，因此并不能完全实现全放大的功能，在缩放过程中 通过选取源图像的部分像素点并使用更大的缩放因子来进行放大，导致输出图像 中空白消隐期较长而无法显示源图像中的部分信息。 a l 3 0 0 可以工作在三种模式下： 1 逐行放大模式：该模式下，输入信号为逐行扫描的视频信号，需要根据 6 上海大学硕士学位论文 输入信号对输出信号进行同步处理。工作时，首先，根据显示器的尺寸确定输出 时序参数；其次，由扫描频率及芯片内部位置检测电路确定视频图像信号的有效 显示区域；最后，根据输入输出图像信号的大小确定缩放模块的缩放倍数。 2 去隔行放大模式：该模式下，输入隔行扫描的视频图像信号，必须对其 进行去隔行操作。在对图像信号进行处理时，芯片会区别对待奇场和偶场信号， 并设置不同的缩放参数。 3 旁路模式：该模式仅用于输入输出图像信号分辨率一致的场合下。输出 时序根据输入时钟及水平同步信号确定，以此来保证图像不经过缩放处理。 ( 3 ) g m 5 0 6 0 g m 5 0 6 0 是一款图像处理芯片，能够为l c d 监视器和其他像素显示器提供高 质量的图像信号。它内部集成了一个三通道的模数转换器、d v i 接收器、图像缩 放引擎、帧频率转换器、o s d 控制器、微处理器以及其他功能模块。它支持模 拟r g b 及数字d v i 信号输入，支持最大可达u x g a 模式的图像输出，缩放比 例任意可调。g m 5 0 6 0 的主要工作过程为：输入图像捕获颜色空间转换帧 频率转换缩放处理对比度增强伽马校正o s d 输出。 g r n s 0 6 0 的水平缩放与垂直缩放相互独立，缩放模块采用三次多抽头的f i r 滤波技术，对静态图像及动态视频都有较高的缩放质量。当缩放倍数较大( 超过 2 倍) ，缩放模块还会结合像素复制操作来提高图像的清晰程度。此外，g m 5 0 6 0 还可以对图像进行缩小处理( 缩小至原图的5 0 + 1 行) 。经过缩放处理后的图像 还会通过锐化处理模块对文本图像和图形图像进行锐化操作，增加图像的对比度 以提高其显示质量。 ( 4 ) a d e 3 3 0 0 a d e 3 3 0 0 是s m r 公司高集成度显示驱动芯片家族的成员之一，主要应用于 l c d 。支持模拟r g b 、数字d v i 信号及数字电视视频信号输入，支持s x g a 到 x g a 模式范围内的图像输出，支持单像素或双像素格式输出，采用1 2 c 串行模 式接口。 a d e 3 3 0 0 具有高质量的缩放功能，水平缩放与垂直缩放相互独立，缩放比 例在o 5 至5 之间可调；对于文本型图片，a d e 3 3 0 0 会使用边缘锐化对图像显示 效果进行加强。它的主要工作过程为：输入色彩空间转换数据测量缩放一 伽马校正一o s d 输出。 7 上海大学硕士学位论文 1 4 课题实现目标与研究意义 本文是围绕上海市高等学校科技基金项目“基于s c a l e r 架构的f p d 分形成像 系统的研究”而进行的。平板显示产业已形成一个规模庞大、高度国际化的产业。 显示产业被看作继集成电路的计算机大发展之后，电子工业的又一次不可多得的 发展机会，它在一个国家的国民经济及其信息化的推进中，越来越起着举足轻重 的作用。随着信息技术的不断发展和人们生活水平的不断提高，显示终端的应用 和发展非常快。作为f p d 核心部分之一的图像缩放技术是一项极有前景的研究 项目，也是打破国外技术垄断的一个突破口。由于图像缩放的应用广泛，缩放算 法也多种多样，本文主要针对数字视频图像处理领域的图像缩放算法进行研究， 旨在通过对传统缩放算法的分析提出优化算法，最后使用f p g a 来验证其缩放效 果和可靠性。 在课题的研究过程中，主要创新点如下： 1 通过对传统缩放算法的研究，提出了一种新的矩形窗缩放算法，并根据“体 积相等”的原则简化了算法的计算公式，提高了图像缩放的质量和速度。 2 本设计中，矩形窗口大小可调，使缩放效果可以为一般矩形窗、双线性插 值、邻近插值以及介于它们之间的任一种模式，使其具有良好的适应性。 3 支持输入与输出任意分辨率。输入与输出的分辨率不仅仅限于常见的 v g a 、s v g a 、s x g a 等模式，缩放的各种参数还可以直接使用输入输出的分辨 率进行计算。 4 采用源度量方式的数据表示，减少了图像缩放过程中的乘除法运算量，提 高了性能，减少了资源。 1 s 论文安排 第一章概述本文的研究背景，分析平板显示技术和s c a l e r 的发展概况及趋势， 引出本文的研究内容，及图像缩放算法的优化和f p g a 设计。 第二章为s c a l e r 总体构架设计。通过对不同缩放内核结构的比较确定本设计 中采用的结构，并形成s c a l e r 的总体结构，同时分析了s c a l e r 芯片的输入输出数 据格式以及相关的时序约束条件。 上海大学硕士学位论文 第三章介绍图像缩放算法，包括双线性插值算法、双三次插值算法、b 样条 缩放算法以及本课题所采用的优化算法一矩形窗缩放算法及其实现方法，最后 通过m a t l a b 仿真对缩放结果进行比较。 第四章为s c a l e r 的设计实现，主要介绍缩放内核中可调矩形窗、行列缩放模 块以及缓冲存储器的设计；最后介绍信号接收提取模块、缩放参数计算与控制模 块、输出信号检测及时序滤波模块这些辅助模块的设计。 第五章介绍s c a l e r 的f p g a 验证，主要从验证流程、硬件平台的搭建两方面 进行介绍，最后给出验证结果及分析。 第六章对全文进行总结与展望。 9 上海大学硕士学位论文 第二章s c a l e r 总体构架设计 s c a l e r 对视频图像信号进行缩放处理，是一款较为复杂的数字信号处理芯 片。f p g a 设计一般采用自顶向下( t o p d o w n ) 的方法，将数字系统的整体逐步 分解为各个子系统和模块，并逐层设计。因此，在设计中，首先需要明确s c a l e r 的总体结构，给出按功能划分的模块框图，才能做好后续的设计工作。本章首先 通过比较几种常见缩放内核结构的优缺点确定最终的图像缩放内核结构，在该内 核的基础上介绍了s e a l e r 总体构架的设计，并详细介绍了s c a l e r 中所处理的数据 格式和所涉及到的时序约束条件。 2 1 s c a l e r 缩放内核结构设计 图像缩放内核是s c a l e r 的核心部分，它是s e a l e r 中的主要运算单元，完成图 像缩放的基本功能。它的结构设计决定着缩放性能的优劣，也是控制芯片成本的 关键，因此，选择一种合适的结构是设计的第一步。图2 1 给出了s c a l e r 中常见 的三种图像缩放内核结构，分别对应了在整个图像处理过程中所需要进行的缩放 次数。其中，图2 1 ( a ) 所示的结构最精简，而图2 1 ( c ) 所示的结构最为复杂。 输 输 r g b 、 行缓二维 后端 冲区缩放处理 ( a ) 一次缩放内核 g b r g b 水平 行缓垂直输出r g f i f o 缩放冲区缩放 ( b ) 二次缩放内核 1 0 上海大学硕士学位论文 输 b ( c ) 三次缩放内核 图2 1 常见的三种图像缩放内核结构图 1 一次缩放内核 在有些仅仅需要进行放大处理的情况下，为了使缩放内核的结构更加精简以 节省片内资源，一般采用图2 1 ( a ) 所示的一次缩放内核结构，例如台湾m y s o n 公司的m t l 0 0 5 。它用行缓冲区进行跨时钟的数据缓存，可以避免数据在不同时 钟域传输可能出现的传输错误。但在硬件实现时，它的缺点还是很明显的。首先， 在图像缩放的过程中，二维缩放模块每次必须从行缓冲区读取二维方向上4 个相 邻的像素值进行插值计算，不仅提高了运算量和复杂度，也提高了二维缩放模块 中逻辑控制单元的设计难度。其次，行缓冲区既需要接收输入的象素数据，又需 要输出象素数据给二维缩放模块，在实现其功能时，一般采用双口的r a m 。二 维缩放模块需要同时对四个象素进行寻址，而通用双口r a m 所提供的寻址逻 辑资源无法满足此要求，必须设计专用的r a m 资源，实现上大大提高成本。因 此，这种结构在市场上的应用越来越少。 2 二次缩放内核 华中科技大学是国内最先研究图像缩放芯片s c a l e r 的高校之一，他们提出了 一种二次缩放内核结构【2 2 1 ，如图2 1 ( b ) 所示。它将水平和垂直缩放处理分开进 行，每次运算时，缩放模块只需读取一维方向上的数据，降低了计算的复杂度和 逻辑控制模块的实现难度，且行缓冲区采用通用的双口r a m 即可实现。但一般 情况下，在进行缩小及放大处理时，水平缩放模块工作在不同的时钟域。在缩小 处理的过程中，为了避免f i f o 上溢，水平缩放模块工作在输入像素时钟域，f i f o 为同步f i f o ；而进行放大处理时，水平缩放模块工作在显示像素时钟域，f i f o 为异步f i f o 。因此，使用该结构会增加时钟设计的难度。 3 三次缩放内核 上海大学硕士学位论文 目前，市场上很多s c a l e r 产品使用了“水平缩小行缓冲水平放大垂直缩 放，的结构，如台湾t r u m p i o n 公司的z u r c t 0 9 1 1e 2 3 1 ，但在垂直缩放时仍需考虑 放大和缩小处理中的时序问题。华中科大的张阿珍、刘政林等人对此进行了修改 【2 4 1 ，提出了如图2 1 ( c ) 所示的结构，它解决了( a ) 和( b ) 两种结构的缺点。 当进行缩小处理时，数据首先经过1 2 缩小模块处理，以便将其转换为放大处理， 接着，依次进行垂直放大、水平放大处理；当进行放大处理时，数据先进行水平 放大再进行垂直放大，在经过第二次水平放大模块时不进行数据处理，直接输出 数据。该结构中，缩小模块工作在输入像素时钟域，放大模块工作在显示像素时 钟域，不需要根据缩放处理对时钟域进行调整，简化了时序设计，但该结构较大 的增加了资源消耗，提高了成本。 针对上述三种缩放内核结构，从时序设计、缓冲器设计、资源消耗、速度及 可靠性进行比较，比较结果如表所示。综合考虑图像缩放处理的效果及实现的成 本，本设计中选择二次缩放结构进行设计。 表1 1 不同结构缩放内核比较 缩放内核资源消耗速度可靠性时序设计缓冲器设计 一次缩放最小一般低最易需要特定的设计 二次缩放适中较快高复杂容易 三次缩放最大较慢较高容易容易 2 2s c a l e r 总体结构设计 如上文所述，综合考虑实现难易程度、占用硬件资源及图像缩放的效果，本 设计中使用二次缩放结构作为图像缩放模块的内核，s c a l e r 的总体结构框图如图 2 2 所示。它主要由输入信号接收及提取、缩放内核、输出检测这三大部分及相 应的控制单元组成。 广一一一一一一一一一一一一一一_ m 二_ x l - j 曩u 一 - j 。1 显 一 d d 不 接收屏 接口 单元 接 锊缩放参数计算单元 = = ( 至擗 - j 口 1 _ s e s l e r 图2 2s c a l e r 总体结构框图 1 2 上海大学硕士学位论文 本设计中，在对s c a l e r 功能进行验证时，需要使用由d v i 接口传送过来的图 像数据信号，因此在对图像信号进行缩放处理前必须提取出d v i 接口信号中的 有用信号。输入信号提取模块就是用来完成这一任务的，它主要完成缩放前的准 备工作，包括接收d v i 信号并检测输入源图像数据完整性、检测数据有效信号 及同步信号、产生行列信息、提取有效图像数据信号及缩放参数计算等；缩放内 核在控制信号的作用下对有效像素数据进行缩放处理，分列预缩放及行缩放两次 完成；输出检测部分主要完成缩放的后续工作，包括对缩放模块输出数据进行同 步处理，并组合数据有效信号、行列边沿信号等产生最终的s c a l e r 输出信号；控 制单元为各模块工作提供控制信号。 工作时，图像数据的流向大致如下：d v i 接收模块接收来自d v i 接口的源 图像信号，并检测其数据有效信号及回扫信号的边沿，最终将经过同步后的r g b 信号写入输入f i f o ；信息提取模块检测输入信号的完整性，并将行列位置等信 息写入输入f i f o 模块；列预缩放模块接收来自于输入f i f o 的r g b 信号，调用 公式对有效图像数据进行列缩放，并通过预缓存模块将r g b 信号并行地送入行 缩放模块进行缩放处理，同时将当前处理的行列信号传送给行缩放模块；行缩放 得到的新像素数据以及行列回扫信号、数据有效信号等被写入输出缓冲模块中， 并在时钟的作用下进行同步处理，最终配合相应的时序滤波，输出的图像数据即 可通过l v d s 接口传送至显示屏上显示了。 使用图2 2 所示的结构进行s c a l e r 设计，主要有以下几个特点： 1 列缩放和行缩放可以同时进行； 2 数据缓冲区大小合适，便于设计； 3 数据处理可靠性高，速度快； 4 统一时序控制单元，容易实现帧同步，不易造成数据缓冲区上溢或下溢 的现象； 5 理论上可以实现任意倍数的图像缩放； 6 结构简单明了，在设计过程中容易查错。 2 3 输入输出数据格式 常见的视频信号有v g a 、d v i 、l v d s 等，但这些信号适合于传输，直接进 1 3 上海大学硕士学位论文 行数字图像处理则十分困难，相反r g b 格式的数字视频信号便于作处理但不适 合传输。s c a l e r 是一块完全的数字信号处理芯片，它所处理的信号为2 4 b i t 的r g b 格式视频信号，在进行缩放处理前后，需要对视频信号格式进行转换。一些s c a l e r 芯片内部直接集成了视频信号转换电路。如台湾t r u m p i o n 公司的z u r a c 定标 器内部整合了电视信号y u v 到r g b 的转换电路，从而能够直接接收p a l n t s c 格式的电视信号进行缩放。而对于d v i 、v g a 等格式的信号，通过其它芯片转 换成r g b 格式后z u r a c 再对其进行缩放处理。图2 3 所示为一帧视频输入信 号的二维时序格式【2 卯。 图2 3 r g b 数据时序格式 r g b 格式的视频信号包括2 4 b i t 的象素数据信号、3 个时序控制信号和象素 时钟信号。象素数据信号2 4 b i t 的位宽平均分配给红( r e d ) 、绿( g r e e n ) 、蓝( b l u e ) 三色分量，每个分量占据8 b i t 的位宽。时序控制信号包括垂直同步信号( v s y n c ) 、 水平同步信号( h s y n c ) 以及数据使能信号( d a t ae n a b l e ) 。象素时钟信号是传输 象素数据的工作时钟。s c a l e r 芯片根据时序控制信号和象素时钟信号确定当前象 素数据线上的信号有效与否。 v e s a 标准的r g b 视频信号在不同分辨率下对于v s y n c 和h s y n c 信号极性 的定义不尽相同【2 6 】，图2 3 给出的是v s y n c 和h s y n c 信号均为低电平有效的情况。 对于d a t ae n a b l e 信号，任何分辨率下都是高电平有效。如图2 3 ，当d a t ae n a b l e 信号有效时所传输的象素数据构成了可见显示区( 图2 3 中的有效象素区) 。实 际显示在显示屏上的只是图2 3 中的可见显示区。象素数据的传输以帧为单位， 1 4 上海大学硕士学位论文 一帧数据由若干个水平扫描行构成。一帧中的象素数据按照从左至右、从上至下 的顺序进行传输。为了行文方便，约定一帧中位于可见显示区的象素数据称为有 效象素数据( a c t i v ep i x e l ) ，包含有效象素数据的水平扫描行称为有效扫描行 ( a c t i v es e a l i n g - l i n e ) 。s c a l e r 所要处理的数据只是可见显示区中的有效象素数 据。如图所示，可见显示区由连续的有效扫描行组成，而相邻有效扫描行中的有 效象素数据被无效数据隔开。 v e s a 标准的r g b 视频信号对各不同分辨率情况下的和显示相关的参数给 出了确定的数值。如果数据源输出的信号为v e s a 标准，s c a l e r 必须首先识别出 当前输入是v e s a 标准定义的何种格式，之后根据该格式的参数具体值进行缩 放。如果输入不符合v e s a 标准，s c a l e r 必须测量当前输入信号所有缩放必须参 数的数值大小。 如图所示，缩放时所需要知道的参数包括：水平同步( h s y n c ) 脉冲宽度、水平 后边沿宽度、水平有效区宽度、水平前边沿宽度，垂直同步( v s y n c ) 脉冲宽度、垂 直后边沿宽度、垂直有效区宽度、垂直前边沿宽度。此外，还需要测量h s y n c 、 v s y n c 、d a t ae n a b l e 信号的极性及象素时钟的频率。 2 4 时序约束条件 s c a l e r 在工作时需要考虑到以下两个条件【2 7 】： ( 1 ) 输出的显示帧速率与输入帧速率要保持一致，达到帧同步； ( 2 ) s c a l e r 内部的缓冲单元不会出现上溢下溢。 一般的s c a l e r 设计中，s c a l e r 在不同的工作阶段只用到两个时钟域：输入时 钟域和显示时钟域：而在本设计中，在输入视频图像与输出视频图像的分辨率不 同时，整个图像缩放模块在不同的工作阶段会用到不同的时钟频率，包括输入时 钟域、显示时钟域和工作时钟域。 下面具体介绍s c a l e r 设计中所涉及到的时序约束条件及设计。 1 基本时序约束条件 ( 1 ) 帧同步约束条件 在帧同步模式下，在输入一帧图像数据的时间内，缩放模块只能输出一帧的 显示图像数据【2 引，显示像素时钟与输入像素时钟的频率之间的关系如式( 2 1 ) 1 5 上海大学硕士学位论文 所示： 万1 耳。圪2 石1 ( 2 1 ) 可得显示时钟频率与输入一帧数据的时间内刚好显示一帧数据，即可得到下 式： 厶嘟埒 ( 2 - 2 ) 厶为输入信号的频率，二埘为输出信号的频率，玩为输入视频图像的水平分 辨率，踟为输入视频图像的垂直分辨率，亿讲为输出视频的水平分辨率，圪耐 为输出视频的垂直分辨