（微电子学与固体电子学专业论文）图像缩放算法的研究及其在fpga上的实现.pdf

图像缩放算法的研究及其在f p g a 上的实现 摘要 数字图像处理技术的应用在当前是一个十分前沿的研究热点，而图像缩放技 术的研究又是图像处理技术中的研究重点。随着数字时代的到来，模拟电视将逐 渐走出历史舞台，数字电视的普及将是必然。新型显示材料的出现为大屏幕电视 的制造提供了支持，为了适应在不同尺寸的屏幕上显示图像的需要，图像缩放技 术是数字视频芯片必须具备的重要功能。图像缩放技术的优劣将直接影响电视的 最终画质，是评价电视性能的一个重要指标。我们研究了当前流行的缩放算法， 对图像纹理相关性大小和边缘方向的判断上提出了一种新的方法，并在此基础上 发展了一套适用于数字视频芯片的图像缩放算法。仿真结果表明此算法由优于目 前流行的图像缩放算法。 大规模集成电路( v l s i ) 的开发周期长、投入资金多、灵活性差、风险大， 因此对于对于急于占领市场的终端产品开发商来说，投入资金开发芯片 ( v l s i a s i c ) 是不可行的。可编程逻辑器件( f p g a c p l d 的) 的出现解决了 这一问题，f p g a c p l d 的使用加快了产品的研发速度、降低了开发风险。 算法实现的硬件电路设计是论文的另一个重要工作。在设计电路系统的过程 中，需要结合视频处理方面的工业标准，设计出合理的与业界标准兼容的视频芯 片。f p g a 的开发工作大致可以分为设计和验证两大部分，在具体开发流程上可 以根据要求灵活控制。缩放芯片的开发可以分为：芯片结构设计、时钟系统设计、 存储器读写控制、i p 核复用设计、计算精度控制等方面的电路设计。在设计完 成各级子模块以后拼接各子模快完成整个缩放模块的设计。通过测试发现设计中 存在的缺焰，修改再测试，最终完成整个模块的设计。 关键字：图像缩放、离散数字图像、视频处理、相关性、f p g a 、i p 复崩 一一鬯堡塑壁塞鲨堕! 塑墨茎垄! ! 壁垒圭塑壅墨 r e s e a r c ho n a l g o r i t h m s o f i m a g ez o o m i n g a n d f p g a i m p l e m e n to f a l g o r i t h m s a b s t r a c t t h e t e c h n o l o g y o f d i g i t a li m a g ep r o c e s s i n g i sa n i m p o r t a n t r e s e a r c h i n g f o c u s t h ee n l a r g e m e n to f d i g i t a li m a g e i sv e r yi m p o r t a n t ，w h i c hi so n e p a r to fd i g i t a l i m a g ep r o c e s s i n g t h ed i g i t a lt i m e si sc o m i n ga n da n a l o gt vm n s tb er e p l a c e db y d i g i t a lt v t h ei n v e n t i o no fn e wd i s p l a y i n gm a t e r i a lm a k ew h i c h p o s s i b l et om a k eb i g s c r e e nt vf o rd i s p l a y i n gi m a g e so nd i f f e r e n ts c r e e n s t h ei c c h i po fv i d e o f r e q u e n c y p r o c e s s i n g m u s t s u p p o r t t h e t e c h n o l o g y o f i m a g ez o o m i n g t h et e c h n o l o g y i s i m p o r t a n ta n di sa ni m p o r t a n tc r i t e r i o nt b rd i g i l a t v c a p a b i l i t y w eh a dr e s e a r c h e d p o p u l a ra l g o r i t h m so fi m a g ee n l a r g e m e n t ，a n dg i v ean e wj u d g e m e n tf o rp e r t i n e n c e a n do r i e n t a t i o no fb o r d e r b a s e do nt h ej u d g e m e n t ，w eg a v ean e wa l g o r i t h mf o r i m a g ee n l a r g e m e n t w h i c h i sf i tv i d e of r e q u e n c y p r o c e s s i n g ，a n dt h ee x p e r i m e n t a t i o n r e s u l ts h o w e dt h a tt h ea l g o r i l h mw a s b e l i e rt h ep o p u l a ra l g o r i t h m s t h ee x p l o i t a t i o np e r i o do fv l s i ( v e r yl a r g es c a l ei n t e g r a t i o n ) i sl o n ga n dn e e d v e r ym u c hm o n e xs ow h i c hi s l e s so fa g i l i t ya n dh a sv e n t u r e f o rm a n y c o m p a n y , v l s ii sn o tf i t f p g a c p l di s p r o g r a m m a b l e ，s ow h i c hr e d u c e st h ev e n t u r ea n d i m p r o v e st h ee f f i c i e n c y , t h ei m p l e m e n to fa l g o r i t h mo nf p g ai sa n o t h e ri m p o r t a n tc o n t e n ti nt h i sp a p e r d u r i n gt h ed e s i g n i n g , w em u s ta b i d et h ei n d u s t r ys t a n d a r do f v i d e of r e q u e n c y d e s i g n i n ga n dv a l i d a t i n ga r et h et w oi m p o r t a n tp a r t so ft h ei m p l e m e n t d u r i n g t h ew o r k ，w ec a nh a v es o m ec h a n g e t h ed e s i g no f e n l a r g e m e n t1 c - c h i pi n c l u d e s ： f r a m ed e s i g n 、c l o c ks y s t e md e s i g n 、t h ec o n t r o lo fb l o c k r a mr e a d i n g w r i t i n g 、t h e d e s i g no f l p 。c o r er e u s e 、t h ec o n t r o lo f c o m p u t i n gp r e c i s i o n e t c a tl a s tw e p u tt o g e t h e r e a c hm o d u l ea n dm a k et h ee n l a r g e m e n tm o d u l e t h e ng i v et h et e s t i n ga n df i n dt h e b u g o f d e s i g n ，t e s t i n ga g a i n a n d r e d e s i g n i n ga g a i n , a tl a s tw eg o tt h ep e r f e c tm o d u l e k e yw o r d ：z o o m i n g o r d i g i t a li m a g e 、d i s c r e t ed i g i t a li m a g e 、p r o c e s s i n g o fv i d e o s i g n a l s 、a s s o c i a t i o n f i e l d p r o g r a m m a b l eg a t ea r r a y s 、r e u s i n g o f i n t e l l i g e n c e p r o p e r t y h 原创性声明 本人郑重声明：本人所呈交的学位论文，是在导师的指导下独立进行 研究所取得的成果。学位论文中凡引用他人已经发表或未发表的成果、 数据、观点等，均已明确注明出处。除文中已经注明引用的内容外，不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究成 果做出重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：弦知盛日 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属兰 州大学。本人完全了解兰州大学有关保存、使用学位论文的规定，同意学 校保存或向国家有关部门或机构送交论文的纸质版和电子版，允许论文被 查阅和借阅；本人授权兰州大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用任何复制手段保存和汇编本学位论文。本 人离校后发表、使用学位论文或与该论文直接相关的学术论文或成果时， 第一署名单位仍然为兰州大学。 保密论文在解密后应遵守此规定。 论文作者签名：龟旅彝缸持师签名：照日 期：土伪址罗f l 黪8 萌| 引言 引言 图像处理广泛的应用在社会生产的各个领域，人类获得外部信息的8 0 都是 通过视觉获得的，因此图像处理技术的研究对提高工业、商业、医学的先进性有 着十分重要的意义。人类获得外部信息的最直接、最有效的方式是通过视觉得到 的，因此，图像处理技术的好坏也直接影响到人们获得信息的快慢。 图像缩放技术在图像处理领域中占据着十分重要的作用，它对人们更好地获 取信息起着至关重要的作用l 在生产、生活中对同一幅图像我们往往需要不同大 小的格式，如何得到放大或者缩小的图像而又不使图像出现失真是一个十分有挑 战性的研究领域。同时，它也是综合了诸多学科知识的一项研究，它综合利用到 图像处理、数字信号处理、信息论等领域的原理与研究成果，因此这是一个综合 的研究课题。 在我们的生活中我们越来越频繁的使用图像处理软件，包括p h o t o s h o p 、 a c d s e e 等一般的看图软件，数字摄影室的专业图像处理软件，以及我们日益离 不开的手机( 具有拍照功能) 、数码相机、d v 等都内嵌有功能繁简不同的图像 处理软件：在军事上图像处理更是有着非同寻常的作用，它对准确侦查、准确丰1 击目标有着不可替代的作用，无论是可见光图像、雷达波图像，还是红外图像、 或者射线扫描图像都需要进行图像处理。在宇宙探索中更是离不开图像处理，无 论是太空望远镜捕捉到的星体图像，还是星体探索卫星传回表面图像都离不开图 像处理软件的支持! 对于静态的图像进行图像处理，一般没有时间上的要求，我们使用一般的图 像处理软件就可阻达到目的。然而对于视频信号、多媒体流信号等动态的图像进 行处理就需要较快的处理速度，而用处理软件就很难达到要求，因此为了达到对 动态图像处理速度的要求就必须用硬件实现对图像的处理。如何把图像处理的算 法用电路实现是本论文的一个重点。基于现代芯片设计的研究，系统级的设计在 芯片设计中起着关键的作用。芯片一旦设计定型再发现问题并进行修改将浪费大 量的金钱和时间，若是在工业竞争中对公司将造成巨大的损失。因此现在比较流 行的方法是，先在可编程逻辑器件上( f p g a c p l d ) 进行设计并验证达到要求 后再实现到a s i c 、s o c 上，这样既减小了风险并缩短丫开发周期。 图像缩放算法的研究及其在f p g af - 的实现 本论文的主要工作包括两部分：一、图像处理知识的介绍以及图像缩放算法 的比较、研究与开发；二、介绍如何在f p g a 上实现功能芯片的开发，从功能设 计、代码生成、电路综合、功能仿真( 又叫前仿真) 、添加约束文件、布局布线 后仿真( 又叫后仿真) 到生成+ b i t 文件并下载到f p g a 上进行功能测试等。同时 介绍了如何充分利用f p g a 上的资源来达到设计的目的以及如何验证设计电路 的功能。 本论文所做的主要工作是厦门联刨微电子有限公司承担的国家信息产业部 电子科学基金( 信部j 重 2 0 0 3 1 4 4 6 号) 项目l c d s c a l e r 的一部分。本人参 与了从立项到验收的所有过程，并顺利地完成了本人所承担的工作l 第一章数字视频圈像处理简介 第一章数字视频图像处理简介 1 。1 数字图像处理简介 1 1 1 数字图像处理的概念j 一幅数字图像可以定义为个二维函数f ( x ，y ) ，这里x 和y 是空间坐标，而 在任何一对空阃坐标( x y ) 上的幅值f 称为该点图像的强度或灰度。当x ，y 和幅 值f 为有限的、离散的数值时，称该图像为数字图像。数字图像处理是指借用数 字计算机处理数字图像，需要提出的是数字图像是由有限的元素组成的，每一个 元素都有一个特定的位置和幅值，这些元素称为图像元素、画面元素或像素。像 素就是我们描述数字图像的元素时的称谓。 视觉是人类最高级的感知器官，所以，毫无疑问图像在人类感知中扮演着最 重要的角色。然而，人类感知只限于电磁波谱的视觉波段，成像机器则可以覆盖 几乎全部电磁波谱，从伽马射线到无线电波。他们可以对非人类视觉习惯的那些 图像源进行加工，这些图像包括超声波、电子显微镜及计算机产生的图像。因此， 数字图像处理涉及各种各样的研究应用领域。 1 1 2 数字图像处理的起源与发展 数字图像处理最早的应用之一是在报纸业，当时，图像第一次通过海底电缆 从伦敦传往纽约。早在2 0 世纪2 0 年代曾弓l 入b a r t l a n e 电缆图片传输系统，把横 跨大西洋传送一幅图片所需要的时间从一个多星期减少到3 个小时。然而真正意 义上的数字图像处理是在计算机发明以后，因此数字图像处理的历殳与数字计算 机的发展密切相关。事实上，数字图像要求非常大的存储和计算能力，因此数字 图像处理领域的发展必须依靠数字计算机及数据存储、显示和传输等相关技术的 发展。 第一台可以执行有意义的图像处理任务的大型计算机出现在2 0 世纪6 0 年代 早期。数字图像处理技术的诞生可以追溯至这一。时期这些机器的使用和空间项目 图像缩放算法的研究及其在f p g a 上的实现 的开发，这两大发展把人们的注意力集中到数字图像处理的潜能上。利用计算机 技术改善空间探测器发回的图像的工作，始于1 9 6 4 年美国加利福尼亚的喷气推 进实验室。当时由“旅行者7 号”卫星传回的月球图像由一台计算机进行r 处理， 以校正航天器上电视摄像机中各种类型的图像畸变。幽1 显示了由“旅行者7 号”于1 9 6 7 年7 月3 1 日上午9 点0 9 分在光线影响月球表面前约1 7 分钟时摄取 的第一张月球图像，这也是美国航天器取得的第一幅月球图像。 图1 1 第一张月球照片 进行空间应用的同时，数字图像处理技术在2 0 世纪6 0 年代末和2 0 世纪7 0 年代初开始用于医学图像、地球遥感监测和天文学等领域。早在2 0 世纪7 0 年代 发明的计算机轴向断层术( c a t ) f 简称计算机断层( ( 玎) 1 是图像处理在医学诊 断领域最重要的应用之一。 从2 0 世纪6 0 年代至今，图像处理领域已得到了生机勃勃的发展。除了医学 和空间项目的应用外，数字图像处理技术现在已应用在了更广泛的范围。计算机 程序用于增强对比度或将亮度编码为彩色，以便于解释x 射线和用于工业、医 学及生物科学等领域的其他图像。在物理学和相关领域，计算机技术通常增强如 商能等离子和电子显微镜方法等领域的实验图像。图像处理技术也成功的应用在 天文学、生物学、核医学、国防及工业领域中。 1 1 3 数字图像的分类 数字图像处理的应用领域多种多样，今天，几乎不存在于数字图像处理无关 的技术领域。对数字图像分类的最简单的方法是根据信息源分类。在今天的应用 中，最主要的图像源是电磁能谱，其他主要的能源包括声波、超声波和电子。 4 第一章数字视频图像处理简介 建立在电磁波谱辐射基础上的图像是最熟悉的，它主要包括：( 1 ) 伽马射线 成像：( 2 ) x 射线成像；( 3 ) 紫外波段成像；( 4 ) 可见光及红外波段成像；( 5 ) 微波波段成像；( 6 ) 无线电波成像等。 虽然电磁波谱成像占主导地位，但大量其他成像模式也很重要。具体有：( 1 ) 声波成像：( 2 ) 电子成像电子显微镜方法；( 3 ) 合成成像由计算机产生等。 1 1 4 数字图像处理的基本内容1 1 2 j 图像处理是个复杂的系统工程，它包括诸多方面，每一部分都可以作为一 个独立的领域进行研究。 图像获取是图像处理的第一步，根据前面介绍的数字图像源的不同，图像的 获取方式也是不同的。以可见光图像的获取为例，可以使用单个传感器获取图像， 最常见的是光电二极管；比单个传感器更常用的几何结构是由线状排列的传感器 形成的一个传感器带组成，传感器带在一个方向上提供成像单元，这类传感器常 用于航空成像；用传感器阵列获取图像是我们最常见的图像获取方式，这是数字 摄像机的主要部分，他的好坏直接影响到摄像机品质的好坏l 图像增强是数字图像处理最简单和最有吸引力的领域。基本上，增强技术的 思路是显现那些被模糊了的细节，或简单地突出一幅图像中感兴趣的特征。 图像复原也是改进图像外貌的个处理领域。然而，不像增强，图像增强是 主观的，而图像复原是客观的。在某种意义上说，复原技术倾向于以图型退化的 数学或概率模型为基础。另一方面，增强以怎样构成好的增强效果这种入的主蕊 偏爱为基础。 彩色图像处理已经成为一个重要领域，因为基于互联网的图像处理应用在不 断增长。同时这也是本论文研究的主要领域，即基于彩色图像的缩放算法的研究 与实现。在图像处理中运用颜色受两个主要因素推动：第一，颜色是一个强有 力的描绘因子，他常常可简化目标物的区分及从场景中抽取目标；第二，人们可 辨别几千种颜色色调和亮度，相形之下只能辨别几十种灰度层次。彩色图像处理 可以分为两个主要领域：第一，全彩色处理，全彩色既是根据? 三原色原理定义的 2 4 比特的彩色图像；第二，伪彩色处理。伪彩色既是利用人研所能识别得颜色 圈像缩放算法的研究及其在f p g a 上的实现 中的一部分来标识物体或目标。然而，随着处理彩色图像的彩色传感器和硬件的 价格变得容易接受，全彩色图像处理技术的应用日益广泛，包括印刷、可视化和 互联网应用。本论文中缩放算法的开发也是基于全彩色图像的开发。 图像压缩，正如其名称所指的意思，所涉及的技术是减少图像的存储量，或 者在传输图像时降低频带。虽然存储技术在过去的1 0 年内有了很大进步，但对 传输能力我么那还不能这样说，尤其在互联网上更是如此，互联网是以大量的图 片内容为特征的，因此图像压缩也是图像处理的一个重要的研究领域。 除此之外，图像处理还包括图像的形态学处理、图像分割与识别、图像显示 等。总之，图像处理是综合诸多学科的有着广泛应用的- f 技术学科l 1 1 5 图像处理系统的构成 2 0 世纪8 0 年代中期，世界各地售出的各种型号的图像处理系统，基本都是 由主机及与主机相配合的外设装置构成。2 0 世界8 0 年代末9 0 年代初已转为将 图像处理硬件设计为与工业标准总线兼容并能配合工程工作站机箱和个人计算 机的单板形式。虽然针对大规模图像应用( 如处理卫星图像) 的大规模图像处理 系统一直在研究，但趋势朝着小型化和通用化的小型机并带有专用图像处理软件 的混合型系统方向发展。喇1 2 显示了用于数字图像处理的典型通用系统的组成 部件。 6 第一章数字视频图像处理简介 网络 图1 2 通用图像处理系统组成 图像传感器是获取图像的部分，它对我们希望成像的物体发射的能量很敏 感，并把获取的信号进行数字化；特殊图像处理硬件通常由数字化器与执行其他 原始操作【如算术逻辑单元( a l u ) 1 的硬件组成，算术逻辑单元对图像执行并行 操作，这个单元执行数据需要快速通过的功能，一般的主机不能胜任这个工作。 图像处理系统中的计算机从一般的p c 机到超级计算机都有用到，但是剥于 通用图像象处理系统，配置较好的p c 机就可以胜任；图像处理软件由执行特殊 任务的特殊模块组成，设计优良的软件包应包括为用户写代码的能力以及至少用 7 图像缩放算法的研究及其在f p g a 上的实现 一种计算机语言编写的通用软件命令集成。 大规模存储能力在图像处理中是必须的，图像处理应用的存储分为三个主要 类别：( 1 ) 用于处理时的短期存储；( 2 ) 关系到快速调用的在线存储；( 3 ) 档案 存储，其特点是频繁访问。存储是以字节( b ) ，干字节( k b ) ，兆字节( m b ) ， 吉字节( g b ) ，太字节( t b ) 为单位的。 图像显示器主要是彩色c r t 监视器l c d 监视器，监视器有图像图形显示卡 驱动，它们是计算机系统的组成部分：用于记录图像的硬拷贝装置包括激光打印 机、胶片照相机、热敏装置、喷墨装置和数字单元( 如c d r o m ) 等；在网络 传输中主要考虑的是带宽问题，因为大数据量在图像处理中是固有的。随着光纤 和其他宽带技术的发展，带宽问题正在得到改进，大量图像的网上快捷传输将是 必然i 1 2 数字图像处理在视频处理中的重要性 1 2 1 数字视频时代的到来【”】 数字图像处理广泛的应用在工业、医学、军事和航天等高科技领域，但是， 随着芯片设计制造技术的不断提高，在民用领域的应用也越来越多。数字多媒体、 数字电视、数码相机、可视电话等都是数字图像处理在民用领域的应用。其中数 字电视的发展在民用领域中占据着主导地位。数字电视比传统的模拟电视有着许 多有点：( 1 ) 信道容量大幅提高。在一个8 m h z 带宽的模拟频道内原来只能传送 一套普通的模拟电视节目，采用数字电视后在原来一个模拟频道内可传送d v d ( 数字视频光碟) 质量的节目5 至6 个，且每一套节目的质量要比模拟电视节目 的质量高。或者可以传送高清晰度电视( h d l v ) 质量的节目1 套或2 套，电视 频道的利用率大大提高。我国电视频道共6 8 个( 不计增补频道) ，原来只能传 6 8 个电视节目，采用数字电视后就可以传送d v d 质量的节目3 4 0 至4 0 8 个。( 2 ) 信号质量高、抗干扰能力强信号杂波比与连续处理的次数无关；电视信号经过 数字处理后使用若干位二进制的两个电平来表示，因而在连续处理过程中或在传 输过程中引入杂波后，其杂波幅度只要不超过某一额定电平，通过数字信号再生， 都可以把它清除掉，即使某一杂波电平超过额定值，造成误码，也可以利用纠错 8 第一章数字视频图像处理简介 编、解码技术把它们纠正过来。所以，在数字信号传输过程中，不会降低信嗓比。 而模拟信号在处理和传输中，每次都可能引入新的杂波，为了保证最终输出有足 够的信噪比，就必须对各种处理设备提出较高信噪比的要求。模拟信号要求 s n 4 0 d b ，而数字信号只要求s n 2 0 d b 。模拟信号在传输过程中噪声逐步积累， 而数字信号在传输过程中，基本上不产生新的噪声，也即信噪比基本不变。( 3 ) 可避免系统的非线性失真造成的影响。而在模拟系统中，非线性失真会造成图像 的明显损伤。( 4 ) 数字设备输出信号稳定可靠。因数字信号只有“0 ”“1 ”两个 电平，“1 ”电平的幅度大小只要满足处理电路中可以识别出是“1 ”的电平即可， 火一点、小一点无关紧要。( 5 ) 易于实现信号的存储，而且存储时间与信号的特 性无关。随着大规模集成电路( 半导体存储器) 的发展，可以存储多帧的电视信 号，从而便于完成用模拟技术不可能达到的处理功能。例如：帧存储器可以用来 实现帧同步和制式转换等处理，获得各种新的电视圈像特技效果。( 6 ) 可以进行 交互式点播或者传播政府的各种公众信息，让电视机变成查询、阅读政府机关职 能、业务范围等各种信息的窗口。 由于数字电视的诸多优点，因此数字电视取代模拟电视将是必然。数字电视 的逐步普及将带来巨大的市场，因此世界各大i c 设计公司纷纷进入此领域，以 期获得丰厚的利润。目前欧、荚以及台湾的许多公司诸如，g e n e s i s 、p i x e l w o r k 、 b r o a d c o m 、t r u m p i o n 、m s t a r 等已经开发出并且开始销售其数字电视芯片，而且 国内诸多电视生产厂商( 长虹、厦华、t c l 等) 的核心芯片均采自上述公司。 由于国内芯片设计制造技术相对落后，目前仅有上海高清与成都威斯达( w e s t s t 扪两家公司进入到此领域，其中上海高清生产出了实验性的高清视频芯片； w e s ts t a r 的产品也仅仅是在工厂试用阶段，且效果不是十分理想。如何尽快的发 展自己的数字视频芯片，使我们的电视用上国产的芯片，是当前国内i c 设计公 司的主要任务之一。 目前国内在数字电视视频芯片领域与国外i c 设计公司的差距主要表现在， 成本偏高、整体性能不够好、兼容性差和图像处理效果不好等，其中图像处理算 法的好坏是核心问题，也是目前国内公司不能竞争过对手的主要原因之一。开发 出拥有自己知识产权的核心算法与产品是国内公司的重要任务。 图像缩放算法的研究及其在f p g a 上的实现 随着数字电视发射技术的不断成熟，数字电视替代模拟电视的步伐越来越 快，欧洲、美国、日本纷纷出台自己模拟电视停播的时间表。根据我国的国情我 国也相应的制定了数字电视的发展计划，在2 0 1 5 停止模拟电视的播放，届时所 有的电视都将完成换代，或者利用机顶盒接收数字节目l 1 2 2 图像处理在视频处理中的重要性及应用m j 视频信号的处理主要是对图像信号的处理。视频处理包括：d 转换、色彩 空间转换、格式检测、图像降噪、图像亮度对比度色温调节、去隔行处理( 运动 监测、运动补偿) 、图像缩放、电影模式转换、o s d 等。 由于目前电视台发射的节目仍是模拟节目因此需要a d 转换：电视信号为 了节约带宽通常传输的是y u v 信号( 即色差信号) 而显示器最终要求输入的事 r g b 信号，因此需要色彩空间的转换；电视视频格式存在很多种，在模拟电视 信号中主要是n t s c 与p a l 制式( 我国采用的是p a l 制式) ，目前数字电视的 制式还没有统一，各种制式都存在，针对不同的制式，格式处理芯片需要检测出 其制式格式并作相应的转换与处理，因此芯片需要制式，格式检测以增强兼容性； 视频信号在传输过程中会不同程度的引入噪声，信号去噪是必不可少的一步，去 噪方法的好坏对后续处理有很大的影响；由于人们视觉习惯的不同，对用户开放 亮度对比度色温的调解是必需的；在数字高清电视标准中要求画面显示是逐行扫 描的，而且前隔行扫描信号占主导地位的情况下，去隔行处理是必须的，去隔行 技术现在研究的热点，它需要对图像e e l _ 动物体进行检测并对去隔行后的每一帧 作出运动补偿，其对运动画面显示效果的提高是十分重要的； 图像增强在图像处理中对于图像细节的显示是必要的，目前这方面的技术与 算法已经十分成熟；图像缩放对于视频处理是必不可少的，由于显示器的大小不 同，因此缩放的好坏直接影响到显示质量的好坏；电影模式转换的目的是在电视 上播放出电影的效果，我们知道电影是每秒钟2 4 帧，而数字电视场频要高于每 秒钟电影的帧数，因此我们需要把数字电视信号还原为电影模式，以朗播放出电 影的效果：o s d ( o n - s c r e e nd i s p l a y ) 是为了方便用户调节而设露的一项功能。 从以上列举中我们可以看出图像处理在视频处理中占据的重要地位，可以说 1 0 第一章数字视频图像处理简介 视频芯片的好坏与其图像处理效果的好坏是密不可分的。视颂芯足的功能碧黝 豳配攀网枣 第二章图像缩放原理与常用缩放算法 第二章图像缩放原理与常用缩放算法 2 1 数字图像缩放原理r 2 q 随着数字计算机技术和微电子技术的不断发展，图像处理由以前的对模拟信 号的处理转向对数字信号的处理，出现了许多新的数字图像信息设备和系统。数 码相机、d v 、带拍照功能的手机、数字电视机以及数字印刷机等的出现不断丰 富和改变着我们的生活，使人们的生活质量得到了极大的提高。在以上的诸多设 备和系统中，图像缩放功能是一种最基本的功能。数字图像的缩放方法以及图像 经过缩放以后的质量，对整个系统的性能和质量都是至关重要的。 在模拟图像系统中，图像缩小和放大都是采用模拟的方法实现的。其基本原 理是通过改变光学系统的焦距来实现图像的缩放。随着图像输入和输出逐步数字 化，继续采用模拟的方法实现图像的缩放就显得不合理，因为具有变倍缩放功能 的光学系统不仅制作成本昂贵，而且操作也不方便。因此数字图像的缩放功能开 发就显得非常重要。 2 1 1 数字图像缩放的数学方法 副原始的模拟图像正k y ) ，通过输入设备完成光学成像、光电转换、采 样和量化等过程转换为数字图像疗如，川。设输入设备主扫描方向和副扫描方向 的分辨率均为定值，即图像采样周期均t 。并设图像输出设备主扫描方向和副扫 描方向的分辨率也均为定值，行和捌的像素间距也均为t 。 将经过缩放的数字图像的单位行数( 或列数) 与原数字图像的单位行数( 或 列数) 的比值定义为数字图像的缩放倍率s 。数字图像的缩放就是将经过缩放的 图像g 一坼，f ) 通过输出设备输出。 从原理上讲1 2 。4 。j ，数字图像的缩放就是如何确定经过缩放的数字图像 g d ( 七，) 与原始数字图像力国，月) 之间的关系。根据奈奎斯特采样原理，频带宽度 图像缩放算法的研究及其在f p g a 上的实现 有限的模拟图像丘g ，) ，) ，当满足采样定理时，则不失真地被一数字图像厶，n ) 所确定。在这种情况下，可利用适当的内插公式有数字图像九，n ) ，一整地恢复 原模拟图像丘k y ) ，即l g ，y ) 可表示为 l g ，y ) 一m 薹- i 薹力b ，) s i n 妒 ( c “r t 肛x ( x 一- m m 川t ) j xs i n 。 ( # 粥r ) ( y 一- 竹r n r ) ) ( 2 小1 ) 数字图像进行缩小或放大时，先将数字图像力( m ，n ) 恢复为模拟图像 丘g ，_ ) ，) ，然后按新的采样周期t s 对模拟图像l g ，y ) 进行采样，得到缩放后的 数字图像g 。伍，f ) ，最后将经过缩放的数字图像g a 伍，f ) 输出至输出设备。数字图 像缩放的整个过程如图2 1 所示。当s i 时，新的采样周期z 坶比原采样周期z 小，图像便被放大。同理，当s 1 时，新的采样周期z 博t ：k 原采样周期7 1 大，图 像便被缩小。自然，当s = 1 时，图像尺寸保持不变。 _ 坐三! ( 至口堂坐翟一业旦 图2 1 数字图像的缩放过程 用新的采样周期z 器对模拟图像k y ) 进行采样，便可得到经过缩放的数 字图像g 。伍，z ) 。g a 伍，f ) 艿( 卅，t ) 丘g ，y ) 白阮f = 正o 盘强z 州s = m 荔- 1n 善- 1 加喘躲簪黼 ( 2 - 1 - 2 ) 式( 2 1 2 ) 给出了经过缩放的数字图像舶忙，f ) 与原数字图像厶西，1 ) 之间的关系， 从中可以看出，经过缩放的数字图像的每一个像素g a 取，) 是原数字图像的各个 1 4 第二章图像缩放原理与常用缩放算法 像素的加权和。 2 1 2 数字图像缩放公式的简化聊j 若直接使用式( 2 1 2 ) 进行数字图像的缩放，实际的计算量会非常的庞大，这 给实际应用造成了很大的困难。要使其适合于实际应用，有必要对其进行简化， 因此而付出的代价是图像质量会有一定的程度地下降。 对式( 2 1 2 ) 中的加权值进行分析可以看出，它们是由两个采样函数曼坚坚的 z 乘积所决定的。经过缩放的数字图像的采样g a 弛，z ) 与原数字图像的采样力b ，n ) 之间的关系有以下几种情况。 a 经过缩放的数字图像的某一采样乳驭，f ) 的坐标与原数字图像的某一采样 九( 掰，n ) 的坐标完全重合。在这种情况下 k t s m t i t s n t k t s m t = 0 i t s n t = 0 g 。( 七，f ) - 九如，1 ) k = s m ，一s n 由此可见，采样l 如，n ) 的加权值为1 ，而其余采样的加权值为0 - b 经过缩放的数字图像的某一采样g 。g ，f ) 的坐标与原数字图像的某一采样 凡如，以) 的坐标虽未完全重合但非常接近。在这种情况下，力如，n ) 的加权值虽 不为1 ，但非常接近1 ，而其余采样点的加权值非常接近0 ，即 g 。o ，f ) 一厶( 卅，h ) k = 【s 肌】，l = 【- 锄】 运算符【】是对方括号内的数值按四舍五入取整数。 c 经过缩放的数字图像的某一采样点g d ( 七，f ) 的坐标与原数字图像的某一采 样l ，n ) 的坐标相距最远。在这种情况下，采样g 。取，f ) 的坐标处于原数字图像 图像缩放算法的研究及其在f p g a 上的实现 的四个采样的中问。设这四个采样为厶妇，n ) ，厶+ 1 ，n ) ，凡幻，n + 1 ) 和 儿( 卅+ 1 ，n + 1 ) 。采样g d 伍，? ) 与这四个采样点的相关性最大，故这四个采样的加 权值最大，与其余采样的相关性比较小，考虑到一般情况下这四个采样的相关性 很大，所以仍然可以向以上两种情况一样，令采样力似，1 ) 的加权值为1 ，其余 的均为0 ，即 g d q ，f ) 一九( 玳，丹1k = 【s m l ，f 一【s n l 通过以上分析，经过缩放的数字图像的某一采样g 。任，f ) ，可以用原数字图 像的某一采样凡如，一) 近似地表示，并令其权值为1 。因此式( 2 1 2 ) 可简化为 乳g ，) 一鬟n 篆- i 厶如，一 s m d m s 一以叻一厶 s o s 卫 ( 2 - 1 3 ) 由式( 2 1 3 ) 可以看出，经过缩放的数字图像的每一个采样g 。g ，f ) 总是与原数字图 像的某一个采样厶b ，以) 相对应。因此，在数字图像的缩放过程中，原数字图像 的采样丘，以) 无需进行运算，而只需确定经过缩放的数字图像g d 伍，f ) 的坐标 伍，z ) 与原数字图像厶白，n ) 的坐标颤，) 之间的关系。它们的关系可表示为 ，1 ) ； 陆d1 如，h ) = 1s 】 f s 卫f ( 2 - 1 4 ) 用式( 2 - 1 3 ) 和式( 2 - 1 4 ) 实现数字图像的缩放，可使数字图像的硬件实现大大 简化。 2 2 常用的数字图像缩放算法介绍 2 2 1 几何变换缩放算法黟 图像缩放的发展，如早期的几何变换 1 6 第二章图像缩放原理与常用缩放算法 1 ) 均值法( m e a ni n t e r p o l a t i o n ) 1 2 6 均值法在图像插值缩放算法的发展中占据着十分重要的地位，为以后繁多的 缩放算法的发展奠定了基础。均值法的原理比较简单，如酬2 2 ： 0l2l j 。歹7 一：一f 一一一 ooo o 、“) i ) l0 。+ 0 0 f 、。0 0 li 、 、o d j p。1 i 2 。 。 、岳_ ( l 。b ( ) 、0 。oo 、一一叼。 l ( ： 丰： ) v ( 6 母6 ) 图2 2 均值法 左边的f 3 ，3 ) 矩阵代表原始图像u 的像素点阵，右边的( 6 6 ) 矩阵代表放大 后图像v 的像素点阵，假设放大倍数为w 倍( 水平和垂直放大倍数相等) 。对放 大后的每一个像素点赋值后所得到的图像就是放大后的图像。对于放大后的点阵 中的每一个像素点的坐标( x ，y ) ( 从左至右依次为0 n - 1 列，从上到下依次为 0 m 1 行) 其对应到原始图像中的坐标为( x w , y w ) 。例如，对于放大后的图 像中的a 点，即v ( 1 ，1 ) 。其对应原始图像中的坐标为u ( o 5 ，0 5 ) ，因此a 点的像素值就等于( u ( 0 ，o ) + u ( o ，1 ) + u ( 1 ，o ) + u ( 1 ，1 ) ) 4 。均值法 的优点是计算简单、易于硬件实现。但是其不足的地方是；对于图像中变化比较 快的高频部分( 例如图像的边缘和细节部分) 不能很好的保持，放大后的图像整 体变得比较模糊，令人难以接受。 2 ) 最近邻域法( n e a r e s tn e i g h b o r ) 蛳l 由于采用均值法进行的缩放是对原始图像中的相邻点的简单平均，因此其效 果相当丁一一个均值滤波器，较好的保留了图像中的低频部分而抑制了图像中的高 频部分，使得放大后的图像的细节部分变得模糊，放大效果不理想。为了较好的 保持图像的细节部分，提出了最近邻域法。最近邻域法的原理蛳蹦2 3 所示， l；_b o o o o o 图像缩放算法的研究及其在f p g a 上的实现 2o i l + 一一一一、h 00 0 000r ： l 二( 3 木3 ) 图2 , 3 最近邻域法 v ( 5 * 5 ) 同样，对于放大后图像的每一个像素点，把它对应到原始图像中。例如，对于 a , h 两点，对应到原始图像中的点分别是c , d 两点。此时的a , b 两点取值为原始图 像中距离c ，d 两点最近的像素点的值u ( 1 ，1 ) ，u ( 2 ，1 ) ，而不是取相邻四个 像素点的平均值。此种方法的缩败( 放大3 待) 教桨如划2 , 3 所示， 1 8 0 b 0 o 0 o o 一 。 0 0 。 。 一 ( ) j 1 第二章图像缩放原理与常用缩放算法 ( c ) 图2 3 ( a ) 原始图像；( b ) 均值法放大；( c ) 最近邻域法放大； 从以上不难看出，最近邻域法在图像的细节保持上比均值法有更好的效果。 3 ) 双线性内插法( b i l i n e a ri n t e r p o l a t i o n ) z , 7 - = 3 ) 难于得到。l e e 等人提出了更容易实现 的斜投影的图像缩放法。正交投影、斜投影法和插值法不一样之处在于前者利用 模型对重采样区间进行积分得到采样值，后者是非采样点附近的图像点的线性组 合，具体描述参见文献【1 4 】斜投影的计算过程如下( 设采样点间隔为d e l t a ) ： s t e p l ：利用上述的直接b 样条变换，得到输入序列的b 一样条系数序列c 以) 。 s t e p 2 ：计算采样函数的序列c 1 伍) ，包含以下几步： s t e p 2 1计算累计系数序列c ( 七) - c ( f ) ( 2 _ 2 _ 2 ) s t e p 2 2按采样间隔d e l t a ，将连续函数，g ) 分段，并计算每一段的累计 积分： 第二章图像缩放原理与常用缩放算法 g ( f ) _ 一f 。i ( 工k2 差c “冶”1 ( 础口。0 5 一) ( 2 - 2 - 3 ) i ：0 ，陆d e l t a 一1 其中【】表示取整，该过程对进行了一次零阶b - 样条预滤波【2 1 。 s t e p 2 3 计算每一段的积分值： g 。( o ) = g ( o ) ； g l 矗) = g ( f ) 一g o 一1 ) i 一1 ， k d , l t a 一1 s t e p 2 4 计算输出系列的系数： c 。( f ) = g 。( i ) d e l t a 至此。输出函数可以表示为： ，协薹( q 酝弦。g 一七) ( 2 - 2 - 4 ) 式中，+ 代表卷积，d k ) 。缸一) - 1t 芦一k ) 为后滤波器。 s t e p 3 ：利用公式( 2 2 - 4 ) 计算输出序列。 3 ) 带锐度保持的斜投影图像缩放”2 建 在s t e p 2 2 中，对图像进行了次低通滤波同时，对序列进行积分也相当 于一次平滑处理，此过程增强了图像的连续性，但同时也模糊图像边缘，使图像 清晰度下降。例如当积分区间内部存在小的边缘时，由于积分的作用，边缘将会 模糊甚至消失。为了补偿这一损失，可以对上述方法进行改进。 对s t e p 2 3 种可能存在边缘的点进行了不圊程度妁增强处理，使凰像锐度得 以保持。具体操作为： s t e p l ：边缘判别 设当前处理点为k ，判别其采样区间内是否存在边缘，方法为：首先计算采 样区间两端点处的一阶微分和二阶微分符号是否相异。若两端点处的一阶微分异 号则区间内必有点x ，其一阶微分等于零，此时区间内有峰状信号；若二阶微 图像缩放算法的研究及其在f p g a 上