（微电子学与固体电子学专业论文）视频芯片算法原型设计及scaling模块rtl实现.pdf

中文摘要 随着科技的进步，各种各样的显示器在市场中出现，包括p h p 、l c d 、 d l p 、c r t 、r p t v 等。对大多数显示器来讲，视频信号的输入格式与其本身要求 的格式有很大差异，这些差别在于图像刷新速率、扫描方式、屏幕分辨率等。 正是为了解决以上格式上的差异，视频格式转换芯片才成为显示器系统中不可 或缺的关键部件的。格式转换技术是当今信息领域的研究热点之一，以美国和 台湾公司为主相继推出多种芯片，但都在一定程度上存在使用缺陷；国内在该 方面目前尚处于起步阶段。 本文作为天津市科委重点科技攻关项目一视频格式转换芯片的研究的部 分，其主要目标是提出一组视频芯片处理算法及算法c 原型和其中的尺寸缩放 算法的r t l 实现。算法将实施在视频格式转换芯片中，该芯片的核心处理部分 包括去隔行、尺寸缩放、帧频提升等。成功地研发具有自主知识产权的视频格 式转换芯片，将打破国外公司在该领域的垄断，有力地支持我国电视及相关产 业的发展，产生巨大的社会效益和经济利益。为此研究工作主要由三部分组 成：高效率的易于a s i c 化的算法研究、算法c 原型设计和s c a l i n g 模块的r t l 实现。 本文提出了一种加权运动自适应的去隔行算法，该算法既可以保持图像的 空间特性，又可以保持图像的垂直细节，同时也不需要进行准确的运动信息估 算，可以大大降低硬件设计的复杂度，提高设计的可靠性；同时本文提出了一 种通过b l a c k m a n 窗f i r 滤波器实现s c a li n g 模块的算法和实现方案，该算法采 用了多级缩放策略和以行为单位的流水线架构，大大降低系统对总线带宽和存 储空间的要求，进而降低系统的功耗和占用资源； 到目前为止完成了包括给出了去隔行算法和尺寸缩放算法、实现了去隔行 算法和尺寸缩放算法的c 原型设计及尺寸缩放模块的r t l 实现三部分工作。 关键词格式转换，去隔行，尺寸缩放 a b s t r a c t w i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , ad i v e r s i t yo fd i s p l a yd e v i c e s f i r e p u ti n t om a r k e ti n c l u d i n gp h p , l c d c r t , r p t va n de t c f o rm o s tt y p e so f m o n i t o r s ，t h e i ri n p u tv i d e of o r m a t sa n dr e q u i r e di n t e r n a lf o r m a t sh a v ed i f f e r e n t p a r a m e t e r sw h i c hi n c l u d es c 8 a 1r a t e ，s c a ns t a n d a r d , r e s o l m i o n ，a t e d u et ot h e v e r s a t i l i t y o fr e a l - w o r l dv i d e of o r m a t s ，f o r m a tc o n v e r s i o n h a sb e c o m ea n i n d i s p e n s a b l ep a r ti nm o d e mv i d e od i s p l a ys y s t e m s a n dv i d e of o r m a tc o n v e r s i o n t e c h n o l o g yh a sb e e nt h ef o c u so fr e s e a r c hf o ral o n gt i m e m a n yi c sh a v eb e e n p r o d u c e db ya m e r i c a na n dt a i w a nc o m p a n i e s ，w h i l er & di n t h i s f i e l di sj u s t i n i t i a l i z e di no u rc o u n t r y a sa l li m p o r t a n tp a r to ft h ev i d e of o r m a tc o n v e r s i o nc h i pp r o j e c tb r o u g h t f o r w a r db yt a n j i ns c i e n c ea n dt e c h n o l o g yc o m m i t t e e ，t h i st h e s i si st od i s c u s sv i d e o a l g o r i t h m s ，cp r o t o t y p e sa n dr t lc o d i n go ft h es c a l i n gm o d u l e t h i sw h o l ep r o j e c t f o c u s e so nd e v e l o p i n gan e wm u l t i f u n c t i o n a lv i d e o i m a g es t a n d a r dc o n v e r s i o na s i c w h i c hc a nr e a l i z ed e - i n t e r l a c i n g ，f r a m e r a t eu p - c o n v e r s i o na n ds c a l i n g d e v e l o p i n g o u ro v 、_ q lv i d e o i m a g ec o n v e r s i o ns o ch a sg r e a tm e a n i n g si nb r e a k i n gt h em a r k e t m o n o p o l i z a t i o no ff o r e i g nc o m p a n i e sa n ds p e e d i n gt h ep r o g r e s so f o u rt va n dr e l a t e d i n d u s t r i e s t h i st h e s i s p r o p o s e san e wm o t i o na d a p t i v ed e i n t e r l a c i n ga l g o r i t h mw h i c h i n t e g r a t e se d g e p r e s e r v i n gm e d i a nf i l t e r i n ga l g o r i t h ma n da v e r a g ef i l t e r i n ga l g o r i t h m t o g e t h e rb yw e i g h t t h i sn e wa l g o r i t h mh a st h ea d v a n t a g e so fe a s y - i m p l e m e n t a t i o n a n dh i 曲- h a r d w a r e u t i l i z a t i o n t h i st h e s i sa l s od e s c r i b e st h ed e s i g ns c h e m eo fa s c a l i n gb l o c ki nd e t a i l ，w h i c hi sb u i l to nm u l t i l e v e ls c a l i n gs t r a t e g ya n dr o w - b a s e d p i p e l i n es t r u c t u r eu s e di nav i d e of o r m a tc o n v e r s i o ns o c u pt on o w , w eh a v ef i n i s h e d t h r e ei m p o r t a n tp a r t so fp r o j e c t ，也e ya r e ：h i g h - p e r f o r m a n c ev i d e op r o c e s s i n ga l g o r i t h m s ，cp r o t o t y p i n go f t h o s ea l g o r i t h m sa n dr t l i m p l e m e n t a t i o no f t h es c a l i n gm o d u l e k e y w o r d s f o r m a tc o n v e r s i o n ，d e i n t e r l a c e ，s c a l i n g 1 1 1 - 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得墨生盘堂或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在 论文中作了明确的说明并表示了谢意。 学位论文作者签名： 粕辛 签字日期：a 幻年2 月7 日 学位论文版权使用授权书 本学位论文作者完全了解盘鲞盘堂有关保留、使用学位论文的规 定。特授权墨鲞盘堂可以将学位沦文的全部或部分内容编入有关数据库进 行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同 意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名 禾碧孝 导师签名 签字日期：彩年2 月，7 日签字日期：如年2 月，7 日 第1 章绪论 第1 章绪论 本章概述了视频格式转换芯片的课题背景、研究意义、目前国内外研究现 状、市场需求情况，提出了课题和本文的主要研究方向、难点和技术路线等。 本章的最后部分描述了全篇论文的章节组织，提要的介绍了各篇章内容。 1 1 课题背景 1 1 1 背景和必要性 视频格式转换芯片是显示器系统中不可或缺的关键部件，我国是电视、各 类显示器的生产大国，但是，此类产品中的关键芯片目前全部被美国或台湾的 芯片厂商所控制。自主开发该类芯片对推动我国的i c 产业和家电产业的健康、 快速发展具有特别重要的意义。 视频信息在信号处理领域占有很大的比重，现存的视频源实质为活动的三 维场景投影n - 维平面后对其进行空间一时间采样后的结果。由于历史的、技 术的、甚至是政治上的因素，目前的视频采样格式非常多样化。由于频道带宽 的限制，同时与5 0 h z 和6 0 h z 场频相适应，发展出了5 2 5 行扫描线的n t s c 制 式和6 2 5 行扫描线的p a l 制式。出于产业保护等政治目的，在p a l 制式之后 5 0 h z 阵营内又发展出了s e c a m 制式【“。9 0 年代以来，数字电视技术的飞速发 展，许多国家和组织又都提出了自己的格式标准。如此众多的视频格式即方便 了视频应用在各个专业领域的快速推广，同时也造成了不同视频格式间信息交 流、编辑、传输、演播的障碍。近年来，随着信息技术、通讯技术、广播电 视、多媒体技术的发展，多格式视频间的交互需求越来越旺盛，为视频格式转 换提供了广阔的市场前景。 数字电视是数字化信息技术革命的产物，但是作为新一代的数字电视制 式，无论接收还是发射都与现存的电视广播制式不同，尤其是发射台的改造需 要巨大的投资。因此，即使处在数字化前沿的美国也计划在未来十年内停止播 放现有制式的电视节目而转为全数字方式。我国是一个发展中国家，从经济和 技术等方面考虑，全数字化进程会更长，今后的十年仍是现有电视制式向数字 化过渡时期。在这一过渡时期内，发展符合我国国情的、具有自主知识产权的 第1 章绪论 数字化电视接收机用专用集成电路，将成为我国电子信息产业新的经济增长 点，并为我国家电产业发展全数字电视奠定技术基础。 本文研究的目的是要为视频格式转换芯片提供去隔行算法、尺寸缩放算 法、算法c 原型和尺寸缩放模块r t l 实现。 1 1 2 国内外现状和技术发展趋势 视频格式转换技术是当今信息领域的研究热点之一，以美国和台湾公司为 主相继推出多种芯片，象g e n e s i sm i c r o e l e c t r o n i c s 、g e n n u mc o r p o r a t i o n 、 t r i d e n t 、t r u m p i o n ( t a i w e n ) 、e t r o nt e c h n o l o g y ( t a i w e n ) 、m a c r o n i xi n t e r n a t i o n a l ( t a i w e n ) 、p h i l i p ss e m i c o n d u c t o r 、s u n p l u st e c h n o l o g y 等，但这些芯片都在一定 程度上存在使用缺陷，国内在该方面目前尚处于起步阶段。 格式转换技术其应用场合要求它具有高实时性、低代价实现，因此格式转 换研究从一开始就非常注重算法的a s i c 化，在初期v l s i 集成度比较小时，主 要研究单帧线性内插，以后随着硅片集成度的提高，逐渐采用帧问的多帧算法 的自适应算法，到9 0 年代后期，运动估计技术可以单片集成时，运动估计的格 式转换才蓬勃发展。今天，硅片的集成度还在不断提高，随着片上系统 ( s y s t e mo nc h i p ) 成为可能，格式转换将会发展出更加复杂、高效的技术；可 能的方向是运用更多帧的信息，进行更精确、复杂的运动补偿。 目前该领域的发展趋势如下： 1 ) 提高集成水平，即怎样把更多的功能电路集成到一个芯片上( s o t ) ，以 降低整个系统的成本。 2 ) 寻求优化动态补偿实现去隔行算法，在提高图象质量的基础上减小芯 片面积，降低成本。 3 ) 视频数据输入界面正从模拟的v e s a 到全数字d v i 发展。 4 ) 在底端和低价位系统中，动态自适应性去隔行没有被实现。但在高端 产品如p d p 中，此项技术是必须的，因为图像的质量是第一位的。 1 1 3 市场需求分析 根据市场预测，在未来的几年内各种类型的高端显示产品( l c d 、p d p 、 r p t v ) 将呈现强劲的增长。 c r t 目前仍处于主流地位，技术最成熟，产品性能价格比具有很高的竞争 力，今后的应用重点是投影电视和高清晰度电视，但c r t 技术必须进一步发 第1 章绪论 展，着重开发大屏幕以及1 6 ：9 宽屏幕等技术。l c d 由于体积小、重量轻和环 保等优点，近年来发展迅速，主要应用在笔记本电脑、壁挂式电视和通讯终 端。p d p 显示性能优于l c d ，视角广、色彩丰富、结构工艺简单、易制作大尺 寸，主要应用于大屏幕壁挂式彩电，随着技术的发展其价格已有了大幅度下 降。 中国高端电视机的整体市场销量稳步递增，尤其是在近两年，受到高端电 视机整体价格水平下降明显因素作用和国家数字电视试播的影响，中国高端电 视机市场总量增长速度较快。面对如此巨大的国内外高端视频终端市场需求， 各种类型视频格式转换芯片的需求量亦将呈现同比例增长。 1 2 主要研究内容 1 2 1 项目概述 本项目的研发目标是一款新型多功能视频格式转换芯片，并开发出一种可 重构和再配置的s o c 平台以方便研发各类对成本和配置有不同要求的面向 p d p 、液晶、背投等新型显示器的转换芯片。此s o c 芯片将成为具有独立自主 知识产权的大规模集成电路产品，其各项性能指标将达到或超过世界先进水 平，国内领先。 该芯片将包括去隔行、尺寸缩放、帧频变换等功能，并具有视频图像处 理，图像视频重迭( g r a p h i c so v e r l a y ) 和人机对话界面等功能。该芯片将是一款集 成了数字信号图像处理、嵌入式m c u 以及大规模存储器于一体的s o c 芯片。 1 2 2 本文研究目标 研究目标如下所示： 1 ) 动态自适应去隔行算法，具备像素级别动态探测以及帧场内插值产生 漏缺像素的功能。 2 ) 二维滤波，方便地实现放大或缩小功能。各维数均可实现独立的和可 编程的多相位滤波器，并具有完全可编程的系数表和屏幕位置。 3 1 算法的c 原型设计，为算法验证和r t l 代码编写提供参考模型。 4 1 尺寸缩放模块的r t l 实现，是整个视频格式转换芯片视频数据处理的 重要一部分。 第1 章绪论 5 ) 帧频变换算法及搜索策略，这部分不是本文研究的重点，简要介绍了 常用的帧频变换算法、搜索策略等。 1 3 本文内容及组织 本文共分为四个部分，第一部分为本章绪论，概述了课题背景、相关技 术发展、研究目标等。第二部分为算法和原型部分，由第二章和第三章构成， 研究了具有高效性并且易于a s i c 化的去隔行算法、尺寸缩放算法、帧频变换 算法，并且完成了上述算法c 原型设计。第二章系统架构和算法研究给出 了整个系统的架构概述，并且对当前常用的去隔行算法、尺寸缩放算法、帧频 变换算法的原理和特点进行了分析。第三章视频芯片算法原型设计通过对 第二章中常用的去隔行算法、尺寸缩放算法及帧频变换算法分析提出了本文的 加权运动自适应去隔行算法和b l a c k m a n 窗的f i r 滤波器实现的尺寸缩放算法、 运动自适应的帧频变换算法并且相应给出了算法的c 原型设计。第三部分为 r t l 实现部分，由第四章组成，完成了尺寸缩放模块的r 1 l 实现。第四章 s c a l i n g 模块r t l 实现给出了s c a l i n g 模块的设计规格、架构设计、数据流 控制、f i r 滤波器优化、子模块设计、测试方案、仿真结果等。第四部分由第 五章组成，总结了上述四章的内容并给出了对项目和算法改进的方向和展望。 1 4 本章小结 最后对本章内容做一个小结如下： 1 )课题来源；天津市科委重点科技攻关项目一视频格式转换芯片的研究。 2 )课题背景；主要应用方向在p d p 、液晶、背投等新型显示器中。在高清晰 数字电视时代，提供实时格式转换、也可为现阶段的电视提供超分辨率、 去抖动、去闪烁等增强效果。 3 )课题日标：完成格式转换芯片的设计，最终需要提供所设计算法的可综合 r t l 级i p 软核，提供经过验证的系统解决方案。 4 )研究难点：1 低运算量的运动估计方法，在算法量和估计结果的准确、精 度间权衡；2 腐运算量和低资源消耗的系统架构。 5 1本文工作t1 去隔行、尺寸缩放模块算法研究；2 算法c 原型设计；3 尺寸 缩放模块的r t l 级代码实现。 第2 章系统架构和算注研究 第2 章系统架构和算法研究 本章主要目的是通过对多种去隔行算法、尺寸缩放算法、帧频变换算法的 分析、比较和评估，确定本文研究的视频格式转换系统的总体算法框架，为后 续的算法提出和算法c 原型设计提供基础。文中首先给出了视频格式转换芯片 系统架构，概述了芯片的主要组成和研究部分。进而对现有的去隔行算法、尺 寸缩放算法、帧频变换算法进行分类回顾，着重分析了不同算法的设计思想和 适用性。 2 1 系统概述 圈 图2 - 1 视频格式转换芯片系统架构 第2 章系统架构和算法研究 2 1 1 芯片组成 如图2 1 所示，粗虚线框内为视频格式转换芯片核，主要由以下几个部分 组成： 1 ) a d 部分：用来将外部电视信号、模拟y u v 信号、计算机模拟r g b 信号数字化。 2 ) d a 部分：用来将数字r g b 信号转换为模拟r g b 信号以供显示使 用。 3 ) 数字处理部分：对隔行视频信号做去隔行处理；对不同分辨率的视频 信号按需求进行尺寸缩放处理；伽马校正、对比度和色度调节以及去 抖动和o s d 的叠加处理等。 4 ) 1 2 c 接口：用来实现m c u 对内部各模块的控制；配置内部寄存器。 5 ) o s d 部分：提供良好的人机交互界面。 2 1 2 芯片主要处理部分 1 1 视频源： 支持不同制式的电视视频信号输入：n t s c ( 7 2 0 4 8 0 ) 、p a l ( 7 2 0 x 5 7 6 ) 支持v g a 、x g a 的计算机模拟r g b 信号( 8 0 0 x 6 0 0 、6 4 0 4 8 0 ) 支持数字j 、，信号输入源 y u v 处理部分 数字r g b 视频信号转换为数字y u v 视频信号 输出数字y u v 视频信号转换数字r g b 视频信号 3 ) 视频格式处理部分( 如图2 2 ) ：。一j ：视频格式处理： 图2 - 2 格式处理 去隔行算法( 针对隔行电视视频信号) 水平和垂直方向上的比例缩放 不同帧频间的帧频转换算法 圈 -l 二t 旧 l 1 霄l 1 月m ：x l e 一l 晶杀i i i i ll ill 第2 章系统架构和算法研究 2 2 去隔行算法概述 2 2 1 去隔行问题的提出 隔行变换是一项特殊的视频信号处理。隔行扫描方式设计的初衷是利用视 觉残留特性，在有限的处理带宽内提供尽可能高的垂直分辨率，同时消除低帧 率引起的大面积闪烁效应。由于去隔行处理是直接在图像平面垂直方向上的抽 取，并未进行前置滤波，理论上将引入垂直方向上的频谱混迭。实际中经常能 够观测到隔行缺陷有行间闪烁、爬行、运动物体垂直轮廓畸变等等。由于历史 原因，当今的广播系统中，绝大部分的视频信号都是隔行采样的，并且为大量 视频终端设备采用。 隔行扫描方式的引入成功地缓解了视频系统对带宽的要求，但同时它也给 很多视频处理工作，如格式转换、运动估计、压缩编码等，带来了更多的难 度。因此视频去隔行就成了许多视频处理系统中的一个重要组成部分。 图2 3 是去隔行处理的示意图。其中，实心的圆点表示每一场中的己知信 号，而空心圆点表示每一场中待求的点。而去隔行的任务就是根据场中己知点 求得未知点的信息。 我们也可以用式( 2 - 1 ) 表达为： 磊( x ，厅) = f ( x , n ) , ( x 2 m o d 2 = 疗删2 ) ( 式2 - 1 ) 其中x = ( x 1 抛) 为像素点的坐标矢量，x 2 为垂直坐标，n = ( 2 ，一1 ，0 ，1 ，2 ) 为 各场的序号，f ( x ，n ) 为各隔行场中原有的像素值，f l ( x ，n ) 为各场中新插入行的 像素值。f o ( x ，n ) 为最后输出的逐行图像的像素值。 第2 章系统絮构和算法研究 2 2 2 常用的去隔行算法 图2 - 3 去隔行示意图 x 2 2 2 1 空间滤波( s p a t i a lf i l t e r i n g ) 空间滤波利用了待插值点在当前帧场中的空间相关性来获取内插值。其插 值内核为式( 2 2 ) ： m ，咖，：笺 c 船z ， 其内插过程只使用了单帧信息，插值内核只对空间域进行滤波，时间域内 表现为全通，因此不会产生时域失真，但在空间域的高频部分会引入一些缺 陷。过窄的通带会抑制图像的空间高频细节，而过宽的通带会引入信号混迭。 因此空间滤波器的设计核心在于如何在高频细节和信号混迭间权衡，设计出高 效的插值内核。 最简单的空间滤波算法是行复制法，内插值将由原图像中邻近点复制而 来。这种算法极易硬件实现，广泛应用于早期的去隔行电视中。另外双线性内 插【2 】、三次样条内插 2 】、二次多项式曲面内插、加窗s i n c 函数内插3 1 、二维三次 卷积插值【4 】、基于频域的i d f t 插值1 5 】等也是很常用的空间滤波算法。 2 2 2 2 时间滤波( t e m p o r a lf i l t e r i n g ) 时间滤波利用了待插值点在时间轴上的相关性来重构插值帧场。其插值内 核为式( 2 3 ) ： 第2 章系统架构和算法研究 m 咖高笺 c 越s ， 这种滤波器只能完成时间域内的帧，场率变换和去隔行等功能，却无法进行 空间域内的扫描率变换。其在频域内表现为时间轴上低通和空域轴上的全通特 性，因此对于静止或者缓慢变化的场景，该算法可以全分辨率地保留原始信源 的信息，但对于运动图像的边界会产生模糊、脱影等缺陷。 该类滤波最早的实现形式为去隔行中的交织( w e a v e ) 技术，通过奇偶两 场内容的直接合并来形成一个逐行扫描帧。通常时间滤波器不能选取太长的滤 波窗口，否则需要过多的帧存，在经济上是不可取的，实用的时域滤波窗不应 当超过4 帧场。 2 2 2 3 运动自适应算法( m o t i o n - a d a p t i v e a l g o r i t h m s ) 线性空间滤波类算法属场内算法，在时间域上全通，不会引入运动模糊， 但对于隔行视频这类亚采样数据源不能消除原始图像中的混迭。而线性时间滤 波这类场间算法虽然在静止场景中能够有效的消除亚采样带来的图像混迭，但 对于运动场景会引入运动模糊。基于上述情况，引入了运动自适应算法 6 1 1 7 1 羽， 根据场景运动与否在场内算法和场间算法之间进行切换。 运动自适应算法由运动检测器和自适应内插器组成。场景运动与否通常由 图像的帧差来求取。但由于噪声、隔行等因素的影响，静止场景也会有非0 的 帧差。因此在多数情况下，运动检测器不会简单的判定运动或静止，而以帧差 的大小来表示运动的可能性或运动的幅度。运动检测基于以下假设： 1 ) 噪声远小于有用信号 2 1 有用信号能量集中在低频段 3 ) 视频对象大于采样点，同一视频对象具有相似的运动状态 运动检测的结果为运动与否的二元判定( o 或1 ) 或运动的概率( 处于0 l 间的多个量化级) ，自适应内插器根据此结果在针对运动和静止场景做优化的 两种处理模式间进行切换或过渡柳1 1 0 】【1 1 1 。前文已经指出，时间滤波器在时问域 上表现为低通滤波，在空间域上表现为全通，会引入运动模糊，但不会引入图 像的空间退化，能保留较高的空间频率，去除隔行视频的信号混迭，适合静止 场景的处理；而空间滤波在时间域内表现为全通，不会引起时间域上的图像退 化，但在空间域内表现为低通，会造成空间模糊等空间退化现象，适合于处理 运动场景。这两类滤波器通常被选为自适应处理的两种模式。 2 224 中值滤波算法( m e d i a nf i l t e r i n ga l g o r i t h m s ) 第2 章系统架构和算法研究 中值滤波【1 2 1 1 13 】【1 4 】【1 5 】是最常用的图像处理算法之一，隐含了对边界或运动的 自适应。它的计算公式如式( 2 - 4 ) ： 昂( x ，聆) = f 【研f 。( x d , ( n f ) , ( ( x x 一2r o 。，o ：d ，玎2 ) ，= ，n ( m 工+ o d 2 ，：) ，行) ，f ( x ，疗一1 ) ) ，( 。，矗。，。) ( 式2 - 4 ) 其中中值函数m e d ( a ，b ，c ) 定义如式( 2 - 5 ) ： m e d ( a ，b ，c ，：爿b ： 三；4 b ；昌：善：一b ；象 c 式z s ， ，c ) = ，( 彳c ) n ( c 4 ) 、一、- 。7 l c ，( o t h e r s ) 中值滤波算法实质上包含着运动自适应的思想、这是因为：如果图像区域 是静止的，则f ( x ，n 1 ) 的值很有可能处在当前场上下两个像素点值的中间，此时 根据中值函数的定义，f o ( x ，n ) 直接等于f ( x ，n - 1 ) ；反之，若图像区域存在运动， 则前后两场之间的变化会较大，导致f ( x ，n 1 ) 与处在当前场的 f ( x 一“。，玎) 和f ( x + ”，栉) 差较远。此时，通过中值函数，最后相当于切换到场 平均滤波。 2 2 2 5 运动补偿算法( m o t i o n c o m p e n s a t i o na l g o r i t h m s ) 运动补偿算澍16 】【1 7 】f 1 8 1 是目前最先进的格式转换算法，其结构见图2 4 。运 动补偿算法主要由运动估计器和矢量补偿内插器两者构成。运动估计器估算出 两场图像问二维视在运动场，补偿器根据两相关图像场和其间的运动矢量进行 插值。与前面的算法类似，运动补偿算法也是在相关性最大的方向一即运动轨 迹的方向上插值。 图2 4 运动补偿格式变换算法框架 运动估计f 1 9 2 0 1 2 1 】技术在视频编码领域己有很成熟的应用，发展了基于光流 第2 章系统架构和算法研究 计算的方法、基于区域匹配的方法、基于频谱调制的方法、基于随机场的m a p 方法、基于投影方程的参数估计等多种方法，而且新的处理方法还在不断涌 现。用于格式转换的运动估计可以借鉴视频编码领域的研究成果，但由于应用 目标不同，两者对运动估计的性能要求并不相同。格式转换中的运动估计算法 的特殊性表现在算法真实性、精度、复杂度和一致性等方面。 2 3 尺寸缩放算法概述 2 3 1 变扫描率问题的提出 变扫描率( s c a n n i n gr a t ec o n v e r s i o n ) 即通常而言的尺寸缩放( s c a l i n g ) ， 一般用于采用不同分辨率的标准间转换或者画中画( p i p ) 、多画面模式 ( m p m ) 、镜头伸缩( z o o m i n g ) 等视频特效处理中。随着屏幕变大，观众希望 分辨率也随之提高。但是在将来几年内广播设备向新的h d t v 标准( a t s c ) 转变期间，h d t v 设备都还必须能接收显示目前的s d t v 标准下的电视信号， 所以迫切需要优良的图像缩放算法，使观众能得到最大的观赏效果。基于芯片 的帧存储、处理能力、和系统性价比等因素的综合考虑，一般采用帧内缩放 ( 姗f r a m e ) 算法。但应注意，评估一般的图像插值算法是否适合视频缩放 算法一定要考虑到其处理场景的稳定性，如不理想的算法尽管在一帧图像内有 较好的单帧特性，但可能由于前后帧处理的不一致性造成物体轮廓处的跳动现 象。 空间缩放的最简单的算法就是直接丢弃像素或者复制像素，这种算法尽管 简单，但容易引起图像细节的失真。就图像的空间缩放所依赖的模型来说，许 多传统的图像放大和缩小方法实质上对源图像建立的连续的数学模型( 即二元 连续函数) ，然后按照缩放要求进行重采样，得到目标图像，如学术界最早提出 的几何变换、最近邻域插值法( n e a r e s tn e i g h b o r ) ，双线性内插法( b i l i n e a r i n t e r p o l a t i o n ) 、三次内插法等等，为改善缩放后的图像质量，学术界先后提出了 很多的改进的方法。所有这些方法都可以看成将离散数字图像建成相应的连续 数学模型，其优点是快速生成目的图像，视觉效果较好；缺点是物体边沿比较 模糊，有锯齿。 2 3 2 常用的尺寸缩放算法 2 3 2 1s i n c 插值函效 第2 章系统架构和算法研究 虽然利用理想s i n c 插值函数能完全重构s ( x ，y ) ，但由于s i n c 函数的空间域 无限长，故实际无法实现瞄1 2 3 。一般采用两种方法克服这个缺点，一种是用窗 函数似功= c o n s t ( x ) = 1 和以x ) c o n s t ( x ) 截取s i n c 函数，得到的有限长的s i n e 函数，如式( 2 6 ) 所示，其中n 表示这个带限内插值函数所能作用的点数。 = p 。昙黑2 c 船s ， 有限s i n e 内插函数等于理想的s i n c 内插函数愚( 曲和矩形窗在空间域上的乘 积，也等价于矩形窗和理想s i n e 函数在频率域的卷积。理想内插函数用窗函数 截断后损失了大量的能量，反映在频率域上会产生震铃效应。 另一种克服s i n e 内插函数空域无限长的缺点是用比矩形窗边沿变化更平滑 缓慢的窗函数来截取。o s t u n lc ta 1 讨论了余弦窗函数以x ) = c o s ( 瓜n ) 使用； s c h a u m 研究了汉宁( h a r m i n g ) 窗函数特性，汉宁窗实际上是一种在内插函数 的边沿处逐渐变细的升余弦函数，消除了付氏变换域内的吉步思效应，使能量 都集中在主瓣，但代价使主瓣宽度比矩形窗的主瓣宽度增加了一倍；w o l b e r g 通过傅立叶分析比较了几种窗函数生成的带窗s i n e 内插函数的性能；h e r d s 提 出了一种系统方法用各种窗口的离散傅立叶变换进行谐波分析，并认为凯泽一 贝赛尔( k a i s e r - - b e s s e l ) 窗和布莱克曼一哈瑞斯( b l a c k m a n - - h a r r i s ) 窗是最 好的窗函数。 2 3 2 2 最近邻域法插值( n e a r e s tn e i g h b o ri n t e r p o l a t i o n ) 用空间有限内插函数近似s i n e 函数最简单的方法就是最近邻域插值法，利 用零阶多项式进行插值，等价于用矩形函数和原始图像像素的卷积，该矩形函 数如式( 2 7 ) 所示，显然h ( x ) 是一个直流恒定( d c - - c o n s t a n t ) 的内插函数。 坼，= 锰：嬲c 船， 2 3 2 3 线性插值( l i n e a ri n t e r p o l a t i o n ) 线性插值是一阶插值，利用待插值点的4 个最近邻像素的亮度或色度值以 及待插值点和这四个相邻象素的距离关系计算而得。将双线性插值分解为垂直 方向和水平方向分别进行，则每个方向上的s i n c 插值函数近似为三角形函数， 如式( 2 8 ) 所示。 第2 章系统架构和算法研究 m 寸：鬟二 c 船s ， 2 3 2 4 = 次逼近法( q u a d r a t i ca p p r o x i m a t i o n ) 我们已经知道s i n c 内插函数实际是不可实现的，一种常用的方法是创建代 数多项式来近似s i n c 内插函数，这种方法便于在有限空间确定连续函数的一致 逼近s i n e 函数。二次多项式做内插函数时其相位畸变会造成重采样后的图像失 真，长期以来被忽视，实际上当二次多项式的起点和终点都穿过原始采样象素 点时，函数相位确实是非线性的。公式如式( 2 9 ) 所示，有两个必要条件，首 先多项式必须完全穿过内插核的起始点和终止点，还需要穿过它们的重点；其 次，多项式必须满足直流恒定( d c - - c o n s t a n t ) 的要求。这个多项式曲线族在 空间域上是实偶函数，在频率域上具有线性相位。 厅( x ) = - 2 a l x l 2 + l 2 ( a + 1 ) , r 口+ 1 ) ， 0 司工i 1 2 1 2 蚓引 3 2 ( 式2 9 ) e l s e w h e r e 2 3 2 5 = 次插值法( q u a d r a t i ci n t e r p o l a t i o n ) 当选取参数a 使二次多项式满足过零约束条件要求的插值方法为二次插值 法。例如当a 取1 时，不仅满足过零约束条件，而且满足直流恒定( d c c o n s t a n t ) ，但是由于过零约束条件和一阶导数连续性不能得到同时满足，所以 当a = 1 时的二次多项式不满足一阶导数连续特性，导致该插值函数阻带旁瓣最 大幅值超过2 ，但具有比较好的通带特性。 2 3 2 6b 样条逼近法( b - - s p f i n ea p p r o x i m a t i o n ) 样条函数是现代函数逼近方法学中一个十分活跃的分之，样条函数是一个 分段多项式，利用它逼近任意函数具有很大的灵活性和适应性，故而得到广泛 的应用 2 4 1 。 b 样条( b a s i ss p l i n e s ) 是样条函数家族中最基本的样条函数，它与广义函 数一6 函数有密切的内在联系，并可以逼近占函数，也称6 样条函数。b 样条 突出优点是对局部的修改不会引起样条变化的远距离传播，也就是说修改样条 的某些部分时，不会过多的修改曲线的其它部分。 基函数自卷积后就得到b 样条函数。实际上，线性插值模板啊( x ) 可以看做 是最近邻域插值模板啊( x ) 的自卷积h 2 ( x ) = 扛( 工) + 如( 曲，用函数啊( 力可以创建 第2 章系统架构和算法研究 n 阶的b 样条函数( 功，如式( 2 - 1 0 ) 所示： ( x ) - - h 1 ( x ) + 啊( z ) + ( x ) ( 式2 - 1 0 ) z 一 当n = 3 时可得二次b 样条函数，也就是上面提到的二次逼近内插函数， 而当n = 4 时能得到三次b 样条内插函数如式( 2 1 1 ) 所示： 0 q 工l 1 1 q x 阵2 ( 式2 - 1 1 ) e l s e w h e r e 2 3 2 7b 样条插值( b - - s p l i n ei n t e r p o l a t i o n ) 把b 样条逼近的重构滤波器用于一组不同离散采样象素点集合t ( k ) ，来创 建b 样条插值函数。 2 3 2 8 三次插值( c u b i ci n t e r p o l a t i o n ) 我们知道通过多段曲线组合可以设计一条复杂曲线时需要解决曲线段之间 如何实现光滑连接的问题。而曲线间连接的光滑度的度量有两种：一种是函数 的可导性，把组合参数曲线构造成在连接处具有u 阶连续导数，即n 阶连续可 微，这类光滑度称之为c ”或n 阶参数连续性；另一种称为几何连续性，组合曲 线在连接处满足不同于c ”的某一组约束条件，称为具有n 阶几何连续性，简称 为g ”。曲线光滑度的两种度量方法并不矛盾，c ”连续包含在g ”之中。c u b i c 三次多项式【2 5 】正是因为具有c 2 连续性所以被频繁使用。 用2 个象素点进行三次插值，公式如式( 2 1 2 ) 所示： 坼) = 2 | 圳秽+ 1 羰 用4 个象素点进行三次插值时，有八个系数需要确定，通过约束条件可以 把八个待定系数化简为与且仅与一个自由度a 有关的插值函数式，如式( 2 1 3 ) 所示： 矗c x ，= l 口( a i x + r 2 ) 一l s x 口li z - ( ：a + + s 3 口) i l x x i l 2 4 + d 1 , ， 0 蚓x i - 1 7 新点进入、计算值减1 、计算：没有新点、值不变、计算。 优点是保证输出数据是连续的，与输出象素时钟是一一对应的；缺点是输入不 连续，需要控制单元控制输入按d d a 算法输入，并比顺序输入要求的时钟频 率要高。 r n 厂 r r 几厂 几r r r r 几r r nr 厂 nr r r 几nnr r r nl 图4 28 5 缩放d d a 算法数据流图 如图4 - 2 所示，是8 5 缩放按d d a 算法计算的数据流图。e 点和f 点中有 一个时钟周期不需要新点进入，依次按照d d a 算法进行计算。其实质就是把滤 波和重采样一起完成。 4 3 3 数据流算法选择 d d a 算法的输出数据连续的优点是我们选择这个算法的主要原因，但是它 不适合所有的缩放情况，对因子大于1 的情况不适用。并且从节省存储空间考 第4 章s c a l i n g 模块r t l 实现 虑，列缩放时以行为方向做，这样保证输出连续行数据，并且不需要太多的中 间缓存。 以p a l 制式为例( 见图4 - 1 ) ，第一级流水水平8 5 缩放文中采用的d d a 数 据流控制算法；第二级流水水平8 9 缩放情况文中采用的顺序流入控制方法， 从输出象素点中选出我们需要的象素点。第三级列4 3 缩放情况文中要求第一 级流水结构以行为单位按d d a 算法，因子3 4 输入数据。 4 4f i r 滤波器优化 尺寸缩放模块各级流水线结构中主要的运算部件就是f i r 滤波器。因而 f i r 滤波器的性能影响到整个尺寸缩放模块的性能。布莱克曼窗的性能满足尺 寸缩放模块对f i r 滤波器设计的要求。且对布莱克曼窗来说，它提供了较小的 过渡带，因此实现相同指标的滤波器可以有较小的阶数。行缩放采用了3 3 阶， 列缩放采用了1 7 阶。 图4 3 传统直接型f i r 滤波器 传统的f i r 滤波器结构己不能满足高速度的要求( 如图4 3 所示) ，其主要 原因是由于受到乘法器和加法器电路的限制”“”。本文采用下面的优化方法提 出了一种改进的f i r 滤波器结构。 ( 1 ) 利用对称性减少乘法运算 根据线性相位f i r 滤波器的系数具有对称性这一特点，将滤波器公式转换如 式( 4 - 1 ) 所示： 第4 章s c a l i n g 模块r t l 实现 ( n - d 2 ) ，( n ) = 乏：【x ( 疗) + x ( 一珂) 】矗( ”) ( 式4 1 ) n = o 简化了f i r 滤波器。对n 阶f i r 滤波器，减少了n 2 个乘法，多了n 2 个加法。 由于加法运算速度高于乘法运算速度，同时加法器芯片面积要小于相应的乘法 器面积，因此这种优化代价是值得的。 ( 2 ) 将浮点数乘法转换为定点数乘法 定点数乘法相对浮点数乘法占