已阅读5页,还剩70页未读, 继续免费阅读
(通信与信息系统专业论文)数字视频格式转换算法研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 随着视频技术的蓬勃发展,目前视频领域内大量格式标准共存,这些多样化 的格式为我们提出了一个新课题,那就是视频格式转换。本文通过对多种算法进 行模拟、分析和比较,分别建立了用于去隔行和帧率提升的算法。在分析其可行 性及性能方面做了如下工作: ( 1 ) 去隔行算法方面:考察了已有的去隔行算法,分析了这些算法对不同序 列所产生的效果,并利用运动自适应滤波器将这些算法的性能综合起来,从而在 一定程度上达到折中。 ( 2 ) 运动估计方面:考察了当今视频格式转换领域中占主流地位的三维递归 搜索块匹配算法。分析了它在矢量一致性、算法硬件实现等方面独特的优越性, 并将其作为本文后续工作中运动估计的基本算法。考虑到实际运动场景中存在大 量全局运动,而该算法又对全局运动不能得到令人满意的效果。因此本文在最优 匹配准则中考虑了全局参数对运动矢量精确性的影响,从两能够更好地反应场景 中的全局运动。 ( 3 ) 帧率提升方面:分析了场复制算法和简单的运动补偿平均算法的缺陷, 指出对图像局部细节处理会因为运动矢量的不精确而导致赝像并提出了一种基于 运动补偿插值的帧率提升算法。 关键词:数字视频格式转换,去隔行,帧率提升 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fd i g i t , a t e c h n o l o g y , m a n yv i d e of o r m a t sc o e x i s ti n c u l t e n tv i d e of i e l d sa n dt h ev a r i e t yo fv i d e of o r m a t sl e a d san e ws u b j e c tt h a ti ti s n e c e s s a r yt oc o n v e r tv i d e os i g n a l sa m o n gv a r i o i l sf o t r e a t s a f t e rt h es i m u l a t i o n s , c o m p a r i s o n sa n da n a l y s i s ,t h ea u t h o re s t a b l i s h e st h ea l g o r i t h mf o rd e i n t e r l a c i n ga n d f r a n l er a t eu pc o n v e r s i o n o u rr e s e a r c hc a nb es u m m a r i z e da sf o l l o w s : f i r s t l y , w eh a v er e v i e w e dt h ee x i s t i n gd e - i n t e r l a c i n ga l g o r i t h m sa n ds p e c i f i c a l l y a n a l y z e dt h e i rp e r f o r m a n c e si nd e t a i l s ;h e n c ef o u n do u tt h a te v e r ya l g o r i t h mh a s i t so w n p r e f e r e n c e t h e r e f o r ew et r i e dt oc o m b i n ea l lt h e i rc a p a b i l i t i e su s i n gm o t i o na d a p t i v e f i l t e rt og a i nr e l a t i v e l yb e t t e rp e r f o r m a n c ei no v e r a l la s p e c t s s e c o n d l y , w eh a v er e v i e w e dt h en e w l yd e v e l o p e da n dd o m i n a t i n ga l g o r i t h m 一3 d i m e n s i o ns e a r c hb l o c km a t c h i n gm o t i o ne s t i m a t i o n w ep o i n to u ti t sp r i o r i t yi nv e c t o r i n s i s t e n c ea n de a s i e ri m p l e m e n t a t i o n , w h i c hi st a k e na st h eb a s i ca l g o r i t h mi no u r f o l l o w i n gw o r k c o n s i d e r i n gw i d e l ye x i s t i n gg l o b a lm o t i o n , t h e3 - da l g o r i t h mi sn o t s u i t a b l e ,s ow ei m p r o v et h i sa l g o r i t h mu s i n gg l o b a lm o t i o np a r a m e t e rw h i c hh a se f f e c t o nt h ep r e c i s i o no f m o t i o nv e c t o ri no p t i m a lm a t c h i n gc r i t e r i as oa st or e f l e c tt h eg l o b a l m o t i o ni nb e t t e rw a y t h i r d l y , w eh a v ea n a l y z e dt h ed e f i c i e n c yo ff i e l dd u p l i c a t ea n ds i m p l ea v e r a g e m o t i o nc o m p e n s a t i o na l g o r i t h mw i t hc o n v e r s i o na n dp o i n t e do u tt h a ti n a c c u r a t e p r o c e s s i o nt op i c t u r ed e t a i lc o u l dr e s u l t si na r t i f a c t s ,a n dt h e nw ed e v e l o p e dan e w a l g o r i t h mb a s e do nt h em o t i o nc o m p e n s a t i o ni n t e r p o l a t i o n k e y w o r d :d i g i t a lv i d e of o r m a tc o n v e r s i o n d e - i n t e r l a c i n g f r a m er a t eu p - c o n v e r s i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不 包含其他人已经发表或撰写过的研究成果;也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处,本人承担一切相关责任。 本人签名:趁) 塑 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定,即:研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后,发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件,允许查阅和借阅论文;学校可以公布论文的全 部或部分内容,可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在年解密后适用本授权书。 本人签名: 导师签名: 日期 日期 谛雹i | 第一章绪论 第一章绪论 1 1 课题背景 多媒体信息主要包括文字、声音、图像、图形和视频等内容,其中视频又是 多媒体信息中最重要的组成部分。据统计,人类通过视觉获取的信息占全部获取 信息的6 0 ,可以说视频信息是人类最重要的信息源之一,在信号处理领域占有很 大的比重。 目前,现存的视频采样格式( 后文简称为视频格式) 非常多样化( 见表1 1 ) 。在 电视发展早期阶段,由于技术条件的限制,当场频与交流电源不一致时,节目制 作中容易出现画面闪烁,而接收器也会出现滚动的横杠。为了克服这一技术障碍, 各地区的电视节目选取本地交流电源频率作为场频,出现了5 0 h z 和6 0 h z 两大类电 视阵营。同时由于频道带宽的限制,与5 0 h z 和6 0 h z 场频相适应,发展出 5 2 5 扫描 线的n t s c 常t 式和6 2 5 扫描线的p a l 制式。出于产业保护等政治目的,在p a l 之后 5 0 h z 阵营内又发展出了s e c a m 制式。随着数字电视技术的飞速发展,许多国家和 组织又提出了自己的格式标准。由于建立全数字电视台需要高昂的费用、高清格 式拍摄的节目相对匮乏、以及现在家庭拥有大量的模拟制式电视机等多种因素的 制约,决定了从模拟到数字电视时代的转变是一个渐进的过程。在此阶段大量视 频格式并存,需要接收终端提供格式转换功能以兼容不同视频格式。 表1 1 几类重要视频格式标准的采样格式 采样格式 标准制定组织应用领域 有效像素( 水平垂直场率) n t s c 与原n t s c 模拟制式兼容的 c c l r6 4 0 x 4 8 0 x 6 0 i 5 2 5 6 0数字视频格式 p a l 与原n t s c 模拟制式兼容的 c c i r 7 2 0 5 7 6 5 0 i 6 2 5 6 0 数字电视格式 h d t v 外佃t e 高清数字电视格式 7 2 0 x1 2 8 0 x 6 0 p 3 0 p 2 4 p 1 2 8 0 h d t v s ,y t e 高清数字电视格式1 0 8 0 1 9 2 0 x 6 0 p 砷l 3 0 p 佗4 p 1 9 2 0 m p e g 1 的标准输入格式 s i fi s 0 ,i e c2 4 0 3 5 2 3 0 p 用于视频存储 h 2 6 1 的标准输入格式 c i f i s o n e c2 8 8 3 6 0 3 0 p 用于会议电视 h 2 6 1 的标准输入格式 q c i f i s o ,i e c 1 4 4 x 1 8 0 x 3 0 p 用丁i 可视屯话 数字视频格式转换算法研究 视频格式的多样性同样还表现在监控、会议电视等应用领域。由于通讯带宽、 存储容量、设备成本等限制,不同的应用场合会选用特定的采样格式。如此众多 的视频格式既方便了视频应用在各个专业领域的快速推广,同时也造成了不同视 频格式问信息交流、编辑、传输、演播的障碍。数字视频格式转换的目的就是实 现这些制式和标准的转换,即从一种格式到另一种格式的转换以达到“兼容”要 求。 尽管视频信号有多种格式,各种格式又不尽相同,但归结起来相异之处主要 有三个方面:变扫描率、去隔行和变帧场率,如图1 1 视频格式转换架构图所示。 变扫描率( s c a n n i n gr a t ec o n v e r s i o n ) 即通常而言的图像缩放( s c a l i n g ) 。隔行变换 ( d e i n t e r l a c i n g ) 是一项特殊的视频信号处理方式。隔行扫描方式设计的初衷是利 用视觉残留特性,在有限的处理带宽内提供尽可能高的垂直分辨率,同时消除低 帧频造成的大面积闪烁。由于隔行处理是直接在图像平面垂直方向上的抽取,并 未进行前置滤波,理论上将引入垂直方向的频谱混叠。实践中能观察到的隔行缺 陷有行间闪烁、爬行、运动物体垂直轮廓畸变等。帧率变换( f r a m er a t ec o n v e r s i o n ) 需要在帧间重构出新的帧。最简单的方式是重复当前帧。这种技术非常易于实现, 在早期的变帧频应用中被广泛采用。其缺点是对运动物体有非常明显的跳动现象 ( j i t t e r ) 。高质量的帧频变换是建立在基于运动矢量的动态补偿内插基础之上,即 在运动轨迹上重构待插帧。 图1 1 视频格式转换架构图 在数字化已经普及的情况下,将数字领域这些不同制式与格式进行相互转换 已经非常容易。成功地研发具有自主知识产权的格式转换技术及产品,将打破国 外公司在该领域的垄断,有力地支持我国电视及相关产业的发展,将会产生巨大 的社会效益和经济利益。 1 2 技术应用的领域 尽管不同视频格式造成了信息交流、编辑、传输和演播的障碍,但是如此众 第一章绪论 多的视频格式也方便了视频应用在各个专业领域的快速推广。视频格式转换技术 主要涉及去隔行、图像尺寸变换和帧频变换,是当前r 益受到重视的一门技术。 它有着广泛的应用前景,其可用于: ( 1 ) 不同视频格式间的桥接。虽然数字电视的技术今天已经非常成熟,但从 我国现状过渡到全数字电视,还将是一个很长的时期。即使到了数字电视时代, 仍会存在与兼容性相关的历史资源问题。因此兼容多样的视频源,在数字电视时 代具有重要的意义。 ( 2 ) 视觉效果增强。视频格式转换技术是解决低成本、技术可实现的视频采 集和高精度、高效率的视频相互转换的一种有效途径。通过有效的格式转换,将 低分辨率、低帧频的视频变换成高分辨率、高帧频的数据,可以有效地提高后续 视频处理的效率,同时有利于更多的高质量信号源( 如d v d ,h d t v 广播等) 的推 广与应用。将视频格式转换产品用于计算机、图像处理、通信、网络、广播电视 和家电产品等领域,可以在不过分增加设计和制造成本的前提下,提高显示质量 ( 如当前流行的p t v 、p d v d 等就采用了隔行扫描转逐行扫描技术来提高显示质 量) 。目前市场流行的1 0 0 h z 电视,就是通过场频率倍增去除普通电视的闪烁效应, 同样1 6 :9 电视变换空间采样率可以增加观众的临场感。 ( 3 ) 视频压缩。在视频压缩领域,除帧间预测外,另一种可以通过丢帧减弱 视频图像间信息冗余度。在接收端再利用帧间的相关性将丢掉的帧恢复出来,以 防止因帧率下降而引起的不连续和图像闪烁。这种方法广泛地应用于对传输比特 率要求低的情况,如可视电话、电视会议等。 1 3 国内外发展现状 在市场需求的驱使下,视频格式转换技术成为当前信息领域的一个研究热点。 以美国和台湾为主的公司相继推出了多种芯片,像g e n e s i sm i c r o e l e c t r o n i e s , t r i d e n t ,t r u m p i o n ( t a i w a n ) ,m a e r o n i xi n t e m a t i o n a l ( t a i w a n ) ,p h i l i p ss e m i c o n d u c t o r , s u n p l u st e c h n o l o g y 等。将去隔行功能,帧率转换和图像尺寸变换分别作为单独的 处理模块已成为各家公司的共识,但在具体算法上却各有不同。有的采用运动自 适应,有的采用边缘保持的中值算法,甚至还有采用了运动估计和运动补偿的相 关方法,已有相当多的文献5 j 阐述了视频格式转换系统本身的实现途径。这项技 术的研究也含自主知识产权的要求。过去我国在这个领域一直处于弱势国外的 相关产品正快速地扩大在我国市场的占有份额。研究视频格式转换技术,开发拥 有自主知识产权的相关产品,对于保护我国相关民族工业的发展,增强国际竞争 力,具有重要的意义。 视频格式转换技术算法经历了基于二维图像频谱理论的线性滤波、非线性自 数字视频格式转换算法研究 适应和由整体运动图像的频谱分析得出的沿着运动方向滤波重建信号的所谓运动 补偿( m c ) 格式转换技术三个阶段( 如图1 2 所示) f 4 j 。2 0 世纪7 0 年代国外开始采用线 性内插滤波器进行视频格式转换。这类滤波器具有理想低通滤波的频谱特性,结 构简单,极易集成到单芯片内,大量应用在去逐行、屏幕缩放等需要实时处理的 视频格式转换场合。但由于视频频谱在频率空间中是重叠的,通过低通滤波后不 可避免地存在时空上的模糊、混叠等效应,故而影响了视频格式转换的质量。8 0 年代后,随着对视频信号时空特性和线性滤波格式转换器产生的图像品质退化现 象的深入理解,涌现出了一大批基于非线性自适应的视频格式转换算法。它们分 为三类:边界自适应、运动自适应和中值滤波。边界自适应方法保留了图像的边 界细节,削弱低通滤波在垂直和水平方向上的模糊效应,提高了空间分辨率。运 动自适应插值方法较好地解决了传统去隔行方法的虚像问题。中值滤波方法隐含 了在空间方向上的边界自适应和时间方向上的运动自适应。将上述三类算法组合, 构成混合型的自适应滤波器。这些自适应滤波算法与简单的线性滤波相比,改善 了视频格式转换性能且没有增加硬件开销。同时,还能大大缩减硬件规模( 如中值 滤波法) 。因此,自适应滤波方法在格式转换芯片设计中得到了广泛应用。运动自 适应滤波虽然利用了运动信息,但只做运动与否的判断,在高速运动场合其处理 方式实质上还是采取了帧内插值,相邻帧场内大量的有用信息被忽略了。因此, 在帧率变换时处理效果不佳。9 0 年代中期,大量的研究表明由采样引起的频谱复 制可以做到相互交错而不混选,如果能够沿着运动方向进行滤波将更完整地重构 原始信号。 i n t e r p o l a t i o n = 哆7r 、o 芝 s 诅c i c r 一娟e - a m c d j 。 s 刚们n 甜n s m e d i a n m - a d a p 叫t i 州o n 印c i f e 。q u 哪 m e d i a nm a s k m o t i o nf r e q u e n c ym e d i a nm a s k s e l e c t i o n a u a p t i o n s e l e c t i o n j v e c t o r - b a s e dv e c t o r b a s e d v e c t o r b a s e d m c llvector-basedaverares h l l t l n r m e d i a n f i l t e r i n g m e d i a n v e c t o r b a s e d l i n e a s d e f o r m a t i o nl i n e a rn o n l i n e a r n o n l i n e a r 图1 2 视频格式转换算法分类 在此基础上发展出了基于运动补偿的格式转换技术,其算法框图如图1 3 所示, 它由运动估计、补偿滤波两个阶段构成。前者估算出运动矢量,后者根据估算的 运动场重构出目标采样结构的帧场图像。伴随v l s i 技术的发展,运动估计器的单 第一章绪论 片集成成为可能,格式转换的运动补偿技术研究得以全面展丌。运动补偿法对于 提高格式转换的效果比较明显,它是上述算法中性能晟好的一种,但也是计算量 最大的一种。运动补偿算法中最重要的就是运动估计。但在实际应用中,快速获 得准确、可靠的运动矢量是较为困难的,如果这一问题解决不好,则运动补偿算 法的优势就体现不出来。对于运动估算无论在国内还在国外还是一个有挑战性的 话题1 6 】。运动估计技术在视频编码领域已有很成熟的应用,发展了基于光流计算的 方法、基于区域匹配的方法、基于频谱调制的方法、基于随机场的m a p 方法、基 于投影方程的参数估计方法等多种算法,而且新方法还在不断涌现。用于格式转 换的运动估计可以借鉴视频编码领域的研究成果,但两者对运动估计的性能要求 并不相同。格式变换中的运动估计在算法的准确度、精度、复杂度等方面有其特 殊要求。在视频编码领域,运动估计的真实性( 与真实运动场相比) 要求并不高。 而运动场的熵却是一个十分重要指标,它将决定运动矢量最终编码的比特数,计 算的误差由误差帧补偿。但是在格式变换中,不存在估算误差的反馈补偿,真实 性就显得至关重要。同时,重构帧采样点位置的确定性要求估计的矢量比视频编 码场合有更高的精度者,格式转换应用的实时性要求算法尽量简洁,易于a s i c 实 现。 图1 _ 3 运动补偿格式转换算法结构图 另外,针对数字电视( 特别是高清晰度电视) 巨大的像素量,其插值所需的高 质量、高精度运动矢量需要复杂且规模庞大的运动估计电路,这会大大增如系统 的成本。就目前技术条件而言,它仅适合高端应用的产品。回顾格式转换技术的 演进,整个过程一直围绕着高实时性、低实现代价和抑制信号模糊、混迭这三个 重点展开。运动补偿的格式转换技术同样遵循这样一条研究线路。 现有的国外的视频格式转换技术对静止图像技术都很成熟,而对运动图像需 考虑到运动的时间相关性和空闯相关性,要把握好运动矢量对视频质量的影响, 必须正确估计运动矢量。在基于运动估计的视频格式转换技术方面,国内在国外 的基础上也提出了一些新的算法,如基于运动空间相关性和时间连续性的运动估 算快速算法的帧速率变换【”,序列图像结构转换系统中基于小波变换的运动估计与 运动补偿方法i8 等。这些方法只能适用于运动矢量可以精确估算的前提下,而没有 6 数,视频格式转换算法研究 考虑复杂的运动情况,不能综合考虑运动图像的多重因素的影响。 1 4 论文的组织结构 以上简要的介绍了视频格式转换技术的背景和基本内容。应该指出,视频格 式转换算法包含有三个方面,涉及面相当广泛,包括运动估计、图像插值、图像 分析、信号处理等。笔者读硕士期间主要从事帧率提升算法的研究工作,因此本 文的主要内容是围绕帧率提升算法和去隔行算法进行一些初步的研究探索。第一 章是本文的绪论,阐述了课题的研究背景、应用领域和发展现状,以及本文的主 要内容。其余各章是这样组织的: 第二章介绍了数字视频格式转换的一些基本概念和基本理论,这些都是后续 各章的理论基础。 第三章首先分析了隔行扫描格式中存在的问题,引出去隔行处理算法。然后 阐述了去隔行算法基本思想和基本原理,最后在总结各种类型去隔行算法性能的 基础上,提出了一种基于运动自适应去隔行算法,该算法无论在静止区域和运动 区域均取得较好的去隔行效果。 第四章首先分析了帧率提升算法中需要解决的一些问题,引出了帧率提升算 法。通过对传统帧率提升算法性能的比较得出,帧率提升算法的关键在于如何构 造足够平滑的矢量场。本文采用三维递归块匹配算法构造出平滑的矢量场,并利 用运动补偿插值算法构造出插值帧。实验数据表明,该算法的主客观效果较以往 的算法都有所改善。 第五章是对本文的总结和展望,提出了进一步需要解决的问题和研究方向。 第一章视频格式转换的理论壁础 7 第二章视频格式转换的理论基础 2 1 引言 视频格式转换技术在数字图像及视频处理领域中占有非常重要的地位。从本 质上说,视频格式转换等价为视频信号时空采样结构的变换,包括空间分辨率的 上下变换、时间分辨率的上下变换及其组合。数字视频信号可以通过对模拟视频 信号进行采样量化得到,也可以直接用数字摄像机得到。但是在本质上所有的数 字视频信号都可以看作是对模拟视频信号进行采样、量化得到的。为了后续章节 的讨论方便,本章主要介绍视频格式转化的一些基础理论知识。 2 2 电视原理 现存的各种显示设备,无论是c r t ,l c d 还是p d p ,它们显示图像的原理都是 一样的。对于接收到的视频信号,不是一幅画面同时显示,而总是将一幅画面分 成很多行,每次从左到右显示一行,从上到下逐行显示,最后形成一幅完整的图 像。这个过程是利用了人眼的视觉暂留现象,使人感觉看到的是一幅完整的图像。 电子束在屏幕上自左至右的水平移动称为“行扫描”;电子束在屏幕上自上而 下的做垂直移动称为“帧扫描”或“场扫描”。行扫描形成单幅画面,而多幅画面 的更换则是由帧场完成。人眼的临界闪烁频率约为4 6 h z ,当画面的刷新频率大于 这个数值时,人眼看到的将不是快速更换的图像而是连续的动作。 由上述成像原理不难看出,如果扫描一幅画面的行数越多,此幅图像在垂直 方向上表现出来的内容也越细腻。刷新速度越快,使人感觉图像活动过程的连续 性越强,光的闪烁感越小。 2 3 模拟视频信号 在电视系统中,摄像端是通过电子束扫描将图像分解成与像素对应随时间变 化的电信号。在接收端,则以完全相同的方式,利用电子束从左到右,从上到下 扫描,将电视图像在屏幕上显示出来。设连续时变图像为s ( x ,y ,f ) ,模拟视频信 号是通过对s ( x ,y ,f ) 在时间坐标r 和垂直分量y 上采样得到的。周期性的采样过程 叫做光栅扫描( r a s t e rs c a n ) ,光栅扫描方式包括逐行扫描( p r o g r e s s i v es c a n ) 和隔行扫描( i n t e r l a c e ds c a n ) 。 s 数字视频格式转换算法研究 逐行扫描:在视频信号的录制过程中,一幅图像在两个方向上被采样,一个 是时自j 方向,一个是垂直方向。采样结果存储在个一维连续波形中,这个波形 就是模拟视频信号,用f ( t ) 表示。如图2 1 所示,一幅图像被从上到下扫描,然后 又返回上方。这样,视频信号厂( f ) 包含了系列像一个时i 日j l 日j 隔& 的图像。视频 信号中的每个这样的图像称为一帧( f r a m e ) ,f 称为帧问隔或是帧周期。每一帧 图像都包含一些在垂直方向上相邻的水平扫描线,这些扫描线之间以相同的垂直 间隔隔开。实际上,每一条扫描线都轻微地向下倾斜,并且最下面一行的扫描线 的扫描时间几乎比最上面一行的扫描时间晚了近一个帧问隔。为了分析方便,总 假定一帧中所有的扫描线都是在同一时刻被扫描的,而且每一扫描线都是完全水 平的。要得到稳定的逐行扫描图像,每帧图像必须扫描整数行。如果一帧图像是 连续扫描6 2 5 行组成的,每秒钟扫描5 0 帧图像,即帧扫描频率为5 0 帧秒,或写成 5 0 h z ,行扫描频率为3 1 2 5 k h z 。逐行扫描方式对信号频谱及传送该信号的信道带 宽的要求很高,提高行数( 行频) 和刷新速度( 帧频) 都必须以提高系统的成本来实 现。 隔行扫描 。i 、- 一 、一: 、一j :;、 、; : 一:i :、, 图2 1 逐行和隔行光栅扫描格式 隔行扫描:在隔行扫描方式中,每一帧被扫描成两场( f i e l d ) ,每一场都包含 帧中扫描行数的一半,如图2 1 所示。图中实线代表一帧图像的奇数行,虚线代表 偶数行。场间隔时问,也即场周期,是帧间隔时间的一半,但是场中扫描线的垂 直间隔是帧中扫描线垂直间隔的两倍。两个相邻场中的扫描行相互移位了半个场 中的行间隔。将包含帧中奇数行的场叫做奇场,包含帧中偶数行的场叫做偶场。 在隔行扫描方式中,帧图像的完全扫描包含了奇场的从上到下的扫描和偶场的 从上到下的扫描,所以当帧扫描频率和场扫描频率相同时,逐行扫描频率是隔行 扫描频率的两倍。信号厂( f ) 交替包含了奇场和偶场的扫描信号,这种隔行扫描是 2 :1 隔行扫描,电视行业采用了这种隔行扫描方式。如果将一帧图像分为k 场扫描, 每场的扫描时间是,这种扫描叫做k :1 隔行扫描,k 为隔行阶数。模拟电视 制式采用行、场扫描形成视频信号,是一种二维数字视频结构,需要经过水平数 字化形成三维数字视频信号。 隔行扫描虽然有每秒5 0 次的画面刷新率,但是奇数行和偶数行并不能形成完 9 2 3 4 5 6 7 r 1 2 3 4 5 6 7 8 矿 第一章视频格式转换的理论基础 9 整画面,构成的连续图像有跳动感是必然的。每秒5 0 次的刷新率只是减小了光叫 烁感,而与移动画面的连续性无关。较低的扫描行数,限制了图像垂直分辨率的 提高。随着d v d 的日益普及,人们对图像的质量要求越来越高。近几十年景出现 的一些视频设备已经改变了传统的隔行扫描方式,而改用逐行扫描,如视频图形 阵y i j v g a 、液晶设备、p d p 等显示设备。在h d t v 尚未普及之前,如何在原有电视 系统的基础上提高画质,是模拟电视数字化亟待解决的问题。为此7 0 年代欧洲率 先推出了倍频扫描的方案,即1 0 0 h z 倍频扫描系统。这种倍频方式是利用大规模数 字集成电路,先将模拟信号转换为数字视频信号,在扫描电路中使用存储器将每 场数字信号存储一次,读取两次。因此,场频由5 0 场每秒变成1 0 0 场每秒,这种方 式有助于消除画面的闪烁感。无论奇数行还是偶数行都要在组成的一场出现两次, 所以该扫描方式并不能引起移动画面跳动感的改善。由于1 0 0 场画面中存在有一半 是重复场,所以该倍频扫描方式又称为“a a b b ”制。 要彻底解决画面清晰度的问题,采用逐行扫描的方案才是最佳途径。同时为 了不使大量隔行扫描设备在向全数字电视时代的过渡时统统报废,一种较好的解 决方案是在视频终端开发一个隔行扫描转化为逐行扫描的转换器。采用该方式可 以使行频和场频都得到了提高,且运动图像连续性的增强大幅度地提高了画面清 晰度,这就是通常所说的去隔行转换( d e i n t e r l a c i n g ) 技术。采用d e i n t e r l a c i n g 设计 的转换器完全不同于上面提到的“a a b b ”制倍频扫描方式。因为倍频扫描方式只 是利用单纯记忆、存储来形成1 0 0 h z 的场频。在实际中该扫描方式并未增加视频信 号的信息量,对提高图像的分辨率和清晰度没有任何作用,仅仅只是减弱了画面 的闪烁感。 2 4 数字视频信号 模拟视频信号由于自身的局限性,仅可以提供有限的交互能力。随着数字图 像处理技术和硬件水平的发展,数字视频信号不仅可以提供很好的交互性,而且 具有抵御信道噪声和易于加密的能力。 2 4 1 视频信号的采样结构 如图2 2 所示为视频信号的获取过程。模拟视频信号的时空采样过程只在垂 直方向y 和时间方向t 上进行二维采样,而在水平方向x 上仍然是连续的a 图2 3 所示为逐行模拟视频信号的正交采样结构,图2 4 是隔行模拟视频信号的六角形 采样结构。 o 数字视频格式转换算法研究 可观测噪声 图2 2 视频信号的获取 视频信号 1 ( a ) 逐行信号 + ( b ) 隔行信号 图2 5 数字视频信号的采样结构 视频信号有几个重要的参数:垂直分辨率( v e r t i c a lr e s o l u t i o n ) ,水平分辨率 ( h o r i z o n t a lr e s o l u t i o n ) ,宽高比( a s p e c tr a t i o n ) 和帧场频( f r a m e f i e l dr a t e ) 。 这些参数是数字视频结构转换中所涉及的重要内容。具体描述如下: 第一二章视频格弋转换的理论基础 垂直分辨率由一帧内所使用的扫描行数柬决定。行数越多,垂直分辨率就越高, 反之亦然。例如n t s c 为5 2 5 线,p a l 为6 2 5 线。 水平分辨率是度量水平清晰度的指标。在电视中,水平分辨率由能够再现黑白 相问的垂直线条的数目束测定。当一个系统的水平分辨率为4 0 0 线时,是指其在所 对应的图像高度内能交替显示2 0 0 条黑线和2 0 0 条白线。n t s c 电视系统的最高水平 分辨率为3 6 0 线。 宽高比指一帧图像的宽度与高度的比值,普通电视的宽高比一般为4 :3 ,高清晰 度电视宽高比为1 6 :9 。 帧频或场频是指帧场间隔的倒数,即帧或场重复的频率。帧数越高,图像的显 示越稳定。因此电视系统通常会在条件允许的情况下采用个比较高的帧频。根 据人眼的视觉特性,当帧( 场) 重复频率太低时,会有闪烁感觉。不引起闪烁感的 最低重复频率称为i 临界闪烁频率。当频率高于临界频率时,主观感觉亮度为显示 亮度的平均值。 如果在不同的应用和产品之间交换数字视频,就需要制定数字视频格式标准。 视频信号的时空分辨率与每帧的行数,每行中的像素数、隔行逐行扫描、帧频和 宽高比有关。为了方便表述和理解,表2 1 列出了几种常用的数字视频格式标准。 表2 1 数字视频格式标准1 9 1 c c mc c m 参数 c r n t s cp l s e c a m 有效的像素行 亮度y 7 2 07 2 0 3 6 0 色度u 和v 3 6 03 6 01 8 0 有效的行图像 亮度y 4 8 05 7 62 8 8 色度u 和v4 8 05 7 6】4 4 隔行逐行扫描隔行:2 :1隔行:2 :1隔行:2 :i 帧频( r l z )6 05 03 0 宽高比4 :34 :34 :3 2 4 2 数字信号的频谱 连续时变图像s ( x ,y ,t ) 的三维频谱可以假设是带限的,如图2 6 所示。s ( x ,y ,t ) 函数的傅立叶变换如式( 2 1 ) 所示: s ( 工,) ,) s ( 正,- ,:) = f p ( x ,y ,r ) e x p - ,( 正x + y + z ,) a x a y a t ( 2 - 1 ) 数字视频格式转换算法研究 图2 6 连续时变图像的三维频谱 根据抽样定理,由s ( x ,y , o 在x ,y ,t 三个方向上进行抽样得到的数字视频 信号,其频谱为在三维频率空间分别以三个采样频率为间隔地无限重复 s ( 正, ,) 。图2 7 为逐行数字视频信号的三维频谱特性图。 通常为了分析的方便,常常采用二维频谱特性而不是三维频谱特性。二维频 谱特性就是视频信号在一个频率平面内( 例如,f ,:平面) 的频谱特性,可以看 作是三维频谱特性在该频率平面内的投影,隔行数字视频信号和逐行数字视频信 号若按照图2 5 的采样结构,则两信号在x 方向的采样结构是相同的。它们采样 结构的区别在于y ,t 平面上。作为例子,分析一下两个视频信号在 ,z 平面上的 二维频谱特性。因为连续视频信号是带限的,可以假定其频谱在凡,_ ,;平面内必处 于某一圈内。这样,对模拟视频信号在y ,方向上的采样使得频谱在九,f 平面上 无限重复形成数字视频信号的二维频谱特征。图2 8 是逐行数字视频信号和隔行 数字视频信号的二维频谱特性图。由图2 8 可知,数字视频信号的频谱特征与其 采样结构有关。数字视频信号的采样结构变换问题,亦是一个时空插入和抽选问 题( 1 0 l 。 图2 7 数字视频信号的三维频谱 第一章视频格式转换的理论基础 。f 。( a ,琏j o () o 厂、厂、j ,、 j l一j o () o 信号维频f o。t y 3ooo q 厂、q jj l 、:t ooo ( b ) 逐行信号二维频谱( c ) 隔行信号二维频谱 图2 8 数字视频信号二维频谱特性 2 5 视频图像评价标准 视频格式转换包括许多环节,其性能优劣对转换后视频图像的质量有很大影 响。一方面人们希望接收的恢复图像有足够高的观赏质量,同时又希望转换过程 简单化。图像质量的含义包括两方面:一个是图像逼真度,即被评价图像与标准 图像的偏离程度;另一个是图像可懂度,指被评价图像向人或机器提供信息的能 力。数字视频图像质量评价包括主观评价和客观测试两种类型。主观评价复杂且 结果多变,客观测试有赖于电视系统对人的视觉特性的理解程度。由于目前电视 系统对人的视觉系统的理解比较有限,所以主要使用主观评价标准。 2 5 1 视频图像质量的主观评价 图像质量的主观评价是以人作为图像的观察者,对图像质量的优劣做出主观 评定。显然,主观评价所得到的图像质量与观察者的特性、经验和爱好有关,也 与被评价的图像内容及观察环境、条件有关。测试和观察条件应尽可能与使用条 件相匹配。通常,主观评价分两类。一类是确立系统在最佳条件( 即理想条件) 下 的性能的评价,即所谓的质量评价。另一类是确立因发送和传输两导致的非最佳 条件下保持图像质量能力的评价,即所谓损伤评价。主观评价的观察员一般不应 少于1 5 人,由非专家组成。当需要精确判断时,也可由受过专业训练的专业观察 员进行评价和分析。 主观评价有双刺激法和单刺激法等类型。我国g y t 1 3 4 1 9 9 8 行业标准规定采 用适用于最佳条件下对电视系统的评价的双刺激法。它是在测试图像的基准状态 数字视频格式转换算法研究 ( 即直接来自信号源的图像) 和被测状态( 经被测系统处理输出的图像) 以伪随机方 式先后变动次序的情况下,由观察员对每个图像的总体质量进行评价并记分的方 法。双刺激损伤标度法,适用于非最佳条件下对系统保持质量性能的评价。它是 观察员根据基准图像( 无损伤图像) 对被测图像( 有损伤图像) 做出评价的方法,并 使用血级损伤标度,如表2 2 所示的妨碍尺度和质量尺度。它由观察者根据自己的 经验,对被评价图像做出质量判断。在有些情况下,也可以提供一组标准图像作 为参考,帮助观察者对图像质量做出合适的评价。一般来说,对非专业人员多采 用质量尺度,对专业人员则使用妨碍尺度为宜。由于人的心理和生理等状况的千 差万别,观察者对同一图像的质量评分也有所差异,只有依靠统计理论,进行大 量人次的评价及大量的数据处理,才能得到按一定概率分布的数据。 表2 2 尺度评价项目 分数妨碍尺度质量尺度 5 丝毫看不出图像质量变坏非常好 4 能看出图像质量变化,但并不妨碍观看 好 3 清楚地看出图像质量变坏。对观看稍有妨碍一般 2 可观看有妨碍 差 l 非常严重地妨碍观看 非常差 2 5 2 静止图像质量的客观评价 虽然主观质量的评价有较权威的方式,但是在一些研究场合,希望对图像质 量有一个定量的客观描述。静止图像质量客观评价方法采用绝对误差准则来衡量 恢复图像和原图像的误差,常用均方误差( m s e ) 和峰值信噪比( p s n r ) 来度量。 m s e 计算式如式( 2 2 ) 所示: ( 乃一片) 2 m s e = 二三生三l 一 ( 2 2 ) m n 其中,兀和分别表示原始图像和恢复图像,图像大小为m n 。p s n r 是 种基于m s e 的误差衡量。如式( 2 3 ) 所示: p s n r = 1 0 l o g l o 百2 5 5 x2 5 5 ( 2 3 ) 需要说明的一点是,对数字图像的评价方法仍然是一个有待进一步研究的课 题。在定量的客观评价和主观评价之间并没有取得真正一致性,这时采用的可能 是多种评价方法和测量参数。 第= 章之隔 j 算法的研究 第三章去隔行算法的研究 3 1 引言 现今绝大部分广播系统的视频信号采用隔行采样。采用这种扫描格式,不但 可以大幅度地减少视频带宽,而且不会大幅度地降低图像的主观质量。但是,当 隔行图像在高分辨率的显示器上显示时,就会出现大面积的闪烁和锯齿边缘。随 着人们需求的提高,视频去隔行技术就成为许多视频处理系统中的一个重要组成 部分。虽然隔行扫描方式的引入成功地缓解了视频系统对带宽的要求,但同时它 也给很多视频处理工作,如格式转换、运动估计、压缩编码等,带来了更大的难 度。本章首先描述了隔行扫描中存在的一些问题和去隔行算法的基本原理,然后 分析了多种去隔行算法之间的优缺点,包括线性,非线性,运动自适应和运动补 偿算法等。最后提出了一种基于块的边缘检测去隔行算法。该算法采用运动自适 应原理将图像分为动态区域和静态区域。在静态区域,使用时间线性去隔行算法。 在动态区域,将其进一步划分为边缘区域和非边缘区域,针对不同的区域使用不 同的插值算法。经过适当的内插之后,得到去隔行图像。实验结果表明,对于传 统的去隔行算法而言,论文所提出的算法无论在主观还是客观上性能都有所提高。 3 2 去隔行算法的提出 是否对视频信号进行隔行采样,是现代电视系统和个人计算机处理视频信号 的标志性区别【i l l 。随着计算机技术和i n t e m e t 的飞速发展,采用逐行采样视频信号 的高清晰度电视和基于p c 机的视频技术得到了广泛的应用。但是基于视频传输带 宽与画质的考虑,隔行扫描的电视体制一直沿用至今。由于人眼有一定的视觉特 性,当电视画面的帧扫描频率高于4 8 h z 、每帧的行数高于5 0 0 行时就没有明显的闪 烁现象。现行的隔行扫描制式的建立是为了可以足够快地显示图像以使画面显得 平滑。但是这种扫描方式也存在着固有的缺陷,它不仅使垂直清晰度下降,还会 引起行间闪烁,并行现象和爬行现象等缺陷: ( 1 ) 行间闪烁。即使是静止的图像,相邻前后两场显示的位置也互不交叠。 同一行的亮度信号按照帧频2 5 h z ( p a l ) 3 0 h z ( n t s c ) 重复,这一频率已经低于l 临 界的闪烁频率。以图3 1 ( a ) 为例,人眼在观看图像上亮度变化较大的第4 行和第5 行时,会感到边界处存在着明显的闪烁现象。 ( 2 ) 视在并行现象。当图像中的物体沿垂直方向运动时,如果经过一场时问 数,觎频格式转换算法研究 恰好卜- 移了t i - l l - 离,则后+ 场传送的细节内容和前场相同,看起来好像两行 合成一行。这种现象被称为视在并行现象。 ( 3 ) 行爬行效应。当物体沿水平方向运动时,物体的边缘被隔行分场显示, 如图3 1 ( b ) 所示,相邻行序右错丌的锯齿状信号将随着物体而运动。 f l e l d ii n 入a 1 a 2b ib 2c ic 2 :口厂 口厂1 口 3 n厂厂 4 旦一9 旦
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2027届黑龙江省牡丹江市高三第四次模拟考试高考物理试卷(含答案解析)
- 十五五智能人体感应传感器:赋能智慧农业非接触式监控实践
- 前沿融合:区块链赋能无人机编队表演版权确权与NFT交易
- 中东市场:智能CO2监测器助力石油炼化满足高标合规新需求
- 双碳约束下:智能护肩枕绿色制造如何成为企业ESG新名片
- 中国医药在股市中的发展潜力与风险剖析
- 一点就到家观后感心得
- 2026年儿童主题公园行业报告:多孩家庭游玩需求与市场前景
- 2026年医疗健康行业患者信用评估与反欺诈研究报告
- 2026年钢铁行业市场供需分析报告
- 北京科技大学辅导员招录考试真题与答案2026
- 2026年环保中级工程师模拟试题(含答案)
- 2026-2030年中国出租车行业发展趋势及发展前景研究报告
- 2023年自考03709马克思主义基本原理概论重点笔记
- 2027届高三语文10月名校模拟试题汇编之修改病句题(学生版+教师版)
- 糖尿病的中医护理知识培训汇报
- 2026中国新能源汽车保险产品创新及理赔风险控制与大数据定价模型报告
- 耳鼻喉科临床诊疗指南(2025版)
- 2026年中国电信笔试题库
- 小学四年级英语沪教牛津版上册期末综合复习教案
- (2026年)米格列醇与阿卡波糖比较分析课件
评论
0/150
提交评论