（信号与信息处理专业论文）数字电视后视频处理芯片算法设计.pdf

浙江大学 硕_ l 学 位论文 y 6 8 9 2 8 6 摘要 数字电 视 ( d t v ) , 特别是高 清晰 度数字电 视洲d t v ) , 是电 视接收系 统的 发展潮流。目 前我国的电 视技术处于 从模拟系统向 数字系统的过渡时期， 在消费电子行业， 图像的分辨率 和清晰度的改善使数字高清电 视接收机的新产品层出不穷， 高清等离子电视、 大屏幕液品电 视、 d l p 平板光显背投. c r t 数字高清背投及c r t 数字高清电 视等高 端产品进入土流消费。 基于数字电 视的 业务多样性， 数字视频后处理成为数字电 视产业链中不可或缺的一个重要环 节， 然而 我国 数 字视 频后 处理芯 片的 市场 被国 外公司 ( 如下 r id e n t . p ix e lw o r k s ) * 断， 研制具 有自 主知识产权的视频后处理芯片对于打破国外的技术垄断和振兴我国的民 族产业都具有 极为重要的现实意义。 2 0 0 3 年3 月至2 0 0 4 年1 0 月， 作为数字视频后处理芯片设计项目 的核心设计开发人员， 本人参与了 该芯片的设计工作， 主要负责芯片各种功能的 前端设计和f p g a 验证。 本文以 视频后处理项目 为 依托， 详细讨论了 数字视频后处理芯片的各种重要功能， 例如 视频格式转换、 画 质增强等功能。 论文的 主要贡献在于针对后处理芯片的 核心技术图 像 缩 放 ( s c a lin g ) 和降 噪 ( n o is e - re d u c t io n ) 进 行了 深 入 探 讨， 并 提出 了 新 的 有 效改 进方 法。 本文首先诊释了数字显示器件幅型比、 分辨率等参数意义以 及各种视频信号源格式， 从 而 提出 对视频图 像进 行s c a lin g 的 必要 性。 接 着回 顾了 现有学 术界的 经典图 像缩放技术， 在 结合经典 缩放技术优点 基础上提出 基于边缘的图像缩放改进方案。 论文的后半部分首先分析 了各 种噪声模型 和各类噪声的 产生根源, 然后在回顾各种视频降噪的 方法以 及分析各种算法 优缺点后， 提出一种新型的二维递归降噪模型思想， 提高了降噪图像的信噪比。 论文最后对 今后的 一 作做了 展望: 电 视画面质量始终是电 视商家的竞争焦点， 在完成芯片基本视频格式 转换功能前提 卜 ， 要取得完美的画面质量还要做大量工作， 例如色度降噪、 伪彩色抑制技术， 还有肤色校正、蓝绿扩展等功能都需要设计和改善。 关键词:数字视频后处理， 扫描率转换， 视频降噪， 基于边缘的图 像缩放技术， 三维递归 f i r降噪 模型， 画质改善技术 浙江大学硕上学位论文 ab s t r a c t d ig it a l t e le v is io n , e s p e c ia l ly h ig h - d e f i n it io n t v , is a d e v e lo p i n g d ir e c t i o n i n t e le v is io n r e c e iv e r s y s t e m . t h e t v t e c h n o lo g y i n m y c o u n t ry n o w i s i n a in t e r i m f r o m a n a lo g s y s t e m t o d ig it a l s y s t e m . i n c o n s u m e r i c f ie ld , i n o r d e r t o a c h ie v e t h e h ig h d e f i n it io n m a n y t y p e s o f n e w h ig h q u a lit y d t v r e c e iv e r p r o d u c t s a r e b o o m i n g . n o w p d p , l c d a n d d l p d i s p l a y h a v e o c c u p i e d t h e一 m a r k e t . b a s e d o n t h e d ig it a l t e le v i s io n d iv e r s i尔 d ig it a l v i d e o p o s t - p r o c e s s is a n i m p o r t a n t s t e p o f t h e d ig it a l t e le v is i o n i n d u s t ry c h a in . t h e s e y e a r s t h e d o m e s t ic m a r k e t i s m o n o p o l iz e d b y s o m e f o r e ig n c o m p a n i e s , s u c h a s t r id e n t a n d p ix e lw o r k s , s o i t i s c r u c ia l t o d e s ig n t h e v id e o p o s t - p r o c e s s c h i p w it h o u r o w n p r o p e r ty r i g h t t o d e v e lo p n a t iv e in d u s t ry . f r o m m a r . 2 0 0 3 t o o c t . 2 0 0 3 , i h a d b e e n a n in t e rn i n t h e n a t io n a l c h ip t e c h n o lo g y c o m p a n y . a s a c o r e d e v e l o p e r i n t h e p o s t - p r o c e s s c h i p p r o j e c t , i t o o k p a r t in t h e w h o le d e s ig n p r o c e s s o f t h is c h i p . i w a s i n c h a r g e o f t h e a l g o r it h m d e s i g n i n g s u c h a s f o r m a t t r a n s f o r m a t io n a n d im a g e e n h a n c e m e n t . t h i s d is s e rt a t io n f o c u s e s o n t h e c o r e a lg o r it h m s r e a l iz a t i o n s s u c h a s v id e o f o r m a t t r a n s l a t i o n a n d v i d e o e n h a n c e m e n t o f t h e i c . t h e m a in c o n t r i b u t io n s o f t h i s p a p e r a r e d i s c u s s i n g s o m e c o n s t r u c t iv e id e a s o f t h e s c a li n g a n d n o i s e r e d u c t io n a lg o r it h m s . t h e a u t h o r f i r s t in t r o d u c e s v i d e o s i g n a l s o u r c e f o r m a t s a n d t h e n e c e s s 心o f v id e o s c a la r . a f t e r r e v i e w in g m a n y c la s s ic a l i m a g e in t e r p o la t i o n m e t h o d s t h e p a p e r p r o p o s e s a i m a g e i n t e r p o la t i n g a lg o r it h m b a s e d o n e d g e a n d g e t a h ig h i m a g e q u a l it y . a t t h e d is s e rt a t io n s s e c o n d h a lf , t h e a u t h o r f ir s t i n t r o d u c e s s o m e n o is e m o d u le s , t h e n o v e rvie w s t h e c la s s ic a l n o is e r e d u c t io n m e t h o d s a n d a n a ly z e d t h e i r a d v a n t a g e s a n d d is a d v a n t a g e s . a t la s t , t h e d i s s e r t a t i o n p r o p o s e d a n e w 3 - d r e c u r s iv e n o i s e r e d u c t io n m e t h o d t o i m p r o v e t h e s i g n a l- t o - n o is e r a t io a f t e r n o i s e s u p p r e s s io n . a t l a s t , t h i s d is s e r ta t i o n p o in t s o u t s o m e f u t u r e w o r k . a s w e k n o w n , v id e o q u a l ity a lw a y s is t h e c o m p e t it io n f o c u s , s o w h a t w e n e e d d o is t o a c h ie v e a h ig h q u a lit y i m a g e a s m u c h a s p o s s i b le a ft e r c o m p le t in g t h e v id e o f o r m a t t r a n s la t io n f u n c t io n . a c c o r d in g t h i s , t h i s p a rt i n t r o d u ces t h e s o m e a lg o r it h m s s u c h a s c h r o m a n o is e r e d u c t i o n , c r o s s c o l o r s u p p r e s s i o n , s k in - c o lo r c o r r e c t io n , a n d b lu e / g r e e n im p r o v e m e n t . k e y w o r d s : d ig it a l v i d e o p o s t - p r o c e s s , in t e r p o l a t io n , v i d e o n o is e r e d u c t i o n , i m a g e s c a li n g b a s e d o n e d g e , 3 - d r e c u r s iv e f i r f ilt e r , im a g e e n h a n cem e n t 浙江大学硕十学位论文 第一章 绪论 数字电 视作为未来广播电视系统的发展方向， 一直深受业界和媒体的) 泛关注。 部分发 达国 家的 播电 视从 模拟到 数字的 过 渡己 经全面 展开， 正 在从 部分( 单 机设备 ) 数字化向 全 系 统 t .li 目 制作、 信号 传输、 发 射和 接收 ) 数字 化方向 发展。 我国正 在加紧 制定全国 统 一的 数字 电 视标准方案， 计划到2 0 1 5 年全面实现数字化。目 前处于模拟到数字的 过渡时期， 为满足 消费者对电视图像清晰度等方面的更高要求， 出现多种过渡时期的数字电视， 彩电巨头们连 续推陈出 新，高 清等离子电 视、大屏幕液品电 视、 d l 尸平板光显背投、 c r 丁 数字高清背投 及c r t 数字高 清电视等五大类高端产品 进入主流消费。 基于数字电 视的 业务多 样性数字 视 频后处理成为数字电视产业链中不可或缺的一个重要环节，为此国外电视芯片厂商如 p h ilip s . p ix e lw o r k s . g e n e s is 等纷纷 推出 实 现电 视 视频后处理功能的 芯 片。 传统的模拟广播电 视系统为了降低信号传输带宽， 采用隔行的扫描方式。 随着新型电 视 机屏幕的 增大， 传统电 视系统的固有缺陷如行间闪 烁， 大面积闪 烁以 及爬行现象也变得越来 越明显，降低电视图像质量。 视频后处理芯片可以 使目 前 p a ij n t s c制式的模拟电 视信号 基本达到数字电 视信号格式要求， 如s d t v和h d t v等格式， 提高画面清晰 度。同时， 随 着各种新的 业务不断加入及各类新的终端显示器的出 现， 目 前尚 无定型 产品， 视频后处理芯 片是当前最具有市场开发价值的电视核心芯片之一。 第一节 视频后处理芯片的课题意义 1 . 1 . 1 视频后处理芯片的背景 模拟电 视系统的 数字化研究， 起步于8 0 年代初期。 9 0 年代以 来， 数字电 视技术的匕 速 发展， 从上世纪末到本世纪初， 是广播电视从模拟走向 数字的 过渡阶段， 作为 广播电 视系 统 的 末端和人机交互作用的界面， 数字电 视在1 一 播电 视数字化的浪潮中出 现了 前所未有的发展 机遇。 目 前， 我国的广播电视系统在节目 采集、 制作、 播出、 传输环节已 基本实现了数字化， 只有接收环节的电 视机还停留在模拟阶段，许多国 家和组织都提出了白 己的格式标准。 表 1 - 1 列出了一些重要的视频格式标准。 这种视频格式的多样性同 样还表现在监控、 会议电 视 等应用领域， 由于 通讯带宽、 存储容量、 设备成本等限制， 不同的 应用场合会选用特定的 采 用格式。 如此众多的视频格式既方便了 视频应用在各个专业领域的 快速推广， 同时也造成了 不同 视频格式间 信息交 流、 编辑、 传输、 演 播的 障 碍。 如现 在p a l 制式 地区的 观 众和n t s c 制式地区的 观众之间无法共享电 视节目 。 近年来， 随 着信息技术、 通讯技术、 ) 、 一 播电 视、 多 媒体技术的发展， 多格式视频间的交互需求越来越旺 盛， 为视频采样格式转换提供了 广阔的 市场前景。 浙江人学硕 : 学位论文 当然， 视频格式转换技术不仅仅 用作不同 格式视频间的桥接， 还可用于: ( 1 ) 视觉效果增 强。 如口 前市场流行的1 0 0 h z 电视， 通过场频率倍增去除普通电视的闪烁效应: 1 6 : 9 电视变 换空间采样率增加观众的临场感.( 2 ) 视频压缩。如h . 2 6 3 视频会议系统，采用了帧场抽取 来减少码率， 帧率为7 . s f / s ， 为了 得到高质量的画面， 在解码端需要帧场内 插还原视频流。 ( 3 ) 视频编辑。 如电 影胶片到视频节目 的 转换， 又如在m p e g 一标准中， 由 来自 不同片源的 视 频s p r i t e 拼接成统一、 完毅的场景。( 4 ) 精密监 控。 由于 传感器性能的限制， 得到的 传感图 像可能不足以 满足监控所需的 精度， 需要通过视频格式转换技术对视频进行超分辨率变换。 表1 . 1 儿类重要视频标准的采样格式 标准制定组织 应用领域 采样格式 有效像素 ( 水平x 垂直x 场率) nts c 5 2 5 / 6 0 cci r* 与原n t s c 模拟制式兼容 的数字电视格式 6 4 0 x 4 8 0 x 6 0 1 p al 6 2 5 / 6 0 cci r* 与原n t s c 模拟制式兼容 的数字电 视格式 7 2 0 x 5 7 6 x 5 0 1 hdtv 1 2 8 0s mp te 高清数字电 视格式 7 2 0 x 1 2 8 0 x 6 0 p / 3 0 p / 2 4 p hdt v 1 9 2 0s mp te 高 清数字电 视格式 1 0 8 0 x 1 9 2 0 x 6 0 p i/ 3 0 p / 2 4 p s i fi s o/ i e c m p e o - 1 的 标 准输入 格 式，用于视频存储 2 4 0 x 3 5 2 x 3 0 p ci fi s o/ i e c h .2 6 1 的标准输入格式， 用于会议电 视 2 8 8 x 3 6 0 x 3 0 p q c i f i s o / i e c h .2 6 1 的 标准 输入格式， 用于可视电话 1 4 4x 1 8 0x3 0 p c c i r已于1 9 9 3 年更名为i t u s m p t e : s o c i e t y o f m o t i o n p i c t u r e a n d t e l e v i s i o n e n g i n e e r s 目 前， 我国高清数字电 视产业正以日 新月异的 速度迅猛发展。 但是， 由 于建立全数字电 视台需要高昂的费用、 而用高清格式拍摄的 节目 相对缺乏、 以 及现在家庭拥有大量的 摸拟制 式电 视机等各种因素的影响， 这一切都决定了 从模拟到数字电 视时 代的 转变是一个渐进的过 程。 传统电 视到高 清晰度数字电 视的 过渡过程将会持续很长 一段时间， 此阶段大量视频格式 并存， 需要接收终端提供格式转换功能以 兼容不同视频格式。 其次， 在这个转型时期， 模拟 电 视， 标准清晰度电 视，高 清晰 度电 视将相互并存， s d t v , e d t v , h d t v等多 种数字视频分 辨率相互并存， 为了 覆盖所有的 标准， 电 视产品必然是多功能的， 并能兼容各种清晰度。 另 外在高清晰度电视推广的初期， 高清晰度的节目 源非常有限， 也需要格式转换设备将大星标 清格式的节目 转成高清格式。这都是本文视频后处理芯片所作研究的目的之一。 浙江大学坝j 学位论文 1 1 2 视频后处理芯片广阔市场前景 数字视频后处理芯片可以把众多格式的视频信号通过数字信号处理的方法转换成适合 格式的输山信号，在数字域实现多种业务信号到显像管之间的无缝连接。不论输入的是何种 视频信号，通过该：吝片处理后的视频信号的格式都是统一的，显像管所工作的扫描频率是单 一的，这将大大降低对显像管及周边电路的性能要求，降低设计成本，简化生产测试。 未来c r t ( 阴极射线管) 将逐渐被淘汰，转而采用t f t - l c d 平板显示器。数字电视也 将随着t f t - l c d 的发展朝着小型化、平板化发展。由于t f t - l c d 的显像原理同c r t 显示 器有很大区别，这些点阵方式的显示设备只能接收一定格式的图像数据。在数字视频扁处理 芯片里，可以方便地实现对输入格式进行尺度变换( s c a l a r ) ，使之与显示器显示规格相适应。 数字视频厉处理芯片既可以使t ；j 在普通显像管的数字电视机中，又可以使_ i _ j 在t f t - l c d 的 “轻薄”型数字电视机中。 目前，市场上的电视机主要可以分为3 人类，彩色显像管电视机、等离子电视机雨i 液 晶电视机。伴随这广播电视数字化的进程，液晶电视机和等离子电视机占领了越来越犬的市 场分额，其中液晶电视在技术层次上已经趋向成熟，与显像管电视和等离子l b 视相比，它更 轻、更薄、分辨率高、低耗能、低辐射，有益于_ i = j 户的健康和环保，并且易于数字化，成为 数字电视的首选。据美国显示器调查公司最新公布的全球液晶电视市场的调查结果显示， 2 0 0 2 年全球液晶电视产虽为1 6 3 万台；2 0 0 3 全球产量已增至3 6 3 万台，2 0 0 4 年全球液晶 电视需求量将较2 0 0 3 年呈现倍数增长，达8 3 9 万台，到2 0 0 6 年，液晶电视的年均增率 将达到9 2 ，供货量达到1 6 2 0 万台，2 0 0 7 年再增艮至3 0 8 4 万台。液品电视的年产量及 预测如图1 1 所示。此外，数字电视显示器的尺寸将逐渐增加。近年来随着科技的进步和加 j ：能力的提高，目前已相继推出了3 7 、4 2 、4 6 、5 2 、5 5 英寸等一系列液晶电视新产品，在 四代线以前，由于基板尺寸的限制，液晶电视产品尺寸以2 0 英寸以下为主，2 0 0 2 年仍有9 2 3 的液晶l 乜视尺寸大小介于1 0 英寸至2 1 英寸，随着五代线、六代线和七代线的量产，面板 经济切割尺寸将得到提高。我国是世界上最大的彩电生产国和消费国。未米中国的数字电视 市场发展极其乐观，据预测，未来1 0 年内数字电视产业将给中国相关企业带来1 5 ，0 0 0 亿元 的销售额和1 0 0 0 亿元的利润，数字电视的市场的广阔前景和强劲潜力将国际芯片巨头如t i 、 i n t e l 也卷入这场数字电视的角逐，纵多国际芯片巨头与中国家电企业密切合作。 数字视频后处理芯片迎合数字电视飞速发展的契机，是一个具有市场潜力的产品，是一 个新兴的经济增长点。 浙江大学砸l j 学位论文 图1 1 液晶电视年产量及预测 第二节本文研究内容和章节安排 2 0 0 3 年3 月至2 0 0 4 年1 0 月，作为主要设计开发人员，参与了国家发改委数字电视重 人产业化专项“数字视频厉处理芯片”设计的全过程，主要承担数字视频处理算法的研究和 改进工作。该项目是国内开发设计的首块能够运州于模拟电视、数字电视利高清晰度电视的 视频j 亓处理芯片。该芯片采用深亚微米_ 【艺进行超大规模集成电路芯片设计，实现输入电视 信号的处理。 本论文主要针对数字视频格式的分辨率提升算法以及数字视频降噪的画质改善进行了 比较系统的研究，可以总结为以f 儿个方面，本文的章节安排也参照如下顺序分为四章分别 进行阐述。 夺 本文总结了核心算法的典型实现方案，包括去隔行技术、帧率变换技术、亮色度瞬态 增强、伽马校正等，并指山了面向芯片实现的算法设计中需要注意的问题。 夺总结了各类经典的图像缩放模板，包括一阶多项式、二阶多项式平高阶多项式模板， 并比较了各类插值模板的频率响应特性以及用这些模板缩放的图像效果。通过分析雨1 比较，提山了改进的基于边缘的图像缩放方法，且便丁硬件的实现。 夺 总结了各种数字降噪算法，包括帧内和帧问的滤波方法，而帧内滤波算法义分线性和 非线性滤波方法，帧闻滤波方法分为递归滤波和非递归滤波方法。在分析各种算法的 优缺点基础上，本文提出了基于帧内荆【贞间滤波的三维递归滤波算法，大人改善了降 噪后的画面质量。 提出将来努力的方向，可以在伪彩色抑制、肤色校正、蓝，绿扩展等画质增强算法方面 继续改进。 4 浙江人学硕_ ! : 学位论文 第二章 数字后视频处理芯片概述 第一节 后视频处理系统 视频后处理芯片的系统结构包含输入单元、 存储单元、 运算单元、 显示单元、 时钟单元、 用户编程单元和d i a 变换器， 兼容包括高清晰 度电 视数字电 视、 m p e g - “ 支持的1 8 种信号 格式及模拟电 视的信号输入， 其中 对模拟电 视信号需首先完成 a / d变换。图 像处理部分完 成降 噪( n o is e - r e d u c t io n ) , 帧率变 换(fr a m e r a t e c o n v e n t i o n ) ， 边缘 检* i1 ( e d g e - d e t e c t io n ) , 分 辨率 转换(s c a lin g ) 和 特效处 理数 字化处 理过程。 特性处 理 包括亮 度信号 瞬态增强( l t i) ， 色 度信 号瞬 态 增强 ( c t i) , 伽马校 正， 峰 值勾 边( p e e k in g ) ， 扫描速度调制( s v m ) -数字化画 质增 强处理 技术。 视 频后 处理芯片 还需 要对模拟( c r t ) 显示设 备和数字显示设 备( t f t ) 提 供 支持。图2 . 1 给出了视频后处理芯片的系统框图。 u川弓呈 u的峨以皿 七的咤0盔 丫一0甚 曰访乙0盆 10书乙vn 曰二乙哎口盔 v r v: o v g p: 0 v s 7 : 0 1 1一 囱cacheff sdram cacheif f:l 1_ k k hsvse以 dddd 一一图国 ;于 群篡 a a * t t鬓 mim ft i 俘 粼 丝潇 9 -1-t , * _ 元 aragabsvm z w s e l c2w s e l l s c ls d a 霎豪 :缝 薰蒸襄 鑫 x t a l ix ta l o h 燕燕 熟豪 荞 一国一 il l 娜 迪t 锁相环 歉蒸 滩 排 晶振 电路 卜 如 切里 节 犯 去隔 行ib ;$n 事 戮 毅 瘫 熬 蒸 舞 粼 图像缩放 图2 . 1数字视频处理芯片系统内 部框图 下 面将对数字视频后处理芯片中的核心算法功能原理分别做简要的介绍。 浙江大学硕十学位论文 第二节 视频格式转换技术 本质上说 来， 视频格式变换 是一 种时间一空间 ( t e m p o r a 卜 s p a t ia l) 三维视场的重 采样过 程。 一 个 典 型 的 重 采 样系 统由 信 号 输入、 采 样、 滤 波、 重 采 样 和 输出 这 样五 个 环 节 构 成 lz 7 图2 . 2 显示了一个一维重采样系统的结构。 从信号分析的角度来观察， 如果输入信号为一理 想的 有限带宽信号，当采样率符合奈奎斯特抽样定理， 并且重构滤波器保证是完全线性的， 则输出 端可以理想地恢复输入信号。 然而现实世界的待处理信号往往并非限带的， 同时 理想 的 线性滤波器物理上也不可能实 现， 因此如图2 . 2 所示的重采样处理过程总会引入信息的损 失或畸变。 这种信号失真表现在时域波形上， 使时域波形产生某些形变: 表现在频率域波形 上时， 使信号频谱波形产生形变。 对于一个频率响应系统而言更表现在频谱的变化上。 在实 际系 统中， 信号的 接收部分 ( 如眼、 耳等等 ) 往往具有复杂 的 频谱， 比 如 人眼只对高 增益区 段 的信号敏感的视觉特性。 如果充分利用接收者的这类屏蔽效应， 有选抒地舍弃一些次要信息， 着重处理重要信息，能有效地提高 重采样算法的效率。 图2 . 2重采样系统结构 在现代的重采样系统中， 重采样滤波器通常也在离散域中 直接对数字信号进行操作， 滤 波和重采样同时 完成， 典型的技术包括时域低通数字滤波、 频域填零扩展等等。 对视频采样 格式变换而言，重采 样主要包括如下三种类型: 变扫描率、去隔行和帧率/ 场率变换。 2 . 2 . ，变扫描率 变扫描率 ( s c a n n i n g r a t e c o n v e r s io n ) 即 通常而言的图 像缩放( s c a lin g ) ， 一 般用于 采 用 不同 分辨率的 标 准间 转换或者画中画 ( p i p ) 、 多画 面 模式( m p m ) 、 镜头 伸缩( z o o m in g ) 0; 视 频 特效处理中。 随着屏幕变大， 电 视观众希望分辨率也能随之提高。 但是在将来儿年里广播设 各向 新的日 。 下 v 标 准( a t s c ) 转 变期间， 日 。 下 v设 备都 还必 须能接收显 示日 前的s d t v 标准 下的电 视信号， 所以 迫切 需要优良 的图 像缩 放算法， 使 观众能得 到最 大的 观赏 效果。 基 于芯 片的 帧存储、 处理能力 和系统 性价比 等因 素的 综合考虑， 一 般采用帧内 缩放( in t r a - f r a m e ) 算法。 传统的插值技术都可以成为其候选算法， 但应注意， 评估一般的图 像插值算法是 否适 合视频 缩放算法一定要 考虑到 其处理 场景的 时域 稳定 性3 j6 j ， 如不理想的 算法尽管 在一 帧图 像内 有较好的单帧特性， 但可能由 于前后帧处理的不一致性造成物体轮廓处的 跳动现象。 实现空间缩放的最简单的算法就是直接丢弃像素或复制像素。 这种算法尽管实现简单， 浙江人学硕士学位论文 第二节视频格式转换技术 本质上说来，视频格式变换是一种时间一空间( t e m p o r a l s p a t i a l ) - - + 维视场的重采样过 程。一个典型的重采样系统由信号输入、采样、滤波、重采样和输出这样而个环* 构成【1 j 1 日， 图2 2 显示了一个一维重采样系统的结构。从信号分析的角度米观察，如果输入信号为一理 想的有限带宽信号，当采样率符合奈奎斯特抽样定理，并且重构滤波器保证是完全线性的， 则输出端可以理想地恢复输入信号。然而现实世界的待处理信号往往并非限带的，同时理想 的线性滤波器物理上也不可能实现，因此如图2 2 所示的重采样处理过群总会引入信息的损 失或畸变。这种信号失真表现在时域波形上使时域波形产生某些形变；表现在频率域波形 上时，使信号频谱波形产生形变。对下一个频率响应系统而言更表现在频谱的变化上。在实 际系统中，信号的接收部分( 如眼、耳等等) 往往具有复杂的频谱，比如人眼只对高增益区段 的信号敏感的视觉特性。如果充分利用接收者的这类屏蔽效应，有选择地舍弃一些次要信息， 着重处理重要信息，能有效地提高重采样算法的效率。 剐。匦剐恤心锄衄。“地 图2 2 重采样系统结构 在现代的重采样系统中，重采样滤波器通常也在离散域中直接对数字信号进行揲作。滤 波和重采样同时完成，典型的技术包括时域低通数字滤波、频域填零扩展等等。对视频采样 格式变换而言，重采样主要包括如下三种类型：变扫描率、去隔行和帧率场率变换。 2 2 。1 变扫描率 变扫描率( s c a n n i n gr a t ec o n v e r s i o n ) e j 通常而言的幽像缩放( s c a l i n g ) ，一般川r 采i 不同分辨率的标准间转换或者画中画( p i p ) 、多画面模式( m p m ) 、镜头伸缩( z o o m i n g ) 笛视频 特效处理中。随着屏幕变人，电视观众希望分辨率也能随之提高。但是在将来儿年里广播没 备向新的h d t v 标准( a t s c ) 转交期间，h d 设备都还必须能接收显示目前的s d t v 标准 下的l h 视信号，所以迫切需要优良的图像缩放算法，使观众能得到最大的观赏效果。基于芯 片的帧存储、处理能力和系统性价比等因素的综合考虑，一般采用帧 勺缩放( i n t r a - f r a m e ) 算法。传统的插值技术都可以成为其候选算法，但虑注意，评估一般的图像插值算法是否适 合视频缩放算法一定要考虑到其处理场景的时域稳定性同嗍，如不理想的算法尽管在一帧图 像 勺有较好的单帧特性，但可能由于前后帧处理的不一致性造成物体轮廓处的跳动现象。 实现空间缩放的最简单的算法就是直接丢弃像素或复制像素。这种算法尽管实现简单， 6 浙江火学硕l 学位论文 但容易引起蚓像细节的失真，这点我们可以从幽21 中看出来。图2 3 的左幽采用的是简单 的像素复制或丢弃算法，右图采用了合适的插值滤波器。 图2 3 空间缩放算法比较 就图像的空间缩放所依赖的模型来说，许多传统的图像放大希缩小方法实质上是对源 图像建立了连续的数学模型( 即二元迮续函数) ，然厉按照缩放要求进行重采样，得到目标图 像。学术界最早提出了儿何变换 5 、最近邻域插值法( n e a r e s tn e i g h b o r ) f 6 1 1 n 、双线性内 插法( b i l i n e a ri n t e r p o l a t i o n ) ”、三次内插法等等1 ，为改善缩放后的图像质量， 学术界先后提出了很多改进的方法，例如d u r a n d “等将数字图像格点( g r i dp o i n t ) 上的颜 色值插值成b 一样条，再根据缩放要求重新采样新的格点，构筑成新的数字图像输山；孙庆 杰“等提出了基于b e z i e r 曲面的放大方法；u n s e “等将数字图像格点上的颜色值插值成b 一 样条曲面，由此再从原始和目标两种图像按某种误差最小准则构造新的多项式样条： r a m p o n i “明变距离插值思想重建数字图像的连续模型。所有这些方法都可以看成将离散数 字幽像建成相应的连续数学模型，其优点魁快速生成目的图像，视觉效果较好；缺点是图像 中物体边沿比较模糊，有锯齿。 随着液晶1 4 王视等显示终端的出现，人们对于缩放后的图像质量提出了更高的要求，学术 界提出了一些自适应的算法“”“”。利用边缘的信息来进行缩放是目前的一个方向它 可以减少缩放后图像在物体边缘处的锯齿，提高图像质量。利用边沿来做缩放，主要难点在 于需要准确定位出边沿，在边沿检测出错的时候需要有错误保护的机制。 进行变扫描率的方法将在第三章做更深入的阐述，这里先简述到此。 2 2 2 帧率变换 帧率变换”“( f r a m er a t ec o n v e r s i o n ) 也称为场率变换( f i e l dr a t ec o n v e r s i o n ) 或时域 速率变换( t e m p o r a lr a t ec o n v e r s i o n ) 。帧率变换需要在帧场间重构出新的帧场，进行不 同视频标准扫描率之间的相互转换，目前模拟电视制式采用的帧率为5 0 h z 或6 0 h z ：电影的 帧率为2 4 h z ，计算机显示屏的刷新率通常在5 0 1 2 0 h z 之间，同时随着各种新型l o o h z 逐行 高清电视机的出现，帧率变换也是视频格式变换中至关重要的一环。例如计算机显示器t 作 环境为7 5 h z 逐行，当需要显示5 0 h z 或者6 0 h z 的隔行信号时，需要进行帧率转换，变为7 5 h z 逐行的信号，计算机显示器才能正常显示。 7 浙江人学硕 学位论文 2 2 2 1 帧，场复制或丢弃 晟简单的帧率变换方式是重复或丢失当前场，这种技术易于实现，在早期的变帧场率 应用中被r 泛采。例如6 0 h z 隔行n t s c 制信号转换成5 0 h z 隔行p a l 制信号时，只需用一 个场存储器，每六场丢失一场，就可以完成转变，实现过程如图2 4 所示。 6 0h z n t e r l a c d 州r i t 目 5 0h z i n t e r u 屺e d ( r e a d ) 2 f | e l d 3 45 图2 4 每六场丢弃一场进行6 0 h z 到5 0 h z 的帧率转换 其缺点是对运动物体有非常明显的跳动现象( j i d d e r ) ，如图2 5 是州复制帧的方法在 1 0 0 h z 的显示器上显示5 0 h z 的幽像，观看者会看到物体的重影或是模糊。最糟糕的是，当 进行非整数倍的帧率变换，例如转换率为2 5 倍时，一部分场复制三次，而另一部分复制两 次，观众会觉的有两个物体在并行运动。 图2 5 采用重复进行恢率变换的图像效果 2 2 2 2 线性平均法 线性平均的帧率变换方法按需要得到的i i 喷率从原始帧，场生成新的帧，场，提取相邻两个 浙江大学硕士学位论文 输入帧中呈现或消失物体的信息进行帧率变换。根据待插r 帧时间轴坐标利前后帧之间的距离 等相关性信息进行加权平均。例如5 0 h z 帧率p a l 制视频格式向6 0 h z 的n t s c 制式进行 视频格式的转换原理如图2 6 所示，其中百分数表示帧加权系数。 12 3 45 6 5 2 5 ，5 0 f i e l d s i ，7 菇。一、3 3 j j5 0 宴； 。j | 6 7 、8 3 | 1 0 0 ； 、 。 j ， j 1 0 0 ； 、；8 3 、。；76 7 、5 0 j ，j 勺3 。1 7 i 篙ii ljjif 12 3456 7 2 2 2 3 运动补偿法 高质量的i i i 贞率变换必须建立在基于运动矢量的动态补偿内插基础之上，在运动轨迹上重 构待插帧，场。但是这种方法必须准确找出运动矢量，否则会造成帧问插值错误，引入错误 噪声点，并且实现需要消耗较大的硬件资源，只有在人规模集成电路取得了极大发展的今天 才能得至广泛运用。对于运动场景，采用运动补偿技术可以提高图像冉勺动态分辨率，对于运 动矢量不准确地方的保护是算法设计需要特别注意的地方。图2 7 是没有采_ | 1 j 运动补偿进行 帧率变换和采用了运动补偿帧率变换的效果对比，从图中可看出采用了运动补偿( 右图) 的图 像边缘和细节纹理都比没有采_ l = 运动补偿的清晰，效果也更好。 图2 7 没有运动补偿雨i 采用运动补偿的帧率变换效果比较 9 浙江大学颁 ：学位论文 2 2 2 4 电影模式转换 电影系统拍摄过程中每秒中曝光2 4 次，产生每秒2 4 帧的完整电影画面。而n t s c 制 式的电视系统回放速率是6 0 f p s ，p a l 是5 0 f p s 。如果电影信号直接将帧信号分为奇偶场在电 视上橘放，则存在帧率著异导致电影信号在电视系统中不能正确回放，在p a l 制式中差异 是4 1 7 ，在实际的同放中可以忽略不计。在n t s c 制式系统中，每秒6 帧的差异使误差 达到了2 5 ，这在实际的放映中是不能忍受的。因此在制作电视电影信号时采用了 3 ：2 p u l l d o w n 电视电影技术，原理如下图2 8 所示。 图2 8 电影帧率转换为n t s c 制式帧率原理说明 3 ：2 p u l l d o w n 技术成功解决了播放的时间误差问题，但将使电视电影信号中不是同一电 影帧的两场画面合成一幅电视帧画面，导致画面出现锯齿口。为能提高电视显示图像的主 观效果，实现对电影帧的无损恢复，必须采用电视电影逆向转换检测技术，根据电影帧间的 相关性，检测出电影信号的场序规律，按照这个规律正确的将时间上相同的两场合并成一个 电视帧，从而恢复出电影帧。 2 2 3 去隔行 隔行变换( d e i n t e r l a c i n g ) 是一项特殊的视频信号处理。隔行扫描方式设计的初衷是利 j = l = i 视觉残留特性，在有限的电视传输带宽内提供尽可能高的垂直分辨率，同时消除由低帧率 造成的视频帧图像大面积闪烁。由于隔行处理是直接在帧图像平面的垂直方向上进行行抽 取，井未进行前置滤波，理论上将引入垂直方向的频谱混叠，实际上，电视观众收看电视时， 确实能经常观察到的隔行缺陷诸如行间闪烁、爬行、运动物体垂直轮廓畸变等等。由于历史 1 0 浙江大学硕l 学位论文 原因，隔行扫描视频广泛存在，并且为大量视频终端设备采用。因此，隔行变换是视频采样 格式转换研究的一个重要内容。 为了解决隔行电视低分辨率的种种缺陷，学术界已经提山了许多算法。去隔行技术发展 到今天已经相当成熟，爿：且具有此项功能的面向消费类电子的芯片仍在不断推陈出新，使高 清电视的画面质量取得令观众满意的逐行观赏效果。 传统的去隔行算法有两类：场内( i n t r a f i e l d ) 插值和场问( i n t e r f i e l d ) 插值。场内插值 类似于垂直方向1 ：2 的变扫描率变换，可以选用各种二维图像插值算法。场间插值将涉及多 场信息的有效融合：对静止场景，简单的奇偶场合并就能获得比帧内算法更好的去隔行视频： 而在大运动区域，场问的图像差异非常明显，不恰当的帧间算法会造成垂直方向的锯齿，性 能甚至劣于帧内算法。 图2 9 不同去隔行算法性能比较 目前先进的去隔行算法有基丁边缘信息的自适应去隔行技术和基于运动补偿的白适应 去隔行技术，分别以f a r o u d j a 公司获得e m m y 火奖的边沿检测d c d i 算法( d i r e c t i o n c o r r e l a t i o n a ld e i n t e r l a c i n g ) 技术和p h i l i p 公司的三维递归块匹配搜索3 d r s 算法( 3 一d r e c u f $ i v e s e a r c h b l o c k - m a t c h i n g ) 技术为代表，都成功的研制出了获得良好的逐行斟像质量 的芯片fl | 2 3 x 系列以及s a a 4 9 9 系列芯片。 2 2 3 1 运动补偿去隔行算法 运动估计和i 运动补偿技术可以降低幽像序列在时间方向上的冗余度，常明的运动估计方 法有块匹配法、像素递归法、相位相关法等。块匹配是最常用的运动估计方法，由于它算法 简单、易于硬件实现，因而被许多视频压缩标准采用。最直接的块匹配算法是全搜索算法， 但是它的运算量太大，非常耗时。为了降低块匹配搜索的运算量，许多学者已经提出了快速 算法：三步法，二维对数法，正交搜索，交叉搜索，遗传搜索，分层搜索等等。这些方法都 基于这样的假设：随着搜索位置远离最优选动矢量，匹配误差将单调增加。然而这个假设在 实际中并不是总能得到满足，i 飘比上述快速算法很容易陷入局部晟优而不能获得全局最优。 去隔行和视频压缩对于运动估计的综合考虑是有所不同的，去隔行应用中的运动矢量应 该更符台物体真实运动的方向。为了更高效地找到物体“真实”运动的方向，利浦s a a 4 9 9 1 、 s m 4 9 9 2