（控制理论与控制工程专业论文）数字电视机顶盒视频后处理算法分析.pdf

颁 一学位论文 摘要 随着科学技术的不断发展，数字视频已经开始走出实验室和专业领域，进入 了寻常百姓的视野中，数字电视就是这一发展的体现。做为数字电视的中问产 品一一数字电视接收机呈现出了巨大的市场。 本文对数字电视机顶盒视频处理过程中的相关技术，主要对视频后处理过程 中所采用的各种插值方法进行了分析。介绍了基于s t i 5 5 1 8 芯片的数字机顶盒方 案，对该方案中所采用的视频后处理方法进行了介绍。阐述了数字视频和模拟视 频原理，以及影响图像清晰度的各种因素。然后针对现行机顶盒视频后处理现状， 分析了视频后处理所采用的方法，包括采样率转换、去隔行、帧率提升等。 本文主要就去隔行算法进行了详细地分析和说明，并对运动补偿去隔行算法 提出了新的思路。针对已经提出的线性去隔行和运动自适应去隔行算法存在的缺 陷，着重在保护运动图像细节和噪声的滤除方面进行考虑，并兼顾硬件开销和运 算时间，提出了在运动补偿去隔行过程中的前期运动检测单元加入自适应中值滤 波保护图像细节和滤除噪声，使检测出的静止和运动像更加准确，同时采用双向 块匹配运动估计，得到更加精确的运动矢量。整个算法大大减少了运算量，提高 了算法的鲁棒性。通过软件仿真验证了该种算法在理论上对图像细节具有保护作 用并且对图像清晰度有较大提高。 阐述了对于视频处理过程中误码的解决方法，着重对于视频后处理过程的误 码检测和掩盖方法进行了说明，这些方法也是现行解码j 甚片普遍使用的误码解决 方案。并对s t i 5 5 1 8 芯片在视频处理过程中的错误检测和掩盖方法进行了分析和 说明。 最后针对现行的机顶盒方案，如何将图像质量进一步提高，及本文算法的硬 件实现提出了展望。 关键字：数字电视；视频后处理：去隔行；块匹配运动估计；运动补偿；自适 应中值滤波 1 l ：一! ：鍪i i 兰丝! 竺塞些竺皇竺呈塞i ! i 鎏：一：一 a b s t r a c t w i t ht h ed e v e l o p m e n to ft e c h n o l o g y ，d i g i t a lv i d e ob e g i na c c e s sc o m m o n p e o p l e sv i e wf r o ml a ba n ds o m es p e c i a lf i e l d s d v bi st h es y m b o lo ft h i s d e v e l o p m e n t a st h ed v b t r a n s i t i o n a lp r o d u c t s t bh a v ev e r yl a r g em a r k e t t h i s p a p e ra n a l y z e t h et e c h n o l o g yo fv i d e op r o c e s s i n gi n s t b ，a n dt h e e m p h a s i si sp u t t e do nt h ei n t e r l a c e da l g o r i t h mo fv i d e op o s t p r o c e s s i n g i nt h i s a r t i c l e ，t h es t bs c h e m eb a s e do ns t i 5 518c h i pa n dt h ev i d e op o s t p r o c e s s i n g m e t h o d sb ei n t r o d u c e d a n dt h e n ，e x p a t i a t et h ed i g i t a lv i d e oa n da n a l o gv i d e o e l e m e n t sa n ds e v e r a lf a c t o r st h a tc a na f f e c tt h ev i d e od e f i n i t i o n a i m i n ga tt h ep r e s e n t c o n d i t i o no fs t bv i d e op o s t p r o c e s s i n g ，a n a l y z et h ev i d e op o s t p r o c e s s i n ga l g o r i t h m s w h i c hi n c l u d es a m p l i n gc o n v e r s i o n ，d e i n t e r l a c ea n df r a m er a t eu p c o n v e r s i o n t h i s a r t i c l em a i n l ya n a l y z ed e i n t e r l a c e a l g o r i t h m ，f o rm o t i o n c o m p e n s a t e dd e i n t e r l a c e a l g o r i t h mg i v ean e wm e t h o d t h i sm e t h o da i m e da ta v o i d i n gt h el i m i t a t i o no fl i n e r d e i n t e r l a c ea n dm o t i o na d a p t a t i o nd e i n t e r l a c ea l g o r i t h m ，a n dp u te m p h a s e so ni m a g e d e t a i lp r o t e c t i o na n dn o i s ee l i m i n a t i o n ，a tt h es a m et i m ec o n s i d e rt h ec o s to fh a r d w a r ea n d o p e r a t i o ns p e n d i n g t h ef i r s ts t e po f t h i sm e t h o di si nt h em o t i o n d e t e c t i o n u n i t ，w ea d da na d a p t a t i o nm e d i a nf i l t e ri no r d e rt op r o t e c ti m a g ed e t a i l sa n d e l i m i n a t en o i s e ，s ot h em o t i o n - d e t e c t i o nr e s u l tm o r ep r e c i s e t h es e c o n ds t e pi st h a t a d o p t i n gb i d i r e c t i o n a lb l o c km a t c h i n gm o t i o n e s t i m a t i o n ，t h i sw a yc a ng e tm o r e e x a c tm o t i o n v e c t o r ，a tt h es a m et i m ec a nr e d u c et h eo p e r a t i o ns p e n d i n ga n di m p r o v e r o b u s t t h el a s ts t e pi sd e i n t e r l a c i n g t h er e s u l to fs o f t w a r ee m u l a t i o np r o v et h a tt h i s m e t h o dc a np r o t e c ti m a g ed e t a i l sa n di m p r o v ev i d e od e f i n i t i o ni nt h e o r y t h ef i f t h c h a p t e re x p a t i a t et h er e s o l v em e t h o do ff a l s ec o d ed u r i n gt h ev i d e op r o c e s s i n g t h e e m p h a s i si sp u to nt h ef a l s ec o d er e s o l v em e t h o di nv i d e op o s t p r o c e s s i n g t h e s e m e t h o d sa r ea d o p t e di nm a n yv i d e op r o c e s s i n gc h i p si n c l u d es t i 5 518 a tt h ee n do ft h i sa r t i c l e ，g i v ea ne x p e c t a t i o no fv i d e op o s t p r o c e s s i n gi ns t b ， a n df o rt h er e a l i z a t i o no fm ym e t h o dg i v ea p l a n k e y w o r d s ：d v b ；v i d e op o s t p r o c e s s i n g ；d e - i n t e r l a c e ：b l o c km a t c h i n g m o t i o n - - e s t i m a t i o n ；m o t i o n - - c o m p e n s a t e d ；a d a p t a t i o nm e d i a nf i l t e r 1 1 i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名：卑屠蹈同期：砌绊厂月。日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密d 。 ( 请在以上相应方框内打“”) 作者签名：鳞路踊日期：湖g 年f 月，。日 导师签名： 张帆日期：，2 两( 年；月，。b 硕士学位论文 1 1 课题背景 第l 章绪论 随着科技的发展，数字电视已经发展成了一个产业，是目前各个国家争夺激烈 的一个技术铋高点，反应了一个国家l t 产业的综合实力。我国已经在2 0 0 3 年启动 了数字电视产业化工作，并确定在2 0 1 5 年全面完成由模拟电视到数字电视的过 渡。 数字电视是继模拟电视之后的第三代电视。数字电视的信号不再是模拟信号， 而是采用以数字形式进行传播、处理、存储的数字信号。由于数字电视信号的存 储和处理电路便于大规模和超大规模集成，因而设备比模拟电路设备元件少，便于 调整，其重量轻、体积小、功耗少、寿命长且可靠性高，容易与计算机及其他数字 化设备接口连接，适合于公用数据遥信网，便于实现生产、运行的自动化和视听信 息处理的综合化、网络化。虽然数字高清晰度电视在不断地发展，但是模拟电视 也不会马上消失，在这个转型时期，模拟电视、标准高清晰度电视、高清晰度将相 互并存。机顶盒( 主要是把高清晰度的节目下变换成模拟电视节目，或者把数字 电视信号转换成计算机监视器的输入信号) 的市场前景非常乐观。由于最终与显 示设备分离，所以机顶盒的输出信号格式必须是多种多样的，能适应不同的显示 设备。 在数字电视接收机既我们所说的机顶盒中主要包括这样几个功能模块“1 ：前 端接收模块，解码模块，视频后处理模块及音频处理模块；前端接收模块主要完 成将模拟信号下变换成数字信号，然后通过鳃码模块将编码的数字信号解码成为 视频信号：视频后处理模块通过数字信号处理方法把众多格式的视频信号转换成 为某种统一格式的输出信号，从而在数字域实现多种信号到电视显示器之间的无 缝连接，大大降低对显示器件及其扫描等周边电路的性能要求，降低数字电视机 的设计成本。同时视频后处理模块的数字视频处理功能可以方便的实现精确的伽 玛校正、抗锯齿、运动补偿、轮廓增强等图像处理算法，实现消除闪烁，提升图 像质量和视觉效果。 1 2 我国在视频后处理方面发展的现状 对于h d t v 的图像格式显示和处理芯片，国外的相关产品开发时间较寸，分 别针对高、低端两种市场。高端市场产品主要针对高清磁度电视的格式转换以及 一些专业的应用，采用的算法比较复杂，如运动估计和运动补偿等，实现的成本 数字电视机顶盒视频后处理算法分析 相对较高。低端产品主要针对模拟电视数字化增强，标准清晰度电视去隔行处理、 帧率变换以及标准清晰度电视上变换或下变换等。而在国内该领域的起步较晚， 目前主要的电子产品还是采用国外厂家的处理芯片，但我们有相当的成果：西安 交大研制的“数字视频扫描格式转换与处理专用集成电路”，实现了具有场帧检测 功能的运动自适应帧率提升算法，进行隔行到逐行运动补偿帧率提升，可应用于 网络数字视频、数字化电视和高清晰数字电视视频显示后处理，是我国第一块具 有完全自主知识产权的数字视频处理芯片。成都威斯达芯片有限责任公司生产的 “炎黄一号”w s c l l l 5 视频扫描格式转换芯片”1 ，采用逐行扫描能从现行的模拟 p a l 、n t s c 彩色电视信号中最大限度的去除噪声并提取清晰的图像信号。杭州 国芯科技有限公司研制的数字视频后处理芯片( g x 2 0 0 1 系列) ”1 采用了多帧算法 和边缘技术实现对数字视频信号的去隔行和帧率变换。上海交通大学的图像格式 转换芯片也在上海研制成功，并通过了专家的鉴定。除了这些研发机构，各大电 视生产厂家及机顶盒生产厂家也都投入了大量的资金来进行数字视频后处理芯片 的研发，希望能够使国内自己研制的芯片达到国际领先水平。 1 3 本文内容结构 本人在研究生阶段进行了数字电视机顶盒的研究，在这个课题的研究过程中 我主要对视频后处理部分进行研究。在本文中主要分析对于数字电视接收机的视 频后处理部分所采用的一些基本算法，并对现在使用较多的国内外视频解码芯片 所采用的算法进行分析，并且比较这些算法各自的优缺点并提出自己对格式转换 算法的一些改进方案。 本文内容安排：( 1 ) 介绍课题的背景；( 2 ) 课题所研究的数字机顶盒方案； ( 3 ) 视频处理理论基础；( 4 ) 视频后处理部分算法分析；( 5 ) 错误检测和掩盖； ( 6 ) 总结。 硕士学位论文 第2 章s t i 5 5 1 8 数字机顶盒方案 数字电视机顶盒的主要功能就是将接收下来的数字电视信号转换为模拟电视 信号，使用户不用更换模拟电视机就能收看数字电视节目，图像质量接近d v d 水平。根据传输媒体的不同，数字电视机顶盒又分为卫星数字电视机项盒 ( d v b s ) 、地面数字电视机顶盒( d v b t ) 和有线数字电视机顶盒( d v b c ) 3 种，目前应用较为广泛的是卫星数字电视机顶盒与有线数字电视机顶盒d i 。这 两种机顶盒的主要区别在于信道解调，前者采用q p s k 解调，后者采用q a m 解 调。其信源解复用与解码均采用相同的单片式解复用与解码器芯片。 目前数字机顶盒所采用的几种主要芯片主要包括l s i 公司芯片s c 2 0 0 0 、 s c 2 0 0 5 、s c 2 0 0 5 b ；s t 公司芯片：s t i 5 5 1 2 、s t i 5 5 1 4 、s t i 5 5 1 6 、s t i 5 5 1 7 、s t i 5 5 1 8 、 s t i 5 5 1 9 、s t i 5 5 2 8 、s t i 5 5 8 0 、s t i 5 5 8 8 、s t i 5 5 7 8 、s t i 4 6 2 9 以及p h i l i p s ： m b 9 7 l 2 2 5 0 。l s il o g i c 公司推出的单片源解码器，适用于广播、卫星和有线前端 机顶盒方案，支持多功能和广播设备的需求。m b 8 7 l 2 2 5 0 是f u j i t s u 公司的一种 单片m p e g 2 解码器。可应用于各种机顶盒。我们选用s t 公司的s t i 5 5 1 8 芯片。 s t i 5 5 1 8 是s t 公司推出的一种功能更为强大，价格更低的单片解复用和解码器芯 片，是该公司s t i 5 5 0 0 的升级产品。s t i 5 5 1 8 保留了s t i 5 5 0 0 的所有功能，并添 加了对杜比数码和m p 3 音频解码的支持，是目前数字电视机顶盒的理想元件。 2 1 芯片介绍 s t i 5 5 1 8 芯片f l j 的特征是：内置速度达8 1 m h z 的3 2 位c p u ；内置2 k 字节i 存储器、2 k 字节d 存储器和4 k 字节d 存储器( s d r a m ) ；片内的音频解码器支 持m p e g 2 多声道解码，3 x2 声道p c m 输出，i e c 6 0 9 5 8 一i e c 6 1 9 3 7 数字输出， d t s ( d i g i t a lt h e a t r es y s t e m ) 数字输出和m p 3 解码；片内的视频解码器支持 m p e g 2m p m l ；高性能在屏显示功能：每像素2 到8 位o s d 可选，具有抗 闪烁、抗摆动的滤波器；内置p a l n t s c s e c a m 编码器，支持r g b 、c v b s 、 y c 和y i n 输出；分配s d r a m 存储器接口：可支持l 或2 x 1 6 m 位、或i x6 4 m 位，1 2 5 m h z s d r a m ，对s d r a m 、r o m 和外围器件可编程；前端接口有串行、 并行和a t a p i 接口，硬件扇区滤波器，集成的c s s 解扰和跟踪缓冲器：片内的 传输流解复用器支持并行串行输入，d e s 和d v b 解扰，3 2 个p i d ；具有2 个 u a r t 、2 个s m a r t 卡、1 2 c 控制器、3 个p w m ( 脉冲宽度调制) 输出、3 个捕捉 定时器：支持m o d e m ；具有4 4 位可编程i o 口；具有i r 发射器接收器。 下面分别介绍该芯片的相关单元： 数字电视机顶盒视频后处理算法分析 1 ) c p u ：s t i 5 5 1 8 芯片内的c p u 是1 个s t 2 0 c 2 + 3 2 位处理器核心，它包含指 令处理逻辑、指令和数据指针、1 个操作数寄存器，它能直接访问可存储数据或 程序的高速在片s d r a m ，与片外的程序、数据存储器相比，使用缓存将大大缩 短访问时间。c p u 还能通过通用外部存储器接口( e m i ) 或共享m p e g 编码器的本 机存储器接口( l m i ) 来访问存储器。 2 ) 中断系统：中断系统允许在片模块或外部中断源中断现行处理，以便运行 中断处理程序。中断信号主要有以下几种：外部中断脚上的信号；来自内部电路 或子系统的信号；软件主持悬挂寄存器内的中断。中断由在片中断控制器和在片 中断级控制器实现，中断级控制器把3 1 个进入的中断源复用送进八个中断控制 器。该中断控制器支持八级优先权中断并管理悬挂中断，它还支持中断嵌套。在 这八级中断中，第7 级的优先权最高，第0 级的优先权最低。八级中断的每级都 能用i n c 触发方式寄存器编程为中断触发方式。 3 ) 链路接口：链路接口接收来自d v b 或d s s 的传输流输入，从传输码流中 提取用于解码和播放的基本码流包( p e s ) ，并存入由解码器控制单元使用的缓冲器 中。链路连接前端接口到m p e g 解码器和s t 2 0 ，主要由下述单元组成：获取 r a m ( a r ) + n r s s ( 可恢复安全系统) 接口；解扰器( d e s c r ) ；高速数字音视频 ( s i n - v ) p 1 3 9 4 接口；滤波器r a m ；包括传输处理器、条处理器在内的处理单 元；适应场滤波器；时钟发生器和d m a 引擎。 4 ) m p e g 视频解码器：该解码器是个支持m p e g 1 和m p e g 一2 标准的视频 压缩处理器，显示图像的格式转换由垂直和水平滤波器完成，用户定义的位图可 通过使用在屏显示功能叠加在显示图像上。m p e g 视频解码器包括内容随图像改 变的寄存器、可变长度解码器( v l d ) 、视频解码流水线控制器、p e s 分析器、位 缓冲器和启动码检测器等部分。 5 ) 子图像解码器：硬件予图像解码器集成在s t i 5 5 l8 中，包含子图像单元的 子图像位缓冲器集成在外部s d r a m 存储器中，且尺寸是可编程的，其位置和尺 寸可用2 k 字节的倍数设置。子图像位缓冲器在上电复位时设置，在工作期问， 其尺寸和位置是连续的。子图像解码器还能作为硬件指针单元。子图像的优先权 由可编程寄存器最先提出，因此它位于所有其他显示板前面。可使用存储在外部 s d r a m 中的压缩位图( 运行长度编码) 来定义指针。位图可以是包括整屏在内的 任何尺寸，每个指针可以定义像素混合因子来提供反别名背景。 6 ) 显示平而：显示单元是m p e g 视频解码器的一部分，以图解顺序叠加了叫 个显示平面。包括带背景色和前端的子图( 用作光标平面) 。子图像甲面呵在o s d 和m p e g 视频半而之问交替放置，可用作第二个在屏显示平面。 4 7 ) 音频解码器：内置的音频解码器用来解码音频p e s 码流，输出p c m 立体 声音频数据。解码器支持m p e g 和d o l b y 数字两种方式，包括兼容于下混合的 d o l b y 环绕和正逻辑解码器。在解码器中，采样滤波器支持9 6 k h z 、4 8 k h z 、4 4 1 k h z 和3 2 k h z 的采样和半采样频率。输出6 个声道的p c m 音频数据，还能输出外部 数模转换器所需的时钟信号。 8 ) 前端接口：前端接口使用同步串行规程，在外部前端和存储器之间传送和 接收d a c 和a d c 采样信号。在存储器缓冲器和前端接口模块之间，用d m a 方 式传送采样数据。f i f o 用来确定存储器的存取等待时间。该接口允许为改进存储 器带宽效率使用突发脉冲，支持v 2 2 b i s ( 调制协议2 4 0 0 b p s ) 标准。 9 ) 存储器子系统：存储器子系统包括芯片内置的在片存储器和外部存储器接 口。 1 0 ) 视频编码器：把标准的4 ：2 ：2 数字视频流转换成标准的模拟基带 p a l s e c a m n t s c 信号，以及r g b 和y c b c r 模拟分量。可用6 个输出脚输出 6 种不同的视频信号。 11 ) s m a r t 卡接口：该芯片有两个s m a r t 卡接口，支持兼容于i s 0 7 8 1 6 - - 3 的 s m a r t 卡。每个接口都带有u a r t ( a s c ) ，提供给可编程的时钟发生器和八位并行 i o 口。 采用这种芯片的有线数字电视机顶盒有深圳同洲的c d v b c 5 3 5 0 、2 3 0 0 t ， c d v b 5 1 8 8 a b 卫星数字电视接收机，四川九州d v s 一2 0 1 8 e h c 卫星数字电视接 收机，四川长虹d v b s 3 6 0 0 m v 卫星数字电视接收机，d v b c 2 0 0 0 b 有线数字电 视机顶盒，金泰克k t d 5 5 1 8 、8 8 5 5 g 卫星数字电视接收机等。 2 2s t i 5 5l8 数字机顶盒整体方案 2 2 1 系统功麓框图 外接t s 流输入o d v b s 或d v b c 前 端模块 d v b c i 控制器 p c m c i a 插槽 s t i 5 5 l8 a v 解码模块 外围接厂| 模块 r s - 2 3 2 ，s m a r t c a r d ，前而板，d l 数字 图2 1系统功能图 a v 输“ 模块视频 滤波放大 音频d a ，放大 t v 数字电视机顶盒视频后处理算法分析 2 2 2 视频处理过程 该方案机顶盒可以解码数字电视图像也可以解码d v d 和s v c d 等视频信息， 并且提供了m o d e m 实现上网功能。对于外接数字电视信号输入，由于低频信号 不适合远距离传输，因此信号发送前必须经过调制，转换为高频信号后才发送出 去，因此数字机顶盒必须首先通过高频头对高频信号进行下变换，然后通过前端 模块对下变换的信号进行q a m 解调和信道解码。信号经过q a m 解调和信道解 码之后，将以m p e g 一2 传输流的形式送出，由下一级模块进行解复用。 在s t i 5 5 1 8 芯片的前端集成了解复用模块。该模块先将数字数据进行分组， 然后将视频数据分组，音频数据分组和辅助数据分组复用到单一的数据流中。数 据进行解复用之后形成音频p e s 分组数据和视频p e s 分组数据，并将音频和视频 p e s 分组数据直接送给m p e g 2 解码器进行解码。 解复用模块送出的数据是压缩的视频p e s 数据和音频p e s 数据，必须由 m p e g 2 解码器对p e s 数据进行解压缩。对送出的p e s 数据进行解码后，它输出 两组信号，一组为送给数字视频解码器的数字视频信号，一组为送给音频d a c 的p c m 格式的数字音频信号。 解码完成之后进行视频编码和音频d a c “。视频编码器的功能是将已解码 的数字信号转换为模拟电视信号，并将它转换为混合视频信号或s 端子信号，这 些信号再通过s t i 5 5 l8 外围的低通滤波和放大便可送到电视机进行播放。音频 d a c 将己解码的数字p c m 数据转换成立体声模拟信号。 同时音频d a c 产生采样时钟，作为参考时钟提供给m p e g 2 解码器，以产生 精准的音频系统时钟。 整个视频流处理过程如图2 2 。 2 2 3 解复用过程 解复用的原理：m p e g 一2 标准”1 分成系统层、视频压缩层和音频压缩层。系 统层主要用来描述音、视频的数据复用和音、视频的同步方式。在系统层定义了 t s ( 传输流) 和p s ( 节目流) 两种形式的码流。 p s 通常用于相对无错的环境，例如d v d 中，其长度为2 0 4 8 字节；t s 通常 用于相对有错的环境，例如数字电视的地面广播传输中，分组长度规定为1 8 8 字 节。t s 流和p s 流都是p a 编码后的基本数据流( e s ) 根据一定的格式打包形成p e s 包，再加入一些系统信息而构成的，码流形成过程如图2 3 所示。 根据m p e g 一2 协议，在发送端，基本流的p e s 打包由音视频编码器完成， 复用器接收编码端的音、视频数据流以及辅助数据流，按照定的复用方法将其 交织成为单一的t s 流。为了实现音、视频同步，在码流中还必须加入各种时间 的标志和系统的控制信息。接收端和发送端正好相反。 图2 2视频数据流 r i g t “厂蒜磊；鬲r 琰瞧瞬懈 d l ，# ，h i 口盯 一l 传输复 i 信道编 粼凳陌蕊h 鹳包形腑皇 用器 码 。r 同步及控制信息 信息 一 t - - , , 赢l 橛躺器芦l 一一j 传输解泡陌雠 复用器 + 一码 p e s 包 播放音频解码器 图2 3m p e g 一2 码流形成示意图 数字电视机顶盒视频后处理算法分析 2 2 4 解码过程 当需要显示一幅新的图像时便开始解码一个新的图像。当解码开始后，寄存 器中存储的图像会一帧一帧自动的更新。位流从位缓冲器读入到可变长解码器 ( v l d ) ，在这个可变长解码器中图像被重建。任何需要的预测器可以从外部存 储器的核实位置获得，并且重建后的图像又被重新写入为已经解码的图像分配的 外部存储区域。当图像被解码时，开始码解码器定位下一图像头。c p u 通过这个 定位组织d o u b l e b a n k e d 寄存器以便解码下一图像。通过开始码采样数和垂直同步 信号使这些过程同步”1 。 在s t i 5 5 l8 的解码模块中包含开始码检测器，它的处理过程与解码器流水线 并行。位缓冲器中的数据被读出两次，一次送到开始码检测器中的f i f o ，另一次 送到解码流水线。当开始码检测器开始工作时，数据从位缓冲器中不断的读出送 到f i f o 中进行分析。当开始码检测器找到了一个符合要求的起始码，则会产生 一个中断，同时开始码检测器停止工作。这时，可以通过读寄存器来判断当前找 到的开始码是属于哪个部分的。并从相应的寄存器中取出所需要的头部信息。将 所取出的相关信息放入解码寄存器，去控制解码流水线的正常解码工作。开始码 检测器会检测除了0 x 0 0 0 0 0 1 0 l 到0 x 0 0 0 0 0 l a f 之外的所有起始码。开始码检测 器的启动模式有两种：一种是由d s y n c 信号触发，另一种是可以通过软件编程 实现。当f i f o 中没有数据时，是不允许对寄存器进行读取的。系统分配两个中 断用于表示f i f o 的状态：空和满。 视频解码流水线的任务就是将压缩数据转化为重构图像，解码流水线受流水 线控制器的控制，在每一个v s y n c ( 垂直同步，由视频时序产生器产生) 信号 到来时，流水线开始将解复用后的码流转换成为帧场图像，同时发出d s y n c 信 号，去触发开始码检测器。流水线从b i t b u f f e r 中读出数据以便开始解码。压 缩数据首先经过v l d 解码，获得d c t 系数的r u n l e v e l 以及宏块的运动矢量。 r u n l e v e l 经过扫描和反d c t 变换，恢复成帧差信号，再根据v l d 解出的运动矢 量最终得到重构图像。这一系列的动作都是在s t 2 0 给解码流水线发出命令的基 础上完成的。流水线是以一幅图像为单位进行解码( 称为t a s k ) 。在流水线开始一 个新的t a s k 之前，必须设罱解码器命令，指令是双缓存的，也就说流水线在执行 当前的t a s k 时，下一个解码命令就会被缓存。当视频流水线控制器接收到命令之 后，会解释它，并根据命令去操纵解码流水线的工作。当解码完成之后，产生一 个中断，表明解码流水线目前空闲。在下一个v s y n c 来临时，将缓存着的指令 读入并解释，并开始一个新的t a s k ，同时缓存下。个解码指令。 2 2 5 视频后处理过程 从解码模块输出的视频信号y c 7 一y c 0 ，为4 ：2 ：0 格式，其序列为 c b y c r c b 。为了调整解码帧的次序为正确的显示次序，先将其存储于片外存 储器( 显示次序b b i b b p b b p ，传输次序i b b p b b p b b ) ，在本机顶盒系 统中采用了1 6 m 缓存的方案。 当有显示要求时，从缓存取出数据送到格式转换模块，在该模块中首先将亮 度和色度分量分别进行基于光栅的扫描，使视频信号转换为4 ：2 ：2 的格式，同 时在这个单元执行水平和垂直方向的缩放以及采样率的转变以调整图象的输出大 小。如图2 4 所示，s t i 5 5 1 8 芯片的显示子系统包含四个显示层：背景颜色层、 m p e g 视频层、o s d 层、子图层。 显示子系统从s d r a m 的不同缓冲区( 这些缓冲区就是显示层) 中读取象素 数据进行处理，覆盖和混合，产生一个融合的图象显示在电视上。因此我们对图 象的后处理实际上是对整个四层图象的一个后处理。这四层通过混合单元的算法 混合后输出。 混合单元支持两种输出。一个4 ：2 ：2 的输出作为d e n c 输入产生c v b s 和 y c 输出，主要用于v c r ；一个4 ：4 ：4 输出，作为d e n c 输入，产生t v 显示的 y u v 和r g b 信号，还可通过下采样转换为4 ：2 ：2 的数字信号输出。 器 图2 4视频后处理模块图 2 2 6 视频编码过程 该部分将已解码的数字视频信号转换为模拟视频信号，并经过低通滤波送剑 模拟电视显示。d e n c 可输出6 路模拟信号：亮度和色差信号( y ，c b ，c r ) ；彩 色三基色信号( r ，g ，b ) ；复合视频信号c v i d e o 和亮色分离信号s - v i d e o ( y c ) 。 以c c i r 6 0 1 6 5 6 格式的并行数宁分量视频通过像素数据接口送剑d e n c ， 诤 数字电视机顶盒视频后处理算法分析 个分量数字视频为1 0 b 精度。1 0 位并行输入视频数据在解复用器中分解出3 路分 量信号，送到视频解码器，转换成模拟分量信号( y ，c b ，c r ) 或模拟基本彩色信 号( r ，g ，b ) 。色度分量通过数字同步副载波调制，工作频率为2 7 m h z ，正好是 c c i r 6 0 1 6 5 6 采样速率的两倍。而输入的y ，c r , c b 的4 ：2 ：2 视频将通过内插转 换成4 ：4 ：4 的格式，便于进行色彩编码，如图2 5 所示。 8 位并 数 y y r l 一 据编 r y u v 数据 解 c r 码 c r ，r 输 复 c b 器 c b ，r 出 用 接 口 d a 同步信号 发生器 图2 5d e n c 输出信号 同步信号的产生有两种方式：c c i r6 5 6 方式和主同步方式。c c i r6 5 6 模式 下，d e n c 从输入的数据流中提取s a v ( s t a r to f a c t i v e v i d e o ：有效视频起点) 和 e a v ( e n do f a c t i v e v i d e o ：有效视频终点) ，作为行同步时基。在主同步模式下， d e n c 利用系统8 1 m h z 的时钟，向视频解码器提供1 3 5 m h z 的c c i r6 5 6 系统 时钟。 2 - 3 本章小结 本章主要介绍了我们所研究的数字机项盒方案，并且对视频流在该方案数 字机顶盒的处理过程进行了介绍。包括视频流的形成，解复用，解码和编码过 程。对于解码后的图象信息，我们如何进行相应的处理，使最后输出的图像能 够更清晰，更准确就成为了我们后面要研究的问题。 硕士学位论文 第3 章视频原理 3 1 隔行扫描和逐行扫描 为了解决电视视频图象的清晰度问题，我们首先要搞清楚现行的电视扫描方 式以及视频图象原理。电视系统有两种扫描方式”。：一种是逐行扫捕，另一种 是隔行扫描。逐行扫描的一幅画面( 称为一帧) 只需遍扫描即可完成，电脑监 视器及数字电视( d t v ) 所采用的就是这种扫描方式，如图3 1 ( a ) 所示。隔行 扫描则是将一帧画面分解成为两个“场”，其中第一场只包含奇数行，第二场只包 台偶数行。每幅画面需扫描两遍才能完成：先扫描a 场，然后扫描b 场。虽然这 两个场在屏幕上不是同时出现的，但由于人眼的视留效应和显象管荧光剂的余辉， 会使两个场的扫描线看起来象是被交织在一起，变成了一幅完整的画而，如罔3 1 ( b ) 所示。当前的普通j h 播电视全部都是采用隔行扫描方式。 a ) 逐行扫描b ) 隔行扫描 图3 1逐行光栅和隔行光栅扫描格式 隔行扫描的缺点：传统的隔行扫描方式无法解决二种问题，场频接近人眼对 闪烁的敏感频率，在观看大面积浅色背景圆面时会感剑明显的闪烁；隔行扫描的 轮回导致明显的扫揣线闻闪烁，在观看文字信息时昂为明冠；隔行扫描的奇偶轮 回导致画面呈现明显的、排列整齐的行结构线，且屏幕尺寸越大，行结构线越明 显，影响四面细节的体现和总体的回面效果。 逐行扫描的优点：逐行扫描独有非线性信号处理技术将普通隔行扫捕电视信 号转换成4 8 0 行格式，帧频由普通模拟电视的每秒2 5 帧提高到6 0 至7 5 帧，实现 了精确的运动检测和运动补偿，从而克服了传统扫描方式的三大缺陷。比如在5 0 分之秒的时间内，隔行扫描方式先扫描奇数行，在紧跟着的5 0 分之秒扫描偶 分之秒的时间内，隔行扫描方式先扫描奇数行，在紧跟着的5 0 分之秒扫描偶 一i l 数字电视机顶盒视频后处理算法分析 数行，然而逐行扫描则是在5 0 分之一秒内扫描完整幅图象。所以采用逐行扫描得 到的画面清晰无闪烁，动态失真较小。 视频信号有几个重要的参数：垂直清晰度( v e r t i c a lr e s o l u t i o n ) 和帧场频 ( f r a m e f i e l dr a t e ) 。垂直清晰度和每帧的扫描行数有关，行数越多，垂直清晰度 越高；帧场频是帧场间隔的倒数，帧率越高，图像的显示越稳定。根据心理视 觉理论，如果显示的刷新频率大于5 0 次秒，人眼就不会感觉到光闪烁变化。因 此电视系统通常会在条件允许的情况下采用一个比较高的帧率。 3 2 模拟视频和数字视频信号 3 2 1 数字视频信号和模拟视频信号特点 数字视频信号可以通过对模拟视频信号进行采样并量化得到，也可以直接用 数字摄像机得到。 模拟视频信号：绝大多数视频的纪录、存储和传输仍然是模拟方式。设连续 的时变图像为f ( x ，y ，t ) ，模拟视频信号就是通过对f ( x ，y ，t ) 在时间坐标t 和垂直分量 y 上采集得到的。 模拟视频信号由于它自身的特点，仅提供有限的交互能力并日它需要复杂的 处理算法。而随着数字图像处理技术和硬件水平的发展，数字视频信号可以提供 很好的交互性，各种简单的处理算法和较强的抵御信道噪声和易于加密的能力。 3 2 2 视频信号的采样结构 为了获得视频信号的表示方法，连续时变图像需要用空间和时问两种变量来 对其进行采样，模拟视频信号的时空采样过程只是在垂直方向y 和时间方向t 上 进行了二维采样，而在水平方向x 上仍然是连续的。图3 2 是逐行模拟视频信号 的正交采样结构，图3 3 是隔行模拟视频信号的六角采样结构。 数字视频可以在沿着扫描线的水平方向上对模拟视频采样来获取；也可以运 用一个固有的三维采样结构来采集时变信号( 如在某些固态传感器的场合中) 。数 字视频采样结构有很多种，其中最常用的两种分别对应着模拟视频信号的两种采 样结构。它们是在上面两种采样结构的基础上加上x 方向的采样，如图3 4 所示， 其中( a ) 为逐行信号，( b ) 为隔行信号。 3 2 3 数字视频信号的频谱 一般来讲，连续时变图像f ( x ，y ，t ) 的三维频谱可以假设是带限的，如图3 5 所 示。f ( x ，y ，t ) 函数的傅立叶变换为：f ( x ，y ，t ) f ( a ，) 2i 。i 。j - s ( ，y ，t ) e x p 一j ( f ，x + ) y + f , t ) d x d y d t ( 3 1 ) 根据抽样定理，由r ( x ，y ，t ) 在x ，y ，t 三个方向上进行抽样得到的数字视频信号， 圈3 2逐行模拟视频信号的采样结构 图3 3隔行模拟视频信号的采样结构 吵 一一 一 _ x a ) 逐行信号 b 1 隔行信号 图3 4数字视频信号的采样结构 1 3 ，。l y 数字电视机顶盒视频后处理算法分析 其频谱为在三维频率空问分别以三个采样频率为间隔地无限重复f ( i x ，l ，z ) 。图 3 6 为逐行数字视频信号的三维频谱特性图。 图3 5连续时变信号的3 维频谱 图3 6数字视频信号的3 维频谱 为了分析的方便，常用视频信号是二维频谱特性而不是三维频谱特性。二维 频谱特性就是视频信号在一个频率平面内( 例如，f ，f 平面) 的频谱特性，可以 看作是三维频谱特性在该频谱平面内的投影。 隔行数字视频信号和逐行数字视频信号若按图3 4 的采样结构，则两信号在 x 方向的采样机构是相同的，他们采样结构的区别在于y ，t 平面上。作为例子， 下面分析一下连续视频信号在 ，平面上的二维频谱特性。因为连续视频信号是 带限的，可以假定频谱在f j ，：平面内必处于某一圆内。这样，对模拟视频信号在 y ，t 方向上的采样使得频谱在兀，z 平面上无限重复形成数字视频信号的二维频谱 特性。图3 7 就是逐行数字视频信号和隔行数字视频信号的二维频谱特性图。由 图可知，数字视频信号的频谱特性与他们的采样结构无关。 在p a l 制电视系统中，以亮度信号为例，其取样后的信号呵用图像亮度函数 f ( y ，t ) 与一冲激序列相乘来表示： 隔行扫描： 。i yj f t 1y 一 - f y f y a ) 连续信j 二维频谱 l + 。i i t d - d i l i 一 1 ，1 一，1，1， ， i 谱 图3 7数字视频信号的= 维频谱 _ 挑。= 圭，堑患，丽2 n ) 如一面2 m 产嘉) + 焦筹，等一裂产2 n 万+ 1 ) 】 ( 3 2 ) 逐行扫描： ( 蹦) - 主薹 ，( 去，蠹顾，一去，f _ 寺】 ( 3 s ) 对应的频率表达式： 隔行扫描： e ( 乃，z ) = 丁6 2 5 x 了5 0 妻一f m ，z 一詈丹) + ( - 1 ) ”】 ( 3 4 ) 逐行扫描：, f f ( f y 6 2 5 1 1 e ( l ，) = 6 2 5 5 0 f