（信号与信息处理专业论文）基于dsp的多媒体平台设计及视频滤波的实现.pdf

中文摘要 中文摘要 目前，随着计算机、多媒体和数据通信技术的高速发展，多媒体技术已经 广泛应用到视频监控、电视会议、计算机图像处理和多媒体通信等各个领域。 其中，视频信号的传输和处理在多媒体各项技术中占据重要地位。 出于成本等因素的考虑，传统的视频采集及后继处理模块往往在p c 机上 以软件方式实现，这极大地限制了此类采集设备的应用场合。随着半导体技术 的迅猛发展，d s p 芯片处理能力越来越强。一种以d s p 为核心，并配合可编程 逻辑器件( c p l d 或者f p g a ) 为主要结构的图像采集与处理系统应运而生。 此类采集设备能有效克服传统设备的缺陷，因而得到了越来越广泛的应用。 在视频采集过程中，噪声信号的引入是不可避免的。这会严重地影响采集 视频的视觉质量，并降低了其他后继处理模块的性能，比如噪声信号会降低视 频压缩算法的质量。因而，设计视频的采集设备除了考虑系统硬件架构的设计 外，还需要采取视频降噪算法，以增强采集视频的质量。 本文设计了一个以t i 公司t m s 3 2 0 c 6 7 1 3 为多媒体处理核心的系统，完成 了该多媒体平台的制作和调试。视频的输入和输出部分选择了双s r a m 的乒乓 结构对视频信号进行缓冲，其逻辑控制通过两块c p l d 完成。同时，为了使该 系统能够存储和处理大量的视频信息，作者还为d s p 外接了两块大容量的 s d r a m 和一块f l a s h 。针对视频采集过程引入的噪声，作者为本系统加入了 一种基于时域卡尔曼滤波和空间自适应滤波的数字视频降噪算法，并在 t m s 3 2 0 c 6 7 1 3 平台上实现了相关d s p 软件模块，实现了视频图像采集的降噪 功能。 关键词：t m s 3 2 0 c 6 7 1 3 ，视频采集，降噪 a b s t r a c t a b s t r a c t n o w a d a y s ，m u l t i m e d i at e c h n o l o g y ，w i t hi t sr a p i dd e v e l o p m e n t ，h a sa l r e a d y b e e nw i d e l yu s e di nm a n yf i e l d s ，s u c ha sc l o s e dc i r c u i tt e l e v i s i o n ，t e l e c o n f e r e n c e ， c o m p u t e ri m a g ep r o c e s s i n ga n de t c t h et r a n s m i t t i n ga n dp r o c e s s i n go ft h ev i d e o s i g n a lp l a yav e r yi m p o r t a n tr o l ei nm u l t i m e d i at e c h n o l o g y b e c a u s eo ft h ec o s t ，t h et r a d i t i o n a lp r o c e s s i n gs y s t e m ，w h i c hh a st ob a s eo np c a n ds o f t w a r e ，c a n n o tb ew i d e l yu s e d p r o f i t i n gf r o mt h er a p i dd e v e l o p m e n ta n d e x c e l l e n tp e r f o r m a n c eo fd s p ，an e wv i d e oc a p t u r ea n dp r o c e s s i n gs y s t e me m e r g e s i t c o n s i s t so fak e r n e ld s pa n dl o g i c - c o n t r o le l e m e n t ( c p l do rf p g a 、t h i sk i n do f d e v i c ec a no v e r c o m et h ea b o v es h o r t c o m i n g se f f e c t i v e l ya n di sm u c hm o r ep r e v a l e n t b u tt h ec a p t u r ep r o c e s s e so fd i g i t a lv i d e oi n t r o d u c en o i s e su n a v o i d a b l y n o i s e s w i l ld e g r a d et h ev i s u a lq u a l i t yo fc a p t u r e dv i d e oa n da f f e c te f f i c i e n c yo fo t h e r v i d e o p r o c e s s i n gd e v i c e ，e g t h en o i s e sw i l ld e g r a d et h eq u a l i t yo fv i d e oc o m p r e s s i o n s o ，b e s i d e st h ed e s i g no ft h eh a r d w a r ed e v i c e s ，t h en o i s er e d u c t i o no ft h ed i g i t a lv i d e o i san e c e s s a r yt oi m p r o v et h eq u a l i t yo ft h ep r o c e s s u s i n gt m s 3 2 0 c 6 7 1 3a st h ek e r n e ld s p ，t h ed e s i g no fam u l t i m e d i ap l a ti s c o m p l e t e di nt h i st h e s i s d o u b l e s r a mb u f f e ra r eu s e df o rv i d e oi n p u ta n do u t p u ta n d t h el o g i c c o n t r o le l e m e n t sa r et w oc p l d s i no r d e rt os t o r ea n dp r o c e s sm o r ev i d e o s i g n a l s ，t h ea u t h o ru s e st w os d r a ma n daf l a s hm e m o r y f o rv i d e od e n o i s i n g ，t h i s t h e s i sa c h i e v e da na l g o r i t h mb a s e do nm o t i o n d e t e c t i o n ，i e k a l m a na u t o a d a p t i v e f i l t e r i n ga n dt e m p o r a la u t o a d a p t i v e f i l t e r i n g t h er e l a t e dd s p s o f t w a r em o d u l e s h a v eb e e na c t u a l i z e do nt h et m s 3 2 0 c 6 7 1 3p l a t f o r mt oa c h i e v et h ev i d e os i g n a l d e n o i s i n g k e y w o r d ：t m s 3 2 0 c 6 7 1 3 ，v i d e oc a p t u r e ，d e n o i s e i i 表目录 图目录 图1 - 1 隔行扫描示意图。6 图3 1 时域卡尔曼滤波算法的流程图2 2 图4 1 系统整体结构框图2 7 图4 2 视频输入部分系统框图2 9 图4 31 2 c 总线连接方式图3 1 图4 41 2 c 总线时序图3 2 图4 5d s p 的1 2 c 外设工作程序流程图3 3 图4 - 6 数据输出总线v p o 与像素同步l l c 3 4 图4 7 每帧图像第一场开始时候r t s 0 和r t s l 的时序3 5 图4 8 每帧图像第二场开始时候r t s 0 和r t s l 的时序3 5 图4 - 9 像素时钟l l c 与行同步脉冲h r e f 的关系3 6 图4 1 0 行同步信号与场同步信号关系。3 6 图4 1 1 视频输出模块结构图4 0 图4 1 2 输入一行图像的时序4 2 图4 1 3 输入一场图像的时序。4 3 图4 1 4d s p 的m c b s p 与a i c 2 3 连接方式4 4 图4 1 5m c b s p 外设的典型时序图4 6 图4 1 6a i c 2 3 工作在d s p 模式的时序图4 6 图4 1 7m c b s p 的数据延迟控制4 8 图4 1 8 时钟上升沿和下降沿对数据采样的对比4 8 图4 1 9c 6 7 1 3 的e m i f 4 9 图4 2 0e m i f 与8 b i ts r a m 连接图5 1 图4 2 1 主程序流程图一5 2 图4 2 2 中断程序流程图5 3 图4 2 3 串口结构图5 4 图5 - 1 采集得到的含有噪声的图像5 8 图5 2 用卡尔曼自适应滤波处理后的图像5 8 图5 3 串口测试结果6 0 v i i 图目录 _ 一 图5 4c c s 的图形观察窗口观察采集得到的图像6 1 1 i lillllilllilllillliiliil f 表目录 表目录 表1 1i t u r6 0 1 建议的主要参数【9 1 8 表4 - 1 每行有效像素数据结构图3 4 表4 2s a a 7 1 0 4 h 输入数据格式4 1 表4 3m c b s p 各引脚说明4 5 i x 缩略词表 缩略词表 a l ua r i t h m e t i cl o g i e a lu n i t 算术逻辑单元 a o e a s y n c h r o n o u so u t p u te n a b l e 异步输出允许 a r e a s y n c h r o n o u sr e a de n a b l e 异步读允许 a s r a m a s y n c h r o n o u ss t a t i cr a n d o ma c c e s sm e m o r y 异步静态随机存取存储器 a w e a s y n c h r o n o u sw r i t ee n a b l e 异步写允许 b c s b r i g h t n e s sc o n t r a s ts a t u r a t i o n 亮度对比度饱和度 b e b y t ee n a b l e字节允许 b g ab a l lg r i da r r a y球栅阵列 c e c h i pe n a b l e 芯片允许 c m o s c o m p l e m e n t a r ym e t a l - o x i d e - - s e m i c o n d u c t o r 互补金属氧化物半导体 c p u d c o m p l e xp r o g r a m m a b l el o g i cd e v i c e 复杂可编程逻辑器件 c r tc a t h o d er a yt u b e 阴极射线管 d m ad i r e c tm e m o r ya c c e s s 直接存储器存取 d s p d i g i t a ls i g n a lp r o c e s s o r 数字信号处理器 e d m ae n h a n c e dd i r e c tm e m o r ya c c e s s 增强的直接存储器存取 电可擦除可编程 e 2 p r o m e l e c t r i c a l l ye r a s a b l ep r o g r a m m a b l er o m 只读存储器 e m l fe x t e r n a lm e m o r yi n t e r f a c e 外部存储器接口 f f tf a s tf 0 u r i 日t r a n s f o r m 快速傅立叶变换 f i f of i r s t i nf i r s t - o u t 先进先出 r rf i n i t ei m p u l s er e s p o n s e有限冲击响应 f p g af i e l dp r o g r a m m a b l eg a t ea r r a y 现场可编程门阵列 g p l og e n e r a lp u r p o s ei n p u t o u t p u t 通用输入输出 h p lh o s t p o r ti n t e r f a c e 主机口 i c i n t e g r a t e dc i r c u i t 集成电路 i e e ei n s t i t u t eo fe l e c t r i c a l & e l e c t r o n i ce n g i n e e r s 电气和电子工程师协会 1 2 c i n t e r - i n t e g r a t e dc i r c u i t 集成电路间总线 x 缩略词表 i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n r a d i o i t u r 国际电联无线电通信部 c o m m u n i c a t i o n ss e c t o r j 1 a gj o i n tt e s ta c t i o ng r o u p 联合测试行动小组 l l cl i n e - l o c k e ds y s t e mc l o c ko u t p u t 线路锁定系统时钟输出 m c m o t i o nc o m p e n s a t i o n 运动补偿 m c a s pm u l t i c h a n n e la u d i os e f i a lp o r t s 多通道音频串口一 m c b s pm u l t i c h a n n e lb u f f e r e ds e r i a lp o r t s多通道缓冲串口 m l p sm i l l i o ni n s t r u c f i o a sp e rs e c o n d 百万条指令秒 m m em e a ns q u a r e de r r o r均方差 n t s cn a t i o n a lt e l e v i s i o ns y s t e m sc o m m i t t e e 国家屯视制式委员会 队lp h a s e a i t e m a t i o nl i n e 相位逐行交变 p c i p e r i p h e r a lc o m p o n e n ti n t e r c o n n e c t 外设部件互连 p c mp u l s ec o d em o d u l a t i o n脉冲编码调制 p u p h a s e - l o c k e d l o o p 锁相环 q f po u a df l a t p a c k方形扁平封装 r a mr a n d o ma c c e s sm e m o r y 随机存取存储器 r i s cr e d u c e di n s t r u c t i o ns e tc o m p u t i n g精简指令集 r o mr e a do n l ym e m o r y只读存储器 s b s r a ms y n c h r o n o u sb u r s ts t a t i cr a n d o ma c c e s sm e m o r y同步突发静态存储器 s d r a m s y n c h r o n o u sd y n a m i cr a n d o m a c c e s sm e m o r y 同步动态随机存取存储器 s e c a m s 6 q u e n t i a lc o u l e u ram a m o i r e 顺序传送彩色与存储 s r a ms t a t i cr a n d o ma c c e s sm e m o r y 静态随机存取存储器 v c pv i t e r b ic o p r o c e s s o r维特比协处理器 v g av i d e og r a p h i e sa r r a y 视频图形阵列 v e r y h i g h s p e e di n t e g r a t e dc i r c u i th a r d w a r e 超高速集成电路 v h d l d e s c r i p t i o nl a n g u a g e 硬件描述语言 v u w v e r yl o n gi n s t r u c t i o nw o r d超氏指令字 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：日期：硼石年占月沙日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 导师签名：鹱甚 日期：枷6 年6 月沙日 第一章引言 1 1 课题背景 在当代社会，固定电话以及移动电话的出现，基本满足了人们语音信息传输 的需要，已经成为人们日常生活中不可或缺的重要设施。在电话诞生的一百多年 中，以人们的需求为目标，以科技的发展为动力，电话网络经历了从模拟信号到 数字信号，从普通的话音传送到现在的数据传送的发展过程。 但是，随着当今科技的飞速发展以及人们生活水平的日益提高，现存的电话 网络所能提供的服务已经不再能满足人们的需要。远隔异地的人与人之间的关系 并没有随着空间距离的增加而变得疏远，反而由于通信系统的出现而变得更加紧 密了。当传统意义上的面对面的交流变得难以实施的时候，人们要求通信工具不 但能传递语音及文字等信息，而且能够进一步传递图形、图像等视觉信息。而这 类要求对于传统的电话网络难以实现。于是，一个全新的概念出现了，这就是多 媒体通信。 但是在以前，一些困难阻碍了多媒体通信技术的发展：电话线路最初的设计 目标是传递话音信息，它不能提供足够的带宽来满足传递多媒体信息的需要，也 没有合适的信息处理设备来处理多媒体信息的巨大数据量。但是随着i n t e r n e t 宽带 的出现，给多媒体通信技术提供了有力的支持。在传统方案中，对于视频输入处 理模块，采用分立元件，其电路非常复杂，而且可靠性差，不易调试。现今，许 多著名的半导体生产厂家将这些复杂的视频a d 和d a 转换电路集成在一块芯片 内，生产出视频输入、输出处理芯片，为图像处理提供了极大的方便。 但是由于视频输入设备千差万别，视频输入端的信号质量难以得到保证，因 此，数字视频滤波技术得到了各大公司和研究机构的普遍关注，各种视频滤波方 法层出不穷。不过目前应用于视频监控和电视会议中的计算量小、运动简单和没 有频繁镜头切换的实时视频滤波方法却较少。 本文正是在此背景下，设计了一个多媒体硬件平台，并在此平台上完成了视 频输入信号的前期滤噪处理。该系统的核心器件是数字信号处理器，且i d s p 。利 用d s p ，数字图像处理可以达到很高的质量。 电子科技大学硕士学位论文 1 2d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 在多媒体处理中的优势 d s p ( d i g i t a ls i g n a lp r o c e s s o r ) , - 芯片，即数字信号处理器，是一种应用在实时数 字信号处理中的微处理器，它可以实时快速地实现各种数字信号处理算法。数字 信号处理任务通常需要完成大量的实时计算，如在d s p 中常用的f i r 滤波和f f t 算 法。数字信号处理中的数据操作具有高度重复的特点，特别是乘累加操作y = a b + c 在滤波、卷积矛1 1 f f t 等常见信号处理算法中用得最多。d s p 在很大程度上就 是针对上述运算特点设计的。与通用微处理器相比，d s p 在寻址和计算能力等方 面作了扩充和增强。在相同的时钟频率和芯片集成度下，d s p 完成f f t 算法的速 度比通用微处理器快两到三个数量级【l i ( 如对于1 0 2 4 点的f f t 算法，相同时钟， 集成度相仿的i b mp c a t - 3 8 6 和t m s 3 2 0 c 3 0 ，运算时间分别是o 3 s 和1 5 m s ，速度 相差2 0 0 倍) 。d s p 的特点主要包括快速的运算速度；具有低开销甚至无开销的循 环及跳转的硬件支持；快速的中断处理和硬件i o 支持；具有在单周期内操作的多 个硬件地址产生器；可以执行多个操作；支持流水线操作，使取值、译码和执行 等操作可以重叠执行。 d s p 在多媒体数据处理中的优势1 2 j 主要体现在： ( 1 ) 高性价比。作为一种产品，成本的问题是制约产品是否可市场化的关 键，而目前d s p 的价格越来越低，功能也越来越能满足大众消费的需 要。 ( 2 )极高的运算速度。以美国德州仪器公司的c 6 0 0 0 系列为代表的高性能 d s p 足以胜任绝大多数多媒体技术的要求，为实时性提供了保证。 ( 3 )合理的数据管理。多媒体信息往往拥有大量的数据，在对多媒体数据 进行处理时，要求处理芯片能实时吞吐信息。而d s p 芯片具有数据空 间和存储空间分离，数据运算和数据的存储同时进行，以及快速访问 的片内存储器等特点，是能完成多媒体处理的保证。 ( 4 ) 简单的外围电路和可编程性。d s p 的集成度越来越高，片内集成了和 其他设备通信的多种外设，支持多种数据通信方式，因此硬件设计和 调试的主要工作是对d s p 各类外设进行正确的配置，使其可以进行正 确的通信。此p t d s p 的可编程性适合于系统开发阶段的调试和升级。 本系统选用的处理器是美国德州仪器( t i ) 公司生产的c 6 0 0 0 系列d s p 中的 c 6 7 1 3 3 1 ，下面就对该系列处理器作简要介绍。c 6 0 0 0 系y r j d s p 最主要的特点是在 2 第一章引言 体系结构上采用t v e l o c i t i 甚长指令字v u w 结构【4 】【5 】。 v l i w 体系结构d s p 中，是由一个超长的机器指令字来驱动内部的多个功能单 元的( 这也是v l i w 名字的由来) 。每个指令字包含多个字段( 指令) ，字段之间 相互独立，各自控制一个功能单元，因此可以单周期执行多条指令，实现很高的 指令级并行效率。编译器在对汇编程序进行编译的过程中，决定代码中哪些指令 合成一个甚长机器指令，在一个周期中并行执行。这种指令上的并行安排是静态 的，一旦决定，无论d s p 任何时候运行，它都保持不变。体系结构也可以看作是 一种依赖于编译器的超标量实现方案，而且比一般的超标量结构更易于实现。 c 6 0 0 0 的v l i w 采用了类r i s c 指令集，使用大的统一的寄存器堆，结构规整，具 有易编程性和良好的编译性能，在科学应用领域可以发挥良好的作用。t i 公司配 合c 6 0 0 0 推出了世界上第一个效率可达7 0 - - 8 0 的优化c 语言编程器，它产生的 代码的平均效率是以往c 编译器的三倍。 c 6 0 0 0 系列现在已经推出了c 6 2 x c 6 7 x c 6 4 x 等3 个子系列。其中c 6 2 x 和 c 6 4 x 系列为定点d s p ，c 6 7 x 系列为浮点d s p 。 下面先简单介绍一下c 6 0 0 0 内部结构的主要特点： 1 定点浮点系列兼容d s p ，目前c p u 主频1 0 0 m h z , - 一1 0 0 0 m h z 以上。 2 具有v e l o c i t i 先进v l i w 结构内核。 8 个独立的功能单元，其中包括6 个a l u ( 3 2 4 0 比特) 和2 个乘法 器( 1 6x1 6 ) ，浮点系列支持i e e e 标准单精度和双精度浮点运算。 可以每周期执行8 条3 2 b i t 指令，最大峰值速度4 8 0 0 m i p s ( 6 0 0 m h z 主频时) 。 专用存取结构，3 2 6 4 个3 2 b i t 通用寄存器。 指令打包技术，减小代码容量。 3 具有类似r i s c 的指令集。 3 2 b i t 寻址范围，支持b y t e 寻址。 支持4 0 b i ta l u 运算。 支持位操作。 1 0 0 条件指令。 4 片内集成大容量s r a m ，最大达8 m b i t 。 5 1 6 3 2 6 4 b i t 高性能外部存储器接口f e m i f ) 提供了与s d r a m 、s b s r a m 和s r a m 等同步异步存储器的直接接口。 6 内置高效率协处理器( c 6 4 x ) 。 3 电子科技大学硕士学位论文 v i t e r b i 编解码协处理器( v c p ) ，支持5 0 0 路7 9 5 k b sa m r 。 t u r b o 码编解码协处理器( t c p ) ，支持6 路2 m b s3 g p p 。 7 片内提供多种集成外设( 不同芯片的资源不同) 多通道d m a e d m a 控制器 多通道缓冲串口( m c b s p ) 多通道音频串口( m c a s p ) 可以访问d s p 的整个存储空间的主机1 2 1 ( h p i ) 3 2 b i t 扩展总线( x b u s ) 3 2 b i t 3 3 m h zp c i 主从模式接口 3 2 b i t 通用计数器( t i m e r ) u t o p i a 接口 通用输入输出( g p i o ) 1 2 c 总线主从模式接口 支持多种复位加载模式( b o o t ) ，提供3 种节电模式控镰j l j ( p o w e rd o w n ) 8 内置灵活的p l l 锁相时钟电路。 9 支持i e e e 1 1 4 9 1 ( j t a g ) 边界扫描接1 2 1 。 1 0 内核采用1 0 1 2 1 5 1 8 v 供电，周边i o 采用3 3 v 供电。 1 1 0 1 2 um 0 1 8umc m o s 工艺，5 6 层金属处理。 1 2 b g a 球栅阵列封装。 t m s 3 2 0 c 6 7 1 3 是t i 公司研制的t m s 3 2 0 c 6 7 x 芯片系列中的一款，由于 t m s 3 2 0 c 6 7 x 设计中采用v l i w 结构体系，这使得该芯片系列非常适合于那些 多通道处理和多功能应用场合。 1 3 视频基础知识 所谓视频，就是指能够连续运动、随着时间而变化的图像，是一种可视化 的信息。 所有视频信息都是供人的眼睛观看的，而人眼能够接收的视频信息是模拟 的，这也是自然界中视频信息存在的方式。现实生活中，绝大部分的视频信息 是以模拟的形式出现和存储的，比如我们看到的电视图像以及胶片上存储的电 影都是模拟的形式。 但是模拟电视信号与任何模拟信号一样，有诸多不尽如人意的地方。而模 4 第一章引言 拟视频信号还存在其特有的缺陷。随着大规模集成电路、大容量半导体存储器 以及计算机技术的发展，数字信号比模拟信号具有强得多的抗干扰以及抗非线 性失真的能力，即使经过了长距离的传输和反复记录，仍然可以几乎无失真的 还原出原来的图像。数字视频信号可以整帧的存储在半导体存储器中，能够在 包括空间轴和时间轴的三维空间进行运算，进行各种复杂的处理，使数字技术 越来越多的被应用在了模拟视频信号处理上。因本设计的重点是视频模块，因 此本章着重介绍模拟视频信号与数字视频信号的基本知识以及两种形式的关 系。 1 4 模拟视频信号 1 4 1p a l 制式介绍 黑白电视信号以每帧扫描行数，每秒扫描场数，信号的带宽以及隔行还是 逐行扫描等基本技术和参数确定其制式。而对于彩色电视信号来说，除了以上 特性外，在发送端和接收端还必须采取某种信号处理方式，从而构成具有不同 特点的各种彩色电视制式。自发明彩色电视以来，世界各国曾相继研制出很多 种彩色电视制式。其中有一些由于性能不好被淘汰了，目前仍在普遍使用的主 要是p a l 、n t s c 以及s e c a m 三种。我国使用的时p a l 制式。 为了克服n t s c 制的相位敏感性，1 9 6 2 年在德国研制成功了p a l 制式。 p a l 是p h a s e a l t e r n a t i o nl i n e ( 相位逐行交变) 的缩写。按照色度信号的特点， p a l 制式又称为逐行倒相正交平衡调幅制。其场频率为5 0 h z ，每场信号3 1 2 5 行( 每帧6 2 5 行) ，信号带宽8 m h z 。目前，就世界范围来讲，采用p a l 制式 的国家数目最多，例如德国，荷兰，英国等欧洲国家，中国，印度，泰国等亚 洲国家【6 1 。 1 4 2 模拟电视的扫描方式 根据人眼有一定的视觉惰性和分辨能力，假若在亮度闪烁感觉和保证有足 够清晰度的情况下，每场扫描频率须在4 8 h z 以上扫描行数须要在5 0 0 以上。 根据这些指标计算出的电视图像信号的频带是很宽的，会使设备过于复杂。若 为减小图像信号频带而将场频率降低则会引起图像的闪烁，使人的眼睛感到不 舒服，会产生疲劳感；如果减少行数，又会引起图像质量的下降。于是人们提 5 电子科技大学硕士学位论文 出了隔行扫描方式，使上述矛盾得到较妥善的解决。 隔行扫描方式就是将每一帧电视图像( 也可称一幅图像) 分为两场( 每场 半幅图像) 进行扫描。第一场图像扫描第1 ，3 ，5 ，7 ，9 等奇数行，扫描奇数 行的这一场称为奇场；第二场图像扫描第2 ，4 ，6 ，8 ，1 0 等偶数行，扫描偶数 行的这一场称为偶场( 如图1 - 1 所示) 。即一帧图像分为奇场和偶场进行扫描， 图1 - 1 隔行扫描不慈图 所有像素全部完成扫描。假如每秒传送2 5 帧图像，那么每秒扫描5 0 场，即场 频为5 0 h z 。在电视系统中，要使传送的图像清晰，并且有活动、连续而且没有 闪烁感，传送的频率必须大于人眼的临界闪烁频率，一般情况下取大于等于 4 8 h z ( 与图像亮度和对比度等因素有关系) 。正如放映电影那样，每秒放映2 4 张胶片，但是每张连续曝光两次，结果相当于每秒闪烁了4 8 次，恰好可以满足 人眼的临界闪烁频率，从而消除了观看电影的闪烁感。 与隔行扫描相对应，逐行扫描是指对每一帧图像从第一行到最后一行连续 进行扫描的扫描方式。对于逐行扫描来说，扫描一场图像就是扫描完整的一帧 图像。目前广泛使用的1 5 英寸以上的计算机显示器都可以进行1 0 2 8 x 7 6 8 分辨 率的逐行扫描。 1 4 3 模拟彩色视频信号传送方式 色彩的三基色原理告诉我们，使用线性无关的三种基色光( 其中任何一种 6 第一章引言 基色光不能通过另外两种混合而得到) 可以混合得到各种不同的颜色。满足这 种条件的基色光的组合有很多种。然而根据人眼的彩色视觉实验，用红、绿、 蓝这三种颜色的光最适合，用它们混合相加可以得出的颜色种类最多，包括的 颜色范围最广，最丰富。因此，彩色电视技术就是选用了红、绿、蓝这三种颜 色来混合以显示各种颜色。 但是就彩色广播电视来说，并不是直接传送这三个基色信号，因为如果为 了保证图像清晰度，每一基色信号带宽应与单独传送黑白图像的带宽相同，这 样总带宽将3 倍于黑白电视的信号带宽，显然这种方式不经济也不合理。同时， 为了满足与黑白电视兼容，彩色电视系统需要传送一个只反映亮度信息的信号。 彩色电视系统的亮度信号y 由以下公式给出： y = 0 3 0 r + 0 5 9 g + 0 1 l b ( 1 - 1 ) 同时传送两路反映颜色的色差信号： c ，= ( r y ) = 0 7 0 r o 5 9 g 一0 1 l b( 1 - 2 ) c b = ( b y ) = 一0 3 0 r o 5 9 g + 0 1 1 b( 1 - 3 ) 我们把分三路分别传输w c r c b 或者分三路传输r g b 的视频信号称为分量 视频信号；而将这三种信号通过某种方式组合在一起的信号叫做复合视频信号。 此外s v i d e o 视频信号是将亮度信号和色差信号分开传输，一路传输亮度信号， 另一路传输色差信号。 1 5 数字视频信号 数字视频信号是由模拟视频信号经过采样和量化后得到的，它相比模拟信 号有更多的优点【7 j 【8 】： 数字视频信号具有更强的抗干扰能力 数字视频信号更便于与计算机等数字设备连接 数字视频信号可以实现更多的信号处理功能 根据编码方式，数字视频信号可以分为：全信号编码和分量编码，这里我 们简单介绍分量编码以及后文将用到的i t u rb t 6 0 1 标准。 分量编码，顾名思义就是对视频信号的一个亮度信号和两个色差信号分别 进行编码，分量编码的图像质量高。但是世界上存在有p a l 、n t s c 等多种模 拟电视信号的制式，如果数字视频信号是在这些制式模拟信号的基础上经过取 样、量化和编码得到的，就一定会形成多种不同制式的数字视频信号。为了在 7 电子科技大学硕士学位论文 国际间可以方便的进行数字视频信号的互通，i t u r ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n su n i o n r a d i oc o m m u n i c a t i o n ss e c t o r ： 际电联无线电通信部) 通过了6 0 1 号建议，也就是i t u r6 0 1 标准。该标准规定，y r y b y 三个 分量的抽样频率为1 3 5 6 7 5 6 7 5m h z 。由于两个色差信号的抽样频率都等于 亮度信号的2 4 ，因此这个标准也简称4 ：2 ：2 标准。 表1 1l t u r6 0 1 建议的主要参数( 9 j 参量 n t s c 制( 5 2 5 行，6 0 场)p a l 制( 6 2 5 行，5 0 场) 编码信号 y 瓜一y b y 全行取样点 y8 5 88 6 4 数 r y b y4 2 94 3 2 取样频率 y1 3 5 ( m h z ) r y b y6 7 5 编码方式亮度信号和色差信号都采用8 比特p c m 编码 每行有效取 y7 2 0 样点数 r y 倡一y3 6 0 i t u r6 0 1 标准规定，每个数字有效行分别有7 2 0 个亮度取样点和3 6 0 2 个色差信号取样点。对每个分量的取样点都是均匀量化，对每个取样点进行8 比特的p c m 编码。 其中，有效取样点数是指在对模拟视频进行数字化的时候，只有在图像信 号出现时刻的取样有效，而在如扫描逆程( 从每行结尾电子束回扫到下一行开 始的地方或者从每一场结尾的最后一行回扫到下一场开始时的第一行的过程) 时刻不进行p c m 编码，只是用一些简单的特定的脉冲序列表示每行和每场的 开始与结束位置。 8 第二章视频滤波的意义和原理 第二章视频滤波的意义和原理 数字视频的采集是各种视频应用系统的主要处理过程。这个过程不可避免 地会引入各种噪声，噪声的来源主要包括：摄像机的成像过程，成像系统的电 路以及输入的信道情况等等。各种噪声的存在会严重地影响视频的视觉质量和 后继的其他处理过程，例如，噪声明显增加了图像序列的熵，因而极大地降低 了压缩编码的效率。为了不影响系统的视频质量，需要对视频应用系统处理过 程中产生的噪声予以有效的降低和去除。这种需求实际上就是对视频应用中降 噪( n o i s er e d u c t i o n ) 的要求。为了满足人们的这种需求，视频滤波技术就应运 而生，并逐渐发展起来了。 2 1 视频滤波的意义 视频滤波技术就是一种有效去除视频图像中噪声信号的多媒体信息处理技 术。简而言之，视频滤波研究的目的在于结合数字视频图像的特点和现有信号 处理技术，设计并实现数字滤波方法，以尽可能地抑制含噪视频图像中的噪声 分量。 对视频图像噪声的去除必须要依据噪声的不同类型来处理。目前，视频采 集得到的图像噪声主要包括随机性的白噪声信号和有规律的干扰信号两大类。 对于有规律的干扰信号则必须根据干扰信号的特性进行处理，典型的如，行间 干扰比较严重的视频信号处理一般要求采用梳状滤波器( c o m bf i l t e r ) 。另_ _ 类 普遍存在的噪声则属于随机性的白噪声，该类噪声的滤除不仅能大幅改善图像 质量，并能提高后继处理步骤的效率，如压缩编码等。此类处理的难度和复杂 度也更大，也具有更重要的意义。一 目前，视频应用的产业界对视频滤波技术的关注程度和研究力度空前高涨， 把“智能降噪( i n t e l l i g e n tn o i s er e d u c t i o n ) ”、“自适应降噪( a d a p t i v en o i s e r e d u c t i o n ) 视为突出自己产品性能的重要亮点。 数字视频滤波技术作为重要的图像前处理的环节，已经在数字多媒体信息 处理领域中得到广泛应用。该环节的有效性，将直接影响获取图像质量的好坏。 而数字视频滤波是否有效关键取决于视频滤波方法的选择和设计，这些都赋予 9 电子科技大学硕士学位论文 数字视频滤波方法研究以相当的意义。 2 2 视频滤波的原理 上面简要介绍了视频滤波技术及其研究的目的和意义，本节将进一步介绍 视频滤波的基本原理。在此基础上，依据不同的分类标准，对视频滤波方法作 一般性分类，并详细介绍基于空时域处理( 3 d ) 的滤波方法和基于时域处理 f 1 d ) 的滤波方法这两大类方法【1 0 】【1 1 】，并将各种滤波方法作简单的比较和分析。 最后简要介绍卡尔曼滤波方法的基本原理。 一般地，大部分视频滤波的方法都是基于加性白噪声( a d d i t i v ew h i t en o i s e ) 模型1 1 】。这是最常见的视频降质模型，在视频滤波研究中得到了广泛的应用。 当厂a ，_ ，k ) 表示七帧中o ，j ) 位置处的原始视频信号，g ( f ，_ ，k ) 表示七帧中g ，) 位 置处的实际观测像素值时，该模型如式( 2 1 ) 所示。 g ( i ，j ，七) = f ( i ，j ，尼) + v g ，_ ，尼) ( 2 - 1 ) 据此式可知，实际观测到的含噪视频信号g ( i ，j ，k ) 是由原始视频信号 f ( i ，_ ，k ) 叠加上噪声信号v g ，_ ，k ) 得到的，其中噪声信号y ( f ，_ ，k ) 为白噪声。 视频滤波的目的就是采用各种滤波器获取尽可能接近f ( i ，尼) 的估计视频 信号，( f ，尼) ，也即， f ( i ，_ ，七) f ( i ，_ ，尼)( 2 - 2 ) 在确定滤波器w (