（信号与信息处理专业论文）基于并行处理dsp的视频io模块的设计与实现.pdf

南京邮i 乜学院坝| ：研究生学位论文基于并行处理d s p 的视频i o 模块的设计与实现 摘要 多媒体数据量大。压缩算法复杂对处理器的处理能力要求较高。c r a d l e 公 司的多处理器芯片c t 3 4 0 0 应运而生。它在高效的数字处理性能、全面的可编程 能力及数据传输之间达到了很好的平衡。一个完整的视频系统包括输入、编码、 传输、解码、输出显示等多个环节。其巾输入视频必须实时的送入缓存，送给编 码器编码，解码后的数据必须能够实时、高质量的输出显示，才能给用户实际、 直观的感觉。 本文在简要介绍了c r a d l e 公司的多处理器芯片c t 3 4 0 0 的结构、功能的基础 上，设计了适合基于c t 3 4 0 0 的视频编解码系统的l j o 模块：包括视频输入输出 设备及其接口的配置、f o 子系统和视频编解码器之间的启动连接、视频数据流 的前后处理的软件实现。同时对视频前后处理的效果进行7 n 试。测试结果表明， 视频的前后处理不仅能够提高系统输出的图像质量，也降低了编码器输出的码率 的大小。随后，对系统芯片软件代码进行了调试、优化，并对其过程中遇到的问 题及调试结果进行了分析。整个系统的实测结果基本达到设计要求。 最后，文章给出了该i o 模块需要进一步完善和改进的方向。 关键词：多处理器，c t 3 4 0 0 ，通用处理单元，内存传输引擎，数字信号处理g 擎，前处理，后处理 南京邮l 乜学院坝| _ 卅究生学位论文 基于并行处理d s p 的讹频i 0 模块的世计与实现 a b s t r a c t t h eh u g ed a t ao f m u l t i m e d i aa n d t h ec o m p l e x i t y o f c o m p r e s s i o na l g o r i t h ma r e d r i v i n g d e m a n d sf o r t h e h i g h p e r f o r m a n c ep r o c e s s o r s t h e c r a d l ec t 3 4 0 0 m u l t i p r o c e s s o ri sd e s i g n e dt om e e tt h e s ed e m a n d sw h i c hp r o v i d eb a l a n c ea m o n g n u m e r i c a lp r o c e s s i o n ，g e n e r a lp r o g r a m m a b i l i t y , a n dd a t at h r o u g h p u t a ni n t e g r a t e d v i d e os y s t e mc o n s i s t so fv i d e oi n p u t ，e n c o d i n g ，t r a n s m i t t i n g ，d e c o d i n g ，v i d e oo u t p u t a n de t c t h ei n p u tv i d e om u s tb es e n tt ot h eb u f f e ra n db ee n c o d e d a tt h es a m et i m e ， t h ed e c o d e dv i d e om u s tb ed i s p l a y e dw e l l a f t e rab r i e fi n t r o d u c t i o no nt h es t r u c t u r ea n df u n c t i o n so ft h ec t 3 4 0 0 ，a m u l t i p r o c e s s o rd s po fc r a d l ec o m p a n y , t h et h e s i sd e s c r i b e st h ed e s i g no ft h ei n p u t a n do u t p u tm o d u l ef o rav i d e oc o d e c ，i n c l u d i n gt h ed e s i g na n dc o n f i g u r a t i o nf o rt h e v i d e o - i nd e v i c e ，v i d e o o u td e v i c ea n dt h e i ri n t e r f a c e sa n dt h es t a r t u p ，c o n n e c t i o na n d c o n t r o lb e t w e e ni o s u b s y s t e ma n de n c o d e r d e c o d e r , a s w e l la st h es o f t w a r e i m p l e m e n t a t i o no ft h ep r e - p r o c e s s i n ga n dp o s t - p r o c e s s i n gf o rv i d e od a t a t h e nt h e s o f t w a r es i m u l a t i o no f t h ep r e p r o c e s s i n ga n dp o s t p r o c e s s i n ga r ep r o v i d e d ，f o l l o w e d b yo n b o a r di m p l e m e n t a t i o na n dt e s t s f u r t h e r m o r e ，t h i st h e s i sa n a l y z e st h ep r o b l e m s o c c u r r e di nt h es o f t w a r ed e b u g g i n g t h ee x p e c t e dp e r f o r m a n c ei sa c h i e v e da c c o r d i n g t ot h et e s tr e s u l t s a tl a s t ，t h i st h e s i sp u t sf o r w a r dt h ei m p r o v e m e n td i r e c t i o nf o rt h ei n p u ta n d o u t p u tm o d u l ei nt h ec o d e c k e y w o r d s ： m u l t i p r o c e s s o r ,c t 3 4 0 0 ，p e ， m t e ，d s e ，p r e p r o c e s s i n g ， p o s t p r o c e s s i n g 南京邮电学院学位论文独创性声明 x 7 6 5 1 1 3 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电学院或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 日期 南京邮电学院学位论文使用授权声明 南京邮电学院、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电学院研究生部办理。 研究生签名：导师签名 日期： 南京i i g i u 学院坝i ：研究生学位论文前言 月u 舌 随着信息技术的发展和社会的进步，人类对信息需求逐步从单一化向多样 化、综合化发展，具有图、文、声等并茂的多媒体是人们的首选。多媒体信息的 传输往往借助于网络，而处理则要通过硬件平台和软件代码来实现。高效的信号 处理平台可以更有效地处理信息。目前，适合于数字信息产品的核心处理器有多 种，如超长指令字( v l i w ) c p u ，通用处理器( g e n e r a lp u r p o s ep r o c e s s o r s ) ，现 场可编程门阵列( f p g a s ) 及多处理器( m u l t i p r o c e s s o r s ) 等。这其中，c r a d l e 公司的多处理器d s p 系列为系统设计者提供了一种很有吸引力的方案，它在高 效的数字处理功能、全面的可编程能力、及数据传输之间达到了很好的平衡，因 而成为本文视频处理的硬件平台。 完整的视频编解码系统包括视频输入、编码、传输、解码、输出显示等多 个环节。其中，编码和解码是核心，视频输入、传输和输出显示是基础。视频的 输入必须高速的送进缓存，没有输入的视频，编码工作就是“无米之炊”；解码 后的数据也必须能够高质量的输出显示，才能给用户实际、直观的感觉。本文工 作都将围绕视频的输入和输出展丌。 视频编解码系统的输入必须符合一定的规范。早在2 0 世纪8 0 年代初，国 际无线电咨询委员会( i n t e r n a t i o n a lr a d i oc o n s u l t a t i v ec o m m i t t e r ，c c i r ) 就制定 了彩色电视图像数字化标准，称为c c 取6 0 1 标准，现在改为i t u rb t 6 0 1 标准。 很多数据采集芯片的采集速率都是按照i t u rb t 6 0 1 的y ：1 3 5 m 、u v ：6 7 5 m ， 采样格式4 ：2 ：2 的速率进行的。但是，由于实际应用的场合的不同和信道带宽 的限制，往往需要对分辨率大小、y i 采样格式进行转换，因此就需要对己经 获得的数据再采样压缩数据。这种压缩方法的基本依据是人的视觉系统所具有的 两大特性：一是人眼对色度信号的敏感程度对亮度信号的敏感程度低，利用这个 特性可以把图像中表达颜色的信号去掉一些而使人不会察觉，二是人眼对图像细 节的分辨能力有一定的限度，利用这个特性可以把图像中的高频信号去掉而使人 不易察觉。而再采样由于采样速率的降低( 即下采样) 会引起信号频谱的复制， 往往会带来混叠失真，因此在下采样前，应先用适当的“抗混叠”滤波器进行滤 波，尽可能减少混叠失真引入的图像降质。与之相应，在输出显示时，要恢复原 南京邮1 也学院坝j ： i j f 究生学位论文前言 始图像的分辨率和采样格式，就要进行内插( 上采样) 处理。本文工作中的一个 重要内容就是研究视频的预处理和后处理技术，特别是在本文系统的资源分配条 件下的可行方法及其性能。 本论文的主要工作如下： 1 ) 深入研究c t 3 4 0 0 的体系结构，合理运用处理器的性能，利用c r a d l e 提 供的工具对视频输入输出接口进行了配置和软件实现。 2 ) 针对c t 3 4 0 0 内部计算子系统与i o 子系统之间的关系，以s d r a m 为 纽带，在视频输入输出系统和h 2 6 3 编解码器之间进行连接和控制。 3 ) 在p c 机上选用滤波器，模拟视频前后处理的效果。 4 ) 在系统中，根据c t 3 4 0 0 上所分配到的资源，在视频编码前和解码后， 分别对数据进行前滤波和后滤波处理。 5 ) 对p c 机上和c t 3 4 0 0 系统中的前后处理结果进行分析，考察添加前后 处理的系统对重建图像质量和编码码率的作用。 6 ) 对p e 中整个程序代码进行了优化，提高处理运算速度。 本文的结构如下：第一章，简述c t 3 4 0 0 多处理器结构及并行处理器视频编 解码系统；第二章，i o 设备的设计与实现；第三章，在p c 机上和c t 3 4 0 0 系统 中实现对视频数据的前后处理：第四章，在i o 模块与视频编解码器间进行连接 与控制，在系统上实现实时输入图像，经编解码后，实时输出显示到监视器屏幕 上；第五章，对系统软件代码调试优化，并对其过程中遇到的问题及调试结果进 行分析：第六章，对全文进行总结，并提出了今后的工作方向。 南京| | | | j t u 学院坝i ? i j 究生学位论文第一章概述 第一章概述 1 1 并行多处理器c t 3 4 0 0 简述 c t 3 4 0 0 多处理器d s p 为视频应用实现提供了一个可编程的、单芯片操作的 高性价比平台，可应用于视频监控及视频会议等场合。c t 3 4 0 0 的d s p 引擎( d s e ) 有一套丰富的计算资源，能够提供每秒2 6 2 亿次乘累加运算。其时钟频率为 2 3 0 m h z ，且电源功率小于3 瓦。c t 3 4 0 0 内部结构如图l 一1 所示 3 ： 图l 1c t 3 4 0 0 多处理器芯片内部结构剀 单芯片c t 3 4 0 0 处理器包括一个计算子系统，个i o 子系统，一个s d r a m 控制器，一个全局定时单元和一组可编程i o 外围设备。c t 3 4 0 0 内部的结构可 南京邮l 也学院坝l j i 】f 究生学位论文第一章概述 自由结合，多处理器d s p 具有多层( m u l t i t i e r e d ) 总线，多层( m u l t i t i e r e d ) 内 存，及数据预取( p r e f e t c h ) 能力。这样就可以非常灵活地控制应用d s e 和r i s c 处理器p e 的数量，通过改变处理器的个数和i o 管脚的数目改变系统规模的大 小，即其结构允许向上扩展，可以增加d s e 和r 1 s c 处理器来获得更高性能。它 还允许向下缩小，可以通过减少处理器和i o 管脚来适应成本较低、性能较低的 应用。 1 1 1c t 3 4 0 0 计算子系统 c t 3 4 0 0 计算子系统由8 个独立的具有s i m d 指令的d s p 引擎( d s e ) 、4 个 独立的r i s c 通用处理引擎( p e ) 、及1 个内存传输引擎( m t e ) 组成。1 个 m t e 中有4 个内存传输控制器( m t c ) ，m t c 主要是d m a 引擎，可以用于后 台数据传输。d s e 有一个指令装置支持数学运算和多维运算。在音、视频及多 媒体等数字处理中尤为受用。p e 支持高效的载入及存储指令作用，也能执行控 制和数据驱动任务。d s e 和p e 计算资源可以独立工作或并行处理，在p e 控制 下，电可以紧密联系起来工作。d s e 和p e 可以应用m t e 来传输数据。处理器 之间的同步机制由3 2 个信号量寄存器来实现。计算子系统有一个全局总线接口， 可用来连接c t 3 4 0 0 设备和全局总线。 1 1 1 1 数字信号处理引擎( d s e ) d s e 是一个3 2 比特处理器，它有1 2 8 个寄存器，在本地内存中有5 1 2 个 2 0 比特的优化指令。这些优化指令用于高速的定点和浮点处理。 每个d s e 有一个s i m da l u ( s i n g l ei n s t r u c t i o nm u l t i p l ed a t a ，a r i t h m e t i cl o g i c u n i t ) ，一个封装的整数乘法器累加器( p i m a c ) ，一个浮点单元( f p u ) ，双向 f i f o 数据缓冲区和d m a 通道，一个1 2 8 3 2 的寄存器文件和一个5 1 2 x 2 0 的 编程内存。d s e 的结构如图1 2 所示： 4 南京邮【也学院颂卜研究生学位论文 第一章概述 t om e m o r y 幽l 一2d s e 结构 1 1 1 2 通用处理单元( p e ) 3 2 比特的r i s cp e 具有一个3 2 比特a l u 、一个3 2 比特整数乘法器、一个 单精度浮点逻辑寄存器、3 2 个通用寄存器以及3 2 个专用寄存器。p e 的结构是 哈佛结构：数据内存和指令内存相互独立开来。哈佛结构的主要特点是将程序和 数据存储在不同的存储空间中，即程序存储器和数据存储器是两个相互独立的存 储器，每个存储器独立编址、独立访问。与两个存储器相对应的是系统中设置了 指令总线和数据总线，从而使数据的吞吐率提高了一倍。由于程序和存储器在两 个分开的空间中，因此取指和执行能完全重叠。 除了计算子系统中的四个p e 外，在i o 子系统中也有两个p e ，结构都相同， i o 子系统中的p e 主要执行数据处理、i o 管理以及控制功能。 在p e 中，数据可以定义成以下几种类型的数据 4 ： 一s d 数据位于d r a m 中，被所有p e 共享： 一s l 数据位于一个子系统的本地内存中，被浚子系统中的p e 共享； 一p d 数据位于d r a m 中，出一个p e 私自分配； 一p l 数据位于本地内存中，由一个p e 私自分配。 一般情况下，如果没有标明属性的话，默认为p d 类型的数据。 1 1 1 3 内存传输引擎( m t e ) m t e 是一个独立于d s e 及p e 的数据传输引擎，它是一个多线程d m a 引擎， 南京怫i b 学院矧l ：研究生学位论立 第一章概述 具有四个内存传输控制器( m t c ) ，每个m t c 有它自己的程序计数器、1 6 个数 据寄存器、1 6 个硬件寄存器、自己的内存读写f i f o 。m t c 既能对数据进行传输， 也能在程序的控制下对数据进行调整。 每个m t c 只能执行一个任务。m t e 通过它的3 2 比特宽的读、写f i f o 和 本地数据内存以及全局总线进行通信。在计算子系统中，m t e 处理d s e 和p e 中的数据传输：在i o 子系统中，m t e 处理输入输出端口和外部内存之间的数 据。每个m t e 在后台传输数据，它与p e 及d s e 之日j 的操作是相互独立的即 它传输数据不占用p e 和d s e 的资源。 1 1 2c t 3 4 0 0i o 子系统 i o 子系统包括：2 个p e 、2 个m t e 、6 4 k b 的本地数据内存、3 2 k b 的指 令缓存、1 个导入r o m 、1 个j t a g 接口、1 个全局总线接口( g b i ) 以及1 个 用来连接到可编程输入输出( p i o ) 的总线结构单元( b r l j ) 。 p i o 系统具有多种用途的可编程硬件单元，它允许一个用户用软件执行大 多数i o 设备。p i o 硬件功能强大，它能够执行高性能设备如p c i 、1 3 9 4 、e t h e m e t 及s c s i 接口，和用户用到的传统接口。它支持p i o 传输( 低中速传输设备) 和 d m a 输入输出传输( 中高速传输设备) 。 i o 子系统可以在导入r o m 中对处理器进行初始化，也可以通过和邻近的 闪存相连的串行和并行l j o 端口导入程序。 i o 子系统和管脚组之间通过b i u 连接到的i ，o 总线进行通信。以2 3 0 m h z 的频率，i o 总线的传输速率高达9 2 0 m b y t e s s 。 p i o 系统有1 6 个管脚组，每个管脚组有8 个i o 管脚。通过对i o 管脚的 配置与连接，处理器能提供各种各样的接口。由于每个i o 设备接口的功能是由 韧件( 软件和硬件相结合) 定义的，因此p i o 系统是很灵活的，每个i o 设备可 以通过改变它的i o 韧件来进行改进和升级。 1 1 3 系统运行条件 整个系统的运行操作条件如表1 - 1 所示 南京邮电学院硕士研究生学位论文 第一章概述 数值单位注释 可配置i ，o 1 2 8 管脚 1 6 个管脚组，每个管脚组有8 个管脚 处理器处理时钟频率 2 3 0m h z 全局总线频率 3 3 0m h z s d r a m 频率 1 3 3m h z 1 2c t 3 4 0 0 开发环境 c t 3 4 0 0 芯片具有自己的开发工具，其开发流程如图1 - 3 所示【4 7 。s o cc n 抽j ( 警监舞j 图1 - 3c r a d l e 开发流程图 7 一主 孚 一7 身 i 南京| | | i i u 学院坝j ：研究生学位论文 第一章概述 1 2 1g c c c 编译器 g c c c 编译器( u m s g c c ) 允许设计人员在p e 处理器中应用c 语言。g c c c 编译器支持p e 处理器而不支持应用c l a s m 语言开发的d s e 处理器和m t e 处理器。 1 2 2c l a s m c l a s m ( c l i k e a s s e m b l e r ) 是专门为d s e 和m t e 处理器设计的一种编程 语吉。它支持所有的处理器指令并且具有高级语言( c 语言) 的许多特性。c l a s m 可执行文件是c l a s m e x e 。c i 。a s m 产生一个0 的目标文件。 1 2 3u m s l d g n u 连接器( u m s l d ) 将目标文件连接起来并生成一个可执行的c r a 文件。 u m s l d 可以将多个程序连接成一个可执行的c r a 文件。当i n s p e c t o r 载入一个c r a 文件，同时在一个子系统中的p e0 中执行启动其中的一个程序。u m s l d 可执 行文件是u m s l d e x e 。对于一般简单的单个的应用程序直接采用默认的连接规则， g n uc 编译器就可以调用u m s l d 。 1 2 4i n s p e c t o r 系统的开发使用i n s p e c t o r 交互式图形调试环境，它可以模拟3 s o c ( s o f t w a r e s c a l a b l es y s t e mo nac h i p ：c t 3 4 0 0 芯片系列的结构) 芯片的软件仿真，也可以 直接在芯片上进行调试 9 。 i n s p e c t o r 具有如下调试特征： 应用单步执行和断点控制对源代码和机器指令进行调试 查看堆栈 通过d a t a m e m o r y 窗口和v a r i a b l e w a t c h 窗口查看全局变量罩的内容 查看本地内存变量 查看各个寄存器罩内容的窗口 支持同时对多个处理器进行调试 在调试过程中可以对内存中的数据进行校对 载入应用程序 南京邮电学院顺j ：研究生学位论文 第一章概述 编档保存并且可以对i o 进行调试 支持p i o 1 3 本文主要工作 本论文的主要工作就是为以c r a d l e 公司的c t 3 4 0 0 多处理器为核心的视频编 解码系统设计适合视频流的i o 子系统，包括p i o 设备视频输入输出接口编码配 置、i o 子系统和视频编解码器之间的启动控制、视频数据流的前后处理的软件 实现。整个视频编解码系统结构如图1 4 所示： 图1 - 4 系统结构 其中视频输入输出设备和编解码器处于不同的处理器中，这样可以使得输入 输出与编、解码在时f n j 上并行处理。无论对于h 2 6 3 还是h 2 6 4 或者其它的编解 码器，本系统都可以保持i o 子系统的基本设置。 南京邮i u 学院坝i ：t i d f 生学位论文 第二章1 1 0 垃备的设计与实现 2 1i o 设备 2 1 1i 0 设备 第二章i o 设备的设计与实现 在i o 子系统中，可编程i o 系统允许软件在i o 设备中组织分配i o 管脚和 b i u ( b u si n t e r f a c eu n i t ) 通道。c t 3 4 0 0 有1 6 个管脚组，每个管脚组包含8 个 管脚。管脚有三种类型：控制管脚，地址管脚和数据管脚 3 。 i o 设备主要有两种类型 1 l 】： 可编程i o ( p i o ) 设备 p i o 设备应用于慢接口，并通过p e 或m t e 编程操作。p e 、m t e 直接对设 备的管脚进行读写。这是最简单的设备类型，没有用到管脚状态字( p s m ) 和 b i l l 通道。 d m a 设备 d m a 设备应用于高速接口，它利用一个或多个p s m 和一个b i u 通道，对设 备的管脚进行读写数据，应用p e 或m t e 编程可为d m a 设备提供高层次的控制。 其功能非常强大。 i o 设备软件由两个部分组成： 用于i o 设备接口应用部分 描述设备本身部分 2 1 2i o 设备开发工具 针对p i o 和d m a 设备，c r a d l e 开发环境提供了如下工具 p i o c o n f i g 规划p g 和b 1 u 硬件实现设备的功能。 i n s p e c t o r 一调试器，调试p s m 软件以及p e m t e 设备代码与p s m 软件 之间的控制处理。 2 1 3i o 设备接口操作 在运行时，每个i o 设备和应用程序之间通讯都有自己的方法。在i o 子系 南京邮电学院硕上研究生学位论文第二章i o 设备的设计与实现 统中有自己的处理器，在i o 设备和应用程序之间最普通的接口就是共享内存描 述符。一个应用程序如何应用内存描述符访问视频缓冲器的过程如图2 - 1 所示 【1 3 ： 图2 - 1视频缓冲区内存描述符结构 例如，对于视频输入设备，一个描述符可以包括的信息有：一个指向视频 数据缓冲区的指针，数据时间戳，以及缓冲区的状态 池l 3 - 4 l 广孓07 “ 7 图3 - 3 c t 3 4 0 0 系统前处理数据流程 嚣 南京邮i u 学院顺 ：研究生学位论文第三章视频数据的前后处理 这里有三点需要说明： 1 ) 之所以把数据重新送回p l 缓冲区b 中做模板滤波和分辨率转换，而不直接 在s d r a m 罩进行处理，是因为s d r a m 中的计算速度远没有p e 中的计算 速度快，而从p e 和s d r a m 之问数据传输时间很短。考虑到滤波操作比较 耗时，因此本系统是把数据重新传输到p e 中来执行的。 2 ) 之所以不是第一次就在p l 缓冲区a 中做模板滤波和分辨率转换，一方面是 因为受到p e 中本地内存p l 容量大小的限制，不能存放一幅完整的图像，另 一方面是因为需要进行的是高速的存放，如果把上述处理放置这里，将影响 数据的采集速率。因此，本系统的做法是先把完整的一帧数据存放到较大空 1 8 j 容量的s d 洲后，再送给p e 的b 处理。 3 ) 同样地，s d r a m 将数据送b 时，由于受到p e 中本地内存p l 容量大小的限 制，需要分批进行。经测试每次可传送1 6 行视频数据。 视频输出端： 输出端与输入端类似。解码出来的数据存放在s d r a m 中，经m t e 传输至 p e 中进行y u v 采样格式和分辨率大小的转换( 采用双线性插值法) 后，再送 s a a 7 1 2 8 h 编码成电视信号，最后送监视器显示。 3 1 3y u v 采样格式转换 3 1 3 1 常见的图像格式： 对于不同的应用场合，图像分辨率和y u v 格式有多种方式。下面列举了几 种常用的数字图像格式，见表3 - 1 1 2 6 。 表3 - 1 常见的数字图像格式 图像格式 亮度大小) 色度人小y u v 格式 1 6 c i f 1 4 0 8 1 1 5 27 0 4 5 7 6 4 ：2 ：0 4 c i f 7 0 4 5 7 6 3 5 2 2 8 8 4 ：2 ：0 c i f 3 5 2 2 8 81 7 6 1 4 4 4 ：2 ：0 q c i f1 7 6 1 4 48 8 7 2 4 ：2 ：0 s u b q c i f 1 2 8 9 66 4 x 4 8 4 ：2 ：0 、 对于y u v 格式，一般有4 种，分别为4 ：4 ：4 ，4 ：2 ：2 ，4 ：1 ：1 和4 ：2 ：0 。 而对于4 ：2 ：0 格式，又分为两种情况。这些v 采样格式的亮度与色度样点 南京邮i u 学院倾上4 0 f 究生学位论文 第三章视频数据的前后处理 的相对位置分别如图3 4 、图3 5 、图3 6 、图3 7 、图3 8 所示，图中“x ”代 表亮度样本，“o ”代表色度样本。 。- x ”x x 一x x 一x 一。_ x - _ x ，x * 义* * x x - - x x x x x x x x 一- x x x x - 一x x x 一x1 x x x 一x x 一x 一 - * 一x x x - 、x - x - - x - x x x x x 一一x x x + 、x 一x - - - - x 。x ) ( _ - x 一x x 一 - x - x - - x 一x ，x x x x x - l x - - x 一一f x 一一 x x x 一x 一x - - - x 一_ 一x - - - - - - - x x 一 幽3 - 4 4 ：4 ：4 格式图3 - 54 ：2 ：2 格式 一一x x _ - x tx - 一x x _ x - x x * x x 一x x - x x x x x x 一x - 一x * 一- 一x x 一x - x * x ”x i x - - - - - - - x 一- x x * 一x 图3 - 64 ：1 ：1 格式 *x xx x x x x *x x xx * x * x - * x x - x x * x x，x _ x 一1 x _ 。- x * x x x 一* 一* x - ( (x x * x 一 - x 一xx x xx ( 一- x x - x x x x 一一* x 幽3 7 4 ：2 ：o 格式( 1 )图3 - 84 ：2 ：o 格式( 2 ) ( h 2 6 1 、h 2 6 3 、m p e g - 1 用) ( m p e g 一2 刚) 3 1 3 2y u v 采样格式的转化 在本文目标系统中，使用的视频解码芯片是t v p 5 1 4 5 p f p ，t v p 5 1 4 5 p f p 将 配置成支持y c b c r ( y u v ) 以4 ：2 ：2 格式输出，8 比特数据模式及i t u r b t 6 0 1 南京邮电学院碗上研究生学位论文第三章祝频数据的前后处理 采样速率，即对于y 用1 3 5 m h z 、u v 用6 7 5 m h z 的抽样速率。这样采集得到 的是大小为7 2 0 5 7 6 、采样格式为4 ：2 ：2 的图像。但在本系统中，处理器编码 的是c i f 格式( 即分辨率为3 5 2 2 8 8 ，采样格式为4 ：2 ：o ) 的图像。因此，在图 像送编码器编码前，必须进行分辨率大小和采样格式的转换。 ( 1 ) 视频输入端 在进行采样格式转换前，先参考一下p h i l i p s 的t m l 3 0 0 多媒体处理系统的 采样格式转换。t m l 3 0 0 通过设置视频输入控制寄存器( v ic t l ) 的采样方式 比特位( v ic t l s c ) 来选择采样方式。当此比特位为0 时，就是i t u rb t 6 0 1 的4 ：2 ：2 采样格式。当此比特位设置为l 时，硬件就会对已经采样获得的i t u r b t 6 0 1 的4 ：2 ：2 的采样格式( 也称为c o s i t e ds a m p l i n gf o r m a t ) 用一个抽头为( 一 1 ，1 3 ，5 ，一1 ) 1 6 的滤波器重新采样，从而获得分散采样格式( 即i n t e r s p e r s e d s a m p l i n gf o r m a t ) ，如图3 - 9 所示 1 4 。然后，对相邻的两个分散采样行的对应色 度用一个抽头为( 1 ，1 ) 2 的滤波器再次重新采样，并把这个色度点作为它四周 相邻的四个亮度公用的色度，如图3 - 9 所示。这样就获得了4 ：2 ：0 的采样格式。 abcde f g h i j k1 c c y u 嘶vo l 采4 ：2 ：样2 圆 abcd 重新分散采样x o xx o x i j k1 x o xx o x y g = y 口 ( u c + 1 3 u e * 5 u g u t ) 1 6 v 。f = ( - v c + 1 3 v e + 5 v g v i ) i 6 图3 - 9t m l 3 0 0 系统的色度样点的重新分散采样 u 。l hu e du e f u c d ：d ：( u c d + u f d ) 2 v , i bv c dv e f v c ( j c d ：( v c d + v f 神2 。f i 。l 。，。 。；。， 第n 行 一) ( 一xx ；： 型( ：，! c ：， 第。+ 珩x x 1 t一 abcdefabcdef u bu c u e fu a b b = ( u a b + u a b ) 2u e f e ；( u er + u e f ) 2 v bv 【v 卧v a b 日= ( v a b + v a ) 2v e f 盯= ( v 。f - b v e f ) 2 图3 1 0t m l 3 0 0 系统的由分散采样得到4 ：2 ：0 格式的图像 南京邮电学院硕士研究生学位论文 第三章视频数据的前后处理 以上t m l 3 0 0 采样格式的转换是通用硬件来实现的，因此速度较快。而在 本系统中，主要是应用软件来实现的，将采样格式的转换应用m t e ( m t e 的 计算处理能力很差，它主要用于传输数据) 来实现，没有应用d s e 实现( d s e 计算能力很强，但d s e 数量有限，所以它被分配给编码用) ，所以上述的过程不 适舍本系统。又考虑人眼对色度信息不是很敏感，因此，系统中对上述图3 - 9 和 图3 1 0 的重采样过程都做简化处理。对图3 - 9 ，分散采样的色度直接用原来的4 ： 2 ：2 格式的最靠近它的左边的色度代替，如图3 1 1 所示。对图3 1 0 ，4 ：2 ：0 的 色度点直接用原来的4 ：2 ：2 格式的它上一行的色度代替，如图3 1 2 所示。通过 这两步的简化，减少了繁琐的加法、乘法以及除法的运算，节省了时间加快了 视频数据传输和处理的速度。 abcdef g hi j k1 c c y u i r 6 0 v4 l ：采2 ：样2 x x x x 圆x ab 重新分散采样x o x a 第n 行x y g = y g u e f = u e v e f2v 。 图3 - l i 简化的色度样点的重新分散采样 ：。e，f 支站 第n + 1 t c o x g abc。e u 船 v c dv e f ： a o l ab u= u a b 。 a c d 图3 1 2 简化的由分散采样得到：格式的图像 l 厂、， 乩乩(。警 岫 。， = |l、o，+，ll _ 1怒。( 嚣热矬 南京岍i u 学院颂，l 1 0 f 究生学位论文 第三章视频数据的前后处理 ( 2 ) 视频输出端 从摄像头采集的视频数据为4 ：2 ：2 ，经过格式转换后变为4 ：2 ：0 ，编码发 送，接收端再解码，这个时候的数据形式仍为4 ：2 ：0 ，数据这个时候要送编码 芯片s a a 7 1 2 8 h 编码成电视信号，送电视显示。由于编码芯片接收的格式要求 为4 ：2 ：2 ，因此，数据送编码芯片前也要进行格式的转换，即从4 ：2 ：0 再转换 为4 ：2 ：2 。跟输入端一样，考虑到计算的复杂度和时间问题以及人眼特性( 对 色度不敏感) ，系统中采样相对简单的格式转换，即4 ：2 ：2 格式中的色度用4 ：2 ： 0 格式中的色度来代替。如图3 1 3 所示。 a b c def a bcdef | l 输全黜”ooo ooo abcdef g hi j kl 圆圆圆 o 输出的y u v 4 ：2 ：2 旧旧 圆 hbc def abcdef u a b bu e d c d v a b a t lv c d c l ， 图3 1 34 ：2 ：0 格式到4 ：2 ：2 格式的转换 3 1 4 视频信号的抽取与内插 在有些情况下，如在本系统中，常常需要改变图像的抽样率。抽取，则是降 低视频信号的抽样率；内插，则是增加视频的抽样率。本节将分析这两种处理所 引起的图像质量的改变。 3 1 4 1 下采样和抽取 如果要将一幅数字图像f ( m ，n ) 的抽样率降为原来的1 ( c d ) ，即： 南京邮i 乜学院硕：k r o f 究生学位论文第三章视频数据的前后处理 g i ( m ，n ) = f ( c m ，d n ) ( 3 1 ) 这样，简单地在n l 方向每c 个抽样点取一个，在n 方向上每d 个抽样点取一个。 其它的抽样点都丢弃掉，从而实现抽样率降低为原来的1 ( c d ) 。为了看清楚降 低抽样率的影响，将( 3 - 1 ) 式进行空间离散傅立叶变换( d s f t ：d i s c r e t e s p a c e f o u r i e rt r a n s f o r m ) 2 ： g 。( 【，矿) = f ( c m ，d n ) p 。2 栅“ ( 3 2 ) 对上式下标改写，则上式可写成： g j ( u ，y ) = 5 。( 州) ( ”) ，( ，月弦。2 4 “”+ “， ( 3 - 3 ) 其中 s ：j 1 ，! c 为整数(34)c(m) 2 0 ，其它 4 由于( m ) 是一个以c 为周期的周期函数，它可以表示为一个离散的傅立 叶序列。在一个周期里面，昂) 包含一个脉冲，其傅立叶变换如下： ( 研) = 去p 。”押“。 ( 3 - 5 ) 由( 3 - 3 ) 、( 3 - 4 ) 式，可得： 吼( u ，矿) = 熹，( 聊，咖。2 州。m ”“o “， ( 3 - 6 ) u l 7 = 0 i = om” 即： q ( ，矿) = ；j ，( ( u k ) c ，( 矿一i ) d ) ( 3 7 ) - l 7 女一o i - 0 由此可以看出，对图像进行下采样会使其d s f t 在u 方向上扩展了c 倍， 在v 方向上扩展了d 倍。这是由于图像在空间域上被抽取的结果。d s f t g ( u ，v ) 由c d 个扩展的在u 和v 方向上偏移单位间隔的d s f t f ( u c ，v d ) 组成。图3 1 4 显示了整个结果。这旱下采样造成了f ( u c ，v d ) 的频谱复制叠 加，也就是产生了混叠。 南京i i i ge 2 学院硕一i ：研究生学位论文 第三章祧频数据的前后处理 u ，v ) 00 l0u ( a ) r 采样前 ( b ) 下采样后 图3 1 4 在图像的d s f t 中，参数2 x 2 _ 卜采样结果 当| u 巨1 ( 2 c ) 或i v 除1 ( 2 d ) 时f ( u ，v ) 0 ，则就会产生混叠。为了避免这种 情况，需要对厂( m ，一) 进行下采样前对其进行前置滤波。该前置滤波器频谱如下： ( 【，v ) = c xd r e c t ( c u ，d v ) ( 3 8 ) 相对应的脉冲响应为： h ( m ，n ) = s i n c ( m c ，n d ) ( 3 - 9 ) 因为该滤波器的有很大的旁瓣及其慢降落，从而会在图像边界有振铃现 象，也就是g i b b s 现象。为避免这种现象的发生，可以用一个窗口函数来改进 该滤波器。实际应用中，通常的做法是把每个c d 单元内的样值做一个平均处 理，或者用一个高斯滤波器。一个滤波器和一个下采样器结合起来就成为了人们 通常说的抽样器( d e c i m a t o r ) 。其系统图如图3 1 5 所示 2 。 图3 一1 5抽样器( d e c i m a t o r ) 示意图 3 1 4 2 上采样和内插 如果要将一幅图像f ( m ，一) 的采样速率增加c d 倍，可以在m 方向上在每 两个采样点间插入c 一1 个零，在n 方向上每两个采样点间插