（通信与信息系统专业论文）多路无线视频传输系统的设计与实现.pdf

摘簦 多路无线视频传输系统的设计与实现 专业：通信与信息系统 硕士生：方永重 指导教师：周渊平教授 摘要 本论文设计和实现一个多路无线数字视频传输系统的发送端，并完成了接收 端的芯片选型与系统结构设计，同时给出核心算法的实现过程以及系统软件的设 计思想。整个系统采用模块化设计，主要功能模块包括： ( 1 )四路视频采集模块：选用o m n i v i s i o n 公司的c o m s 数字传感器芯片 o v 7 6 2 0 设计视频采集端，为系统提供3 0 帧每秒、q v g a 格式( 3 2 0 2 4 0 ) 的 彩色视频图像。整个系统集成四路视频采集模块，可以同时采集四个位置的视频。 ( 2 )视频整合模块：选用高性能的可编程逻辑器件实现四路q v g a 格式视 频的整合，输出一路v g a 格式( 6 4 0 4 8 0 ) 的视频图像。可编程逻辑器件选用 x i n l i n x 公司的f p g a 芯片x c 3 s 4 0 0 ，该芯片具有4 0 万的系统门( s y s t e mg a t e s ) ， 8 0 6 4 个等效逻辑单元( e q u i v a l e n tl o g i cc e l l s ) ，5 6 k b 的分布式r a m ( d i s t r i b u t e d r a mb i t s ) ，2 8 8 k b 的块r a m ( b l o c kr a mb i t s ) ，5 个专用乘法器( d e d i c a t e d m u l t i p l i e r s ) ，4 个数字时钟管理单元( d c m ) ，1 4 1 个可用i o 数( m a x i m u mu s e r i o s ) 。 ( 3 ) m p e g 一4 压缩编码模块：选用i n t i m e 公司的m p e g 4 硬件压缩编码芯 片i m e 6 4 0 0 对合成后的视频进行压缩编码。i m e 6 4 0 0 是一片2 4 0 脚p q f p 封装 的四通道数字音、视频编码系统级芯片，该芯片可以支持m p e g 4 2 1 视频压缩 编码标准；同时支持i 、p 和b 帧压缩。其图像大小可以编程设定，最大尺寸可 达2 0 4 8 x 2 0 4 8 ：码率可以支持固定和可变码率压缩，带有动态检测功能。 ( 4 ) 嵌入式处理器模块：系统控制模块选用s a m s u n g 公司的$ 3 c 2 4 1 0 a 微 处理器。这是一款采用a r m 9 2 0 t 内核，高性能、低功耗、低成本的3 2 位微处 多路光线视频传输系统的垃计i 实现 理器。为了提高设计和应用的灵活性，硬件设计上采用核心板加底板的模块化设 计方法，在核心板上集成了基于$ 3 c 2 4 1 0 的最小系统，主要配置了1 6 m b 的 f l a s h 存储器和6 4 m b 的s d r a m 存储器，提供了r t c 时钟和工作时钟的晶体， 并将其丰富的外设接口资源引出，通过底板来扩展外部功能。 ( 5 ) u s b 无线网卡模块：$ 3 c 2 4 1 0 支持两个主u s b 端口和一个从u s b 端 口。支持8 0 2 1 l g 的无线网卡通过主u s b 端1 2 1 接入丌发板，将压缩处理后的 m p e g 4 数据流发送出去。 ( 6 ) e t h e m e t 以太网控制模块：采用d a v i c o m 公司的以太网控制芯片 d m 9 0 0 0 实现1 0 1 0 0 m 自适应以太网接口。在系统丌发过程中，以太网接口和串 口一起作为调试接口使用，而压缩完的视频数掘也可以通过此接口输出。 利用本论文研制的嵌入式硬件系统，可以实现四路视频信号的基于m p e g 。4 算法的压缩，压缩后的视频流可以通过a r m 嵌入式处理器模块的u s b 接口经 无线网卡传输或通过以太网接口实现网络传输。本系统可以作为监控系统的前端 设备，同时处理多达四路的监控信号。 本论文的创新点在于：( 一) 集成4 路视频采集子模块，提高视频图像采集 的灵活性；( 二) 视频整合算法引入乒乓机制、摒弃传统视频处理常用的外置 s d r a m 的做法，简化系统结构、降低系统成本；( 三) 压缩算法采用目前主流 的m p e g 4 算法，能够在确保图像质量的前提下大幅提高压缩比。 关键字：嵌入式系统m p e g - 4 视频压缩c m o s 图像传感器乒乓机制 h 录 a b s t r a c t m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m n a m e ：f a n gy o n g z h o n g s u p e r v i s o r ：p r o f e s s o rz h o uy u a n p i n g i nt h i st h e s i s ，t h ed e s i g na n di m p l e m e n t a t i o no fm u l t i c h a n n e lw i r e l e s sv i d e o t r a n s m i t i o ns y s t e ma r ea d d r e s s e d t h es y s t e mi sb u i l to nm o d u l a rd e s i g nw i t hd i f f e r e n t f u n c t i o n sa sf o l l o w s ： ( 1 ) v i d e oc a p t u r i n gm o d u l e ( v c m ) ：u s i n gc m o sd i g i t a lc o l o rv i d e oc a m e m c h i po v 7 6 2 0f r o mo m n i v i s i o nt e c h n o l o g i e s ，i n c i tp r o v i d e sq v g a f o r m a t v i d e oi n3 0f r a m e sp e rs e c o n d t h ew h o l es y s t e mi n t e g r a t e s4c a m e r ac h i p s t of o r mav g af o r m a tv i d e o ( 2 ) v i d e om u l t i p l e x e rm o d u l e ( v m m ) ：u s i n gh i g h - p e r f o r m a n c ef p g at op u t f o u rc h a n n e l so fq v g av i d e oi n t oo n e w ec h o o s ex c 3 s 4 0 0f r o mx i l i n x ， i n c ，w h i c hh a s4 0 0 ，0 0 0s y s t e mg a t e s ，8 0 6 4l o g i cc e l l s ，5 6 k bd i s t r i b u t e d r a mb i t s ，2 8 8 k bb l o c kr a mb i t s ，5d e d i c a t e dm u l t i p l i e r s ，4d i g i t a lc l o c k m a n a g e m e n tu n i t sa n d1 4 1u s e r i o s ( 3 ) m p e g 一4c o m p a s s i o nm o d u l e ( m c m ) ：m p e g - 4e n c o d e ri m e 6 4 0 0i su s e d t o c o m p r e s s v i d e od a t ai n t om p e g 4s t r e a m s i ti sa s i n g l e - c h i p m u l t i c h a n n e l d i g i t a la u d i o v i d e o s y s t e mc o m p r e s s i o ne n g i n e t oc r e a t e m p e g - 4 2 1s t r e a m s i ts u p p o r t s1 p & bf r a m ec o m p a s s i o na n dt h e p i c t u r es i z ei sp r o g r a m m a b l eu pt o2 0 4 8 + 2 0 4 8 i ts u p p o r t sv a r i a b l eb i tr a t e a sw e l la sc o n s t a n tb i tr a t e a l s o ，i ts u p p o r t sm o t i o nd e t e c t i o n ( 4 ) a r me m b e d d e dp r o c e s s o rm o d u l e ( a e p m ) ：t h em o d u l ei sc o n s i s t e do f o n e $ 3 c 2 4 1 0 ae m b e d d e dp r o c e s s o r , t w os y n c h r o n o u sd y n a m i cr a n d o m a c c e s sm e m o r y ( s d r a m ) a n do n ef l a s hm e m o r y t h em o d u l ee q u i p sw i t h s o d i m m 1 4 4i n t e r f a c et oc o m m u n i c a t ew i t hb a s e b o a r da n dj 1 1 a gf o r d e b u g g i n g i tc a nw o r ki n d e p e n d e n t l y t h ee m b e d d e ds y s t e mc a nb el o a d e d 多路光线铷频传输系统的设计实脱 w i t ha no p e r a t i n gs y s t e ma n di ti ss u i t a b l ef o ra p p l i c a t i o nd e v e l o p m e n t ( 5 ) u s bw i r e l e s sn e t w o r kc a r dm o d u l e ( u w n c m ) ：$ 3 c 2 4 1 0 as u p p o r t st w o m a s t e ru s b p o r t sa n do d es l a v eu s bp o r t w i r e l e s sn e t w o r kc a r dp l u g si n t o t h es y s t e mb yu s b p o r ta n ds e n d so u tt h em p e g 4s t r e a m s ( 6 ) e t h e r n e tm o d u l e ( e m ) ：u s e sa ne t h e r n e tc o n t r o l l e rd m 9 0 0 0 a t oi m p l e m e n t a1 0 1 0 0 ma d a p t i v ee t h e m e tp o r t i nt h ed e v e l o p m e n tp r o c e s s ，t h ee t h e m e t p o r ti su s e df o rd e b u gw i t hu a r tp o r t t h ec o m p r e s s e dv i d e od a t as t r e a m c a nb et r a n s f e r e db ye t h e m e tp o r t t h ee m b e d d e ds y s t e md i s c u s s e di nt h i st h e s i sc a nb eu s e da sf r o n t - e n de q u i p m e n t o fas u p e r v i s o r ys y s t e mt op r o c e s sa n dt r a n s m i tu pt of o u r - c h a n n e lv i d e os i g n a l s t h e m o s td i s t i n c t i v ei n n o v a t i o no ft h et h e s i si s ：i tu s e sp i n g p o n gt h e o r yt oi m p l e m e n tt h e v i d e om u l t i p l e xa r i t h m e t i ci nf p g a w i t ht h i st h e o r y , t h ef p g ac a n u s ee m b e d d e d r a mo fas m a l ls i z et ob u f f e rt h ev i d e od a t ai nc o m p a r i s o nt ot h ec o n v e n t i o n a lw a y o f u s i n gs r a m o f al a r g es i z e t h eu s eo f e m b e d d e dr a mc a l lr e d u c et h ec o m p l e x i t y o f t h es y s t e ma n dl o w e rd o w nt h ec o s t k e y w o r d ：e m b e d d e ds y s t e m ；m p e g - 4v i d e oc o m p r e s s i n g ；c m o ss e n s o r ； p i n g - p o n gt h e o r y 多路尢线视频传输系统的世计j 实现 第4 章结束语 4 1 总结 4 2展望 主要参考文献 致酣 原刨性声明。 1 0 1 1 0 l l o l 1 0 3 1 0 5 1 0 7 图表目录 幽l 一1 视频传输系统功能框图2 幽i - 2c c d 结构示意幽3 幽1 3c m o s 结构示意剀3 图2 - 1 视频幽像结构7 图2 2 逐行扫描平隔行扫描。8 图2 3r g b 颜色空间9 幽2 48 位4 ：2 ：2y c b c r 数据格式i2 幽2 51 6 倪4 ：2 ：2y c b c r 数据格式1 3 l 玺f2 62 4 位4 ：4 ：4y c b c r 数据格式13 | 鳘l2 7 行同步信号和帧同步信号的关系1 5 幽2 8b t 6 5 6 数据接口15 图2 9v m i8 位4 ：2 ：2 y c b c r 数据格式1 6 图2 1 0m p e g - 4 支持的码率与相应功能集之间的戈系1 7 酗2 11o s i 参考模删2 2 幽2 1 2l a n 的体系结构2 3 图2 1 3m a c 帧结构2 5 幽2 1 4 字段的格式2 6 幽2 1 5 网络适配器2 6 幽2 1 6 曼彻斯特编码方式2 缸 幽2 1 7 通信模删层? 久关系幽2 8 幽2 1 8 主机通信幽3 0 i 玺i2 1 91 2 c 总线的连接3 4 图2 2 01 2 c 总线数据有效期3 4 幽2 2 11 2 c 总线开始和停l p 条f ，i ：3 5 i ! i2 2 21 2 c 总线数据格式3 5 幽2 - 2 31 2 c 总线响廊3 6 图2 2 41 2 c 地址格式3 7 i ! i2 2 5 土机发数据格式。3 7 图2 2 6 主机读格式3 7 幽2 2 7 混和格式3 7 i ! | 2 2 8 从机地址格式3 8 幽2 2 9 嵌入式系统结构3 9 v 1 录 图2 3 0 嵌入式系统开发流样 l ! | 2 3l 交义开发环境 4 3 ，4 4 l 璺| 3 1 多路无线数字视频传输系统框图5 0 幽3 2 分路编码系统5 1 酗3 3 多路无限数字视频传输系统原理幽5 2 幽3 ，4o v 7 6 2 0 主要特性5 3 幽3 5o v 7 6 2 0 内部框图一5 3 幽3 6o v 7 6 2 0 图像矩阵5 4 | ! | f j3 7o v 7 6 2 0 功能框图。5 5 | 鳘| 3 8 行数据输i l j 时序幽5 6 幽3 9 帧数据时序恻5 6 幽3 1 0o v 7 6 2 0 时钟5 7 幽3 1l 视频i 冬j 像采集模块p c b 幽5 8 幽3 1 2 视频刨像采集模块【乜路原理幽5 9 蚓3 1 3 多路视频绍合模块系统框图6 0 图3 1 4 扬刨科技公司的f p g a 核心扳6 2 | ! | 3 1 5 完整的f p g a c p l d 设计流稃，6 4 幽3 1 6 四路合成示意幽6 5 图3 1 7l 帧组成示意| ! i 6 5 幽3 1 8 采s d r a m 的视_ ! 贞整合方案6 6 图3 - 1 9 乒乓机制典型操作框图6 6 幽3 2 0 采州乒乓机制的视频整合方案6 7 图3 2l 视频帮合算法6 8 | 璺| 3 2 2c o n t r o l 模块的群序流科幽7 0 | 鳘i3 2 3 输入数据选抒模块7 l 幽3 2 4 输i l j 数据选择模块7 l 幽3 2 5 多路视频整合系统电路原理幽7 2 图3 2 6i m e 6 4 0 0 内部结构7 4 | ! e f3 2 7m p e g 4 压缩编码模块框图7 6 幽3 2 8 异步s i n g l e 模式读操作7 8 幽3 2 9 异步s i n g l e 模式写操作一7 8 幽3 3 0 | i i i i 什f 载流稃幽7 9 图3 3 1 内部s r a m 读流群图8 0 幽3 3 2 内部s r a m 写流榉| 玺| 8 0 i 玺| 3 3 3 串行总线操作流徉幽8 l 幽3 3 4 士机读取压缩后数据流稃幽8 2 图3 3 5i m f ：6 4 0 0 输出数据包格8 2 幽3 3 6m p e g - 4 硬r l 编码模块电路原理图8 4 幽3 3 7 $ 3 c 2 4 1 0 a 内部机构图8 6 剀3 3 8 寄存器组织i ! i 8 6 图3 3 9 地址空间8 7 幽3 4 0 系统总线示意幽8 8 幽3 4 l $ 3 c 2 4 1 0 a 内部时钟结构8 9 多路尤线视频传输系统的改计j 实现 幽3 4 2 核心板架构 幽3 4 3a r m 9 核心板。 图3 4 4a r m 9 主控模块系统框图 幽3 4 5 软什系统框图 幽3 4 6 嵌入式模块原理图 图3 4 7 系统供屯框幽 幽3 4 8u s b 接口原理i | 幽3 4 9 串口电路原理图 幽3 5 0 d m 9 0 0 0 的模块框图 幽3 5 1 以太网接口电路框幽 幽3 5 2 以太网接口电路 | ! | 3 5 3 基板原理幽 | ! i3 5 4 基板p c b3 d 幽 9 2 9 3 ，。9 7 剀4 一l 接收端系统框| 茔i 幽4 2 选川v w 2 0 1 0 的发送端框剀 表1 1c c d 和c m o s 性能比较 表1 2 视频编码国内外标准， 1o ：! 表2 ，l 从1 6 何或2 4 住的接口输山y c b c r 或r g b 数据1 3 表2 2 从2 4 位接口输出y c b c r 或r g b 数据1 4 表2 3m e p g 4 标准构成1 9 表3 1o v 7 6 2 0 支持的视频输山格式5 4 表3 2o v 7 6 2 0 排线定义5 8 表3 3f p g a 引脚定义6 3 表3 4s e l o 信号定义6 9 表3 5s e l l 信号定义6 9 表3 6 各视频服务器系统性能比较7 3 表3 - 7 外部h o s t 接口模式选择表7 5 表3 8i m e 6 4 0 0 土机接口引脚7 6 表3 9 i m e 6 4 0 0 士机接口寄存器7 7 表3 1 0i m e 6 4 0 0 输出数据包格式定义8 3 引叭 第1 争。i 击 1 1 视频传输系统 第1 章引言 移动视频业务( 又称无线视频业务) 是以移动通信为通信平台，在移动网络 上提供的一种类型的业务，纵观整个视频业务，移动视频业务被业界认为是最具 发展潜力的业务类型之一。移动视频业务按照业务内容划分主要包括移动视频电 话会议、移动视频监控、移动视频消息、移动视频内容配送业务，以及移动视 频游戏等血种业务类型。 ( 1 ) 移动视频电话会议是使用图像和语音数掘进行用户| 甘j 实时交互的一 项通信业务，在两个移动终端之i 日j 或在移动终端和固定视频电话之间实现视频和 音频信号的双向实时流动。而参与者多于两个并且有一方使用移动终端进行视频 通话的业务称为移动视频业务。 ( 2 ) 移动视频监控是利用无线网络的高带宽，通过移动网络和移动或固定 的视频前端，实现远距离的移动视频监控。一般情况下，移动视频监控业务用于 特定的工作用途，也可以用于生活中，如用于儿童安全保护的移动监控系统。移 动视频监控系统可以采用基于i p 传输的视频编码设备，通过无线网络将视频信 号传送到中心存储和显示。 f 3 ) 移动视频消息是用户和用户间、用户与机器问进行非实时的发送视频 信息的一类通信业务，它包括视频邮件( 在纯文本邮件的基础上，增加了视频和 音频的多媒体) 和多媒体消息( m m s 可传递文本信息，而且还可以传递内容更 为丰富的图像、音频、视频等数据信息) 。 ( 4 ) 移动视频内容配送业务即让移动用户以流媒体或下载的方式将视频信 息传送到移动终端。流媒体方式是边下载边播放，而下载方式指的是等全部视频 信息下载完毕后再播放。 ( 5 )移动视频游戏：基于j a v a 和b r e w 等技术，手机终端可以从网络中下 载游戏客户端软件。然后用户可参与网络中的交互式网络游戏。同单机游戏相比， 网络游戏将给移动商带来更多的收益。 上面况提到的所有这些移动视频业务都是基于无线视频传输实现的。我们 多路尤线秕频传输系统的改计，实现 通常晚的视频传输系统是指将山摄像头采集回来的视频图像经一定的传输途径 发送到处理终端的系统，处理终端负责整个系统的控制并对接收的视频数掘进行 相应的处理。根掘摄像头采集的视频数据格式及传输途径的不同，在系统中必须 加入一定的处理模块，比如信源编码及信道编码模块，以满足信道对数据传输的 要求。在实际应用中每个部分都会根据应用环境的不同而选用不同的实现方法。 ：z 、 i j 图l 1 视频传输系统功能框图 1 1 1 视频采集模块 视频采集模块采集视频图像并转换成数字图像，主要是设备是摄像头。摄像 头一般分为两种：一种是数字摄像头，可以独立与微机配合使用，另一种是模拟 摄像头，要配合视频采集卡一起使用。摄像头的核心就是镜头，有两种感光元器 件的镜头，一种是c d d ( c h a r g ec o u p l e dd e v i c e ，电荷耦合器) ，一般是用于摄 影摄像方面的高端技术元件，应用技术成熟，成像效果较好，但是价格相对较贵。 另外一种是比较新型的感光器件c m o s ( c o m p l e m e n t a r y m e t a lo x i d e s e m i c o n d u c t o r ，互补会属氧化物半导体) ，它相对于c c d 来说价格低，功耗少。 这两者的最大区别在a d c 的位置和数量。简单的说，c c d 每曝光一次，在快门 关闭后进行像素转移处理，将每一行中每一个像素( p i x e l ) 的电荷信号依序传入 “缓冲器”中，由底端的线路引导输出至c c d 旁的放大器进行放大，再串联 a d c 输出；相对地，c m o s 的设计中每个像素旁就直接连着a d c ( 放大兼类 比数字信号转换器) ，讯号直接放大并转换成数字信号。图1 2 、1 3 展示了两者 的结构示意图，表1 1 比较了两者的性能。 2 诒f 争，j 1 三 图i 2 c c d 结构示意图 | 鳘i1 3 c m o s 结构示意幽 表1 ic c d 和c m o s 性能比较 c c dc m o s 漫计单一感光器感光器迎接放人器 灵敏度 相同面积f 高 感光开口小，灵敏度低 成本 线路品质影响群度高，成本高 c o m s 移合集成成本低 解析度 连接复杂度低，噪点低 百万放人，噪点高 功耗比 需外加电压，功耗高卣接放人功耗低 多路光线桃频传输系统的改汁，实现 1 1 2 视频编码模块 视频编码模块的作用是在保证视觉效果的前提下对视频数据进行压缩，降低 数据率，满足视频传输和存储过程的要求。压缩技术是多媒体通信领域中的关键 技术之一，不能对多媒体数据进行有效的压缩，就难以保证通信的顺利进行。 以般彩色电视信号为例，设代表光强、色彩和色饱和度的y i q 空间中各 分量的带宽分别为4 m h z 、1 3 m h z 和o 5 m h z 。根据采样定理，仅当采样频率大 于或等于2 倍的原始信号的频率时，才能保证采样后的信号可被保真地恢复为原 始信号。再设各样点均被数字化为8 b i t ，从而1 秒钟电视信号的数据量为 ( 4 + 1 3 + 0 ，5 ) 2 x 8 b i t = 9 2 8 m b i t ( 1 - 1 ) 因而一张6 4 0 m b 容量的c d r o m 能够存放的原始电视数据( 每字节附有2 位校验位) 为 6 4 0 8 9 2 8 n + o 2 5 ) = 4 4 s ( 1 - 2 ) 也就是说，一张普通光盘只能存放4 4 s 的原始数掘。 表1 2 列出了视频信号高质量存储和传输所必需的未压缩速率以及信号特 性。 表1 2 视频信号的特性和未压缩速率【2 l 视频像素帧画面比帧秒比特像素未压缩速率 n t s c4 8 0 4 8 34 ：32 9 9 71 61 1 1 2 m b s p a l5 7 6 5 7 64 ：32 51 613 2 7 m b s c i f3 5 2 2 8 84 ：31 4 9 81 218 2 m b s q c i f 1 7 6 1 4 44 ：39 9 91 23 0 m b s h d t v1 2 8 0 7 2 01 6 ：95 9 9 41 26 2 2 9 m b s h d t v1 9 2 0 1 0 8 01 6 ：92 9 9 71 27 4 5 7 m b s 很显然，电视信号数字化后直接保存或传输的方法是令人难以接受的，因而 必须对图像数掘进行压缩后再保存或传输。 目前视频压缩编码传输中最为重要的编解码标准口i 有： 4 第1 帝，j i 南 表1 - 2 视频编码国内外标准 标准描述及用途制定时问和标准号 g 3 g 4 _ 二值l 肇j 像，文档传真，压缩比为1 0 3 01 9 8 0 ，c c i t t 制定 j b i g g 3 g 4 的改进。朋丁_ 二值文本，、| ，色调 2 9 92 年i t u 2 s o 的j b i g ( j o i n t b i l e v e l 或灰度不多的幽像无损乐缩 i m a g i n gg r o u p ) 制定 j p e g 川r 单幅静l r 幽像( 灰度和彩色) 压缩， 1 9 9 2 7 ，联合制定，i s o c d1 0 9 1 8 与t i f f 格式兼容 j p e g 2 0 0 0h | r 连续色嗣的静l r i 弩| 像( _ 二值，灰度 2 0 0 0 3 ，j | j 合制定，2 s o c e cf c d 和彩色) 压缩，与j b i g 合1 ：( i t u t 8 0 0 ) 1 5 4 4 4 h 2 6 l 川丁i s d n 可视会议或电活，速率为6 4 p ( 即p x 6 4 ) 1 9 9 0 1 2 k b s ( p = 2 ，2 ，3 0 ) ，便丁v l s i 实 现 m p e g 一1 i 4 丁多媒体、c d 及埂盘存昭，帧内白适 1 9 9 2 7 ，l s ol l1 7 2 廊鼙化，速率为i 5 m b s m p e g 2 川1 ：数字l 乜视及h d t v 等，速率为 1 9 9 4 i2 ，2 s o 2 e c2 3 8 18 - 2 ( h 2 6 2 类 2 2 0 m b s ( 原m p e g 3 的速率高达似) 4 0 m b s ，但已被撤销) m p e g - 4 利川公h j 网电话线、手机线传送可视电2 9 9 5 草案，i s o 制定，i t u 标准有： 薛、多盘! l l 体交互 t i j 啕等，速率可低丁h 2 6 3 ，h 2 6 4 ，h 3 2 0 6 4 k b s ( 2 6 3 为2 2 k b s ) 戏6 4 3 8 4 k b s m p e g 7 对音像内容进行描述，定义资料的结构 1 9 9 8 年启动：2 0 0 1 年国际标准定案 和语法，便丁有效地搜寻、过滤相关内 容 m p e g 2 1网上实时交换协议 止在制定 a v s第2 部分为视频标准( 共9 部分，覆盖国家标准，相当丁m p e g 4 ，2 0 0 6 年 音视频)公布 1 1 3 视频传输模块 视频可以通过不同的传输网络进行传输，可以是有线网络，也可以是无线网 络，每种网络又有各自的信道特性，必须根掘各自的特性进行设计。 多路尢线税频传输系统的改汁，实现 1 2本论文开展的工作 本论文设计和实现一个多路无线数字视频传输系统的发送端，并完成了接收 端的芯片选型与系统结构设计，同时给出核心算法的实现过程以及系统软件的设 计思想。 在发送端，系统将实现4 路q v g a 格式的视频图像合成l 路v g a 格式的视 频图像，通过m p e g 4 压缩芯片进行m p e g 一4 格式的数据压缩，压缩完的数据 交由无线网卡发送。 已完成的多路无线数字视频传输系统的主要工作是： ( 1 )多路无线数字视频传输系统接收端的总体设计与论证。 ( 2 )系统各部分如c m o s 传感器、f p g a 、m p e g - 4 编码电路、a r m 处 理器、e t h e m e t 、r s 2 3 2 等器件的选型。 ( 3 ) 系统各部分电路的电路原理图设计。 ( 4 )电路板( p c b ) 的设计，电路焊接与调试。 ( 5 ) 基于x i l i n x 公司的f p g a 芯片x c 3 s 4 0 0 实现4 路q v g a 格式的视 频图像合成1 路v g a 格式的视频图像的算法。 ( 6 )完成多路无线数字视频传输系统接收端的总体设计与论证。 第2 争数，m 频的中h 关删论j 系统介绍 第2 章数字视频的相关理论与系统介绍 2 1 视频理论 2 1 1 视频时序1 4 i 连续的视频信号实际上是一系列静止图像的快速显示，利用人眼对影像具有 残留的特点，而实现连续的动态播放。对于一般的独立显示终端，要求显示的频 率为5 0 6 0 f p s ，而在显示器上显示则需要7 0 9 0 f o s 。显示时需要特别的同步信 号，包括：帧同步信号v e r t i c a ls y n c ，用束表示一帧图像的丌始。行同步信号 h o r i z o n t a ls y n c ，用柬表示一行数据的丌始。 图2 1 视频图像结构 同步信号一般有三种形式： 1 独立的行同步信号和独立的帧同步信号 2 独立的复合同步信号 3 嵌入在视频信号中的复合同步信号 在后两种形式中，复合同步信号同时包含了行同步信号和帧同步信号。 2 1 2 视频扫描模式5 i 连续的视频显示是通过对每一帧图像的连续显示来实现的，在显示过程中有 两种的扫描模式：逐行扫描和隔行扫描。逐行扫描将每一帧视频信号逐行输出： 多路无线视频传输系统的l 垃汁。j 实现 隔行扫描则将每帧信号分为奇偶两场，先输出奇数行的信号再输出偶数行的信 号。 种： 逐行于 描 隔行门描 图2 2 逐行扫描和隔行扫描 2 1 3 视频分辨率 视频分辨率一般指每行的采样点数乘以每帧的行数。常用的分辨率有如下几 u x v g a1 6 0 0 x 1 2 0 0 x v g a x g a s v g a v g a 1 2 8 0 x 9 6 0 l0 2 4 7 6 8 8 0 0 6 0 0 6 4 0 x 4 8 0 q v g a 3 2 0 x 2 4 0 c i f q c i f s q c i f 3 5 2 x 2 8 8 1 7 2 1 4 4 1 2 x 9 6 8 第2 辛敏，w 频的抖1 天删论j 系统介绍 2 1 4颜色空间 彩色空间是指一组颜色的数学表示。目前最常用的三种颜色模型足r g b ( 多 用于电脑图形) ：y i q 、y u v 、y c b c r ( 用于视频系统) ；c m y k ( 用于彩色打印) 。 所有的这三种颜色模型都能够由r g b 数据转换而束。 1 r g b 颜色空间 红、绿、蓝三种颜色被广泛应用于电脑图形中，三者的组合能够形成任何一 种特定的颜色。 l i 至 要 l 善 墨 i 蕾 | i u o 星 毒 ro 协2 弱2 5 52 s 5 002 5 52 皓0o g0 t 0 2 s 52 5 52 5 52 5 52 5 s 0oo0 b0 t 0 2 5 52 5 502 5 50 2 5 502 5 s0 图2 3r g b 颜色空l 司 2 y u v 颜色空间 视频标准p a l ( p h a s ea 1 t e r n a t i o nl i n e ) ，n t s c ( n a t i o n a lt e l e v i s i o ns y s t e m c o 釉m i t t e e ) 和s e c a m 都是采用这种颜色空日j 。其中y 表示亮度( 1 u m a ) ，u 和v 表示色差。他们与r g b 的转换公式如下： y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b u = - 0 1 4 7 r 一0 2 8 9 g + 0 4 3 6 b = 0 4 9 2 ( 8 一y ) v2 0 6 1 5 月0 5 1 5 g o l o o 口。o _ 8 7 7 ( r - y ) ( 2 1 ) r = y + 1 1 4 0 v g = y 一0 3 9 5 u 一0 5 8 l v 口= y + 2 0 3 2 u 3 y l o 颜色空间 y i q 空倒是从y u v 空间转换而来，一般用在n t s c 复合彩色视频标准。其 中，l 代表同相，q 代表积分。y i q 与r g b 的转换公式如下： y = o 2 9 9 r + 0 5 8 7 g + 0 1 1 4 8 = 0 5 9 6 r 一0 2 7 5 ( 3 0 3 2 1 8 = v c o s 3 3 。+ u s i n 3 3 。= 0 7 3 6 ( r y ) 一0 2 6 8 ( 8 一y ) q = o 2 1 2 舟一0 5 2 3 g + o 川占= 3 3 。+ ，c o s 3 3 。=