（控制理论与控制工程专业论文）基于tms320dm642的嵌入式视觉平台的驱动设计.pdf

ab s t r a c t i n r e c e n t y e a r s , t h e m a c h i n e v i s i o n a s a n e w t e c h n o l o g y h a s m a n y a d v a n t a g e s . i t c a n m e a s u r e i n h i g h p r e c i s i o n w i t h o u t c o n t a c t t h e o b j e c t , n n r f o r a l o n g t i m e w i t h o u t p a u s e , c a r ry r i c h d e t a i l in f o r m a t i o n a b o u t t h e o b j e c t . a n d t h e s e a d v a n t a g e s m a k e t h e m a c h i n e v i s i o n i n d o m a i n o n i n d u s t ry m a n u f a c t u r e , m e d i c a l s e r v i c e , t r a f f i c c o n t r o l , v i d e o s u r v e i l l a n c e , s a t e l l i t e r e m o t e s e n s i n g . r e c e n t l y , r e s e a r c h o n h o w t o c o n s t r u c t a r e a l t i m e , l o w p o w e r c o n s u m p t i o n , s m a l l r o o m , a n d l o w c o s t v i s i o n p r o c e s s i n g s y s t e m p l a t f o r m b e c a m e a h o t s p o t . t h i s s u b j e c t u s e s t i s m u l t i m e d i a c h i p t ms 3 2 0 d m6 4 2 a s t h e c o r e p r o c e s s o r o f t h e h a r d w a r e p l a t f o r m o f t h e v i s i o n s y s t e m t h e p l a t f o r m h a s c u b s / s - v i d e o t w o i n p u t m o d e s , a n d h a s c v b s / s - v i d e o ng a t h r e e d i s p l a y m o d e s , 1 0 / 1 0 0 m n e t w o r k t r a n s m i s s i o n a n d s o o n . s o f a r , w e h a v e d e v e l o p e d t h e p l a t f o r m s v i d e o c a p t u r e a n d d i s p l a y d r i v e r , c o m p l e t e d v i d e o c a p t u r e a n d d i s p l a y a p p l i c a t i o n p r o g r a m , t r a n s p l a n t e d t h e v i d e o w i r e l e s s n e t w o r k r e a l - t i m e t r a n s m i s s i o n f u n c t i o n o n t h e p l a t f o r m . t h i s a r t i c l e fi r s t c a r r i e d o n a b r i e f i n t r o d u c t i o n t o s y s t e m s f u n c ti o n m o d u l e s a s we l l a s t h e r e l a t io n s b e t we e n t h e m- a n d t h e n c o n c e n t r a t e d o n h o w t o u s e t h e c l a s s / m in i d r i v e r t o d e v e l o p t h e s y s t e m s v i d e o d r i v e r . e s p e c i a l l y , w e u s e d t h e g e n e r i c p a rt o f t h e v i d e o d i s p l a y d r i v e r a s a n e x a m p l e t o s h o w t h e s t e p s o f d r i v e r d e v e l o p m e n t .i n c l u d i n g , h o w t o i n i t i a l i z e t h e v i d e o p o rt , a n d t h e e d ma p o rt a s w e l l a s t h e b u ff e r m a n a g e m e n t o f t h e d i s p l a y d r i v e r . s i m u l t a n e o u s l y w e in t r o d u c e d h o w t o u s e d s p b i o s t o d e v e l o p m e n t v i d e o c a p t u r e 学校有权保存学 位论文的印刷本和电 子版，并采用影印、缩印、扫描、数字化或其它手段保存 论文; 学校有权提供目 录检索以及提供本学位论文全文或者部分的阅 览服务; 学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电 子版:在 不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术 活动。 学 位 论 文 作 者 签 名 :漱 女 月 4日 年一 叮 经指导教师同意，本学位论文属于保密，在 年解密后适用本授权书。 犷 翼 争 腿 学位论文作者签名 : 年月 各密级的最长保密年限及书写格式规定如下: 内部5 年 ( 最长 5 年，可少于 5 年) 秘密1 0年 ( 最长 1 0 年，可少于 1 0年、 机密2 0年 ( 最长 2 0 年，可少于 2 0年) 南开大学学位论文原创性声明 本人郑重声明:所呈交的学位论文，是本人在导师指导下， 进行研究工作 所取得的成果。除文中已 经注明引用的内容外， 本学位论文的研究成果不包含 任何他人创作的、己公开发表或者没有公开发表的作品的内 容。 对本论文所涉 及的研究工作做出 贡献的其他个人和集体，均已在文中以明 确方式标明。本学 位论文原创性声明的法律责任由 本人承担。 学位论文作者签名: d pi7 年 如 “ 日 第一章 绪 论 第一章 绪 论 第一节 机器视觉 概述 1 . 1 . 1机器视觉的定义 视觉信息是人类感知环境世界的主要途径，据研究表明人类 8 0 %以上的信 息是 通过 视觉获 取的. 机器视 觉( m a c h i n e v i s i o n ) 作为 人类 视觉的延 伸， 是一门 基于视觉技术的交叉学科，其核心技术是视觉处理，并通过对视觉处理来执行 进一步的 检测与控制等。 广义机器视觉与计算机视觉的概念没有多大区别，泛指使用计算机和数字 图像处理技术达到对客观事物图像的识别、理解和控制。而工业应用中的机器 视觉概念与普通计算机视觉、模式识别、数字图像处理有明显区别，它比计算 机视觉更强调实用性和实时性。日本东京情报科认为机器视觉技术就是图像处 理及计 算机 视觉 技术 在产业方面的 应 用。 美国 制造 工程 师协会 ( s me , s o c i e t y o f m a n u f a c t ur in g e n g i n e e r s ) 机器视觉 分会和美国 机器人工业协会( r i a , r o b o t i c i n d u s t r i e s a s s o c i a t i o n ) 的自 动化视 觉分会对 机器 视觉的定 义为:“ 机器视 觉是 通 过光学的装置和非接触的传感器自 动地接收和处理一个真实物体的图像，以获 得所需 信息 或用于 控制 机器人 运动的 装置” 川 。 2机器视觉系统的结构 一个典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、 图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块 等，如图1 . 1 所示。 r #r itit 菜 sk黑a fi 另一 种嵌入 式， 如 传感 器和智能 相机。 它们 都有 各自 的 特点和 适用场 合: 基于p c 的采集板卡和s d k 的解决方案历史比较悠久，其s d k 也越来越开放 和易用。它把机器视觉的底层算法进行模块化封装，对机器视觉的处理过程进 行流程化设计，使得整个机器视觉犹如 “ 搭积木”一样简单。但开发经费也比 较昂贵，主要用于高速度和高精度的行业，如半导体行业等。 而随着i c 产业的发展，图像处理算法的不断成熟，过去很多要定制开发软 件的应用，现在都可以做成嵌入式的固定模块化产品。目前在很多中低端的产 品中，嵌入式的机器视觉得到了很大的发展。随着嵌入式处理器运算速度和精 度的提高，嵌入式的机器视觉的性能也越来越高，并逐渐开始进入高端应用， 不 断抢占 基于 p c 的 机器 视觉的 市场 71 1 . 2 . 3本课题研究内容 鉴于嵌入式机器视觉良 好的发展趋势，本课题组决定选择对机器视觉系统 中的图像处理系统进行研究， 在课题完成后可以作为后续实验的一项技术储备。 研究完成后，将建成一个嵌入式的视频处理平台，该系统将具有以下性能: 可对p a l制、n t s c制的模拟信号进行采集 可以处理 2 路 s - v d e o 或4 路 c v b s模拟视频信号的输入 具有c v b s . s - v i d e o . v g a三种视频显示方式的接口 可处理b t 6 5 6 、原始自 定义视频格式的数字视频数据 具有两路 u a r t的通用异步串行收发方式的通讯接口 具有 1 0 / 1 0 0 m 网络自 适应的通讯功能 第一章 绪 论 能够实时传输p a l 制 7 2 0 x 5 7 6的 视频信息 对于不同系统需求的可扩展性 较好的抗干扰能力 卜卜卜 第三节 本文内容 本文以自行设计的视觉系统为研究平台，对视觉系统所涉及的视频原理和 视觉硬件平台进行简要介绍，对视觉平台的视频采集和显示驱动设计与实现方 式进行了详细讨论，同时对视频采集和显示应用程序的实验方法和结果进行了 简要介绍。 第一章介绍机器视觉的定义、分类以及应用范围，描述机器视觉系统的通 用结构框图，介绍当前机器视觉的发展现状并分析了当前的研究热点，同时介 绍本课题的研究背景和内 容。 第二章简要介绍视频的一些基础理论知识。其中主要对模拟视频，数字视 频知识进行概括性的介绍，并简要介绍数字视频压缩标准。 第三章主要介绍本课题视觉系统的硬件平台。介绍系统方案的形成，讲述 系统平台的整体框架、各个主要的功能模块，以及各个模块之间的连接关系。 第四章详细介绍视频采集和显示驱动的实现.其中主要对本视觉平台显示 驱动的三个主要方面进行详细的介绍:首先结合d m6 4 2 的wo r t ( v i d e o p o rt ) 端口对显示驱动中视频端口的初始化进行介绍;其次结合d m6 4 2 的e d ma ( e n h a n c e d e ri c t l y m e m o ry a c c e s s ) 端口 对 显示驱 动中 e d m a 的 初始化 进行 介 绍;最后介绍在显示驱动中如何实现对缓冲空间的管理，其中包括如何实现视 频的分合场的管理， 视频队列的管理等等。 第五章对视觉系统的采集和显示功能验证程序进行简要介绍，并对图像的 无线网络实时传输程序的过程进行说明，最后给出实验结果。 第六章总结所完成的工作，并对今后需要完成的工作进行展望。 第二章 视频理论基础 一- j一 r 一 一 月 一 一 尸 - - - - - - - - - 一 之 之 之一 _ 一 分 于 一 ，、甸.勺互，、 rr升尸夕r产 矛产洲广尸洲尸声产声产 1 fi e l d 3 1 2 . _ l i n e s 2 f i e l d 3 1 2 5 l i n e s f r a m e 6 2 5 l i 口 目 图2 .2 电子枪扫描过程 p a l 制的模拟视频总共有6 2 5 行， 从第3 1 1 行到3 3 6 行以及从6 2 4 行到2 3 行期间的时间用作垂直消隐。水平扫描一样也有消隐时间， 如图 2 .2所示。由 于 p a l制图像的播放频率是 2 5帧砂 ，而每帧由 6 2 5行，所以行扫描频率是 6 2 5 x 2 5 h z ，由 此可以计算出每行的扫描时间是 6 4 u s ，其中的 i o u s 左右的时间 是水平消隐的时间. 水平消隐信号和同步脉冲之间的关系，有着十分明确的定义.如下图 2 .3 所示 1 2 ， 设两 个同 步 脉冲之间 的时间 间隔 为一 行的扫描 时间h ， 根 据定 义， 消 隐时长 0 . 1 6 h ，同步脉冲时长 0 . 0 8 h，脉冲前沿 o . 0 2 h,脉冲后沿0 .0 6 h . l 卜一一- 一 h - - - i ! 0 . 0 8 h ho riz o n t a l s y n c p u l s e 0 . 0 6 h b a c kpe r c h 0. 1 6 h h o r iz o n ta l b l a n k i n g p 川se 朽知乃。 沪.口，-己ev t i m e 图2 .3 模拟电视水平消隐和同步脉冲的关系 在模拟电视中，彩色与黑白电视信号有个不同点就是在水平消隐电平中的 后沿加了个彩色基准相位指示信号。通过它可以 标识出视频信号是黑白还是彩 第二章 视频理论基础 色， 同 时可以 获得彩 色信号的 相 位信息， 从 而解调出 色 度信号。 如图2 .4 所示 i 1 3 ) . 图2 .4 彩色电视模拟信号 以上所示是水平消隐和同步脉冲之间的关系，同样在垂直消隐之中也存在 很多 的同 步脉 冲。 这些脉 冲中主 要的 脉冲是 场同步 脉 冲。 如 下图2 . 5 所示 11 4 1 . e q u a liz i叩 p . ! ， 日 甘 e d 岭的 w 阳旧 vo lta geloo e q u a l iz i n g p u l s e i n t e r v a l b 油 m 幻 n a场 蛇t l 巧 令2 5 】% w 1 1 t 亡l e v e l c l z 5: 2 5 % z a r n e a r d e r - p l c l u r e 月 匆 r . b 抽n 叼. 粗 图2 . 5 垂直消隐信号的组成图 一般全电视信号的带宽是6 mh z 左右。 其中彩色信号经过 3 . 5 8 mh z 载波调 制后输出，声音信号经过 4 . 5 mh z载波调制后输出。全电视信号左边低频区有 1 .2 5 mh z 的带宽间隔， 右边的高频区有。 . 2 5 mh z 用来防止信道之间的相互干扰， 图2 . 6 为 它们的 频 谱特 性p 热 第二章 视频理论基础 。 改 。 . c a n 甲 4 n (oppifpii iiii0 os 1755 .5 57 5 60 日 nt 尸 0 l5nn r 卜 一 35 7 9 54 5 卜 一 卜一 一4 卜 图 2 .6 全电视信号的各个信号的带宽分布图 以上所述是彩色和黑白电视信号的共有特性。这是在设计之初，电子工程 师为使黑白电视能够不做任何改变就能接收彩色信号，就将彩色电 视信号在传 输方法上做了调整，以下对这些调整做一个简要的介绍。 在应用中，彩色电视可以简单的通过以下方法实现:使用三原色的摄像机 采集图像后，将采集来的三原色信号分别传送到带有三个电子枪和驱动电路的 设备上进行显示。 这就需要对三原色分别分配相应的带宽， 前文中所说的6 mi 3 z 带宽的全电 视信号带宽就不够用。因此为了在原有带宽传输彩色电视信号，就 需要重新定义彩色信号的传输方式。在保留原来单色信息基础上，又要增加色 彩 信息。 工 程人员 就 采用一 个新的 信号一一 亮度信 号y 。它占 有0 - 4 m h z 的 带 宽，包含图像的亮度信息和细节信息，y相当于黑白电视中的单色信号。图像 采集设备使用三原色原理对图像信息进行采集得到 r g b 信息，亮度信息是在 r g b信息的基础上得到的，它们的关系如下: y =0 . 3 r +0 . 5 9 g +o . 1 1 b ; ( 2 . 1 ) 为表示图 像的 色彩信息， 工程人员设计其他两个信号负责传输彩色信号( 以 n t s c 制为 例说明 ) ， 一 个叫q ，另 一 个叫i 。 它们与r g b的关 系如下: q = 0 . 2 1 r -0 . 5 2 g +0 . 3 1 b ; ( 2 .2 ) i = 0 . 6 r - 0 . 2 8 g -0 . 3 2 b s ( 2 .3 ) q 和i 信号 都 通过3 . 5 8 m h z 的 载波 调制后 将它们两 个 信号 叠加 在一 起就形成了 c信号，即色度信号。这个色度信号中，信号的幅度表示色彩的饱和度，而信 号的相位则表示颜色的类型。 由 上所 述， q和 i 都与 相位有 关，因 此在信号 传 输中 必须 提供 相位的参 考 信号，这就是在上文中所说的在水平消隐电平的后沿所加的色彩相位信号，它 第二章 视频理论基础 设 定了 整 个系统的 基 准相 位。 如下 图2 .7 所示 11 6 1 ，在 基准 相位 的基 础上 偏移9 0 度得到的 就是r - y信号， 它表 示红色 信号 和亮度 之间的 差 异。 从 基准 相位偏 移 1 8 0 度就是b -y ， 表示蓝色和亮度之间的差异。 偏移3 0 4 度就是 g -y ， 表 示是绿色信号与亮度信号的差异。 c s m n a 已 rum 3 乙0 、斌1/ 1 即 日 o r s 才 y e l l o w 9限 创1 、 itrd r10.1 t4 犷 / 二 杯 、 g -2 4 v 百 - - -4-_ / / 图1 7 基准色彩相位与各颜色的相位转换关系图 比 如为了 获得b - y信号， 就 将色度 信号 解调乘以c o s ( m t ) 。 如下 所示: e , f co s(cot) -c co s(w t + 6 ) = 粤 e ,f c (co s(2 an + 8 ) + co s(8 ) ; (2 .4 ) 。是载波频率，s 表示信号在基准彩色相位的基础上的偏移角度。加入低通滤 波器后 2 次谐波将被消除，得到: e f co s(w ) -c co s() t 十 e ) 一 合 e rtfc co s(0 ) ; ( 2 5 ) 将 参 考电 压 绮 设 定 为2 , 得 到 c c o s (6 ) . 即b - y 同 理 可 以 得 到r - y , 这 样 根据公式 2 . 1 ，就可以分别计算得到r g b的值。从而就可以复原所采集的原始 图像。 2 . 1 .3 电视信号制式 a . n t s c制 n t s c 制是美国 在1 9 5 3 年 1 2 月 首先 提出 的， 并以 美国 国 家电视 系统 委员 会 ( n a t i o n a l t e l e v i s i o n s y s t e m c o m m i tt e e ) 的 缩写命 名。 这种 制式 的色 度信号 调制 特点为平衡正交调幅制，即包括平衡调制和正交调制两种技术，虽然解决了彩 第二章 视频理论基础 色电视和黑白电视广播相互兼容的问题，但是存在相位容易失真、色彩不太稳 定的缺点。采用n t s c制的国家有美国、日 本等国家。 b . p a l制 p a l制是为了克服n t s c 制对相位失真的敏感性， 在 1 9 6 2 年， 由前联邦德 国在综合 n t s c制的技术成就基础上研制出来的一种改进方案。 p a l是英文 p h a s e a l t e r a t i o n l in e 的缩写，意思是逐行倒相。它对同时传送的两个色差信号 中的一个色差信号采用逐行倒相，另一个色差信号进行正交调制方式。有效地 克服了因相位失真而起的色彩变化， 与黑白电视的兼容也好。 采用p a l制的国 家较多，如中国、德国、新加坡、澳大利亚等。 c . s e c a m制 s e c a m制是 法文s e q u e n t i e l c o u l e u r a m e m o i r e 的 缩写， 意思为“ 按 顺序 传送彩色与存储” ， 是由法国 在 1 9 6 6 年研制成功的， 它属于同时顺序制。 在信 号传输过程中，亮度信号每行都传送，而两个色差信号则是逐行依次传送。它 不怕千扰， 彩色效果好，但其兼容性较差。世界上采用s e c a m制的国家主要 有俄罗斯、 法国、埃及等国家。 综上所述，这三种电 视制式的比 较如表2 . 1 所示: 表2 . 1 p a l . s e c a m与n t s c比较 i v制式 nts cp als ecam 帧频 3 02 5 2 5 行2 帧 5 2 56 2 5 6 2 5 亮度带宽( m l -1 z ) 4 .24 . 2 6 . 0 色度带宽 mh z ) 1 . 3 ( 1 ) / 0 . 6 ( q )1 .3 ( u ) / 1 .3 ( v ) 1 .0 ( u ) h 1 .0 ( v ) 6)乃8) (2价仪 三种电视制式定义亮度的公式是一样的，如公式2 .6 所示: y=0 .2 9 9 r+0 . 5 8 7 g+0 . 1 1 4 b; 但它们定义色度的公式却有所差别: b一 y， - -s m ( wr ) 十 2 . 0 3 r - y 1 . 1 4 c o s ( w t ) ; u.， 、v -sin(wt)士-c o s ( wr l ; 2 . 0 3”1 . 1 4 第二章 视频理论基础 s e c a m 的色度信号是频率调制，它的两个色差信号 红色差 ( r - y)和 蓝色差 ( b - y ) )是 按行的 顺序传输的， 这里就不做详细介绍. 2 . 1 .4电视信号类型 模拟彩色视频可以以 下面三种传送方式传 输电 视信号: ( 1 ) c o m p o s it e v i d e o ( c v b s ) : 使用最为 广 泛的 一 种电 视 信号 的 传输方式， 它 用一根信号线进行电视信号的传输，其中包含亮度信号、色差信号和所有定时 信号的单一信号，有时称为全电视信号。缺点就是亮度信号 和色度信号之间存 在干扰。 ( 2 ) s - v i d e o : 分离电 视 信号， 也称为y / c 信号 方式， 是 将亮度和色差分离 的 一种电 视信号 的 传输方 式， 通常采 用4 管脚的 接线头。 是c o m p o n e n t vi d e o和 c u b s的一种折中方案。它的信号质量要好于c v b s 传输方式，因为它消除了 亮度和色度信号的干扰。 但是要比c o m p o n e n t v i d e o 传输方式的 质量要差一些。 ( 3 ) c o m p o n e n t v i d e o : 指每个基色 分量作为 独 立的电 视 信号。 每个基色既可 以 是r g b ， 也可以 是y u v . y i q 。 它需要比 较宽的带宽 和同 步信号控 制。 使 用 它传输的质量是最好的。 第二节 数字视频简介 从上一节我们了 解到世界上各个国家在发展模拟视频时都开发了 利于自己 的各种各样的模拟电视制式，这就影响了电视视频信号的通用性。因而在制定 数字视频标准时，为了统一各国的数字电视视频标准，由国际无线电咨询委员 会( i n t e rn a t i o n a l r a d i o c o n s u lt a t i v e c o m m itt e e . i r c c ) 在8 0 年代统一制定了 数字 视频标准c c i r 6 0 1 。本节中先对模数转换的采样格式开始介绍， 然后再对模拟 转换成数字时的国际标准c c i r 6 0 1 以及其改进版b 1 6 5 6 进行简要介绍。 2 .2 . 1数字视频的采样格式 模拟视频一般采用分量数字化方式，即先把复合视频信号中的亮度和色度 分离， 得到y u v或y i q 分量， 然后用模 / 数 转换 器对y u v或者y i q( 在数字 采样时也称为y c b c r )三个分量分别进行数字化，最后再转换到r g b空间。 第二章 视频理论基础 在采用分量数字化方式对彩色电 视图像进行采样时，可以采用两种采样方 法:一种是使用相同的采样频率对图 像的亮度和色差信号进行采样，另一种是 对亮度信号 和色差信号 分别采用不同的 采样频率进行采样。比 如，如果 对色差 信号使用的 采样频率比 对亮度信号使 用的 采样频率 低，就称为图 像子采样。 实 验表明，使用下面的子采样格式可以使人的视觉感官对采样前后显示的图像质 量没有感到明显差别。目 前使用的子 采样格式有以 下几种: 1 , 4 :4 :4采样方式。 这种采样方式严格说不属于子采样格式，它采用相同 的采样频率对图 像的亮度和色差信号进行采样，也就是指在每条扫描线上每 4 个连续的 采样点取4 个y , 4 个红色差c r 和4 个蓝色差c b ， 这就相当于每个 像素 用3 个样本表 示， 如图2 .8 ( a ) 所示。 2 , 4 :2 :2 采样方式。这种子采样格式是在每条扫描线上每4 个连续的采样 点取4 个y , 2 个红色差c r 和2 个蓝色差c b ，平均每个像素用2 个样本表示， 如图2 .8 ( b ) 所示。 3 , 4 : 1 : 1 采样方式。这种子采样格式是在每条扫描线上每4 个连续的采样 点取4 个y , 1 个红色差c r 和1 个蓝色差c b ， 平均每个像素用1 . 5 个样本表示， 如图2 . 8 ( c ) 所示。 4 , 4 : 2 : 4 采样方式。 这种子采样格式是在每条扫描线上每2 个连续的采样 点取2 个y , 1 个红色差c r 或i 个蓝色差c b ， 平均每个像素用1 . 5 个样本表示， 如图2 . 8 ( d ) 所示. 一币醉预卜 领资领 资 一一 返醉- . 一*- 一 卜 一 :子一一一 c . y 样本 0 c b / c r本 图2 . 8 各采样方式样本的位置图 第二章 视频理论基础 2 . 2 .2数字视频标准 2 .2 , 2 . 1 b 1 6 0 1 ( c c i r 6 0 1 ) 数字 视频 采样标 准 该标准是数字电视最基本的标准，它对电视信号色彩空间的转换、数字采 样格式、 采样 频率、 量 化级别、 编 码方 式都 做了 详细的 规 定1 ; 1 8 1 h 叹 1 ,量化 从模拟视频一节中，我们可以知道模拟彩色信号是以亮度和色度的形式传 输的，从传输的信号中我们可以获得y, b - y, r - y 的模拟信号。假设这三个模 拟电平分别为e y , e b - e y , e r - e y 。在8 位量化模式下其模拟亮度信号量化公式、 两模拟色差信号的量化公式如下: y = 2 1 9 ( e y ) + 1 6 ; ( 2 . 9 ) c i = 2 2 4 0 .7 1 3 ( e r - e y ) + 1 2 8 ; ( 2 . 1 0 ) c b = 2 2 4 0 .5 6 4 ( e b - e y ) + 1 2 8 ; ( 2 . 1 1 ) 2 、色彩空间之间的转换 在数字域中r g b与y c b c r 两个彩色空间的转换关系用下式表示: 叫= cb i 0 .2 9 9 0 .58 7 0 .1 14 1 r ) 0 0 .5 0 0一 .4 1 8 7 刁 .0 8 1 3 ii g 十 1 2 8 一 l - 0 . 1 6 8 7 -0,3 3 1 3 0 .5 0 0 j l b j l 1 2 8 ( 2 . 1 2 ) 3 、采样频率 c c i r为n t s c制、 p a l制规定了 共同的图像采样频率，以4 : 2 : 2 的子采样 格式为例，这两种电视制式的亮度采样频率都规定为 1 3 . 5 mh z ，色度采样频率 为 6 . 7 5 mh z 。从而可以 得出 每一行亮度和色度的采样点数: 亮 度 采 样 频 率 .r , 为 : 天= 6 2 5 x 2 5 x n =1 3 . 5 m h z ; ( 2 . 1 3 ) 从 而 计 算 出p a l 制 每 一 行 亮 度 的 采 样 数 为n = 8 6 4 ， 色 度 的 采 样 频 率 刀为 6 . 7 5 mf i z ，算出每一行色度的采样数为4 3 2 个。同理可以算出n t s c制下每一 行亮度的采样数为 8 5 8 个，每一行色度的采样数为 4 2 9 个。 4 、有效显示分辨率与水平同步脉冲关系 由上可知，两种制式在选用相同的采样频率下，每行获得的点数不同.所 以为了统一，把两者取样点数之差放在数字有效行以外处理.而伸亦有x 行内 第二章 视频理论基础 的取样点数相同。 标准建议两种制式有效行内的亮度信号为7 2 0 个，色差信号各 取3 6 0 个，这样就统一了数字分量编码标准。如图2 . 9 所示为p a l 制和n t s c 制每 一行的亮度采样点和水平同步脉冲的关系: 1 2 2f - 洲 一一二7 2 0 一一子一二 1 6 图2 .9 p a l / n t s c制亮度样本与同步脉冲的关系 5 、数字化后的数据量 根据f的采 样率， 在不同 的采 样格式下 数字视 频的 数据 量如 表2 ,2 所示: 表 2 . 2不同的采样格式下数字视频的数据量 采样格式 ( y :u : v )数据 量 ( m b y t e / s ) 4 : 2 : 22 5 .7 5 4 : 4 : 43 8 .6 2 5 2 . 2 ,2 .2 b t 6 5 6 数 字视频 采样 标准 b t 6 0 1 是i t u ( 国 际电 信联盟 ) 推荐的 数字视 频 采样 标准.由 于采 样后的 视 频数据量较大， 为了方便传输， i t u对b t6 0 1 标准进行了升级， 升级后的标准 称为b t6 5 6 .在b 1 6 5 6 标准中指定了亚采样的模式是4 :2 : 2 方式，同时为了方 便数字视频数据以小包方式传输定义了传输起始码: s a v和 e a v ， 传输数据的 时钟定 义为2 7 m ， 其他的 方式与b t .6 0 1 一样 ( 2 0 1 第二章 视频理论基础 第三节 数字图像压缩 从上节的介绍可知，未压缩的数字视频的数据对计算机和网络来说，无论 存储或传输都不现实，因此使用数字视频的关键就是视频压缩技术。当前视频 压缩标准有静态图 像的j p e g压缩标准和动态图像的mp e g n , h .2 6 x 压缩标准。 2 . 3 . 1 数据压缩分类 数据的压缩是通过数据编码手段来实现的，根据数据压缩后能否准确无误 的 恢复 压缩 前的 数 据， 可以 将压缩 分为无 损压 缩和有 损 压缩2 q 2 . 3 . 1 . 1无损压缩 无损压缩的原理就是对原始数据中的冗余数据进行压缩。使用无损压缩可 以完全无误的恢复原始数据。一般用在原始数据的存档中，如程序和珍贵图像 的保存。由于一般在原始数据中冗余数据较少， 无损压缩的压缩比一般在2 : 1 - 5 : 1 之间。 仅用无损压缩不能实时处理图像和声音数据。 无损压缩常用的编码手 段 有游程 编码、 h u ff m a n 编码、 算 术编码和l z w ( l e m p e l - z i v - w e l c h ) 编码 等。 2 . 3 . 1 . 2有损压缩 研究表明，人类只对图像或声音的部分频带敏感，有损压缩就利用这一特 点，通过放弃人类不敏感部分的信息来换取较高的压缩比。所以经过有损压缩 后的数据不能完全恢复原始数据， 但是所损失的部分对理解原始图像没有影响。 常用的有损压缩方法有: p c m ( 脉冲调试) 、预测编码、变换编码等。 2 . 3 . 2静态图像压缩标准 j p e g r e 伪o i n t p h o t o g r a p h i c e x p e r ts g r o u p ) 即“ 联合 照片专 家组” ， 它是由国 际 标准化组织 ( i s o )和国际电报电话咨询委员会 ( c c ttt )联合成立的。j p e g 压缩比在2 0 : 1 4 0 : 1 之间.压缩算法流程图2 . 1 0 所示: 翰入数 据数据 流 图2 . 1 0 j p e g压缩算法流程图 第二章 视频理论基础 图像预处理 完成图像从r g b到y u v色度空间的转换，将图像数据划分成8 x 8大小的 矩阵块，方便后面算法的处理。 离散余弦变换 离散余弦变换将图像数据从时域变换到频域的数据，将图像的主要信息集 中到几个系数上，其他大部分的系数绝对值较小，通过后一级的量化处理 将出现大部分的0 值，从而适用于使用游程编码去处冗余数据。 量化 为了实现数据压缩，对经过 d c t变换后的系数要做量化处理。 处理的方式 是将 d c t变换后的系数除以量化表对应的数据， 使得量化后系数取整后大 部分都变成了0 值。 显然量化是有损信息的，是造成信息丢失的主要原因。 编码 主要分为3部分:第一、将 d c t ,量化变换后的数据中的直流分量采取差 分编码 ( d p c m) :第二、将变换后的交流分量采取游程编码;第三、将经 过上两步处理的数据采用基于统计特性的嫡编码，如h u ff m a n 编码。 2 . 3 .3 运动图像压缩标准 mp e g mp e g压缩除了 采用帧内编码外，还利用图像序列中帧与帧之间的相关性 来去 除帧间 的图 像冗 余， 从而 大大提高了 图 像的 压 缩比， 采用m p e g 压缩方 法 可以达到 3 0 : 1 1 0 0 : 1的压缩比。以 mp e g 2压缩标准为例，为了便于联合运 用帧内编码和帧间编码技术， mp e g 2 标准把一个连续显示的图像序列划分成了 许多图像组，图像组中的图像之间相互存在预测和生成关系。图像组的第一幅 图像是采用帧内 编码的图像，称为 i图像;后面可包括数帧采用前向帧间预测 编码的图像，称为p图像:在i 图像和 p图像， p图 像和 p图像之间还可有数 帧采用双向预测编码的图像，称为b图像。它们的关系图如图 2 . 1 1 所示: 日 回 回 日 回 回 回 图2 . 1 1图像序列中图像组关系图 第二章 视频理论基础 图2 . 1 2 所示为m p e g - 2 的视频编码器的结构。 如果输出图像的误差在一定 范围内， 开关接到 “ 1 ”， 表示图像编码采用运动补偿帧间预测编码模式。当误 差超过一定范围时， 开关接到 “ 0 ”图像编码采用帧内编码模式。 在帧间编码时， 反馈环接通。首先由反量化和 i d c t恢复原图像，然后与预测值相加得到带有 量化误差的当前帧， 将它存入预测器的帧存储器中， 作为下一帧编码的参考帧。 当前帧与它的参考帧在运动估计器中进行块匹配，得到运动矢量。使用调节器 将图像码流以恒定速度输出。 图2 . 1 2 mp e g 2 编码器结构图 第三章 视觉平台的硬件设计 第三章 视觉平台硬件设计 第一节 d m 6 4 2 结构性能简介 t m s 3 2 0 d m 6 4 2 是 t m s 3 2 0 c 6 0 0 0 家 族的 一员。 它基于 c 6 4 x 内 核， 具有扩展 的 高级甚长指 令字 ( v e l o c i t i ) 体系结 构， 包 括6 4 个 3 2 - b i t 通用寄 存器， 8 个独立计 算 功能单 元， 可以 并行 运行， 在每 个指 令周期里 最多 可并行 执行8 条3 2 - b i t 的 指令。 因此，当工作在6 0 0 mh z 时钟速率时，计算速度可达到4 8 0 0 mi p s ( mi l l i o n s o f i n s t r u c t i o n s p e r s e c o n d ) . d m 6 4 2 采用 两级缓存 结构 仁1 和l 2 ) ， 由 具有6 4 个独立 通道的e d ma 控制器负责片内 l 2 与其他外设之间的数据传输，合理使用和管理 这个特性，可以大幅度提高程序的运行性能.虽然d m6 4 2 基于c 6 4 x 的内核，但 它在c 6 4 x 的基础上，增加了很多的外围设备和接口，使得它在实际工程中的应 用更为广泛和简便。该d s p 为5 4 8 引脚的b g a 封装，集成度很高。 d m6 4 2 的结构 框图 如图 3 . 1 所示 2 2 . 厂 e m if一一 一门 一 一 一 l i p c x h e 1 七 ， 山. 他 目 d m c o nt ro ， 可 ed m 人， 图3 .1 dm6 4 2 结构框图 第三章 视觉平台的硬件设计 d m6 4 2 主要的外设包括: 3 个可 配置的 视频 端口 ( v p o , v p 1 , v p 2 ) v c x o 内 插控 制端口 ( v i c ) 多通 道音频串 行 端口 ( m c a s p ) 1 0 / 1 0 0 m b p s 以 太网口 ( e m a c ) 数 据管理 输入 输出模 块 ( m d i o ) 2 个多通道 缓冲串 行 端口 ( m c b s p o , m c b s p i ) 3 个3 2 - b i t 通用定 时 器( t i m e r o , t i m e r l , t i m e r 2 ) i 2 c 总线模块 主机端口 接口 b p i ) 3 2 - b i t 的p c i 接口 通用i / o 端口( g p i o ) 6 4 - b i t 的 外部 存储 器接口 伍 mfl 3 . 1 . 1 d m 6 4 2 的c p u 内 核 从上文可知，d m6 4 2 采用基于c 6 4 x 核的c p u ，拥有6 0 0 mb z 的时钟频率和 每 秒 钟最 高 4 8 0 0 m 条 指 令 的 高 性 能 22 1 。 如 图 3 .2 所 示 ， 该 c p u 在 结 构 上 包 括 如 下 部分 : c64) dsp core trolinstructionainstruction controllogicdata ,emumoointerruptcontrol i n s t r u c t io n f e t c hc o n 七 0 】 r e gis t e r s 孙， 川dion di s p a tc h 人 d v a n c e d】 n 时 口面 on p a c k e t co n tro 】 l o g icj n s 6 v c ti o n d e c o d e ls1m dl hd m .s2 t e 翻 da t a p e a a 卜 a31-a 16a 15-a o d日. p a 山 b b31-h 16b 15-bo 州 ad v mc e d l毛 i t c u i l ，二 b 3 1 - b1 6a 3 1 - a1 6 b 5 - b oa1 5 - ao l勺 一j、 加te n n i p t co n t ro l .i r州 图3 .2 d m6 4 2 内核结构 第三章 视觉平台的硬件设计 两 个通用 寄存器 组( a 和 b ， 每个含 有3 2 个 3 2 6 i t 通用 寄存器 ) 8 个功能单元( l i , l 2 , s 1 , s 2 , ml , m2 , d i , d 2 ) 两 个从 内 存读数 据的 数 据通道 ( l d i 和l d 2 ) 两 个写 内 存的数 据通道 ( s t l 和s t 2 ) 两 个数 据地址通 道( d a 1 和d a 2 ) 两个寄 存 器组数 据交叉 通道 ( 1 x 和2 x ) 卜卜卜卜卜卜 3 . 1 .2 d m6 4 2 的c a c h e 结构 在d m6 4 2 中，采用了两级缓存机制.如图3 . 1 所示，c p u 和一级程序高速缓 存( l i p ) 及 一级数 据高速 缓存 l m) 直连，两 块c a c h e 分 别为1