（控制理论与控制工程专业论文）基于tms320dm642的视频系统硬件设计与实现.pdf

ab s t r a c t v i s i o n i s t h e m o s t i m p o r t a n t s e n s e f o r h u m a n . v i d e o i n f o r m a t i o n i s i n f o r m a t i v e , v i s u al , c o n c r e t e a n d v i v i d . a c c o r d i n g t o s t a t i s t ic s , a b o u t ? 0 % o f t h e in f o r m a t io n a h u m a n r e c e i v e d i s o b t a i n e d f r o m v i s io n . t h e s t u d y a n d a p p l i c a t io n o f t h e v i d e o h a s a l w a y s b e e n a tt r a c t in g a l a r g e n u m b e r o f d o m e s t i c a n d f o r e i g n s c i e n t i f i c a n d t e c h n o l o g i c al p e r s o n n e l . i n r e c e n t y e a r s , v i d e o t e c h n o l o g y g r a d u a l ly s h ift s f r o m a n al o g t o d i g it a l . b a s e d o n t h e a u t h o r s w o r k d u r in g t h e g r a d u a t e c o u r s e s , t h e d i s s e r ta t i o n i n tr o d u c e d a n e m b e d d e d v i d e o s y s t e m u s in g t h e t ms 3 2 0 d m6 4 2 d s p b y t i ( t e x as i n s t r u m e n t ) as t h e c e n tr al p r o c e s s o r . t h e s y s t e m c o n s i s t s o f t h r e e m a i n m o d u l e s : t h e v i d e o c a p t u r e m o d u l e , t h e v i d e o d i s p l a y m o d u l e a n d t h e e t h e rne t m o d u l e . i t c a n c a p t u r e a n d d is p l a y c o m m o n a n a l o g v i d e o s i g n al s , c o m p r e s s a n d d e c o m p r e s s d i g i t a l v i d e o d a t a a n d tr a n s mi t t h e v i d e o wi t h t h e e t h e rne t . t h e d i s s e rt a t i o n d e s c r i b e s t h e c o n t e n t o f t h e f o l l o w i n g as p e c t s : 1 ) b r i e f in tr o d u c t i o n t o t h e d e v e l o p m e n t o f t h e v i d e o t e c h n o l o g y , t h e d s p p r o c e s s o r s a n d t h e b as i c v i d e o k n o w l e d g e ; 2 ) t h e a r c h i t e c t u r e o f t h e v id e o s y s t e m , a n a l y s i s o n f u n c t i o n o f al l m o d u l e s , p r o c e s s o f t h e h a r d w a re d e s i g n ; 3 ) t h e p r o g r a m m i n g o f t h e i n t e r f a c i n g f p g a ; 4 ) t h e i m p l e m e n t a t i o n o f t h e p c b a n d s o m e c o n s i d e r a t i o n s o n t h e h ig h s p e e d c i r c u i t d e s i g n b e n i f it i n g fr o m o u r e x p e r i m e n t s , w e c o n c l u d e d t h a t t h e e m b e d d e d v i d e o s y s t e m b as e d o n t ms 3 2 0 d m 6 4 2 h as a c c o m p l i s h e d o u r e x p e c t a t i o n , i m p r o v e d t h e s y s t e m s p e e d a n d e n h a n c e d i t s rel i a b i l i t y . i t c a n b e u s e d as a g e n e r al v i d e o p l a t f o r m b y t h e l a t e r r e l a t e d p r o j e c t s a n d r e s e a r c h e s k e y w o r d s : v i d e o s y s t e m t ms 3 2 0 d m 6 4 2 p c b d e s i g n f p g a 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定，同意如下 各项内容:按照学校要求提交学位论文的印刷本和电子版本;学校有权保存学 位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存 论文;学校有权提供目 录检索以及提供本学位论文全文或者部分的阅览服务; 学校有权按有关规定向国 家有关部门或者机构送交论文的复印 件和电子版;在 不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术 活动。 学 位 论 文 作 者 签 名 :齐9 2 轩 2 o 0 7年乡 月 2 7 日 经指导教师同意，本学位论文属于保密，在 年解密后适用本授权书。 指导教师签名: 学位论文作者签名: 齐晓轩 解密时间:年 各密级的最长保密年限及书写格式规定如下: 内 部5 年 ( 最长5 年， 可少于5 年) 秘密1 0 年 ( 最长1 0 年，可少于1 0 年) 机 密 2 0 年( 最 长2 0 年 ， 可 少 于幼年 ) 南开大学学位论文原创性声明 本人郑重声明:所呈交的学位论文，是本人在导师指导下，进行研究工作 所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含 任何他人创作的、己 公开发表或者没有公开发表的作品的内 容。对本论文所涉 及的 研究工作做出贡献的 其他个人和集体， 均己 在文中以明 确方式标明。本学 位论文原创性声明的法律责任由 本人承担。 学 位 论 文 作 者 签 名 : 齐晓4 1 2 o o 7 年 s月2 7 日 第章 绪论 第一章 绪论 第一节引言 2 0世纪是人类科技飞速发展的时期，飞机、电 视、 计算机、原子弹、人造 卫星、航天飞机、 互联网、 克隆 技术等一批重大科学技术发明在不同的领域改 变了 人类对客观世界的 认识。 其中，电视技术彻底改 变了 人类认知 世界的方式， 加速了人类文化与知识的传播速度，扩大了人类知识的传播面积。今天，电视 已 经深入了 我们的日 常生活， 成为其中必不可少的 一 部分 1,2 1 现代电视技术是集电子学、光学、电磁学、 材料科学、通信技术、信号处 理、色度学等多学科成果于一身的综合性技术。它的 进步与发展不仅依赖于这 些学科的进步，同时还极大的 推动着这些学科的发展。在我国和一些发达国家， 电 视技术产业己 经成为国民 经济的支柱产业之一2 1 从 专业 技 术 角 度 划 分， 电 视 分 为 广播电 视 ( b r o a d c a s t in g t e le v is i o n - b t v ) 和 应 用电 视( a p p l ie d t e l e v is io n - a t v ) 两 大 类 2 1 。 人 们 通 常 所 说 的 电 视 特 指 广播 电视。而应用电视包含的种类繁多，内容较多，应用范围较广，在诸如安全监 控、录像机、可视电话、可见光范围外的成像等领域有着广泛应用。遵照习惯， 本文以下所提到的“ 电视” 特指广播电视，而以“ 视频”特指广义上的电视。 视频信息的交流具有直观、真实和高效的特点，视频能提供的信息表达效 果不是语言和文字所能达到的。现代的各种视频应用最早都来自 于电 视。今天， 在电 视技术上发展起来的各种视频技术在人类2 0 世纪的科技发展、信息传播中 占据了重要的地位，在人类们的生活中显示出越来越大的影响。 第二节 视频技术的发展与现状 1 . 2 . 1 视频技术的发展历史 人类从事视频方面的研究己 有一百多年的历史:1 8 8 3年， 德国工程师尼普 柯夫使用机械扫描方法， 进行了 首次图像传送的实 验: 1 9 0 8 年， 英国的肯 培尔嘶 第 1 章 绪论 文顿、 俄国的罗申克夫提出电 子扫描原理，奠定了 近代电 视 技术的理论基础; 1 9 2 3 年与1 9 2 4 年， 美国 科学家分别发明了 电 视摄像管和电 视显像管， 这是 近代 电视摄像、成像技术的先驱;1 9 3 2年，美国工程师提出了奇数行的隔行扫描技 术;1 9 3 6 年1 1 月2 日 ， 英国 广播公司电 视台 开始正式播出 ， 这是世界上第一座 正式开播的电 视台， 这一天也 作为电 视事业的开端被载入史 册12 1 2 0 世纪6 0 年代以前的电 视系统， 几乎都是采用模拟方式对信号进行处理和 传输，其特点是采用时间 轴取样，每帧图像在垂直方向取样，以幅度调制方式 传送电视图像信号。模拟的方法简单、直观，其中很多基础理论与技术今天仍 然指导着数字电视的研究。 但是，模拟的方法存在着诸多问 题，比 如信号易受 干扰、色度分解力不足、 亮色串 扰、行闪烁与行蠕动、频带利用率不高等。此 外，传统的 三大模拟电 视制式 ( n t s c , p a l和s e c a m) 因参数差异较大而无 法兼 容i i i 。 因 此， 从2 0 世 纪7 0 年 代开始， 研究人员 逐渐开 展了 数字电 视的 研究。 数字电视，是指电视节目 从摄制、编辑、存储、播出、传输到用户接收， 全部实现数字化，中间不经过任何模拟处理的电视技术。相比模拟电视， 它在 很多方面都有优势:采用数据压缩技术有效的缩减带宽;易于存储;数字电视 最终将实现全球统一，不再会有模拟时代互不兼容的三大制式并存的局面;更 合理的使用频谱资源;便于实现加密;具有可扩展性、可分级性和互操作性; 将接收方式由被动接收改变为主动参与;改变了信息家电的市场结构总之， 数字电视是人类进入信息化社会后的又一个重要历史进程，相信不远的将来， 数字电 视 技 术 及 其 相 关 产 品 将 会 有更大 的 发 展 i4 1 数字电视技术可以大大提高图像质量，这是人们关注数字视频技术的初衷。 美国b e l l 实验室在研究电 视电话中奠定了数字电视的理论基础。 2 0 世纪7 0 - 8 0 年代，先后有大量关于视频压缩编码理论和技术的论文与仿真结果被发表和公 布，一系列国际标准被制定，为数字视频技术走向实际应用奠定了坚实的物质 基础和技术储备。 世界发达国家先后制定了各自电视系统数字化的日 程表。 1 9 9 8 年， 数 字电 视 在美 国 、 英 国 同 时 开 播， 电 视 广 播 从 此 跨 入 数 字时 代12 1 我国也不甘人后，在数字电视领域积极进取，开始了数字电视方面的尝试。 我国于 1 9 9 8 年1 1 月组成了中国数字电视产业联盟， 联合开发我国的数字电 视标 准。2 0 0 6 年8 月1 8 日， 标准号为g b 2 0 6 0 0 - 2 0 0 6 的中国 数字电视标准发布，这 个国家标准委发布的 数字电视地面广播传输系统帧结构、信道编码和调制 标准， 是一 项将于2 0 0 7 年8 月1 日 开始 正式实 施的 国 家强 制性标准15 1 。目 前， 第1 章 绪论 广电总局正在协调配合设 备生产商加快推进发射机、接收终端、芯片以及测试 设备等完成产业化的准备。 以上部分对广播电视从模拟到数字的发展过程做了 简要介绍。虽然数字电 视终将全面代替模拟电视，但是遥想起来，在当 年的条件下，用电子管研制出 电视机的前辈工程师们实在是令人佩服，他们那时候发明的 技术和理论至今在 数字电视的发展中仍然起着举足轻重的作用。 1 . 2 . 2 视频技术的展望 2 1世纪，随 着信息技术的数字化、网络化、宽带化与综合化，信息的接收 者开始从多方面、多角度感知信息、理解信息。近年来，随着计算机技术、网 络通信技术和电 视技术的结合，人们对基于网 络的视频应用越来越重视。目 前， 网络与视频结合的应用系统，各种新技术层出不穷，对人类社会生活的诸多方 面产生了巨大的影响。 在广播电 视方面，各国己制定出明确的数字电 视进程时间 表，高清晰度数 字视频时代即将来临， 传统的电 视媒体与新兴的网 络媒体结合也越来越紧密。 网上直播是网络视频应用的一个热点，它使观众摆脱了 对电 视的依赖。越来越 多的网站采用网 上直播的形式同步报道国内 外的 重大事件，从而大大提高了视 频信息传递的实时 性。随着宽带视频流技术的 成熟， v o d ( v i d e o o n d e m a n d ) 视频点播系统的应用也越来越广泛， 用户可以使用v o d系统根据自己的需要有 选择的观看节目。这种交互式的电视服务方式改变了观众被动接收的传统电视 方式，是未来广播电视的一个重要方展方向。 在应用电视方面，网 络视频技术也有着广泛的应用。比如，远程医疗、视 频会议、多媒体邮件系统、网络教育、网络视频增值服务等:医生可以使用远 程医疗系统对千里之外的病人进行诊断和检查;身处异地的与会者可以 通过视 频会议系统参加会议讨论，如同身在同一个会议室;网络教育可以实现实时的 “ 面对面” 远程授课、 视频课件点播等;随着移动通信3 g时代的来临， 基于视 频的增值服务将会带给人们全新的视频感受。 有人仿照物理学中著名的爱因斯坦能量公式，将未来的信息环境 ( i n f o r m a t io n e n v ir o n m e n t ) 也 表 示 成e = m c 2 ， 即 信 息 环 境 e = m ( m u lt im e d ia , 多 媒 体) x c ( c o m p u t e r ， 计 算 机) x c ( c o m m u n ic a t io n ， 通 信) 6 :。 视 频技 术 第 章 绪论 止是多媒体技术中的核心部分。随着计算机技术、网络技术、通信技术等现代 信息技术的发展，视频技术与这些技术相结合，应用领域将不断拓宽。原本完 全不同的视频、电话和计算机数据通信，在全面数字化后， 可以用一个宽带双 向网络组合在一起。可以预计，在不久的将来，将最终形成电视、电话和计算 机三网合一的综合数字业务网 ( 包括有线网 络和无线网络) 。 人类在总结2 0 世纪的科技成果时，电视技术是其中 重要的一项。有一点我 们相信:在本世纪末下世纪初，当未来的人们总结2 1 世纪科技成果的时候，与 计算机网络技术紧密结合的数字视频技术一定会是其中浓墨重彩的一笔。 第三节 项目 开发背景及意义 1 . 3 . 1项目 开发背景 新的世纪， 视频技术在计算机、通信、安全监控、机器人技术等多个研究 领域都会有广阔的应用前景。 过去使用的“ 模拟摄像机加磁带”的体系结构，或者 “ p c机加p c 插槽图 像采集卡”的视频系统在一些高端应用领域己 经不能满足实际需求。新的应用 需求对系统在模块化、小型化和网络化的方面提出了 更高的要求。本实验室以 前曾 经完成的机器人辅助显微外科手术系统的 视频部分使用的是“ p c机加p c i 插槽图像采集卡”的构架，在该项目中体现出了很好的性能。但是在新的 移动 机器人平台上，显然不能 使用这种基于p c机的视频模块。 因此， 有必要研究和开发嵌入式图 像系统。 开发的目 标系统在功能上应该 能够满足视频处理数据量大、实时性要求高的 特点，因此主处理器应该具有强 大的运算能力;系统要能够支持常见的视频制式和视频接口，此外还需要支持 自定义的视频格式，以利于将来扩展应用范围;系统在实现本地的视频采集、 播放的同时，还需要具有网 络功能，通过常用的以 太网跟上位机 ( 可以是p c , 也可以是另一个嵌入式模块)进行视频数据通讯，从而可以大大拓宽系统的应 用领域;系统还需要可以 连接无线网络模块，以便在一些需要使用无线通讯的 场合，比如移动机器人的应用中也有其适用性;该系统需要做成开放式的，可 以在系统软件中添加相应的算法以实现基于视频的不同方面的研究与应用。 基于以 上几点 考虑， 本文作者所在的团队 选用了 德州仪器( t e x a s i n s t r u m e n t , 第一章 绪论 t i ) 生产的一款高性能d s p : t ms 3 2 0 d m6 4 2 作为系统主处理器， 并根据其不同 的片上外设做r 相应的开发扩展，开发出了一 个网 络视频系统。 1 . 3 . 2项目 开发意义 本项目 是实验室在视频方面的一个技术储备。如前所述，本实验室之前的 项目 中使用了“ p c机加p c i 插槽视频采集卡” 的 视频构架。 这种构架简单易用， 有 w i n d o w s 强大的函数库做支持，开发过程相对简单便利。但是在新项目 的应 用场合，比如移动机器人平台上，p c的成本较高，系统的灵活性不够等缺点就 显现出来，需要改进。 本项目 开发的 嵌入式实时图像系统具有以 下优点: 一 该系统是一个独立的视频系统，脱离了p c机的限制，使用方便; 二. 主处理器选用t i 的d m6 4 2 ，工作频率高达6 0 0 mh z ，强大的处理功能 保证了系统的实时性; 三. d m 6 4 2有着丰富的片上外设。 其中有3 个视频口，能够与常见的数字 视频接口无缝连接，保证了d m6 4 2 在数字视频方面的专用性。视频口 支持自 定义的原始数据格式， 从而大大增强了系统的适应性和灵活性; 四. d m 6 4 2 片上有以太网 接口， 可以 与上位p c 机或者专用的视频终端通过 网络通讯，实现视频数据的网络传输; 五. 基于实时操作系统d s p / b i o s 的软件构架， 方便软件开发与系统功能的 扩展; 六. 系统扩展了两路视频输入， 能够同时输入两路视频， 将来可以应用在双 目 视频方面的研究。 本文设计的图像系统具有以 上的特点，预计应用场合是移动机器人的视频 部分与闭路监控系统。 第四节 本论文的主要内容 基于 t ms 3 2 0 d m6 4 2的图像系统是实验室在视频方向上的一个技术储备， 在今后的多 个研究 方向 上都有适用性。 系统开发工作从2 0 0 5 年上半年开 始。 2 0 0 6 年 5 月，第一版硬件电路调试完成，实现了p a l制模拟视频信号的采集、本地 第章 绪论 显示和网络传输， 其中网络传输的数据使用了j p e g压缩，实时性满足要求。 后 来团队 针对第一 版电 路的问 题， 又对硬件电 路 进行了 有针对性的改 进，到 2 0 0 6 年1 0 月，第二版电路复现了 第一 版实现的功能， 系统稳定性进一步提高。 本论文共分七章，各章的内容安排如下 : 第一章 绪论 本章介绍了视频技术的发展历史和现状，阐述了本论文设计的视频系统的 开发背景和开发意义。 第二章 视频相关预备知识简介 由于视频知识具有很强的专业性，为使读者吏好理解本文内容，作者在本 章中对视频相关的预备知识做了简单介绍。 第三章 视频系统d s p 处理器简介 本章介绍了d s p 系统的结构特点， 总结了 各个主要d s p 厂商在高端视频应 用方面的代表性产品。 本章中着重介绍了d m6 4 2 在本系统应用中相关的结构特 点和功能。 第四章 视频系统总体方案设计及硬件实现 本章对视频系统总体方案和硬件实现进行了阐述。这部分是作者的主要工 作所在， 也是本论文的重点。 本章首先介绍了系统硬件构架， 接着介绍了d m6 4 2 外围电路和配置，最后详细论述了视频部分、接口f p g a部分和网络部分的硬 件实现。 第五章 系统p c b设计 本章介绍了系统硬件p c b设计过程， 并 对p c b设计中的高速设计和电 磁兼 容方面的问 题进行了阐述。 第六章 系统调试及实验 本章介绍了系统硬件调试方案，并对调试过程中出现的问题进行了分析， 并对系统未来开发提出了一些的想法。 第七章 总结与展望 本章中，作者在对现有系统进行总结的基础上，对后续开发的方向和问题 提出了自己的看法。 第 飞 章 视预相关预备知识简介 第二章 视频相关预备知识简介 视频相关知识有很强的专业性，为帮助读者理解论文，本章将对本论文所 涉及的视频知识做简要的介绍。 第一节基本的色制 为了以数字方式表示颜色，每个像素需要用多个数字位来表示。图像领域 有几种不同的表示颜色的系统，称为颜色空间。本文介绍两种在数字图像和视 频中 最常用的颜色空间: r g b( 红绿蓝) 与y c b c r ( 亮度、 红色差、 蓝 色差) 17 1 ( 1 ) r g b颜色空间 任何颜色都可以由红、绿、蓝三种光按一定比例组合来重现。在r g b颜色 空间中，用三个数值表示组成每个像素的红、绿、蓝分量值。因为三种分量对 最终产生的颜色大致同等重要， r g b系统一般用同样的精度 ( 即同样的比特数) 表示每一个分量。常见的 每个分量使用 8位表示，这样表示每个像素需要的数 据位数为3 x 8 = 2 4 位。 ( 2 ) y c b y r 颜色空间 人眼视觉系统对亮度的敏感度高于对颜色的敏感度。 而r g b颜色空间的三 个颜色分量同等重要， 在视频信息的传输、存储等方面有很多不利因 素。 亮度 信息存在于所有的颜色分量中，因此存在一种可能性:将亮度信息从颜色信息 中分离出来，从而更加有效地表示颜色数据。因此就有了另一种通用的颜色空 间: y c b c r 空间。y代表亮度，即一个彩色图 像的黑白 版本。 y是r , g , b分 量的加权平均值: y = k , r + k 8 g + k b b ( 2 . 1 ) 其中 ， 凡、 坛和气 表 示r , g , b 分 量 在y 分量 中 所占 的比 例。 另 外还有三种色差信号: c b , c r 和c g ， 分别是相应的r , g , b 颜色信号 与y的差值: c r = r 一 y ( 2 .2 ) 心 二 g- y ( 2 .3 ) 第 几 章 视频相关孙备知识简介 复合电视信号 ( c v b s )全称复合电视广播信号 ( c o m p o s i t e v i d e o b r o a d c a s t i n g s ig n a l ) ， 定 义为 亮 度和 色差的单 路 模拟信号， 亮 度 信号 和色度信号 通过频谱交错的方法混合在一起。其接口 采用 r c a接口，即常见的模拟电视的 输入接口， 俗称 a / v口:接口 只有一根线，外部有一个接地的屏蔽层。复合视 频信号中亮度和色度的频谱是交叉在一起的，亮度与色度信号之间存在串扰。 分离亮度和色度信号需要使用梳妆滤波器。 2 .s - v i d e 。 信号 s - v i d e o ( s e p a r a t e d v i d e o ， 分离电 视 信号) 是亮度和色度分离的一种电 视信 号，使用单独的两条信号电缆线分别用于传输亮度信号 ( y ) 和色度信号 ( c ) , 这两个信号称为y / c信号。 s - v i d e 。 使用4 针连接器:两根信号线和两根地线。 使用s - v i d e 。 有两个优点: 减少亮度信号和色度信号之间的交叉干扰; 不需要使 用梳妆滤波器来分离亮度和色差信号。 代价是传输的信号数量增多。 3.vga v g a ( v i d e o g r a p h i c a r r a y ， 视频图 像阵列) 接口 就是常用的p c 机显示器 的接口。它支持在6 4 0 x 4 8 0 的较高分辨率下同时显示 1 6 种色彩和2 5 6 种灰度。 v g a由于良好的性能开始流行，各个厂商纷纷在 v g a基础上加以 扩充，比如 将显存提高至 1 mb并使其支持8 0 0 x 6 0 0或 1 0 2 4 x 7 6 8等更高的分辨率，这些 扩充的 模式称为s u p e r v g a模式， 简称s v g a 。 不管是v g a还是s v g a ， 使用 的接口 都是巧针的梯形插头， 传输r g b三个颜色分量信号和行、 场同步信号。 第四节 b t . 6 5 6 视频格式简介 为便于数字编码的视频设备 互连， i t u ( i n t e rn a t io n a l t e le c o m m u n i c a t io n u n io n ，国际电信联盟)在i t u - r b t .6 5 6 - 3 号建议中对按4 : 2 : 2 标准编码的数 字 视 频 信号 规定了 并 行 位多 工 传 送的 数 字 接口 标准 19 1 。 标 准 规 定 ， 每 一 个采 样值 采用8 位数字 ( 也可选用1 0 位字) 表示， 三个数字分量信号组成时分复用码流， 其传送次序是: c b , y, c r , y , c b , y, c r , 为使收发同 步， 还需要随数据发送2 7 m h z 的时钟信号。 标准规定， 8 位1 6 进制的0 0 h 和f f h 专门用于标识， 只有除此之外的2 5 4 个数字用于表示信号值。 在每一行有效数据前后分别安 排有 4个字的有效视频起始 ( s a v , s t a r t o f 第 _ 章 视颜相关预备知识简介 a c t iv e v i d e o )和有效视频结束 ( e a v , e n d o f a c t i v e v id e o )定时基准信号，每 个定时纂准信号由以下格式的四字序列组成: f f 0 0 0 0 x y 前3 个字是固定的， 第4 个字所含的8 位数据的含义如表2 . 1 所示。数据接 收端可以通过对这些码的识别来获得同步信息，达到视频同步的目 的。 表2 定时基准信号的第4 字内的 位分配 位值说明 71固定 注: ( 1 ) h. v和f提 供行、 场消隐和奇 偶场识别信息; ( 2 )即 、p 1 、p 2 . 和p 3作为 保护位， 与其他各位的关系 本文不再赘述; 6f 第一场期间f = o ;第2 场期间f = 1 5v 有效行期间v = o :场消隐期间v = 1 4hh = o 表示这是s a v ; h =1 表示这是e a v 3p3 保护位 ( 6 l 3 汉明码) 2p 2 1pi 0p o 偶数奇偶校验 ( 对第 1 -6 位) 第五节图像压缩简介 对于大多数的存储和传输系统而言，数字视频的数据量是非常巨 大的。比 如， i t u - r 6 0 1 标 准的 非 压 缩的 数 字 格 式， 需 要2 1 5 m b p s 的 传 输比 特率 ， 在 此 速 率下，一张容量4 .7 g b的d v d盘只能存储8 7 秒未压缩的视频h l 。因此视频数 据的压缩就有非常重要的意义.视频压缩的目的就是在保持 “ 人眼可接受”的 视频质量这一前提下，尽量减少需要存储或传输的视频数据量。 图像压缩分为无损压缩和有损压缩，前者的数据在解压缩后跟未压缩之前 的一样，而后者在压缩过程中会损失掉一些信息。但是有损压缩会带来更大的 压缩比，也更有实际意义。无损压缩只用在卫星摄影、医学成像等特殊领域。 图像压缩还可分为静态压缩和动态压缩:前者只在一帧图像内进行压缩， 因此也叫帧内压缩;而后者除了 采用帧内压缩以外，还有帧间压缩一一只对当 前帧与相邻帧的差值进行压缩和传输，从而降低数据率，带来更高的压缩比。 第 _ 章 视频相关预备知识简介 静态 压缩标准有j p e g , j p e g - 2 0 0 0 等，而 动态压缩有m p e g系列、 h . 2 6 x 系列 等。 动态压缩是近年来 研究的热点。只要软件开发投入足够， 本文所设计的图 像系 统对静态压缩和动态 压缩都 可以 支持， 但目 前系 统只使 用了 j p e g标准的静 态压缩完成图像的传输。图2 .4是一个典型的静态压缩的简图。 图2 .4 静态压缩基本步骤 图中的4个步骤组成了一个基本的静态压缩过程: ( 1 ) “ 预处理”是为后续算法提供规范化的数据，包括模数转换、图像域的 转换和生成适当的数 据表达 信息，将一帧图像分割成8 x 8 的 像素 块等。 ( 2 ) d c t ( d i s c r e t e c o s i n e t r a n s f o r m ， 离散余弦 变换) ” 是静 态压缩和一些 动态压缩中最常用的一种变换算法。它将图像块中的数据从空间域转化到频域， 以去除视频数据的空间相关性，并将不同频率的分量按频率从低到高排列。变 化后的 高频分量中 很多都 接 近于0 ，为 进一步的 压缩数据量 提供了 施展空间。 ( 3 ) “ 量化” 过程是 对上 一步骤产生的 结果进行处理， 将数据转换成整数并 限定在某一特定的范围之内 ( 比如 0 2 5 5 或一 1 2 8 -1 2 7 ) ， 便于后续处理和传输， 同 时舍去了 高频信号部分。 这一过程相当于定 义了一 个从实数 到整数的映 射。 ( 4 ) “ 嫡编码” 通常是 静态压缩的最后一 步， 它对视频 数据进行编码， 形成 用 于传输或 储存的 数据流。 典型的算法如h u ff m a n 编码. 压缩由 编码器完成， 解压缩则由 解码器完成。 不同 压缩标准的编码器和解 码器构成方式不同。 静态压缩的编、 解码器是 对称的， 复杂度基本相同。 动态 压缩的编、 解码器是非 对称的:在编码器一端同时 包含有解码环节， 用来降低 有损压缩对预测算法造 成的误 差，因 此动态压缩标 准的 编码器比 解码器复杂度 大9 ) 第三章 视频系统 d s p处理器简介 第三章 视频系统d s p 处理器简介 第一节d s p 处理器概述 3 . 1 . 1 d s p 处理器的发展 半个世纪以来， 在计算机技术和 信息技 术的 带动下， 数 字信号处理 ( d i g i t a l s i g n a l p r o c e s s i n g ) 技术得到迅 速发展，在数据处理、 工业控制和 数据通信等 许 多领域得到了广泛 应用! 1 0 1 数字信号处理 系统的实 现方法一般有以下 几种p o , i q . ( 1 ) 在通用 计算机上用 软件实现。 ( 2 ) 在通用 计算机系统中 加上专用的处理 机 ( 如 单片 机) 实现。 ( 3 ) 用通用的 单片机 ( 如mc s - 5 1 ) 实现， 这种 方法只适用于一 些不太复 杂的数字信号处理场合，比如数字控制等。 ( 4 ) 用通用的可编程的d s p芯片实现.d s p 芯片具有更加适合于数字信 号处理的结构特点， 为不允许大延 迟的实时应用 领域提供了 一个理想的选择。 ( 5 ) 用专用的d s p 芯片 实现。 在一些特殊场 合， 要求信号处理速度极高， 用一般通用的d s p 芯片很难实 现。但 有一些 专用芯片 将常 用的 信号处理算法集 成在芯片内部，用速度更快的硬件实现。此方案的缺点是灵活性差，成本高。 以上方法中， 第 1 种方法的缺点是速度慢， 一般用于 算法的仿真;第2和 第 5 种方法专用性强， 应用受到限制; 第 3 种方法只适合简单的d s p 算法实现; 而第4种方法才为数字信号处理的应用打开了新的局面。 自 从2 0 世纪7 0 年 代末第一片数字信号处理器芯片 ( d i g i t a l s i g n a l p r o c e s s o r ) 问 世以 来， d s p芯片就以 数字器件特有的 稳定 性、 高度集 成化， 特别是可编程 性高 和易于实现自 适应处 理等特点，给数字信号处理的发展带来了巨大机遇。 d s p芯片的应用遍及整个电子领域。近年来，随着半导体制造工艺的发展和计 算机体系结构等方面的改进， d s p芯片性价比不断提高，应用领域更加广泛。 同时， d s p芯片的功能越来越强大，信号处理系统的研究重点又重新回到软件 算法上，也由最初的非实时应用转向高速实时应用。 第三章 视频系统d s p处理器简介 3 . 1 . 2 d s p 处理器的结构特点 d s p 处理器能 够完成大量的实时 运算， 这与d s p 处 理器的结构特点是分不 开的.下面就 介绍 一下d s p 处理 器的主 要结构特点 1 0 , 11 .1 2 1 1 算术单元 ( 1 ) 硬件乘法器 乘法操作是 d s p处理器运行中的一个主要任务。通用微处理器内通过软件 程序实现的乘 法操作 往往需要 1 0 0 多个时 钟周期，非常费 时;而d s p处 理器内 嵌的硬件乘法 器， 可以 在单周期内 完成一次乘法 运算。 ( 2 ) 多功能单元 为了 提高 速度， d s p 处 理器内部 设置多 个并行操 作的 功能单元 ( a l u 、 乘 法器和地址产生器等) .多个功能单元的并行操作使处理器在相同时间内能够完 成更多操作。例如， c 6 0 0 0 系列的 d s p处理器内部有 8 个功能单元，这 8 个功 能单元最多 可以 在1 个周期内同时 执行8 条3 2 位指令。 2 总线结构 通用处理器普遍采用冯. 诺依曼总线结构:统一的程序和数据空间，共享的 程序和数据总线。由 于总线结构的限制， 程序指令只能串 行执行。 d s p 处理器 采用了 程序和数 据总线分离的哈 佛总线结构， 能够同时 取指令和 取操作数。 很多d s p 处 理器包含有 2 套或 2 套以 上的内部 数据总线， 这种总线 结构 称为改 进的哈佛 结构。 改进的哈佛结构大 大提高了 程 序的 运行效率。 3 专用寻址单元 处理器 计算数 据地址是需要开销的。 例如， 8 0 8 6 做一 次加法需 要 3 个时钟 周期， 但是计算 一次地址却需 要 5 - 1 2 个时钟 周期。 d s p 处理器通常都有地 址产 生器。 地址产生器与a l u并行工作， 因此地址的计算不再额外占用处理器时间。 4 流水处理 除了 多功能 单元外，流 水技术是提高d s p 处理 器程序执行效率的另 一 个重 要手段。 流水 技术可以 使 2个或更多 不同的 操作重叠 执行。 在处理器内 ，每 条 指令的 执行 分为取指、译码和执行等若干个阶 段，每 个阶段称为一级流水。图 3 . 1 表示的 处理 器执行一条指令要经过取指、 译码和执行3 个阶段， 即3 级流水. 理 想 情 况 下 ， 一 条k 级 流 水能 在k + ( n - 1 ) 个 周 期内 处 理 n 条 指 令. 其 中 前k 个周 期用于完成第 一条指令的执行， 后( n - 1 ) 条指令的执行只 需要( n - 1 ) 个 周期。 第三章 视频系统 d s p处理器简介 而在非流水处理 器上执行n 条指令则需要n k 个周期。当 指令条数n 较大时， 流 水线的填充和排空时间可以忽略不计，可以认为流水线在理想情况下效率为 t o 取指 译码 执行 n - 2卜 1 图3 . 1 ds p的三级流水操作 5 片内 存储器 d s p芯片面向的 是数据密 集型应用， 存储器的访问 速度对处理器的性 能影 响很大。 d s p算法的 特点是需 要大量 简单、 重复的计 算，其程序相应的就比 较 短小，存放 在 d s p 芯片内 可以 减少指令的传 输时间 ，有效的缓解芯片外部总 线 接口的压力和 d s p 硬件系统的数据瓶颈，充分利用 d s p芯片强大的处理能力。 3 . 1 . 3 d s p 处理器的性能指标 由 于各d s p 厂商的d s p 芯片 结构差别较大， d s p 芯片的 性能不像通用处 理器那样可以 用c p u的 时钟频率和型 号来表征，而 必须采用可比的 性能 指标来 衡量。以 下是 衡量d s p 芯片处理性能的 一些常 用指标 b 2 1 . m f l o p s( 百 万次浮点操作 砂 ) m f l o p s 是表征浮点d s p 芯片 处理性 能的重要指标。t ms 3 2 0 c 6 7 x x的峰值性能可以达到 1 0 0 0 mf l o p s o . m o p s( 百 万次操作形 ) 这里的 操作，除了 包括c p u的 操作外， 还包 括地址计算、 d m a访问、 数据传输和u o 操作等。 m o p s 可以 对d s p 的 综合性 能进行描述。 2 0 0 m h z 时钟的t m s 3 2 0 c 6 2 0 1 的 峰值性能可以 达到2 4 0 0 m o p s e . m i p s( 百 万条指令砂 ) 处理器 每秒钟执行的以百万计的指令条 数。 d m6 4 2 工作在6 0 0 mh z 时达到4 8 0 0 mi p s的速度， 而7 2 0 mh z 时可达 5 7 6 0 mi p s o . m b p s( 百 万位 砂 ) m b p s 用于 衡量d s p 的数 据传输能力，是 对总线 或 1 / o数据吞吐率的度量。例如，t ms 3 2 0 c 6 2 x x系列的外部总线接口，如果时 第三章 视频系统 d s p处理器简介 钟选 择2 0 0 m h z ， 则总线数 据吞i i f 率为8 0 0 m b / s ( 3 2 位数据总线) ， 即6 4 0 0 m b p s o 可以看出，单纯使用一个指标是无法全面表征 d s p处理器的综合能力的。 要选择合适的 d s p 处理器，需要综合考虑多个参数来做出决定。 3 . 1 . 4 商用视频处理 d s p 处理器 随着近年来半导体制造技术的飞速发展，d s p处理器的应用范围逐步扩展 到各种电 子产品中，应用 领域全面拓展。 在宽带通信、数字控制、数字音频、 数字视频等应用市场上，d s p处理器开始成为主角。 在视频处理方面，近几年的应用主流己由 前几年的 a s i c ( a p p l i c a t i o n s p e c i f i c i c ， 专用集成电路) 方案转向d s p 平台. 在d s p 平台上开发 视频产品 有以下几方面的优势:第一，用户开发自由度更大，可实现多种个性化开发， 提升产品的 竞争能 力;第 二， d s p 芯片处 理能力 强， 可以 在一个d s p芯片 上同 时实现多路音视频 信号的压缩处理。同时， 为了 满足应用的 需要， d s p芯片 还 提供了很多视频专用模块，可以大幅度降低产品的成本;第三，开发周期缩短， 可实现快速的技术更新和产品换代;第四，芯片功耗低，为提高产品的稳定性 提供了可靠保障。 目 前各大d s p 厂商 推出了 许多用于视 频处理的d s p 芯片， 在相关产品开发 中被广泛应用: ( 1 ) p h i l ip s ( 飞 利浦公司) p h il i p s 是最早开发 视频d s p 处理器的厂 商。 1 9 9 6 年， p h i l i p s 推出了 用于视 频处理的t r i m e d i a 系列的第一款芯片t m1 0 0 0 ， 随后又推出了t m1 1 0 0 , t m1 3 0 0 , p n x 1 3 0 0 , p n x 1 5 0 0 ，目 前统一更名为n e x p e r i a 系列。 p n x 1 3 0 0和 p n x 1 5 0 0 系列芯片被大规模应用于视频监控产品中。 p h i l i p s 最新的p n x 1 7 0 0 系列， 核 心集成了 一枚5 0 0 m h z 的t r i m e d i a c p u内 核， 支持记录 h d ( h i g h d e f m i t i o n ,高 清晰度) 质量规格的视频，支持 格式众 多， 完全满足个人视频录 像设备的需要。 ( 2 ) a d i ( a n a lo g d e v ic e s , i n c ， 美国 模 拟 器 件 公 司) a