（信息与通信工程专业论文）三维实时获取系统设计和视频检测通信系统研制.pdf

浙江大学硕士学位论文 摘要 本文介绍了一种基于高分辨率二维摄像机阵列和低分辨率三维t o f 摄像 机的实时三维数据获取系统的硬件设计方案。从内容上本文可以被划分为三个 部分： 第一部分，主要是三维实时获取系统的硬件实现。本文先从整体上介绍， 整个系统划分为视频采集系统，信号转发系统，数据处理系统以及数据融合系 统四个部分。再分别介绍了各个部分的实现方案，各部分之间的同步方法以及 具体的电路板设计框图。 第二部分，三维实时获取算法的优化。我们通过面向c 语言和d s p 平台两 方面对已有的算法进行了优化。 第三部分，主要是视频检测系统的通信设计。这一部分主要分为两点：d s p 处理器板之间的通信以及d s p 处理器板与计算机主机之间的通信。d s p 处理器 板之间的通信我们采用的是异步法，通过四根信号线实现通信功能。d s p 处理 器板与计算机主机之间的通信我们使用了t i 提供的开发包n d k ，并采用了基 于t c p i p 协议的通信方式。 关键词：d m 6 4 8 ；c m o s 图像传感器：网络通信；t o f 摄像机；三维获取 浙江大学硕士学位论文 a b s t r a c t t h i sp a p e rp r e s e n t sav i s u a lc a m e r aa r r a ya n dt o fc a m e r ab a s e d3 dc a p t u r e h a r d w a r es y s t e md e s i g nm e t h o d t h ep a p e rc o u l db ed i v i d e di n t ot h r e e p a r t s a c c o r d i n gt ot h ec o n t e n t t h ef i r s tp a r to ft h i sp a p e rp r e s e n t st h er e a l i z a t i o no f3 dc a p t u r eh a r d w a r e s y s t e m f i r s t l y , t h i sp a r ti n t r o d u c e st h a tt h ew h o l eh a r d w a r ei sd i v i d e di n t of o u r s u b s y s t e m s ：v i d e oc a p t u r es y s t e m ，s i g n a lt r a n s m i s s i o ns y s t e m ，d a t ap r o c e s s i n g s y s t e ma n dd a t af u s i o ns y s t e m t h e nt h i sp a r ti n t r o d u c e st h er e a l i z a t i o nm e t h o do f e a c hp a r t ，t h es y n c h r o n i z a t i o nm e t h o db e t w e e ne a c hp a r ta n dt h ec i r c u i td e s i g n c h a r t t h es e c o n dp a r ti n t r o d u c e st h eo p t i m i z a t i o no f3 dc a p t u r ea l g o r i t h m w e o p t i m i z et h ec u r r e n ta l g o r i t h mb o t hf a c i n gcl a n g u a g ea n dd s pp l a t f o r m t h et h i r dp a r ti n t r o d u c e st h ec o m m u n i c a t i o nm e t h o do ft h ev i d e od e t e c t i o n h a r d w a r es y s t e m t h i sp a r tc o u l db ed i v i d e di n t ot w op a r t s ：t h ec o m m u n i c a t i o n b e t w e e nd s p sa n dt h ec o m m u n i c a t i o nb e t w e e nd s pa n dp c w eu s ef o u rs i g n a l l i n e st or e a l i z et h ec o m m u n i c a t i o nb e t w e e nd s p sb yt h ea s y n c h r o n o u sm e t h o d a n d w eu s et h en d kp a c k a g ef r o mt ic o r p p o r a t i o nt or e a l i z et h ec o m m u n i c a t i o n b e t w e e nd s pa n dp cb a s e do nt c p i pp r o t o c 0 1 k e y w o r d s ：d m 6 4 8 ；c m o ss e n s o r ；n e t w o r kc o m m u n i c a t i o n ；t o fc a m e r a ；3 d c a p t u r e v 1 一 浙江大学硕士学位论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得盘姿盘鲎或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：每左艮 签字日期：为。年弓月加日 学位论文版权使用授权书 本学位论文作者完全了解逝姿态堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。本人授权滥鎏盘堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：刍爸琶 导师签名：寸 签字日期：为7 。年多月o 日 签字日期：砂i 哞弓月l9 日 。一1 1 1 一 浙江大学硕士学位论文 致谢 两年的研究生学习生活虽然短暂，但却使我进步良多，受益匪浅，这期间 结识的良师益友更使我终身受益。 首先我要感谢我的导师于慧敏教授。于老师有着渊博的专业知识，每次与 于老师讨论学术上的问题总能给我很大的启发。于老师帮助我克服了很多学术 上的困难，替我解开了众多的疑问和不解。同时于老师又是那么的平易近人， 每次讨论和交流都处于愉快的氛围中。我从于老师身上学到的不仅仅是科研知 识，更重要的是于老师严谨的作风和实事求是的工作态度，这必将使我今后的 宝贵财富。 感谢刘佳、林统未、隆晓菁、廖秀秀、项崇明、徐林忠、王婷、赵璐、王 楠、周颖、吴嘉、祁仲昂、王诗言、潘丰俏、褚金锦、金永波、金伟、杨辉、 杨刚、王一叶、陈飞、姚劲草等同学，感谢他们在学习生活中给我的帮助。他 们是我一生中宝贵的朋友。 最后我要感谢我的父母和亲人，他们全心全意地支持我，一直以来都给于 我最大的关心、理解和鼓励，是我最坚强的后盾，也是我前进的动力。 一l v 一 郭超 2 0 1 0 年1 月1 3 日 浙江大学硕士学位论文 1 1 课题背景 第1 章绪论 在当今信息数字化的时代，计算机视觉扮演了极为重要的角色，在工业领 域，交通领域，地球信息科学领域等方面有着越来越广泛的应用。三维信息获 取技术，是计算机视觉很多应用中的重要手段，也是当前信息科学研究的热点。 人类对外界信息的感知，8 0 是通过视觉得到的。因此三维信息获取技术的研 究对图像处理、图像理解和图形学的技术和理论的发展有着重要的促进作用， 在医学、虚拟现实、机械加工、影视特技制作等行业有广阔的应用前景。三维 信息的应用仍处于不断的发展中。在工业界，它已经成为设计进程中的必要环 节，产品造型设计、模具开发等无不与三维测量紧密地结合在一起；在医学上， c t 机和m 对核磁共振仪器都属于三维技术的典型应用。在考古学中，三维信 息测量是一种非常有价值的研究和保存方法；在影视多媒体中，三维信息是3 d 动画模型建构的主要手段。除此之外，三维信息获取还是虚拟现实的关键技术 和必要条件。虚拟现实采用以计算机技术为核心的现代高科技生成逼真的视、 听、触觉一体化的特定范围的虚拟环境，用户可以借助必要的设备以自然的方 式与虚拟环境中的目标交互作用、相互影响，从而产生“沉浸”于等同真实环 境的体验和感受。获取不到深度层次的立体视觉效果就不可能有身临其境的感 觉，也就不可能实现虚拟现实的基本目标。 1 2 三维获取技术发展现状 正是由于三维获取技术的这些重要应用和学术价值，国内外对获取目标三 维信息的研究一直在进行。八十年代之前，主要是采用基于接触法的三座标测 量仪。近年来，随着计算机性能的提升和计算机视觉理论的发展，三维获取技 术得到了飞速发展。从整体上来看，三维信息获取技术从整体上可以分为接触 式和非接触式两大类 1 ，如图1 1 所示。 浙江大学硕士学位论文 图1 1 三维获取技术分类 1 2 1接触式三维获取技术 接触式测量是指在测量三维信息时，测量仪器要与被测物体表面接触。采 用接触式测量时，测量仪器的探头与被测物体接触时产生的压力有可能会损坏 被测物体。因此，接触式测量一般只用于测量表面材质较硬的物体。例如，三 维坐标测量机是典型的接触式测量产品。这类仪器精度非常高，而且不受被测 物体表面反光，色彩等属性的影响。但是由于需要逐点测量，操作繁琐，速度 较慢，而且体积大，价格高，在使用场合上有很大的局限性。 1 2 2 非接触式三维获取技术 基于光学的非接触式三维获取技术主要可分为被动式和主动式两大类。 这两种获取技术的主要区别是被动式三维获取技术中被测物体的照明是由物体 周围的光线来提供，主动式三维获取技术则使用一个专门的光源装置来提供目 标物体的照明。被动式的方法主要是基于人类利用双目感知距离的原理，采用 立体视觉的技术来实现三维信息的获取。典型的方法是运用两个或者多个摄像 机组成阵列从不同位置对被测物成像，通过对同一点在不同摄像机上获取的不 同视角的图像之间的对应关系实现三维信息获取。因此，如何在不同视角图像 上匹配对应点是被动式三维获取技术的关键，也是影响立体视觉精度的主要因 素。例如，由于遮掩、阴影以及不同的成像视角，被测物的某些部分可能只出 现在某些视角的图像上，在这种情况下如何找到相应的匹配点。其次，在被测 一2 一 浙江大学硕士学位论文 物体表面光滑，无纹理等明显特征，强度不够或者颜色无法区分时，如何避免 相似匹配点所引起的假对应而造成的误匹配。其次，绝大多数立体视觉的算法 计算量很大，速度比较慢，难以达到实时化，这成为被动式三维获取技术的一 个瓶颈。 主动式三维获取技术主要包括结构光法、莫尔干涉法、全息干涉法、飞 行时间法( t o f ) 等。结构光法 2 - 6 通过人为的添加一些可识别的光特征点， 来解决立体视觉中建立匹配点的困难。结构光法既利用图像又利用可控光源的 技术。从原理上来说，结构光法主要是利用不同几何形状的激光或白光光源， 通过照明光源的几何形状信息帮助提取景物中的几何信息。通过检测图像中由 光源光照射在物体表面产生的光条纹的形态和间断性，来反映物体表面的形状 信息。通过装置定标后，可以计算出被光照射的点的三维坐标。配合机械扫描 运动，可以获得物体表面各点的坐标。莫尔条纹法 7 】是让光速通过一个光栅投 射到物体表面，利用其反射光与发射光干涉后再接收器上产生的莫尔条纹，来 分析得到物体表面的立体信息。全息干涉法 8 】主要利用了光的相干性原理。当 两束相干光在物体表面上相遇时，通过其由光波电场叠加产生的干涉条纹可以 计算出物体的深度信息。全息法三维获取首先记录物光波和参考波，然后利用 再现光产生物光波间的干涉条纹，最后通过这些条纹的相位差计算表面深度信 息。这种方法测量精度极高，但是测量范围非常小，多用于物体表面的缓变和 微小缺陷检测。飞行时间法( t i m e o f - f l i g h t ) 是根据光速在空气中传播速度的 恒定性原理设计的。由t o f 测距器主动发出脉冲，到达被测物表面后沿几乎相 同的路径反向传回到接收器。监测脉冲从发出到接收之间的时间延迟，就可以 计算出被测物的三维信息。这种方法原理简单，又可以避免阴影和遮挡等问题， 但是很难得到较高的距离测量精度。 1 3 课题来源及意义 本课题是来源于国家8 6 3 项目“基于异构结构的3 d 实时获取技术与系统”。 论文提出的“基于摄像机阵列的三维实时获取系统”，其研究意义是设计一 个由d s p 作为主处理单元的由摄像机阵列组成的硬件系统来实时的获取被测 物三维信息。目前，有很多基于单摄像机、双摄像机和摄像机阵列的三维图像 获取技术，这些技术的应用范围很广泛，分辨率也比较高。但是由于很多情况 一气一 浙江大学硕士学位论文 下很难实现不同角度图像之间的匹配，这些技术的准确性不高。而且由于立体 视觉的运算量很大，即使是非常先进的处理单元，也很难达到实时处理。 t o f 技术是一种最近发展起来的获取场景三维信息的先进技术。这种技术 通过发射调制红外线照射场景，在接收到场景反射回来的红外线时检测它的相 位差，来确定场景的三维信息，因为不需要大量运算，这种方法是可以实现实 时处理的。但它的缺点是空间分辨率较低。而且由于使用了调制红外线，很容 易受到自然光线的影响。 我们将两种技术相结合。通过建立基于立体视觉和t o f 技术的阵列立体视 觉系统，并利用这两种技术的互补，克服各自技术的缺点，提出了一种基于摄 像机阵列的三维实时获取系统。本课题与立体视觉处理算法与传统的立体匹配 方法不一样，它是通过摄像机之间的位置关系矩阵和立体视觉原理，在有高可 靠性初始深度图的条件下，将图像配准变换函数作为关于深度信息变量的变换 函数，通过图像配准，直接求深度图，而不是视差图。由于有高可靠性初始深度 图，加上立体视觉的一些有用的约束条件，因此容易获得高效和高精度的图像配 准结果。这样就可克服传统立体视觉中出现的立体匹配计算量大、容易产生误 匹配等问题。采用多台处理器，分别处理由摄像机阵列所获得的场景图像的一 部分区域，提高了运算效率。在处理单元的选择上，我们采用了d s p 作为主处 理器。数字信号处理任务通常需要完成大量的实时计算，并具有高度重复的特 点，d s p 在很大程度上就是针对这种运算特征设计的。与通用微处理器相比， d s p 在寻址和计算能力等方面做了很大的扩充和增强。例如，在相同的时钟频 率和芯片集成度下，d s p 完成f f t 算法的速度比通用微处理器要快2 到3 个数 量级。另外，d s p 体积小，功耗低，可以为每台摄像机配置一个单独的d s p 处理器来计算其对应视角的三维信息。本课题不仅具有重要的学术价值，还有 良好的产业化前景。 1 4 本文研究的主要内容 本课题主要研究基于摄像机阵列的三维实时获取系统的硬件系统，系统中 各d s p 处理器之间以及与计算机主机之间基于t c p i p 协议的通信，三维实时 获取算法的优化。 本文的主要工作包括： 一4 一 浙江大学硕士学位论文 1 三维实时获取系统的硬件研制 设计以t i 公司的d s p 芯片t m s 3 2 0 d m 6 4 8 作为主处理器芯片的三维实 时获取系统。本系统共分为四个子系统，十九块电路板。具体为：( 1 ) 视频采 集系统，由六块视频采集板和六块传输板组成。主要负责视频的采集，并给每 一帧图像加时间戳。( 2 ) 信号转发系统，由一块信号转发板组成。它作为整个 系统的中心，负责接收t o f 摄像机发送的同步信号，主d s p 处理器从计算机 主机接收到的控制信号等等，并控制整个系统的同步。( 3 ) 数据处理系统，由 六块d s p 数据处理板组成。负责图像的处理，计算所对应视角的三维信息。( 4 ) 数据融合系统，指计算机主机。它负责人与整个系统的交互和将六个场景的三 维视频融合成为一个大场景的三维视频。 2 算法优化 通过对算法的优化设计，可以大幅度提升其在d s p 芯片上运行的效率。 我们采用了很多面向d s p 的优化方法，如数据类型的考虑，存储器相关性的选 择，编译选项的设定，内联函数的使用以及软件流水的设计等。 3 视频检测系统的通信 主要是分为两个部分：d s p 处理器板之间的通信，d s p 处理器板与计 算机主机之间的通信。我们设计了一种异步通信方式来进行d s p 处理器板的通 信问题，并采用t i 公司推出的面向c 6 0 0 0 系列的网络开发包n d k 来实现d s p 处理器板与计算机主机之间基于t c p i p 的通信。 一，一 新大学碗士学位论文 第2 章三维实时获取系统的总体设计 本章简要的概进了基于摄像机阵列的三维实时获取硬件系统的总体设计。 在下面几节中，我将在2 1 节介绍我们所设计的硬件平台的总体结构，对整个 系统进行一个概进。2 2 节我将简单的介绍一下我们采用的处理器 t m s 3 2 0 d m 6 4 8 芯片 2 1 三维实时获取系统概速 我们的系统首先通过t o f 摄像机实时获取一个空间分辨率较低的场景三 维信息的初始值，再通过映射和优化，最终得到实畦的高分辩率场景三维信息。 为实现这个技术目的，我们的硬件平台主要包括四个部分：视频采集系统，信 号转发系统，数据处理系统，数据融合系统。 2 1 1 硬件系统介绍 本系统的视频采蔓主要是通过一个由六台摄像机所组成的阵列，它的拓扑 结构如图2 i 视频呆集系统中的摄像机阵列采用( 2 + 3 + 1 ) 的拓扑结构。六台 高分辨率摄像机分布在一个矩形的四个顶点和长边中点上，一台t o f 摄像机位 于这个矩形的中心每一台高分辨率摄像机都对应数据处理系统中的一台d s p 处理墨 9 9 9 o o o c 1 4 2 6 为高分辨率摄像机；m 为低分辨率t o f 摄像机 圉21 三维实时获取系统的摄像机阵列 一6 浙江大学硕士学位论文 我们选取了m e s a 公司生产的第四代t o f 摄像机s r 4 0 0 0 。它可以提供分 辨率为1 7 6x1 4 4 的三维图像。最重要的是，它可以提供外接同步信号，极大地 方便了我们的同步设计。这一部分将在信号转发系统中详细介绍。 t o f 摄像机的深度信息映射被到所有高分辨率摄像机组成的立体视觉系统 中，并作为初始深度图，将图像配准变换函数作为关于深度信息变量的变换函 数，通过图像配准，直接求深度图。在做配准算法时，对于c 2 的立体匹配( 在 c 2 的d s p 系统执行运算) ，c 1 、c 5 和c 3 摄像机采集的数据都可参与处理，相 当于多基线的立体匹配，最终求得使c 2 与c 1 、c 5 和c 3 达到总的最佳匹配时 的深度图，其中c 2 要求高分辨率图像数据，其它摄像机仅需要低分辨率图像 数据；同样对于c 5 的立体匹配，c 2 、c 4 和c 6 摄像机采集的数据都参与处理， 最终求得使c 5 与c 2 、c 4 和c 6 达到总的最佳匹配时的深度图；对于c 1 的立 体匹配，c 2 和c 4 摄像机采集的数据都参与处理；同样对于c 3 的立体匹配， c 2 和c 6 摄像机采集的数据都参与处理；对于c 4 的立体匹配，c 1 和c 5 摄像 机采集的数据都参与处理；对于c 6 的立体匹配，c 3 和c 5 摄像机采集的数据 都参与处理。 图2 2 表示硬件设计的整体框图。六台高分辨率摄像机采集的图像信息和 同步信号分别由a 1 a 6 传输到信号转发系统。t o f 摄像机的同步信号由p 传输 到信号转发系统。图像信息由c 1 c 6 从信号转发系统传输到数据处理系统的六 台d s p 中。其中，d s p 3 为核心d s p ，它还通过d 1 发送控制信息到信号转发 系统中。这些控制信息是由主机通过网络发送到d s p 3 上的。在这些信息和 t o f 摄像机同步信号的控制下，信号转发系统产生对六台高分辨率摄像机的同 步信号，通过b 1 b 6 传输到六台高分辨率摄像机。t o f 摄像机和所有的d s p 处理器都可以由n o n 6 通过千兆网交换数据，并由n 7 通过千兆网传输d s p 处 理器计算得到的场景三维数据到数据融合系统。 一7 一 浙江大学硕士学位论文 b 6 高分辨 一 c 5 n 6 率摄像 a 6 d s p 6 j -k 机6 b 5 高分辨卜 n 5 c 4 j - l 率摄像 a 5 d s p 5 机，5 啼 b 4 隹 高分辨卜 1 日 n 4 率摄像 a 4 占王 c 3 j- l 数 啼d s p 4 勺 机- 4 啼 据 转 千 b 3发c 3 兆 n 7融 一 高分辨卜 系 n 3 2 k 率摄像 a 3d 1 d s p - 3 j_l 网 口 机3 斗 统 卜 系 统 廿z 高分辨卜 n 2 c 2 一 l 率摄像 a 2 啼d s p - 2 机2啼 b 1 高分辨一_ n 1 率摄像 a 1 马d s p l jl 机17 p n 0 t o f 摄像机 图2 2 三维实时获取系统整体框图 2 1 2 硬件系统各子系统介绍 1 、视频采集系统 广义上来说，t o f 摄像机也属于视频采集系统。但是在本文中，我将主要 描述我们所设计的高分辨率二维视频采集器的硬件结构。 视频采集系统的主要任务是采集不同视角的二维图像，在信号转发系统上 的同步控制单元的控制下，采集阵列视频图像数据。需要发送的阵列视频图像 数据和需要接收的控制信号，通过l v d s 串行解串行器来传输。l v d s 串行解 串行器的好处是可以把并行信号转换成串行信号，简化设计，而且在信号线数 一r 一 浙江大学硕士学位论文 目减少后，可以通过更方便的传输线与信号转发系统通信。 在具体实现时，我们设计了两块相连接的电路板来实现这个功能，分别是 视频采集板和传输板。视频采集板通过c m o s 感光芯片采集所对应视角二维图 像信息，然后在传输板上按照时间序列编码，并传输到信号转发系统。我们所 设计的摄像机阵列共需要六块视频采集板和六块传输板。 2 、数据处理系统 数据处理系统的的作用主要是接受由信号转发系统传输的二维图像数据和 t o f 低分辨率三维图像数据。通过立体视觉方法的计算，得到所对应视角的三 维数据信息，并通过网络传输到数据融合系统。每一台高分辨率摄像机都对应 一个数据处理器。这个数据处理器通过计算来得到这台高分辨率摄像机所对应 视角的三维场景信息。数据处理系统由六块以d s p 芯片为主处理器的处理板来 实现。 3 、信号转发系统 信号转发系统主要是接收视频采集系统采集到的二维图像信息，并将这些 图像数据和t o f 采集到的低分辨率三维数据转发到数据处理系统。除此之外， 信号转发系统还负责同步整个系统，控制视频采集系统的工作状态。我们通过 一块信号转发板来实现这个系统的功能。 4 、数据融合系统 数据融合系统通过网络接收到不同视角场景的三维数据，并将这些三维数 据融合成为唯一确定的全景三维数据。数据融合系统主要是通过计算机平台来 实现的。 2 2d s p 硬件系统开发 我们的数据处理系统采用了d s p 作为主处理器。在这里，我主要介绍一下 基于d s p 的硬件开发流程，我们选取的d s p 芯片t m s 3 2 0 d m 6 4 8 ，以及d s p 开发板的设计方案。 2 2 1d s p 系统设计开发流程 首先，设计d s p 系统的第一步是根据实际需要设计需求规范并确定设计目 一9 一 浙江大学硕士学位论文 标。这里主要有两个方面的需求需要满足：信号处理方面和非信号处理方面。 具体来说，信号处理方面的问题主要包括d s p 算法复杂程度的确定，输入输出 结果特性的分析、以及按照要求在通用计算机上仿真。而非信号处理方面要考 虑的问题包括设备的功耗、成本、体积重量、应用环境以及设备的可靠性指标 等等。 其中，算法研究与仿真是设计d s p 应用系统的关键。如何设计算法和结构 应对设计目标，系统性能指标能否实现，都是在这一步考虑的。这种仿真一般 是通过在计算机上用c 等高级语言编程实现的。d s p 系统的设计和开发流程如 图2 3 。 图2 3d s p 系统开发流程 硬件平台的设计和实现是可以与软件编程同步进行的，本文主要是描述硬 件平台的设计。为了使软件的设计和调试结果更接近于硬件上实际运行的情况， 一般使用d s p 的开发工具中的软件仿真起来调试软件。这样，当硬件平台搭建 完成后，就可以立刻实现系统软硬件联合调试。 一1 0 一 浙江大学硕士学位论文 2 2 2d s p 芯片选取 作为主处理器，如何选择合适的d s p 芯片是很重要的。以下几条是选取合 适的d s p 芯片的关键： ( 1 ) 精度：表述格式。一般来说，尽量选用定点器件。因为定点器件普遍 速度快、成本低、功耗小。 ( 2 ) 外围设备接口：所选取的d s p 芯片必须有足够的硬件设计所需要的 外围接口。例如，视频口的个数，支持以太网的速度等。 ( 3 ) 存储器安排：包括片内存储器的数量，总线寻址空间等。 ( 4 ) 售后服务：很多时候，我们在调试的时候需要厂家提供一些软件的支 持。在遇到问题的时候，咨询d s p 生产公司客服工程师的意见也很重要。 通过以上考虑，最终我们选取了德州仪器公司( t i ) 开发的t m s 3 2 0 d m 6 4 8 作为主处理芯片。 2 2 3t m s 3 2 0 d m 6 4 8 芯片功能简介 t m s 3 2 0 d m 6 4 8 1 9 1 0 是t i 公司最新推出的一款针对多媒体处理领域和视 频安全与监控领域的达芬奇技术d s p 。d m 6 4 8 属于第三代v e l o c i t i 的超长指令 字结构( v l i w ) 定点制d s p 具有两个通用寄存器组，各3 2 个3 2 - b i t 通用寄存 器。有8 个计算功能单元，可以并行计算。它可以在最高9 0 0 m h z 的频率下运 行，每个指令周期可运行8 条指令，达到7 2 0 0 m i p s 的峰值计算速度。该d s p 采用了5 2 9 管脚n f b g a 封装，高度集成化。图2 4 是t m s 3 2 0 d m 6 4 8 芯片的 结构框图。 浙江大学硕士学位论文 盯6 5 6 r a w , y | c 图2 4d m 6 4 8 芯片结构图 与旧型处理器d m 6 4 2 1 1 】【1 2 】相比，d m 6 4 8 有很多的性能方面的提升。具 体体现在以下几个方面： ( 1 ) d m 6 4 8 采用基于c 6 4 x + 的c p u 核，比d m 6 4 2 所采用的老版c 6 4 x 核性能有明显增强。c 6 4 x + 不但采用了超长指令字结构，还具有许多新特性。 包括：每个乘法器都可以进行3 2 * 3 2 b i t 乘法；硬件支持取模循环操作，减少代 码长度；支持错误检测和程序自动改存；支持复杂的成绩运算，每个时钟周期 内最多可以并行处理8 个1 6 - b i t 乘加运算。 ( 2 ) d m 6 4 8 具有3 2 k b 的一级高速程序缓存和3 2 k b 的一级高速数据缓 存。二级缓存容量是5 1 2 k b ，是d m 6 4 2 的两倍。 ( 3 ) d m 6 4 8 具有1 0 个8 - b i t 视频端口，也可以配置为5 个1 6 b i t 口，支 持多种视频你标准，可以和视频输入、输出或传输流无缝连接。而d m 6 4 2 只 有四个视频端口。 一12 浙江大学硕士学位论文 ( 4 ) d m 6 4 8 具有1 个带s g m l11 的千兆以太网m a c ，在多处理器系统中， 支持将芯片用作p c i 桥。d m 6 4 2 只支持1 0 m b p s 1 0 0 m b p s 的以太网m a c 。 ( 5 ) d m 6 4 8 新增加了片上视频影像协处理器v i c p ，支持流预处理功能 和更多的视频复用，它可以缓解d s p 处理视频编码算法的负担。 2 3 本章小结 本章首先对整个硬件系统作了一个概述，然后讨论了d s p 系统一般的开发 流程和d s p 芯片的选取方法。最后，详细介绍了我们选用的d s p 芯片d m 6 4 8 的配置，并比较它了与之前常用的d m 6 4 2 之间的区别。 一1 3 浙江大学硕士学位论文 第3 章三维实时获取系统硬件设计方案 在这一章，我主要介绍一下视频采集系统和信号转发系统的具体设计和在 芯片选择上的考虑。并简述数据处理系统与信号转发系统之间信号的传输方法， 以及如何利用f l a s h 引导d s p 芯片的启动。 3 1 视频采集系统 数据采集系统主要的功能是采集高分辨率二维图像信息。这一节将详细介 绍数据采集系统的设计，芯片选择以及控制方式。 3 1 1 传感器芯片选择 随着光电技术的发展，光电耦合器的技术越发成熟，开始广泛的应用到各 行各业。影像获取行业渐渐的采用光电耦合器件技术来取代传统的光学仪器。 1 3 】光电耦合器是以光为媒介传输电信号的一种电一光一电转换器件。总的来 说，它由发光源和受光器两部分组成。发光源和受光器被组装在同一密闭的壳 体内，彼此间用透明绝缘体隔开。发光源的引脚即为光电耦合器的输入端，受 光器的引脚为光电耦合器的输出端。常用的发光源为发光二极管，受光器一般 为光敏二极管，光敏三极管等。光电耦合器的种类很多，最常用的是c c d ( c h a r g ec o u p l e dd e v i c e ) 和c m o s ( c o m p l e m e n t a r ym e t a l o x i d e s e m i c o n d u c t o r ) ，即“电荷耦合器件”和“互补金属氧化物半导体”。二者的基 本作用是一样的，都是将不同强度的光线转换为不同幅度的图像信号。但结构 上很不一样，因此性能上也有所差别。 c c d 主要是由一个类似马赛克的网格、聚光镜片以及殿宇最底下的电子线 路矩阵组成。它是一种半导体装置，能够把光学影像转化为数字信号，它的成 像单元在一定光照下形成电荷积累，然后在时序脉冲的控制下，将电荷转移到 读出寄存器中，转换成图像信号后传输到c c d 芯片的外围电路。图3 1 是f i t c c d 的成像原理。从原理图中可以看出，f i tc c d 采用的是帧曝光模式，并在 光遮蔽的存储列中完成电荷从成像区向存储区的转移，因此基本根除了图像的 拖尾现象。 一1 4 浙江大学硕士学位论文 圈口圈口函日1 嚣 黪记嚣 ：日茎目茎日 卸目墓酽囹ii 囫ll 囹i 棚争 卿目塞酽 黪毙嚣 帧行间转移式( f i t ) c c d 的缡橡帧行间转移式( f i t ) c c d 的缡构 图3 1c c d 成像原理示意图 c m o s 主要是利用硅和锗这两种元素所做成的半导体，它们分别带着n 和 p 极电荷。通过互补效应所产生的电流即可被处理芯片解读成为影像。和c c d 以行为单位串行的输出信号不同，c m o s 是在行、列两个地址脉冲的驱动下， 在水平、垂直两个维度上同时输出像素信号的。这使它的工作速度方面由于 c c d 。c m o s 是有源像素传感器，其光自转电子、电子转电压及缓冲放大等功 能都是在成像单元内完成的，而c c d 像素电压的形成与放大则是在电荷转移 出感光单元之后完成的。这是导致两种传感器原理、成本、性能、速度等存在 差异的根本原因。 一1 5 浙江大学硕士学位论文 图3 2c m o s 成像原理图 总的来说，c c d 传感器专门作了面对图像质量的优化设计，固定图样噪声 和瞬时噪声都比较小，在成像质量上比较好。但是它的速度比较慢，耗电量很 大，成本也比较高。c m o s 传感器则以高度集成化和低成本著称。并且随着 c m o s 制造工艺的日益成熟，其成像质量已经逐渐达到c c d 的水平。c m o s 传感器尺寸小，速度快、功耗低并具有片上系统。因此，我们选择了c m o s 传 感器作为视频采集芯片。 3 1 2 采集板设计 c m o s 传感器普遍采用逐行曝光技术，这种曝光方式很容易产生拖尾现象。 因此，我们选择了c y p r e s s 公司生产的高性能c m o s 芯片i b i s 5 a 1 3 0 0 1 4 。 该传感器有逐行曝光和帧曝光两种曝光模式。我们采用了帧曝光模式，可以解 决拖尾的问题。该传感器分辨率为1 3 m ( 1 2 8 0 1 0 2 4 ) ，可以采用s x g a v g a 格式输出，s x g a 输出最大帧速率可达2 7 5 帧s ，v g a 输出帧速率为1 0 0 帧s 。 该芯片将c m o s 传感器核心与外围辅助电路集成在一起，并具有可编程控制功 能。片载可调整增益和偏执的输出放大器，以及1 0 b i t ，4 0 m s sa d c ，卷帘快 门和同步快门，片载时序和控制逻辑发生器。它的结构框图如图3 3 。 一1 6 浙江大学硕士学位论文 擎嚣麓糍鬟撵纂赫赫墼辨摊氍箍i i 璐鬟鬟1 1 1 馨赫瓣赫兹赣蓥赫趁糯趁嚣暂嚣鬻籀瓣徽藏嚣班璐鞋毫球嚣l i b 搿姑妒 图3 3i b i s 5 a 1 3 0 0 传感器框图 i b i s 5 一a 1 3 0 0 芯片的功能具体的图像数据采集、读出和像素输出过程描述 如下。首先，以单斜率积分模式为例来说明图像数据的采集过程，其时序图如 图3 4 所示。s y s c l o c k 为系统时钟，s s s t a r t 和s s s t o p 信号分别表示 积分( 采集) 开始和结束信号，t i m eo u t 信号表示经过t 1 时间，i n tt i m e 寄存器的预设值达到时产生的一个标志积分完成的信号，y s t a r t 为帧起始信 号，yc l o c k 为行起始信号。 s ss t a r t 标志着积分开始，结束后会产生一个t i m eo u t 信号，同时外 部输入一个s s s t o p 信号表明积分过程结束。这时，y s t a r t 为高标志着一 帧曝光的开始，应至少保持三个系统时钟周期。在ys t a r t 为高的第二个时 钟周期输入第一个y - c l o c k 脉冲。然后是行空白时间( r o wb l a n k i n gt i m e ) t 1 ， 在这段时间内，x 序列发生器产生控制信号来采样像元信号和像元复位电平( 双 采样f p n 校正) ，并开始一行的读出 一1 7 浙江大学硕士学位论文 ys t a r t l j5 l j ii j 厂 y _ c l o c k i ii l _ j ii i 厂 图3 4 同步快门的单斜率积分模式像素数据积分过程 图像数据的读出时序图如图3 5 所示。其中信号s y sc l o c k 、ys t a r t 和y c l o c k 如前所述，p i x e l v a l i d 为像素读出信号，l a s t - - l i n e 为下一 帧读出开始信号。首先，从yc l o c k 信号到达后s y sc l o c k 的第一个上升 沿开始算起，经过t 1 时间，p i x e l l o a d 信号置高，并产生内部信号x s y n c ， 本行像素开始读出。当像素计数器达到n r o f p i x e l s ( 行读出像素个数寄存 器) 的预设值时，p i x e l v a l i d 信号变低，一行像素读出结束。当每一帧的 各行像素都已读出时，l a s t l i n e 信号变高，并且保持一个行周期( 直到下 一个yc l o c k 的下降沿) ，表示整个帧像素读出的结束。重复此过程，图像 传感器即可读出连续图像。 s y sc l o c k ys t a f 玎 yc l o c k 同三lv j 也d l s tu n e 鞋a no f 什ml i f l e1u n n l i n ei 1 + 1 r，r， 广一“i i 厂 j i i i 一r l j - t 1 卜一t 一 i l r j 广1i l 兀广5 1 “ ”“ h 扩乙巧j 几几几几 l _ j 5 u j r l 卫广 广1 广 图3 5 同步快门像素数据读出的时序图 像素的输出时序过程如图3 6 所示，其中信号s y s c l o c k 、y c l o c k 和p i x e lv a l i d 信号如前所述，xl o a d 为数据读出时x 位置输入信号， x s y n c 为x 寄存器的同步信号，p x l o u t l 为像素输出信号。 图3 7 实际上是图3 的t i + t 2 部分的放大，即一行所读出数据的输出过程， 其中，当t 1 曝光时间结束后会由芯片内部产生一个信号x s y n c ，同时在下 一个s y sc l o c k 上升沿，p i x e lv a l i d 信号使能。此时经过5 个系统时钟 周期s y s _ c l o c k 后，像素信息开始由p x l o u t l 输出。如果在输出过程中， 想从一行像素中的某个位置起开始输出，则可以经由x l o a d 脉冲改变内部的 x s y n cn - g - ，加载一个储存在x r e g 寄存器里的新的x 一指针到x 一移位寄存 一18 折大学砸学位论文 器里，就可以完成该任务 0 忡“忡r q p “自m f 一_ 删h p 图3 6 同步快门像素数据输出过程的时序图 最后，像素信息a d ci n 经过a d 转换变为i o b i t s 的数字信息 a d c o u t 0 ：9 输出输入输出之间会有两个系统时钟的延迟，其时序如图5 所示。 h 一：目t d “啦o c l c 厂一l 乙厂l 厂 厂l 厂l l 一，h d 叫 二二= = 匦二3 二亟二 二虽二3 田匕二 图37 像素信息经a d 转换后输出的时序图 i b i s 5 一a 一1 3 0 0 需要33 v 和45 v 的电源，它的供电设置如图38 黼日咖埘i 岬 ，_ m 口 9 “y “$ 一一 v d d d q m m 口4 t h e d 洲d n n 雎j n o 训 g 圈3 8i b i s 5 - a 1 3 0 0 供电需求 其中，直接提供45 v 的电源芯片很少见，因此我们采取了两种方式来实现 由输入电压5 v 转为45 v 。 ( 1 ) 因为所需要的4 5 v 电豫的输入范围为33 v o5 v ，标准值为45 v 。 因此，我们可以采用一个z - 极管来近似的降低o7 v 电压达到电源的输入要求 ( 2 ) 我们还可以采用可编程电源芯片在这里，我们采用了德州仪器( t i ) 公司生产的可调电源芯片t p s 7 1 7 4 5 d s e t 1 5 。t p s 7 1 7 4 5 d s e t 可毗在固定电 一1 9 一 茎萋 兰1 r 1 一 篡篡 浙江大学硕士学位论文 源和可调整电源两种模式下运行。当在可调整电源方式下运行时，它输出电压 范围为0 9 6 2 v ，完全可以满足我们的要求。当在可调整电源模式下运行时， t p s 7 1 7 4 5 d s e t 的功能框图如图3 9 。 图3 9 可调整电源模式t p s 7 1 7 4 5 d s e t 功能框图 t p s 7 1 7 4 5 d s e t 电源芯片主要是通过设计外围电路来调整输出电压的，外 围电路设计如图3 1 0 o 弹i d 舱i1 o 心i n p u t c a c m a yi m p r t e 湖嬲i m o e a a r 。e n o u o r p s 脓 图3 1 0t p s 7 1 7 4 5 d s e t 外围电路 输出电压可以通过公式3 1 计算。恐的取值直接影响着器件的稳定性。 一般来说，疋取3 2 0 k f 2 左右。 协半o s o o 3 。 电源芯片t p s 7 1 7 4 5 d s e t 还可以通过编程输出一个固定的电压。在这种情 一2 0 浙江大学硕士学位论文 况下，输出电压的范围是0 9 5 0 v 。也可以满足我们的要求。在固定模式下运 行时，电源芯片t p s 7 1 7 4 5 d s e t 的结构如图3 1 1 州 图3 1 1 固定模式t p s 7 1 7 4 5 d s e t 功能框图 在最终设计时，为了取保电源正常供电，我们同时采用了这两种电源提 供方法。因为输出电压没有需要调整的必要，在使用电源芯片t p s 7 1 7 4 5 d s e t 时，我们选取了固定输出的模式。我们把电源芯片t p s 7 1 7 4 5 d s e t 和二极管并 联在一起。当需要电源芯片供电时，将二极管拆下，反之亦然。设计方案如图 3 1 2 。 5 vv d d hv d d r u 丑下 d i r b 5 2 1 s 3 0 几 u 4 4 i ：、t、t d ， 3 l 4 5i ， 一一 2 ，、，、，一、 一n cu n d 一 。m 41 p g 7 5 0 s p l 6 。1 _