（信息与通信工程专业论文）立体视觉技术在客流统计系统中的应用.pdf

浙江大学硕士学位论文 摘要 为了满足公交车辆客流统计及商场客流量分析的需要，我们开发设计了一套 基于立体视觉的客流统计系统，由摄像机获取图像，经过人头部检测与跟踪获得 客流信息。本文着重探讨了立体视觉技术在该系统中的应用。包括三方面技术关 键：1 ) 双目立体图像对的获取，2 ) 基于窗口的匹配算法实现，3 ) 与单目图像 处理的融合；以感知聚类为指导，通过设计深度判决器，有效解决了图像中背景 干扰及与人体躯干误判等问题；并增加深度方向的预测，进一步提高了跟踪的准 确度。 关键词：立体视觉、基于窗d 的匹配、感知聚类、深度判决器、跟踪 2 塑坚查堂堡主兰些丝奎 a b s t r a c t s h o p p i n gm a l l sa n dp u b l i ct r a n s p o r t a t i o ns y s t e m s w o u l dl i k et ok e e pt r a c k o fs h o p p e ma n dp a s s e n g e mv o l u m eb ye m p l o y i n ga u t o m a t i ct e c h n i q u e s w e a r ed e v e l o p i n gar e a l - t i m es t e r e o b a s e dp a s s e n g e rf l o we s t i m a t i o ns y s t e m f o rt h e s en e e d s i nt h i sp a p e r ，t h es t e r e o - b a s e da p p r o a c ht h a td e t e c t sa n d t r a c k sp e o p l ef r o mas t e r e oc a m e r am o u n t e da b o v ead o o ra n dp o i n t i n gd o w n i sd e s c r i b e d i tc o n t a i n st h r e ek e yp o i n t s ：1 ) o b t a i n i n gl e f ta n dr i g h ti m a g e s s y n c h r o n o u s l y 2 ) s t e r e om a t c h i n gf o rr e a l - t i m ea p p l i c a t i o n 3 ) a p p l y i n g2 - d i m a g ep r o c e s s i n gr e s u l t sa n dd e s i g n i n gd e p t hc r i t e r i ai nah i e r a r c h i c a lm a n n e r t h ee f f i c i e n tp e r c e p t u a lg r o u p i n go fh u m a nh e a di sr e a l i z e d a n dw i t hd e p t h p r e d i c t i o n ，t h ea c c u r a c yo fh e a dt r a c k i n gi si m p r o v e d k e yw o r d s ：s t e r e o ，b l o c km a t c h i n g ，d e p t hc r i t e r i a ，p e r c e p t u a lg r o u p i n g ， t r a c k i n ga n dc o u n 帕n g 浙江大学硕士学位论文 1 1 项目背景 第一章概要 随着统计分析技术和计算机技术的不断发展，客流统计已开始进入自动化阶 段，即时、可靠的客流量信息已经成为可能。同时，客流信息的重要性也日益体 现出来。对于大型商场或超市，通过对客流量的深层分析，可以对商场方方面面 的管理提供科学依据。特别是对于提高商场日常经营决策的科学性、购物环境舒 适度、人力资源调配的合理性等方面起着重要的作用。该技术在国外发达国家应 用已经较为普遍，在国内也有不少商家开始应用该技术以提高商场竞争力。对 于铁路、地铁和公交车等公共交通系统，详实的掌握各条线路、站点客流的流向、 流时、流量及其分布等信息，将方便公交公司线路调整，以及对车辆资源进行合 理配置。另外，展览馆、体育场、图书馆、机场等对公共安全要求很高的公共场 所都安装有智能监控与调度系统，对这些系统来说，实时准确的客流信息的重要 性同样不言而喻。 1 2 现有技术及发展趋势 传统自动客流信息统计的主要手段为红外遮挡系统及压力传感系统，它们实 现简单，成本低廉，但具有计数不准确，特别是在客流高峰期拥挤状况严重时； 以及应用场所受限等缺点。 相对于其他信息，图像信息的容量更大，更丰富，因此图像处理技术的兴起 与不断的发展为传统的客流统计技术面临的一系列问题的解决提出了很多新方 法。目前，已经有很多基于图像处理的方法应用于客流统计领域，而这些方法中 的绝大多数都是仅利用二维图像中的特征识别与模式匹配方式，选取人体的某一 部分或多个部分及其结合作为特征，试图在现场图像中获得匹配，从而得出现场 的客流信息。如有采用差分图像投影的方法获取图像中的运动信息作为人体运动 信息，进而跟踪计数，针对的背景相对简单，且对并排、前后拥挤的情况无法正 确识别。为了解决拥挤情况下的识别问题，文献【l 】自创性的提出一种模型提取 人体头部轮廓，有效的解决了拥挤情况下的识别问题。但该模型提到的方法应用 4 浙江大学硕士学位论文 于电梯客流统计，针对的背景也相对简单，而且只需识别计数不需要跟踪判别方 向。另外还有采用小波神经网络提取人体头部特征，进而在输入图像中识别人体 头部，但该方法提取的特征并不具有尺度不变性，因此针对头部大小变化的情况 无法准确识别。 当然基于图像处理的客流统计方法相对传统的红外遮挡系统和压力传感系 统确实取得了较大的进步，但目前依然存在一些问题，主要有： 1 、背景随光线变化复杂，不利于前景( 人头部) 的提取； 2 、客流高峰拥挤情况下，人与人之间结合紧密，基于二维信息的方法很难 将拥挤在一起的几个人准确的区分开来，而且拥挤情况又是非常频繁的： 3 、应用在公交系统中时，由于公交车台阶的存在，导致同一人头部在上下 车时在位置固定的单目摄像机看来大小是时刻变化的，非常不利于识别与跟踪。 其中最大的问题出现于客流高峰时期的拥挤状况，在这种情况下，人与人之 间结合紧密。单独利用二维图像信息的方法很难将拥挤在一起的几个人准确的区 分开来。此外在灰度图像中，如果行人身着深色衣服则与黑色头发区分不明显， 如果头发颜色较浅则易与背景混淆。这时如果能够增添一些附加信息辅助识别， 那么准确率将得到较大的提升。从当前图像处理技术的发展趋势来看，附加信息 可以有几种选择： l 、热成像信息与图像信息的结合，热成像系统将周围环境的温度以图像的 形式表征出来，距离热成像传感器越近，温度越高的物体，在温度图像中表征的 越明显，因此，热成像信息对二维图像信息是很好的辅助信息。但是，热成像系 统成本非常高，通常比单纯的图像处理系统高出十几倍甚至几十倍，而且热成像 系统成像范围有限，对于较大范围的客流统计应用并不适合。 2 、颜色信息与单一灰度图像信息的结合，颜色是图像最本质的特征，单一 的灰度图像只保留了颜色的亮度信息，损失了颜色的色度及饱和度信息。而人眼 系统对色度信息是最为敏感的。在灰度图像中，如果行人身着深色衣服则与黑色 头发有相近的灰度，不容易区分。倘若结合颜色信息，则将会提高区分度，从而 提升准确率。当然这需要具备能较准确反映物体颜色信息的彩色图像采集设备、 相关硬件的改善、及能满足实时性的要求。值得尝试。 3 、立体视觉信息与平面图像信息的结合，在拥挤状况下，人与人之间的空 浙江大学硕士学位论文 隙在二维图像上很难有效的分割，但通过立体视觉信息依据物体深度的不同可以 较为容易识别出来，如文献【2 利用立体视觉获取人体上身区域，用于后续跟踪 获得超市入口客流量；又如文献 3 】同样基于立体视觉技术从拥挤人群中完成了 人头部检测、定位。因此立体视觉信息从这个意义上来讲是二维图像信息的一个 非常好的辅助信息，而且立体视觉系统相对于一般图像处理系统来讲，成本增加 不大，因此，利用立体视觉辅助二维图像信息进行客流统计应是目前比较理想的 选择，是基于机器视觉的客流统计技术的发展趋势。 1 3 项目开发内容与技术关键 在省科技计划支持下，为了满足公交车辆客流统计及商场客流量分析的需 要，结合前面的探讨，我们将开发一套基于立体视觉的客流统计系统。期望达到 的主要指标为： 1 、客流统计准确率8 5 以上。 2 、系统可以全天候工作，夜间自备红外照明装置。 3 、给出客流统计数目的同时可以给出客流的运动方向信息，便于进一步统 计分析工作。 具体来讲，我们的项目开发内容为：设计具有获取视频立体图像对的采集模 块，主要算法运行的处理模块及备有网络接口的传输模块的硬件电路；设计一种 运算复杂度较低的基于窗口的实时图像匹配算法，获得致密的图像间对应点对， 从而实现致密的场景三维深度数据的提取；设计基于单目图像的人体头部识别与 跟踪算法，结合深度信息获取准确的客流信息。 这样通过立体视觉采集装置获取立体图像对，采用立体视觉方法获得深度信息， 并结合单目二维图像方法对人体头部进行检测跟踪，最终获得客流信息。 由于立体视觉技术的引入，有下面三个技术关键需要注意： l 、视频立体图对的获取。 2 、基于窗口的实时图像匹配算法的实现。 3 、立体视觉和二维图像融合的人体头部识别与跟踪算法的实现。 当应用在公共交通系统时，需要设计独立的嵌入式处理设备。而对于应用在 大型商场超市等固定场所时，主要处理过程可由p c 机直接完成，硬件上我们只 浙江大学硕士学位论文 需提供前端图像采集设备及传输设备即可。 1 4 本文主要内容 本文将围绕前述三个技术关键展开讨论并给出实验论证。具体来说，第二 章将在系统硬件结构整体概括的基础上描述视频立体图像对获取的技术关键。第 三章主要讨论立体视觉算法并给出基于窗口的实时图像匹配算法在项目中的应 用；之后详尽介绍了立体视觉和二维图像融合的人体头部识别与跟踪算法的实 现，并给出实验结论。在论文的最后，给出了总结和展望。 浙江大学硕士学位论文 第二章系统硬件架构 2 1 硬件结构概述 目前立体视觉客流统计硬件电路已经设计、调试完毕。主要包括c m o s 图像 采集、d s p 数据处理及以太网传输等三部分，整体框图及电路板实图见2 1 ，2 2 显示。 图2 1 系统框图 图2 2 电路板实图 该系统以德州仪器公司( t i ) 的t m s 3 2 0 c 5 0 0 0 系歹l j d s p 中的t m s 3 2 0 c 5 4 1 6 和a l t e r 公司的c p l d 芯片为核心。为降低系统成本，直接采用输出即为数字 b 睁 浙江大学硕士学位论文 图像的c m o s 图像传感器( o v 7 6 4 1 ) 取代摄像机+ a d 的方案。双目图像传感器 在c p l d f p g a 的控制下通过d m a 方式将同步图像数据传送到d s p 片内r a m 或外部扩展的s r a m 中，得到完整的一帧( 两幅) 双目图像后，c p l d f p g a 通 过中断方式告知d s p ，d s p 获得中断后，对双目图像进行处理，处理结果可通 过c a n 控制模块传送给终端。 考虑实时性要求，两个摄像机采集灰度图像，结合立体视觉精度要求，采集 图像分辨率为3 2 0 * 2 4 0 ；两摄像机之间基线长度为1 8 9 厘米。为确保实时处理， 图像分辨率不宜过大，不采用彩色图像，直接由摄像头获取灰度图像，在这种情 况下，图像数据量不是很大，不需要考虑与处理器接口复杂的s d r a m ，直接采 用处理器片上s r a m 或者外部扩展s r a m 。此外嵌入式系统开发中，高效的调 试手段是异常重要的，不仅在产品研发阶段需要调试接口，在产品上市初期，为 了修补各种研发阶段没有遭遇的b u g ，也必须保留调试接1 2 1 。考虑到图像的数据 量，该调试接口必须保证较高的传输速率，综合考虑传输率与开发成本，网络接 口是一个比较理想的选择。采用百兆以太网卡芯片( l a n 9 1 1 5 ) 作为网络接v i ， 可以在客流统计系统与宿主机( 可以为p c 或专门开发的带有网络接口的嵌入式 系统) 之间传送各种必要的调试数据甚至是实时的双目图像数据，为高效的调试 提供保障。 2 2 立体图像对获取关键 视频立体图对的获取由采集部分来完成。显然图像的采集质量对后续立体视 觉算法的应用有重大的影响。我们的采集部分主要由c m o s 图像传感器对、乒 乓缓冲s r a m 和c p l d 控制电路组成，其中图像传感器对中的每一个传感器输 出8 位图像数据，经c p l d 中的同步逻辑和采集逻辑共同作用后拼成1 6 位的图 像数据流进入乒乓缓冲中的一块s r a m 。乒乓缓冲中的一块s r a m 在存储当前 采集到的帧图像的同时，另块s r a m 中存储的上一帧图像数据接受d s p 的 处理和传输。 采集部分的核心是c p l d 中的同步逻辑。 同步逻辑：在立体视觉采集系统中，同步是一项关键技术，因为在没有严格 同步的图像对上无法获取可靠的视差。实际应用中多采用外加的同步控制器或同 9 浙江大学硕士学位论文 步控制电路，而通常意义上的同步控制主要针对的是具有同步输入信号的摄像机 或具有外同步控制脚的图像传感器芯片。而我们的系统中所采用的图像传感器芯 片o v 7 1 4 1 并没有外同步控制脚，这就给我们的同步控制带来了比较大的困难。 如何解决同步控制问题。是采集系统也是整个系统的关键技术问题。 首先我们要引入同步的标准，在我们的系统中，同步主要指的是两个图像传 感器以共同的时钟输入作为标准，它们自身根据外部时钟输入所产生的内部时序 逻辑，包括场同步( v s y n c ) 、行有效( m 也f ) 以及图像数据时钟( p c l k ) 的 完全同步。上述的三个信号中，任何一个信号在两个图像传感器中的不同步就被 判定为不同步发生。在实际情况中，一般前两个信号v s y n c 和h r e f 的同步就 可以保证第三个信号p c l k 是同步的。因此，只要v s y n c 和h r e f 是同步的， 我们就认为两个图像传感器是同步的，否则就是不同步。 o v 7 1 4 1 的输入引脚除电源与地线外，只有时钟和复位，也就是说能够对其 内部时钟产生影响从而实现同步的方法只能通过这两个引脚来实现。大量的试验 表明，严格同步的复位信号( 包括软复位) 并不能够保证两个传感器的同步，而 且即使复位之后两个传感器达到同步，在图像采集过程中由于很多干扰信号的存 在，还是会导致不同步的发生。这样看来，只存在于系统采集开始的复位信号并 不有效，即使有效在采集过程中一发现不同步就对两个图像传感器进行复位也是 不可想象的。因此，我们只能通过控制两个图像传感器的输入时钟来达到同步的 目的。 通过控制输入时钟的方式达到同步，基本思路可以归纳为一个反馈调节过 程，即在当前帧中通过判断两个图像传感器的场同步信号( v s y n c ) 下降沿之 间是否有差异来断定是否同步，如果不同步则同时判断出哪一个图像传感器超 前，在随后的过程里获取差异的时钟个数并将超前的那一个图像传感器的输入时 钟抑制掉差异的时钟个数，从而使两个图像传感器在下一帧达到同步，当前不同 步的帧数据丢弃。 具体的同步过程又可以分为粗同步和细同步两个过程，这两个过程是通过场 同步下降沿差异计数器是否溢出来区分的：如果场同步下降沿差异计数器没有溢 出，说明两个图像传感器之间的内部时序差别不大，差异的时钟个数在细同步的 可调范围之内，这种情况下通过细同步来使两个图像传感器达到同步；反之，如 1 0 浙江大学硕士学位论文 果场同步下降沿差异计数器溢出，说明两个图像传感器内部时序差别比较大，超 出了细同步的调节范围，这时需要进行粗同步，在当前帧内将时序差别直接调节 到零或者调节到细同步调节范围之内，下一帧再进行细同步。 另外负责传送调试数据甚至是实时的双目图像数据的传输部分主要由 d s p 5 4 1 6 、以太网控制芯片l a n 9 1 1 5 组成，其中d s p 5 4 1 6 负责读取存储在乒乓 缓冲中的图像对数据，将图像对数据分块，打包，然后调用l a n 9 1 1 5 驱动程序 将封装成u d p 数据报的图像数据通过双绞线传输至p c 机。见图2 5 所示。 图2 - 3 图像采集程序界面图 我们采集两幅3 2 0 + 2 4 0 像素灰度图像时，l a n 9 1 1 5 芯片工作在1 0 0 m b p s ，半 双工模式( 1 0 0 b a s e - t x ，h a l f - d u p l e x ) 下时，经过不同数据报大小的传输测试， 以太网传输可达到1 5 帧，秒的传输速率。 浙江大学硕士学位论文 第三章系统软件设计 立体视觉信息处理是近几年来发展与广泛应用的新兴技术，在立体视觉理论 建立与完善之前，单目图像处理技术受到了更多的关注，发展并形成了许多行之 有效的方法，在实践中也获得了许多令人满意的效果。在客流统计领域，基于单 目图像处理技术的客流统计方法已经开始获得应用并将逐步取代传统的基于红 外遮挡和压力传感的客流统计方法。但是，应当看到的是，基于单目的图像处理 技术有其自身的种种弊端，在客流统计领域，这些弊端主要体现在无法在单目图 像中对人体有效建模，因而无法将人体从较为复杂的背景中准确提取出来。在客 流高峰时，这种弊端体现的更加明显，不仅无法将单个人体从背景中准确提取， 而且无法将单个人体从簇拥的人群中单独分离出来。这个问题是目前基于单目图 像处理的客流统计方法所面临的最困难的闷题，在单目图像处理技术没有获得突 破性的发展之前难以得到解决。因此，多种方法的有效结合，尤其是其他方法与 单目图像处理技术的相互补充，是目前基于机器视觉的客流统计系统的发展趋 势。而在诸多方法之中，立体视觉方法的引入，无论从系统层面还是算法层面看， 对单目图像处理都是一个极好的补充。从硬件方面考虑，单目图像处理完全隶属 于立体视觉采集与处理系统，无需任何额外的硬件资源；从算法方面考虑，立体 视觉方法运行独立，与单目图像处理关联性极低，升级方便；从效果上考虑，立 体视觉方法提供了深度信息，这对单目图像处理是极好的补充，为单目图像中人 体有效分割提供了一个非常好的依据。因此，我们的系统采用融合立体视觉信息 与单目图像处理技术的方法，有效识别了视场中的人头部，对其计数和跟踪最终 获得准确的客流信息。 3 1 软件总体结构框架 i 神经喇培训炼l - t 一。- 一 图3 - 1 立体视觉与单目检测融合的人头部提取算法流程图 如上图所示，虚线框内为单目检测提取人头部轮廓的算法流程，其中包含了 诸如边缘检测、h o u g h 变换等经典单目图像处理算法。在获取视场中的类圆目标 后，在没有融合立体视觉深度信息的情况下，算法将直接通过采用模糊度量的共 圆判决器和基于颜色的灰度判决器。其中，共圆判决器基于感知聚类，由三个模 糊度量值弧长置信度、匹配误差置信度和分布置信度的线性组合构成；灰度 判决器基于人头部灰度分布一般较为均匀的事实，由经验给出判决门限。当立体 视觉处理模块加入后，在双目视图右图中获取类圆目标后，同时就获得了需要计 算视差的区域，采用基于窗口的相关匹配算法获取相应区域在双目视图中的视 差。然后在单目检测的基础上再添加一个由视差信息构成的视差判决器，它由两 个置信度组成深度均值置信度和透视比例置信度。通过这三个判决器的判 决，许多虚假的人头部轮廓被去除，当前视场中的所有乘客的头部轮廓获得了精 浙江大学硕士学位论文 确地定位。 图3 - 2 跟踪部分的算法流程图 每个乘客在进出视场的过程中每次出现时由检测部分提取的特征向量 ( x ，y ，d ，矗，g ) ，构成了一个特征向量的序列。每个序列除了需要记录每次出现时的 浙扛大学硕士学位论文 特征向量外，还要通过k a l m a n 预测器预测下一帧中该序列特征向量的预测值。 这样，所有出现在视场中的人每个人都有一个跟踪序列，所有人的跟踪序列组成 了跟踪序列组或称为跟踪序列矩阵。跟踪部分的任务就是从前一帧的跟踪序列矩 阵中提取出与当前帧检测向量的向量距离最近的跟踪序列，如果该最近向量距离 低于所设定的阈值，则匹配成功，将该检测向量加入到相应的跟踪序列中，否则， 匹配失败，此时如果检测向量的模糊置信度高于给定的阈值说明一个此前末出现 的人进入视场，则与此人相对应的新的跟踪序列产生，而该检测向量即为新的跟 踪序列中的第一个向量值。当一个人在视场中消失( 可以定义为两帧或多帧未匹 配) 时，其对应的跟踪序列任务结束，通过向量中所记录的位置信息就可判断出 此人的运动方向。 3 2 软件方案实现 3 2 1 立体视觉综述 立体视觉的基本原理是从两个或多个视点观察同一景物，以获取物体在不同 视角下的图像，通过三角测量原理计算图像像索间的位置偏差( 即视差) 来获得三 维债息。一个完整的立体视觉系统分为图像获取、摄像机标定、特征提取、立体 匹配、深度确定及内插重建等六大部分。通常利用c c d 摄像器件或c m o s 摄像器件 并经过预处理获得景物的本征图像。 摄像机标定是为了确定摄像机的内部参数( 如焦距、镜头失真系数、不确定 性图像因子) 和外部参数( 如旋转矩阵和平移矢量) ，以便确定成像模型。标定过 程精确与否，直接影响了立体视觉系统测量的精度。经过标定，一方面求得摄像 机的内外参数并校正镜头的非线性畸变；另一方面使得外极线水平，因为后续我 们在立体匹配中要利用外极线约束准则。( 参见图3 3 ，3 - 4 ) 所有外极平面投影 在外极线1 上的点，只会投影到对应的外极线，上。另外注意到如果是理想的小 孔成像模型，此时外极线才能为一条直线。在我们的应用中。均将摄像机理想化 为小孔模型。因此应用这个准则约束，可以使立体匹配的视差搜索由二维降为一 维，在外极线上搜索匹配点，大大地降低整个匹配算法的复杂度。但由于在实际 维，在外极线上搜索匹配点，大大地降低整个匹配算法的复杂度。但由于在实际 塑垩查堂堡主兰垡丝兰 工作中，立体摄像机对的配置总是存在误差，即使是平行垂直投影方式，也不能 保证外极线是水平的。这样造成立体匹配视差搜索复杂化。所以在立体匹配之前 我们要对外极线进行水平校正。 x 煮 图3 3 极线几何图示1 图3 3 中c ，c 分别是两摄像机中心即光心，x 是实际空间的一点，x 和f 是j 在两像平面上的投影。c ，x 三点共线，c 。，x 。，x 三点共线，c ，d ，x ，一，x 五 点共平面。 图3 4 极线几何图示2 如图3 4 所示，外极极点( e p i p o l a rp o l e ) e ，；分别是两摄像机中心在另 一像平面的投影。两极点的连线，经过两摄像机中心，称为基线( b a s e l i n e ) ，两 光心距离为基线宽度。所谓极线平面是指两光心和实际空间上的任一点j 形成外 极平面( e p i p o l a rp l a n e ) z 。不同的爿形成不同的外极平面，但是基线是相同的， 换句话说包含基线的平面都是外极平面。外极线，就是指像平面和外极平面的 交线。所有外极平面投影在外极线，上的点，只会投影到对应的外极线，上，因 l，、，l；：。，x汹。 ， 一蕊燃鏊， 煮黼，。，炎 藩一 叩 、 套蠢、 叩入，：篷： 浙江大学硕士学位论文 此做块匹配只需在，上做线性搜索即可。 特征提取是为了得到用于匹配的图像特征。目前为止还没有一种可用于图像 特征提取的普适理论，从而导致了立体匹配特征的多样性。常用的匹配特征主要 有点状特征，线状特征和区域特征。一般来讲，区域特征含有较多的信息易于进 行快速匹配，得到致密的视差图像但定位精度较差而且特征提取和描述困难。而 点状特征和线状特征所含特征信息较少，在匹配时需较强的约束条件和匹配策略 并且只能得到稀疏视差图，在进行三维重建时需要复杂的插值策略。 立体匹配是立体视觉中最困难的一步。与普通的图像配准不同，立体像对之 间的差异是由摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运 动所引起的。须解决三个问题：( 1 ) 正确选择图像的匹配特征。( 2 ) 寻找特征间的 本质属性。( 3 ) 建立正确的匹配策略。立体匹配可分为三大类：区域匹配、特征 匹配、相位匹配。区域匹配算法，即基于窗口的匹配实质是利用局部窗口之间灰 度信息的相关程度，它在变化平缓且细节丰富的地方可以达到较高的精度。但该 算法的匹配窗大小难以选择，通常借助于窗口形状技术来改善视差不连续处的匹 配；其次是计算量大、速度慢，采取由粗至精分级匹配策略能大大减少搜索空间 的大小，与匹配窗口大小无关的互相关运算能显著提高运算速度。特征匹配不直 接依赖于灰度，具有较强的抗干扰性，计算量小，速度快。但也同样存一些不足： 特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场；特征的定位过程直 接影响匹配结果的精确度。改善办法是将特征匹配的鲁棒性和区域匹配的致密性 充分结合，利用对高频噪声不敏感的模型来提取和定位特征。区域匹配和特征匹 配都是建立在一定的约束条件下的匹配。匹配的目的是为了获得像点问的视差， 并根据视察确定像点的深度，而物像投影是一个畸变的过程，因此确定一系列的 约束条件来寻找图像对中的对应点。常用的约束有：( 1 ) 外极线约束。( 2 ) 一致性 约束。( 3 ) 唯一性约束。( 4 ) 连续性约束。相位匹配是近二十年才逐步发展起来的 一类匹配算法。相位匹配基于这么一个假定，即认为图像对中对应点的局部相位 是相等的。根据傅立叶平移定理，信号在空间域上的平移等于频率域上成比例的 相位平移。频率域信号分析在数学表达上更有助于区域分析。继区域匹配和特征 匹配后，k u g l i n 和h i n e s 等提出了第三种立体视觉匹配算法一一相位匹配。考虑 傅立叶变换的空间支撑为无限，一般地，相位匹配方法对带通滤波信号的相位信 浙江大学硕士学位论文 息进行处理而得到像对间的视差。最常用的相位匹配方法有相位相关法和相位 差一一频率法。 深度确定。当摄像机的焦距已知的情况下，任意物点的深度信息，即点在其 中一个摄像机坐标系z 轴上的坐标可由下式得到：在得到了深度信息后，可以根 据摄像机线性成像几何模型求得任意物点在摄像机坐标系下x ，y 的分量。 x e ：= b ，x ( u - u o ) 聆：b 。( v - v o ) ( 1 ) z c ：堕 其中f 。d 单位为象素单位，基线b 单位是米。 总之，立体视觉技术能够利用两台或多台略有位置偏移的摄像机通过三角运 算，获得场景的深度信息。场景中的点分别在两幅图像中存在像点。在不同的图 像中像点的位置不同，即存在视差，场景中的点距离摄像机距离不同导致视差大 小也不相同，距离近则视差大，距离远则视差小。立体视觉正是基于不同的偏移 程度，通过三角运算来确定场景中的物体到摄像机的距离。 3 2 2 基于窗口的匹配( 区域匹配) 算法实现 由上一节内容我们可知完成立体视觉分析得到有用的深度信息需要进行图 像获取、摄像机标定、立体匹配，深度确定等步骤。下面将详细讲述这些步骤在 本项目中的实现。 1 ) 双目立体图像对的获取，我们已经在第二章中详细说明，得到的左右两幅 视图满足同步要求。 2 ) 摄像机标定。即在不同的图像之间建立起图像特征点的对应关系。这里使 用张正友摄像机标定工具完成定标过程。采用棋盘格作为定标图形，为降低格子 对阈值的敏感度，格子应具有较大的尺寸，这里我们取6 0 m m x 6 0 m m 。见下图 3 5 表示。 浙江大学硕士学位论文 图3 - 5 标定时使用6 0 m m * 6 0 m m 黑自相间模板 图3 - 6 焦距2 i m m 、视场角1 5 5 度镜头得到的原始视图 图3 - 7 对图3 击中原始视图进行标定后的校正视图 可见，由于畸变严重，标定结果并不理想( 我们使用的定标工具并不能消除 鱼眼镜头造成的畸变影响) ，标定后图像范围缩小，视差变化范围将非常小，大 致5 个象素左右。这样深度不同的物体不容易区分出来，得不到准确的深度图像。 如下所示，该视差图将无法使用。 浙江大学硕士学位论文 图3 - 8 由图3 - 7 得到的视差图 图3 - 9 焦距4 r a m 、视场角9 2 度镜头得到的原始视图 图3 1 0 对图3 - 9 中原始视图进行标定后的校正视图 由上图可以看出，具有较好的很好的标定结果，两外极线大致平行，同一物 体的像点几乎具有相同的y 分量。图象损失较小。仍然保留了水平方向3 0 象素 左右的视差搜索范围，得到的视差图能大致估计出人体位置。 浙江大学硕士学位论文 图3 1 1 由图3 1 0 得到的视差图 因此我们将使用4 m m 焦距镜头，进行获取实验图像。2 m m 镜头所拍摄图像 需经过预处理后才能使用，待后一阶段进行尝试。 3 ) 基于窗口的匹配算法是以基准图的待匹配点为中心创建一个窗口，以在对 准图中对应外极线上某一像素点为中心创建同样大小的滑动窗 2 1 ，窗口内相邻像 素的亮度值分布来表征中心像素。滑动窗1 2 1 在外极线上单位像素移动，计算每个 位移点处的窗1 2 1 匹配测度。通过搜索匹配测度的最大或最小值来获得最佳匹配 点。按测度选取准则不同，又可大致分为三类：基于亮度差的匹配算法，基于相 关的匹配算法，及基于像素分级的匹配算法。 我们采用基于窗口的匹配方法，该方法适合硬件加速并且具有较为稳定的输 出结果，相似度德量函数采用像素亮度差的绝对值和( s u mo f a b s o l u t ed i f f e r e n c e s s a d ) ，表达式如下： 惫毒毫i i r i g h t 时讲川】- i t e j ，时川渺卅i 8 一一一i 其中和分别为最小和最大视差值。m 为模板窗口的大小。和k ，分 别为左图和右图。 具体来讲分为三步： l 、在每一个给定的视差上，计算m a t c h i n gc o s t ，即假定以右图为基准，计 算每个象素在给定视差上同左图对应点的灰度差值。 2 、在某一视差上，聚合以每一象素为中心的方形窗1 2 1 中的m a t c h i n gc o s t 浙江大学硕士学位论文 3 、在所选视差范围内，求m a t c h i n gc o s t 之和最小时，所对应的视差值作为 该象素点的视差值。为减少循环次数，降低算法运算量，代码编写时将三步融合。 图3 1 2 表示运用s a d 的完整视差图，视差搜索范围1 2 6 4 象素单位 根据z c ：掣，这里b 为1 8 9 厘米，f 约为3 4 0 象素宽度，我们可以得到z 值，下面是去除1 5 m 以下物体的图示。从图可以看出人体分布的大致位置。但 是由于两图光线照度有所偏差，两幅图中某些区域灰度值有差异，如左上地板处， 这样像s a d 单纯依赖单一象素灰度值进行选取视差的方法易受较大的影响，所以 我们需要去除两幅视图间的灰度差异，故引入z s a d ： 趣毒专l ( 肛+ f 】l y 圳一胁+ f + y 枷) 一( - 蚴啦+ f 】抄+ 小 工+ f + y 一了0 2 一亍 ( 3 ) 从图3 - 1 5 和3 1 3 中可以明显看出z s a d 的效果要优于s a d 。不会引入因两幅 图像间灰度差异导致的虚假视差。 浙江大学硕士学位论文 图3 - 1 3 表示运用s a d ，并去除1 5 m 以下物体的视差图 2 3 浙江大学硕士学位论文 图3 - 1 4 运用z s a d 得到完整的视差图 图3 1 5 运用z s a d ，去除1 5 米以下物体后得到的视差图 浙江大学硕士学位论文 图3 1 6 视差图上极值视差点分布示意图 红色点表示视差图像( x ，y ，d ) 上的一个个柱状突起，构成局部最大的极值点。 我们希望能通过聚合相邻极值点，从而大致定位出人体位置，这样后续进行二维 图像处理可以在小区域范围内进行，从而很大程度上降低了运算量同时也利用了 深度信息。不过结果似乎不容乐观。极值点是离散的，不易表征某一区域的性状。 即使在三维视差图中，虽然可以大致观察出代表人体的某些突起区域，但是依赖 这种突起进行划定区域也并不理想，特别是当比较拥挤的情况下划定出的区域几 乎将完全占距视图，没有起到应有的效果。 从诸多参考文献中也可以看出若要提取出人体或头部等区域，仅仅依赖立体 视觉分析结果不可行的，仍需要通过二维图像信息，如物体边缘轮廓等辅助进行 定位。当然后续也可以对上述视差图做其它后处理，用另外的准则来对视差图不 同深度区域进行划分，这还需要具体深入研究一下。 3 2 3 立体视觉和二维图像处理的融合 由上可知，我们仅仅通过立体视觉算法在深度上对人体进行区分是不太可靠 的，目前我们采用先经过单目图像处理，在待识别的类圆上做视差，得到深度信 息，通过深度判决器结合单目处理结果共同完成头部的定位。对人头部的识别过 程可以用感知聚类过程来描述。各种特征包含形状、深度、灰度等经过提取，挖 掘出定的相互关系，从而可以用简单的语式来表示出我们所感兴趣的头部目 标。待目标识别后，为了得到其运动方向，我们需要进行跟踪，其中物体的位置、 大小、深度、灰度等信息一同构成特征向量，准确地完成了跟踪过程。下面将详 细描述在立体视觉和二维图像处理融合中完成头部识别与检测的全过程。 3 2 3 1 墓知聚类指导下的头敝畏别 人眼视觉系统能够对图像元素的很多类型和重要的统计特性进行检测。感知 聚类就是利用人眼视觉能力，即人眼能够从图像低水平原始图像中。把重要的图 像相关性提取出来而不需要任何图像内容信息，并把它们分组来获得有意义的高 层次的结构a 对人眼的视觉特性研究开始于2 0 世纪2 0 年代，由g e s t a l t 发起。 浙江大学硕士学位论文 他的目标是发现潜在人眼视觉的规律来解释人眼的各种感知现象。g e s t a l t 为了 获得整体构形，以心理学认知的规律为准则( 并不是通过分析离散的原始图像特 性来认知) ，观察了人眼视觉系统的趋势。g e s t a l t 提出的层次性聚类可以被具 象为诸如接近性、相似性、连续性、截断性及对称性等等。 将低级别的特征聚类可以得到较高级别的结构。将这些较高级别的结构组合 又可以进一步产生更高级别的结构。这一过程不断重复知道获得一个有意义的语 义表示，这个表示可以被用来做高级别的分析。一些场景结构可以不考虑视角而 能总是提供一些离散的图像特征，而另外一些则不行。显著性和不变性的相互关 系表明视角不变的感知显著性导致一种平衡，从而为推理物体或场景的几何关系 提供帮助。值得注意的是许多由g e s t a l t 提出的图像中具有显著特征如共线，平 行及好的连续性都是视角不变的。 为了发现和描述这些结构特征，视觉系统使用一系列感知聚类机制。从分组 分割中的最简单规律的低级别机制，到需要复杂的学习训练综合才能获知其结构 的高级别机制。经过感知聚类可以对图像进行高压缩的表征，有利于后续进一步 处理，存储或重现。 许多计算机视觉系统其实已经或多或少使用了人眼视觉系统的感知聚类过 程，尽管目前还没有明确的论证来确实计算机算法的数字模型和人眼视觉感知模 型的一致性。我们仍然依赖从心理学延伸而来的观点用以指导我们在计算机视觉 的应用。 对于我们视图中的人头部，它类圆形的轮廓，离摄像机较近的深度，头部灰 度的连续性共同体现了头部在视图中有别于其他事物的属性，属于一种高级特 征，如果我们提炼出这些特征并整合出最终的关系，我们就可以使用一种简单的 语句对头部加以描述，从而实现了头部的识别。更进一步，对圆形轮廓的特征提 取，深度信息的反映等需要更低级的特征来构建。经过层层剥离，我们使得计算 机完成了对图像上象素进行处理、分析、理解、表达的过程，接近于人眼视觉系 统识别头部的过程。另外在聚类过程中，我们还引入了模糊分析的方法，不是传 统聚类“非此即彼”的硬划分，而是用模糊度量来表征目标在某方面“亦此亦彼” 的特性。下面将具体介绍头部识别的过程。 浙江大学硕士学位论文 共圆判决 我们的摄像机垂直拍摄，得到的图像中人头部近似为圆形，伴随一定程度的 畸变。而识别圆形目标的经典方法是h o u g h 变换。它的主要优势在于对噪声，形 状畸变等具有鲁棒性。其实质是将图像空间的具有一定关系的像元进行聚类，寻 找能把这些像元用某一解析形式联系起来的参数空间累积对应点。这里我们对传 统的h o u g h 变换做了改进以适用本系统特殊的应用背景。h o u g h 变换之后，人头 部的边缘点已经被标识出来。我们希望能够把这些象素点统一到各自对应的圆 内，从而完成对头部的最终定位，这样一个过程即属于感知聚类的过程。而在这 里这些象素点的特征是指共同位于某一圆周。为了取得很好的聚类效果，我们需 要一些信息来衡量表述所取目标与那些几何关系的满足程度，得到一个置信度。 模糊理论的提出为置信度的表述提供了有力的分析工具。所以，我们运用了三个 模糊判决来度量在聚类过程中目标点的共圆程度。 首先介绍改进型h o u g h 变换： 我们应用中主要将其分为5 个步骤，经过这些步骤后将会得到有用的信息为 感知聚类做准备。 1 ) 边缘的有效提取。边缘点定位的准确度将极大影响计算的复杂度。比如边缘 点的梯度方向没有得到准确度量那么将会增加累加器的投举次数。c a n n y 算法达 到边缘检测性能的三个指标：1 ) 好的信噪比，即将非边缘点判为边缘点的概率 要低，将边缘点判为非边缘点的概率也要低。2 ) 好的定位性能，即检测出的边 缘点要尽可能在实际边缘的中心。3 ) 对单一边缘仅有唯响应，即单个边缘产 生多个边缘响应的概率要低，且虚假边缘响应能得到晟大的抑制。所以我们采用 c a n n y 算法有效地提取出人头部轮廓的边缘信息。 2 ) 背景去除。在完成c a n n y 边缘检测的基础上，我们还要对得到的边缘点做处 理。主要是将属于门框的边缘点尽量消除，一可以减少门框边缘对人头部边缘的 干扰影响，二可以减少下步哈夫变换的运算量。具体方法如下：取前两帧边缘图 像作与运算，这样获得两帧中相同位置处的点，可以认为其是背景( 当车门完全 开启时门框位置将保持不变) 或人体头部的运动过程中的重合轨点。对与运算的 结果滤波。可将上步人体头部运动的重合轨点排除。因为重合轨点多半是孤立点， 在腐蚀操作后会消除。将当前帧即第三帧图像对前两步结果进行差预算，得到新 浙江大学硕士学位论文 的边缘图像o 3 ) h o u g h 变换。在第一步边缘提取之后，我们得到某边缘点( 耳，咒) 的灰度梯度在 x 轴和y 轴两个方向上的分量分别为( 乳) 和( 岛x ，则求得可能的圆心坐标( q ，铂) 为： i ：蠹：j = 髫 【c 翦3 舅一，s m 其中，。为圆半径，b2 。魄( 等1 。这里根据实际采集的图像，我们取7 2 5 个 象素作为半径r 的范围。这样，在给定的半径r 下，边缘点( 毛，咒) 与圆心坐标点 慨，研) 是一组映像关系，所有在同一个圆上的点都将映射到同一个圆心坐标点 匕。如下图所示： y 图3 1 7 半径为r 时边缘点与圆心的映射关系示意图 4 ) 圆心初步选取。将边缘图像中的所有边缘点按照( 4 ) 式计算其所对应的圆心坐 标，就得到了一张对应半径r 的圆心表，在这张圆心表上给定一个误差限，按照 一定的聚类准则( 如最小距离准则) 进行聚类，就可以得出圆心位置相同的所有 边缘点的数目，再给这个数目限定一个闽值，高于该阈值的就认为该圆心位置处 有圆形目标存在。 按照标准e o u g h 变换圆检测算法所述，聚类过程为影响最终检测结果优劣的 关键所在，而聚类算法的核心问题是初始聚类中心的选取。本文所述的实际问题 浙江大学硕士学位论文 中，由于并不是提取标准圆形目标，而是提取近似圆形的类圆目标，其圆心坐标 并非集中于一点，而是集中在某个半径范围内，这就给传统聚类方法的初始聚类 中心的选取制造了比较大的困难。这是因为传统聚类方法的初始聚类中心并不是 事先给定，而是在算法迭代过程中确定的，因此算法并不稳定，受初始值选取的 影响很大，聚类中心之间分离越明显，传统聚类方法的效果越好，关于这个问题 的讨论很多文献都有详细的论述，本文不再赘述。为了克服传统聚类方法应用于 本文实际问题的缺陷，我们提出了一种新思路，将圆心坐标的映射表 慨，e y e ) 按 下式映射为二维图像，) ： i c ( x ，j ，) = ( c _ = x ，弧= j ，) ( 5 ) f 由( 5 ) 式可知，在l a x ，j ，) 中，每一点的强度表征的即为以该点坐标为圆心的 边缘点的数目，其实质为圆检测的h o u g h 变换结果的二维直方图分布。在这张分 布图中，极大值点所在的位置表示该坐标( j ) 处对应的边缘点数目多，则其为 圆形目标的圆心的可能性大，因此，初始聚类中心的选取问题便可转化为在图像 o ，j ) 中求局部极值点。对给定半径r 下的，) 进行滤波，平滑波形，使极值 突出。 5 ) 圆心区域标识。对于类圆形目标，其上边缘点对应的圆心分布在“j ，) 中表 现为中间某处为极值的某个半径范围内的丘陵，所以类圆目标的中心不是一个单 独的点而是一个区域，也就是说有个邻域空间。我们设定该邻域空间的半径，并 将该半径作为容许误差限。这个误差限描述了不同的类圆和真实圆之间可容忍的 差别程度。显然对于误差限，对应于不同的半径r ，应该是变化的，半径越大， 误差限也随之增大。在这一步中，一些必要的区域信息将以链式结构被记录出来。 这些信息将被用于感知聚类中的模糊判决中，包括圆心区域所对应的相关边缘点 的位置和方向。正如图3 - 1 9 所示当边缘点所对应圆心处于圆心区域时，我们将其 该边缘点的位置、方向依次记录。 浙江大学硕士学位论文 图3 1 8h o u g h 变换过程示意图：( a ) 原始图像输入；( b ) 边缘检测；