（通信与信息系统专业论文）基于双目视觉的公交客流计数算法与系统.pdf

上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签 名：陴日 期：j 纽岫吁 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 上海大学工学硕士学位论文 基于双目视觉的公交客流计数算法 与系统 姓名：唐利 导师：朱秋煜 学科专业：通信与信息系统 上海大学通信与信息工程学院 2 0 0 9 年1 2 月 上海大学硕士学位论文 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o r t h ed e g r e e o fm a s t e ri ne n g i n e e r i n g p a s s e n g e rco u n t i n ga l g o r i t h ma n d s y s t e mb a s e do nb i n o c u l a rv i s u a l f o rt h eb u s m d c a n d i d a t e ：t a n gl i s u p e r v i s o r ：a s s o c i a t ep r o f z h uq i u y u m o o r ：c o m m u n i c a t i o na n di n f o r m a t i o n s y s t e m s c h o o lo fc o m m u n i c a t i o na n di n f o r m a t i o ne n g i n e e r i n g s h a n g h a iu n i v e r s i t y j a n 2 0 1 0 上海大学硕士学位论文 摘要 随着我国城市居民出行量的迅速增长和有限的道路空间资源之间矛盾日益突 出，优先发展公共交通成为解决交通拥挤的必然选择。因而，对能提供准确客流 信息的客流采集技术的研究具有重要的理论意义和实用价值。 随着计算机视觉技术的快速发展，基于视频的客流采集技术成为的研究重点， 该技术有两个分支：一是单目视觉技术；二是立体视觉技术。单目视觉技术易受 计数场景中光线变化、阴影等因素的干扰；立体视觉技术可以较好解决单目视觉 技术存在的问题，但其存在运算量过大、运动目标跟踪的可靠性不高等问题。 本文提出了一种基于双目视觉、适用于公交车上的客流计数算法及系统实现。 该算法实现流程为：首先，获取双计数线上的行时空图；其次，利用行帧差法检 测可能的运动目标并估计其视差；最后，在双行行视差图中，将运动目标的灰度 信息和深度信息结合利用用于目标提取、分割、匹配与计数。算法依据目标的深 度信息提取运动目标，有效地解决了计数场景中光线突变、阴影等因素的干扰， 能在复杂环境下可靠地提取目标。算法采用双计数线技术，一方面大大减少了系 统的计算复杂度；另一方面利用简单的目标匹配实现目标运动方向的判断。基于 该客流计数算法运算量小的特点，本文较容易地实现了基于d m 6 4 2 的嵌入式客 流计数系统。 用在不同测试环境中拍摄得到的视频序列对本文提出的客流计数算法进行测 试，结果表明该算法具有强的鲁棒性和可靠性；在不同的测试环境下，对本文设 计的硬件系统进行实时测试，结果表明该系统能实时稳定地实现客流计数。本文 提出的双目客流计数系统能在复杂环境下有效计数，计数准确率高达9 2 以上。 关键词：客流计数，立体视觉系统，行视差图，运动目标提取，目标匹配 v 上海大学硕上学位论文 a b s t r a c t a st h er a p i d g r o w t ho fu r b a nt r a v e lw a sc o n t r a d i c t o r yt ot h el i m i t e dr o a d r e s o u r c e si nc h i n ad a yb yd a y , m a n yt r a n s p o r tw o r k e r sa n dg o v e r n m e n t sb e g i nt og i v e p d o d t yt ot h ep u b l i ct r a n s i td e v e l o p m e n tt os o l v et r a f f i cc o n g e s t i o n t h e r e f o r e ， p a s s e n g e rc o l l e c t i o nt e c h n o l o g yw h i c hc a no f f e rt h ea c c u r a t e p a s s e n g e rf l o w i n f o r m a t i o nh a st h ei m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n dt h ep r a c t i c a lv a l u e w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rv i s i o nt e c h n o l o g y , p a s s e n g e rc o l l e c t i o n t e c h n o l o g yb a s e do nv i d e oh a sb e c o m et h ef o c u so ft h es 伽yt h i st e c h n o l o g yc a nb e d i v i d e di n t ot w ot y p e s ：b a s e do nm o n o c u l a rv i s i o na n db a s e do ns t e r e ov i s i o n t h e u s eo fas i n g l ec a m e r as y s t e mi sn o ts u f f i c i e n tf o rr e a s o n ss u c ha s i l l u m i n a t i o n c h a n g e s ，s h a d o wa n do c c l u s i o n sc a u s e db yc r o w db e h a v i o r t h ea p p r o a c hb a s e do n s t e r e ov i s i o ni sl e s ss e n s i t i v et oi l l u m i n a t i o n c h a n g e sa n dc o u l dp r o v i d em o r e i n f o r m a t i o nt od e t e c to b j e c t s h o w e v e r , s t e r e ov i s i o nt e c h n o l o g yh a sv e r yc o m p l e x c a l c u l a t i o na n dn o th i g hr e l i a b i l i t yi nm o v i n go b j e a st r a c k i n g i nt h i s p a p e r , w ep r e s e n tap r e c i s ec o u n t i n gs y s t e mb a s e do nb i n o c u l a r s t e r e o v i s i o n ，w h i c hi sa d a p t e dt ob u s e se n v i r o n m e n t f i r s t l y , r o ws p a c e - t i m ei m a g e s o fd o u b l ec o u n t i n gl i n e sa r eg e n e r a t e d s e c o n d l y , m o v i n go b j e c t sa r ed e t e c t e du s i n g r o wf r a m ed i f f e r e n c ea n dt h e i r d i s p a r i t i e sa r ee s t i m a t e d l a s t l y , t h ec o u n t i n g a l g o r i t h ma c c o m p l i s ht h eo b j e c te x t r a c t i o n ，s e g m e n t a t i o n ，m a t c h i n ga n dc o u n t i n gi n r o wd i s p a r i t ym a p sb yt a k i n gf u l l a d v a n t a g eo ft h eo b j e c t s g r a ya n dd e p t h i n f o r m a t i o n t h i sa l g o r i t h mc a nr e l i a b l ye x t r a c tm o v i n go b j e c t sf r o mc o m p l e x e n v i r o n m e n t sb yt h e i rd e p t hi n f o r m a t i o n , a n de f f e c t i v e l ys o l v et h ei n t e r f e r e n c eo f i l l u m i n a t i o nc h a n g e so rs h a d o w s t w om e a s u r e m e n tl i n e sa r es e to ni n s i d ea n d o u t s i d eo ft h eg a t et or e c o g n i z et h ed i r e c t i o no f p a s s i n gp e o p l ea n dr e d u c et h es y s t e m c o m p u t a t i o n w i t ht h es m a l la m o u n to fc a l c u l a t i o n ，ar e a l - t i m ec o u n t i n gh a r d w a r e s y s t e mi se a s i e rt or e a l i z eu s i n gt h eh i g hp e r f o r m a n c ed s pc h i pt m s 3 2 0 d m 6 4 2o f t e x a si n s t r u m e n t ( t i ) t h ep r a c t i c a lt e s tr e s u l t ss h o wt h a to u rp r o p o s e da l g o r i t h mh a sh i g hc o u n t i n g v i 上海大学硕士学位论文 a c c u r a c y , a n dt h eh a r d w a r es y s t e mc a nm e e tt h ed e m a n d so fr e a l t i m ea n ds t a b i l i t y t h i sc o u n t i n gs y s t e mi sr e l i a b l ea n dr o b u s tt ot h ec o m p l e xc o u n t i n gs i t u a t i o nw i t h c r o w d e dp a s s e n g e r s ，v a r i a b l ei l l u m i n a t i o na n ds e v e r es h a d o w w ec a na c h i e v ea n a c c u r a c yo f o v e r 9 2 u s i n go u rc o u n t i n gs y s t e me v e ni nav e r yc o m p l e x e n v i r o n m e n t o b j e c te x t r a c t i o n ，o b j e c tm a t c h i n g s t e r c ov i s i o ns y s t e m ，r o wd i s p a r i t ym a p ，m o v i n g v i l 上海大学硕士学位论文 目录 摘 要v a b s l r l l a c t v i 第一章绪论。l 1 1 课题研究背景及意义l 1 2 公交客流信息采集技术的发展状况2 1 2 1 自动客流信息的采集技术3 1 2 2 基于图像处理的客流采集技术4 1 2 3 客流计数系统应用现状5 1 3 本文的研究内容7 1 4 本章小结8 第二章立体视觉的基本原理9 2 1 双目摄像系统9 2 2 平行双目摄像系统测距原理1 0 2 3 视差估计1 l 2 3 1 匹配算法。1 2 2 3 2 立体匹配的相似度测晕函数1 6 2 3 3 视差估计过程中的约束条件。1 8 2 3 4 立体匹配结果的表示1 9 2 4 本章小结。2 0 第三章基丁二立体视觉的客流计数系统算法2 1 3 1 运动目标检测的基本方法。2 l 3 1 1 背景差分法。2 l 3 1 2 帧间差分法2 2 3 1 3 光流法2 3 3 2 客流计数系统算法流程2 3 3 - 3 行时空图获取2 4 3 4 运动目标提取2 7 3 4 1 行帧差法检测目标候选区域一2 7 3 4 2 候选目标视差计算2 9 3 4 3 运动目标分割3 3 3 4 4 标记运动目标3 4 3 5 运动目标匹配与计数3 7 3 5 1 目标跟踪方法3 7 3 5 2 运动目标方向判断3 8 3 6 本章小结4 l 第四章智能公交客流计数系统的实现4 2 4 1 智能公交监控系统框架4 2 4 2 基于d m 6 4 2 嵌入式客流计数系统硬件实现4 3 4 2 1d m 6 4 2 多媒体处理器4 4 4 2 2 系统硬件实现框图4 6 4 3 硬件器件主要指标4 9 v i l l 上海大学硕士学位论文 4 3 1 同步摄像机4 9 4 3 2d m 6 4 2 主板4 9 4 4 本章小结一5 0 第五章实验结果分析及结论。5 l 5 1 系统测试环境5 l 5 2 系统软件环境5 2 5 3 测试结果及分析5 4 5 4 本章小结5 5 第六章总结与展望5 6 6 1 总结5 6 6 2 展望5 7 参考文献6 0 作者在攻读硕士学位期间公开发表的论文6 5 作者在攻读硕士学位期间所参加的项目6 6 致谢6 7 i x 上海大学硕上学位论文 第一章绪论 1 1 课题研究背景及意义 随着中国城市化进程的快速推进，城市人口也呈现出急剧增长的趋势，这一 具体国情对我国城市的公共交通运输系统产生了巨大的压力，仅靠增加公交车 辆、车次以及延长线路，不仅增加了经营者的经济负担，同时加重了城市交通拥 堵，给城市居民出行带来极大的不便，并严重的阻碍社会经济的可持续发展。目 前，我国许多中等以上的城市普遍存在着交通拥挤、交通事故频繁和环境污染等 问题，因此，公交行业的信息化建设迫在眉睫。智能交通系统( i n t e l l i g e n t t r a n s p o r t a t i o ns y s t e m ，i t s ) 是解决一系列交通问题的关键，而先进的公共交通系 统( a d v a n c e dp u b l i ct r a n s p o r t a t i o ns y s t e m s ，a p t s ) 是i t s 的重要组成部分，西 方一些发达国家在2 0 世纪6 0 年代就相继提出优先发展城市公共交通【m 】的政策， 我国城市公共交通优先是2 0 世纪8 0 年代开始的。城市公共交通具有运输量大、 集约化经营、环境污染小、节省能源和道路空间等优点，但我国城市公共交通体 系目前存在多个发展瓶颈：规划瓶颈，建设瓶颈，制度瓶颈，管理瓶颈，运营瓶 颈等。由于这些瓶颈问题的存在，严重阻碍了我国公共交通问题的解决。 目前，我国各大中等城市居民选择以公共交通方式出行的出行量占总出行量 的平均比重只有2 0 左右【3 】，而东京、巴黎、伦敦等世界大城市，其公共交通的 出行比例已经达到了6 0 以上【4 】。面对这一差距，中国政府从政策上明确优先发 展公交是城市交通可持续发展的重要战略，加大了对城市公交的投资力度。我国 建设部在全国城市公共交通工作会议上提出，必须优先发展公共交通，提高城市 公共交通承担的客运量在城市居民总出行量中的比重。虽然我国城市交通以“优 先发展公交 为指导思想，但还是出现“公交低吸引率”的现象，分析其原因主 要有：1 ) 运行速度慢，准点率低，候车时间长；2 ) 客流高峰时非常拥挤，交通 枢纽站设置不合理，换乘不方便；3 ) 公交路线规划不合理，路线覆盖率低；4 ) 过于追求基础设施的先进性，忽略了交通信息化、智能化的服务。总体来说，我 国城市公共交通由于运营效率低、缺乏信息服务而不能吸引大量乘客，因此，智 能公共交通是解决我国城市交通问题的必要手段。我国各级政府都非常重视公交 上海大学硕士学位论文 事业的发展，提出了优先发展城市公共交通 5 , 6 1 的策略，对公交企业给予一定的 财政补贴，鼓励运用先进的科技手段改造传统的公交运营模式。通过优先发展公 共交通来解决我国各大中等城市目前普遍存在的交通拥挤、交通事故频繁和环境 污染等问题已成为一种共识，它是实现城市可持续发展的一条必由之路。a p t s 主要研究基于动态公共交通信息的实时调度理论和实时信息发布理论，以及使用 先进的电子、通讯技术提高公交效率和服务水平的实施技术，a p t s 是以出行者 和公交车辆为研究和服务对象。 当前我国对于a p t s 7 1 的具体描述为：采用全球定位系统( g p s ) 进行数据 采集，结合公交的出行调查，以地理信息系统( g i s ) 为操作平台，在对公交线 网布局、线路公交方式配置、站点布置、发车间隔确定、票价制定等进行优化和 设计的基础上，实现公交车辆的自动调度和指挥，保证车辆的准点运行，并使出 行者能够通过电子站牌了解车辆到达的时间，从而节约乘客的等待和出行时间。 由此可见，公交系统中客流分布信息是a p t s 有效工作的主要依据，公交管理部 门可以根据客流分布情况合理地安排公交线路、灵活调度公交车辆等提高公共交 通的运营效率，从而吸引更多出行者选择乘坐公交出行。因此，实时获取客流分 布是智能公交系统的基础，是实现公交信息化的前提，故研究如何采集公交系统 中客流信息的技术具有很大的实用价值而被提上了日程。 本课题针对我国公交车少、乘客多这一特殊交通状况，研究适用于于公交车 上的客流计数算法及系统。课题来源于上海市科委资助的重大攻关项目“上海市 公交智能调度系统综合集成示范应用研究 ( 0 7 d z l2 0 6 1 ) ，主要研究基于视频的 公交车上客流自动计数算法和该计数系统的硬件实现。 1 2 公交客流信息采集技术的发展状况 公交系统中的客流分布信息，是公共交通系统实现智能信息化管理的前提。 目前，采集公交系统中客流信息的方法有多种【8 】。人工计数是公交管理部门最早 使用统计客流信息的方法，该方法实施比较灵活，但是也是一种费时费力的工作， 在长时间的工作下很难达到一定的准确率，并且统计的信息具有一定的滞后性。 随着i c 卡的广泛使用，公交管理部门也利用刷卡方式【9 】对公交客流信息进行统 计，但由于并不是所有乘客乘车都刷卡，并且下车通常都不刷卡，因此利用该种 2 上海人学硕士学位论文 方式统计得到的客流信息并不全面，如不能反应客流分布情况。为能够实时准确 获得公共交通系统中的客流分布信息，自动客流采集技术成为研究重点。 1 2 1 自动客流信息的采集技术 目前，根据自动客流采集技术工作方式的不同，可分为三类：压力传感检测 技术、红外传感检测技术和基于图像处理检测技术。 1 压力传感检测技术 常见的基于压力传感原理的客流统计仪是被安装在车辆前、后门踏板上的压 力踏板式客流计数器，其原理是利用上下车乘客的重量使传感器内部相关器件的 产生形变，进而转换成电信号，最后传感器通过检测电信号的强弱来感知人的存 在。这种技术适用于在乘客上下车秩序井然、客流量较少的环境下使用，对于客 流拥挤且无序上下车时，该方法的计数准确性会急剧下降，另外，系统部件易损 坏、可维护性差。 2 红外传感检测技术 基于红外传感的客流计数器根据工作原理不同又可分为两种：一是主动红外 方式，二是被动红外方式。 基于主动红外的客流计数器由红外线发射器和红外线接收器组成，它通过红 外线发射器发射一定波长的红外线，由红外线接收器接受红外线，通过分析接收 到的红外线分析是否有人存在。该种方式由于采用自身光源，不易受外界环境温 度、光线的影响，在客流比较稀少、乘客有秩序上下车的情况下，可达到1 0 0 的客流统计准确率，但在多人同时通过的情况下，计数器的计数准确率将急剧下 降。 基于被动红外的客流计数器由热释红外传感器和菲涅尔透镜组成，由于不同 温度的物体释放不同波长的红外光，通过菲涅尔透镜工作并由热释红外传感器检 测当有物体移动引起温度变化而产生变化的电信号，由变化的电信号判断是否有 物体移动。该种方式通过检测人体发出的红外信号，故可以有效地区别出人和物， 但当计数环境的温度与人体温度相接近时，传感器就不能有效探测乘客上下车， 它对环境温度快速变化和强烈日光照射也比较敏感。 3 图像处理检测技术 上海大学硕士学位论文 随着计算机视觉技术的不断发展，通过将图像处理、模式识别、人工智能等 技术相结合，实现智能产品代替人脑对现实世界的认识和理解的应用越来越广 泛，如机器视觉在智能监控、生物医学、工业等方面有着的广泛应用前景。并且 由于数字处理器件( a d ) 、数字信号处理器( d s p ) 芯片等的快速发展和价格的 降低，使得基于视频图像分析对运动目标进行检测、跟踪等行为理解成为可能。 在智能监控应用中，基于图像处理实现客流信息采集的技术是计算机视觉的一大 应用。 基于图像处理的客流计数技术是一种比较新的客流统计方法，它是在被监控 场所安装摄像机拍摄计数场景的视频图像，通过计算机对连续的图像进行分析处 理，对目标进行识别与跟踪，并判断其运动方向，从而对进出计数场所的人流量 进行统计。与压力传感和红外传感技术相比，通过图像处理技术能过获得更丰富 的目标信息，因此，基于图像处理是最被看好的能够在复杂环境下对客流进行准 确统计的采集技术，国内外已有很多学者对基于图像处理的客流采集技术做了大 量的研究。 1 2 2 基于图像处理的客流采集技术 基于视频图像理解【lo 】的客流采集技术是目前的研究热点，视频图像理解是通 过对视频序列进行分析处理，获得对视频中场景或目标行为的理解，既涉及到图 像的空间特性，也涉及到视频序列的时间特性，因此，基于视频图像处理的客流 采集技术的优势在于视频序列具有丰富的信息用于目标的识别。 客流计数系统的计数对象是运动的行人，为正确统计出经过某一监测场所的 客流量，计数系统必须先从视频流中提取出运动目标，接着跟踪目标以判断其运 动方向，最后完成计数。基于图像处理的客流采集系统由五个模块组成：图像采 集，计数目标检测，目标分割与合并，目标跟踪与匹配和目标计数。基于图像处 理的计数系统实现流程大致如图1 1 所示，其中，运动目标识别是系统的核心。 图1 1 基于图像处理的客流计数系统流程框图 4 强一豳嬲鳓缀_盔 上海大学硕上学位论文 对于基于视频图像处理的公交车客流计数技术，由于受到车门大小、车门开 关、乘客上下车习惯、自然环境中光照变化、路边建筑物的阴影等的影响，所拍 摄的图像变化大、运动目标相互遮挡，使得对图像序列中运动目标的准确提取变 得非常困难，运动目标准确提取是客流统计系统的核心技术，也是一个具有挑战 性的课题。根据提取运动目标所依据的信息，基于视频图像处理的客流计数方法 有两个技术分支：一是基于单目视觉；二是基于立体视觉。 基于单目视觉的客流统计算法是利用图像的二维信息实现运动目标检测、跟 踪与计数。c h e l a 等人【l l 】充分利用图像的亮度和色度信息处理多目标分割问题： a a l b i o l 等人【1 2 】将图像处理的几种形态学算法与光流场算法结合用于目标运动 方向的准确判断，m r o s s i 等人【1 3 将计数场景划分为目标检测、跟踪匹配和方向 判断区域组成客流统计系统。这些方法很好地解决了客流统计中某一具体问题， 但算法的通用性比较差，很难同时解决计数环境的光线变化、阴影的干扰、客流 密度大等问题。 基于立体视觉的客流统计算法计算场景的景深并将其用于目标检测、分割模 块。t e r a d a 等人【1 4 】提出利用双目立体视觉获取行人的深度信息，并根据深度信息 检测目标，实验结果证明该方法的有效性；于海滨等人【1 5 】提出基于行人头部特 征并利用头部区域的视差实现运动行人计数；y a h i a o u i 等人【1 6 】提出了一种基于立 体视觉用于公交车上的客流计数系统。该技术较容易解决单目视觉技术普遍存在 对光线变化敏感、易受阴影干扰的问题，但立体视觉技术也普遍存在一些问题： 1 ) 系统的计算量大，立体视觉匹配的运算量大，使基于该技术的系统实时性受到 一定限制；2 ) 视差估计不准确，由于物体灰度均匀( 典型的是头顶头发大都是非 常均匀的黑色，另外也包括同色服装、均匀地板等) 、互相遮挡等问题常常造成 图像的误匹配，估计得到的视差不可靠，对系统的后续处理产生错误的影响；3 ) 与单目视觉技术同样存在着跟踪可靠性不高的问题，在客流密度大的情况下会出 现误跟踪、漏跟踪等情况。 1 2 3 客流计数系统应用现状 在国外，自动客流计数( a u t o m a t i cp a s s e n g e rc o u n t i n g , a p c ) 系统已较广泛 应用于火车、地铁、公共汽车等场所的客流检测和统计【1 7 , 1 8 1 。法国a c o r e l 公 上海大学硕士学位论文 司自从1 9 8 9 年就开始致力于a p c 系统的研发，德国l a s e 公司和英国f o o t f a l l 公司也分别于1 9 9 0 年和1 9 9 1 年成立并开始自动客流计数器的研发，法国b l u e e y ev i d e o 1 9 】公司，加拿大i n f o d e v l 2 0 1 公司，德国d i l a x 2 1 1 公司、意大利 e u r o t e c h 2 2 】公司，南非h e a d c o u n t 公司等均有相应的基于不同计数技术的自动乘 客计数产品，国内的亿伟公司等也推出了基于红外传感技术用于统计公交上客流 量的计数产品。 在众多的a p c 产品中，基于红外线传感技术的计数系统最为常见，如 i n f o d e v 、d i l a x 、h e a d c o u n t 等公司的产品。目前，市场上也出现了的基于图 像处理技术的客流计数产品，如b l u ee y ev i d e o 公司的基于单目视觉处理技术的 a p c 系统，e u r o t e e h 公司的基于双目立体视觉技术的p c n 1 0 0 1 计数器。基于单 目摄像机的计数系统在光线变化的情况下很难实现对运动目标的准确提取，此时 系统的计数准确率会大大降低。基于双目立体视觉的计数技术可以较好地克服外 界光线变化的影响，但由于立体视觉技术的运算复杂度大，为了实现系统能实时 计数，可通过降低处理图像的分辨率以减少系统运算量，但易造成基于视差图像 的运动目标的匹配及跟踪的出错率增大。目前已实现的基于双目立体视觉的a p c 系统在实际情况下的使用效果并不理想，如e u r o t e c h 公司的p c n 1 0 0 1 产品经实 际测试表明其算法适应性较差，在客流量较大情况下，系统的计数准确率难以达 到实用的要求。 市场上的一些a p c 产品，应用在国外的公交环境中均可得到较高的计数准 确率，而应用到我国的公交车上统计客流量，统计得到的结果很难令人满意，因 为这些计数产品适应性较差，易受计数环境的影响。国外乘坐公交的客流量小、 乘客有秩序上下车，因此，一般的基于红外传感技术的计数系统就可得到可靠的 统计结果；而国内乘车情形大多是乘客无秩序上下车、客流量大，常出现多个乘 客一起拥挤着上下车，乘客之间几乎没有间隔、相互遮挡严重，我国的这一具体 乘车情形，导致在国外可靠工作的a p c 系统应用到我国公交系统时计数准确率 较差，常无法满足客流采集的要求。因此，必须寻求一种能在像我国复杂的公交 环境下可靠计数的客流计数系统，这正是本课题的研究内容。 6 上海大学硕士学位论文 1 3 本文的研究内容 本文在前期研究的单目视频客流计数技术基础上，通过深入地分析和对比， 发现影响客流统计准确性的关键技术在于运动目标的准确提取。在光照多变、阴 影干扰严重的公交车环境下，仅利用图像灰度和色度进行运动目标的提取，结果 很难准确识别运动目标，需要更多可区分运动目标与背景的信息才能实现目标的 可靠提取，基于立体视觉技术可获得计数场景的景深信息，客流计数系统的目标 对象是行人，从而深度信息可用于从背景中分割出运动目标。因此，本文提出一 种基于双行行视差图的客流计数算法，该方法的核心思想是将运动目标的灰度信 息和深度信息相结合进行运动目标提取，该客流计数系统具有计算量小、可避免 光线变化、阴影的干扰等特点，测试结果表明该算法具强的鲁棒性和可靠性，该 算法的硬件实现可以实时、稳定地工作，在实际公交车环境下测得的计数准确率 达到9 2 以上。 本文章节安排如下： 第一章：绪论。绪论介绍了本课题的研究背景及意义，并阐述了目前客流信 息采集技术的发展状况。在本章的最后给出了本文主要研究成果及内容安排。 第二章：立体视觉的基本原理。本章首先详细阐述了平行双目摄像系统的工 作原理，得知视差与景深成反比关系；接着介绍了视差估计中的涉及的问题及立 体匹配过程中常用的各种约束条件；最后讨论了常用的视差估计方法。 第三章：基于立体视觉的客流计数系统算法。本章提出一个完整的客流计数 系统算法，利用景深与视差成反比的关系，在行视差图中，进行运动目标提取、 分割、匹配及计数实现运动目标计数。 第四章：智能公交客流计数系统实现。本章是基于d s p 嵌入式系统实现第 三章提出的客流计数算法，对硬件系统的组成模块做了说明，并对核心处理器 d m 6 4 2 做了详细的介绍。 第五章：实验结果分析及结论。在不同的测试环境下，分别对第三章提出的 客流计数算法及第四章实现的硬件系统进行测试，测试结果表明第三章提出的客 流计数算法具有强的鲁棒性，第四章的基于d m 6 4 2 嵌入式硬件系统能够实时可 靠地计数。 第六章：总结与展望。对本文提出的基于双目立体视觉的客流计数系统算法 7 上海人学硕士学位论文 及其硬件实现进行了总结，总结其优点并分析其存在的不足，并指出后续研究需 要继续深入研究的具体方向。 1 4 本章小结 本章开头介绍了本课题的研究背景及意义，并简单说明客流信息采集技术的 发展过程。目前存在三种自动客流信息采集技术：压力传感检测技术、红外传感 检测技术和基于图像处理检测技术。由于基于图像处理的客流信息采集技术具有 很多优势，该技术成为目前研究的主要方向。本章还介绍了目前国内外客流信息 采集系统的产品研究现状及其在实际环境中的应用，本章最后给出了本文各章节 的内容安排。 上海大学硕士学位论文 第二章立体视觉的基本原理 立体视觉主要研究如何从多幅二维平面图像恢复出被拍摄物体的三维深度 信息，立体视觉的工作过程是模拟人类视觉的立体感知过程，其中双目立体视觉 是最简单的模拟人类双眼测得物体三维深度信息的工作方式。 2 1 双目摄像系统 人类利用双目线索感知物体三维信息的过程，是用两只眼睛从两个角度观察 同一个物体，因两眼视线的角度不同，所以在两眼的视网膜上的位置是不同的， 这种位置差称为双眼视差，人根据感觉到的视差，经过大脑的分析，可以得到该 物体的深度信息。双目立体视觉正是模仿人眼感知物体深度信息的过程，从两个 不同视点观察同一景物，以获取不同视角下的平面图像，通过三角测距原理计算 同一物体在不同视点拍摄的视图中的成像像素之间的位置偏差，以获取景物的三 维信息。双目立体视觉分为三种系统模型：平行光轴的系统模型、共光轴的系统 模型和相交光轴的系统模型。本课题选用光轴平行的双目立体视觉系统获取物体 的深度信息，平行双目视觉系统是所有双目立体成像系统模型中最简单的模型， 具有相同内参数的两部摄像机被平行放置即可构成平行双目立体视觉系统。 图2 1 是一个平行双目立体视觉系统的简单模型。图中，两个摄像镜头光心 c ，、c ，的连接线段称为立体视觉系统的基线，x o o , ，x o , y 分别表示左、右摄像机 的成像平面。三维场景中物理点p 与系统的基线所在直线确定的平面称为外极 平面，外极平面与左、右摄像机的像平面分别有一条交线卜0 ，称直线，、厶 互为共轭外极线。局、p ，分别是三维场景中物理点尸在左、右摄像机像平面上所 成的像，p ，、尸，分别位于外极线，、厶上，即三维场景中物理点在双目摄像机的 像平面上成像的位置位于一对共轭外极线上，这是视差匹配的一条重要依据。对 于平行双目立体视觉系统，共轭外极线是相互平行的。 9 上海大学硕上学位论文 夕卜极 2 1 平行双目立体视觉系统模型 2 2 平行双目摄像系统测距原理 极线 图2 2 是图2 1 所示的平行双目摄像系统三角测距原理【2 3 刀】的俯视图，其中 g 和g 为左右摄像机的光心，q 和d r 为左、右摄像机成像平面的中心，厶、厶 是空间物理点p 在左、右像平面上的成像位置p ，、p ，分别相对于仍、d ，的位移， 尸，和只称为同名点，是摄像机的焦距，系统基线长为b ，d 为空间物理点p 到 像平面的距离。 左光轴右光轴 图2 2 平行双目摄像系统测距原理 由三角几何关系得到式( 2 1 ) ： d ：旦 7 r 一己 ( 2 1 ) 1 0 上海大学硕士学位论文 式中，l , - t _ f 为空间物理点p 在左、右摄像机像平面上形成的视差。( 2 1 ) 式 反映了空间物理点到像平面的距离与该点在左、右摄像机像平面上形成的视差之 间的关系，即视差与物体到摄像机平面的距离成反比。视差能够反映空间场景中 物体的深度，物体的视差越大，说明其离摄像机平面距离很近，反之视差越小， 说明物体远离摄像机平面。 2 3 视差估计 视差估计是立体视觉技术的核心问题。视差估计的过程是指在立体图相对中 寻找同一空间物理点所成像的对应点，即立体匹配过程。在立体视觉系统中，将 某一物理点在立体图相对中所成的像称为同名点，故视差估计也称为同名点匹 配。 视差估计一般是将立体图像对的一幅图像( 右图像) 作为参考图像，另一幅 ( 左图像) 作为匹配图像，然后在匹配图像中寻找与参考图像中像素点只 互为同名点的像素p t ( x t , 蝴( p r 、p f 为物理点尸在图像对中的成像) ，像素点p ，、 竹的位置差就是物理点尸的视差。由外极线约束条件易得知，在平行双目视觉系 统拍摄得到的立体图像对中，同名点位于相同的图像水平扫描行上。同名点之间 的位置关系可用( 2 2 ) 式表示。 i 而= x r + s d 1 m = q 2 式中，d 表示同名点p r ( x r , y r ) 、竹力间的位置差，即物理点p 的视差。当 以右图像为参考图像时，s 取值为+ 1 ；若以左图像为参考图像时，s 取值为1 ， 这样d 在任何情况下都为正数。 在立体视觉系统中，一般采用视差图表示视差估计结果，视差图是大小与参 考图像大小相同，其元素值为视差值。由于视差与物体深度成反比关系，故视差 图也称为深度图，视差越大，空间物理点离摄像机的距离越近，反之，视差越小， 空间物理点离摄像机的距离越远。 立体匹配是立体视觉中的难点，其匹配结果准确性直接影响立体视觉的应 用。立体匹配过程中一般会涉及到以下三个问题【2 5 j ： 上海大学硕士学位论文 1 匹配算法。在设计匹配算法时，首先必须根据应用的要求选择合适的匹配 基元，匹配基元是指用于匹配的图像特征，该特征能够很好地表征景物本身的特 有属性，如点、线、块等。 2 匹配约束准则和假设。匹配约束是将关于物理世界的某些固有特征表示为 匹配所必须服从的若干准则。由立体视觉求解物体的三维信息，是成像过程的 “逆过程，m a n 认为立体视觉具有“病态 的不确定性，在从三维世界向二 维图像的投影过程中丧失了大量的信息。为了避免误匹配和有效解决这种“病态 问题，视觉系统必须依赖于一系列自然的约束条件才能够获得相对确定的解。 3 相似度测量。在确定立体图像对中的同名点时，需要有一种度量标准来衡 量点与点之间的相似度。在不同的匹配算法里，相似度测量的具体形式会有所不 同，但对于大多数立体匹配算法来说，相似性测量可归纳为一种求解匹配代价值 的函数形式。 视差估计的研究均围绕这三个方面展开，虽然经过多年的研究，已经提出了 多种可获得精确视差的立体匹配算法，但算法的通用性差，仍存在许多问题需要 继续深入研究。例如：如何选择合理的匹配特征，以克服匹配准确性与恢复视差 全面性间的矛盾；如何选择有效的匹配算法和相似性测量函数，以解决存在严重 灰度失真、几何畸变( 透视、旋转、缩放等) 、噪声干扰、特殊结构( 平坦区域、 相似结构重复等) 及景物遮挡的匹配问题；如何建立更有效的图像表达形式和立 体视觉模型，以更充分地反映景物的本质属性，为匹配提供更多的约束信息，降 低立体匹配难度；如何降低立体匹配算法的运算复杂度等问题均需要更深入的探 索与研究。 2 3 i 匹配算法 立体匹配一直是立体视觉技术研究与应用过程中面临的核心问题，针对此问 题已经提出了许多实现方法，立体匹配结果好坏在很大程度上取决于匹配基元的 选取。良好的匹配基元应具有可区分性、不变性、稳定性、唯一性和有效解决歧 义匹配的能力。 匹配基元选取是从立体图像对中提取表征图像自身特点的图像特征，使立体 匹