（计算机科学与技术专业论文）基于osg的交通场景三维实时仿真平台研究与实现.pdf

创新性声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名：偻斡金l 本人承担一切相关责任。 日期： 迦( 立垒l 盆! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 料、胁 以。廖j 试 日期：型 坌肇f 目f 盟 日期：尘立! q ：l ! ! 一 北京邮电人学硕士研究生论文 基于o s g 的交通场景三维实时仿真平台研究与实现 摘要 利用虚拟现实技术对真实交通场景进行三维实时仿真是智能交通 监控领域的一个重要课题，本论文主要围绕如何将虚拟现实技术应用 于智能交通监控，通过设计一个基于o p e n s c e n e g r a p h 技术的交通场景 三维实时仿真平台，实现真实交通场景的三维实时仿真。 本文首先研究了虚拟现实技术及其在智能交通监控领域的应用。 然后介绍了介绍交通场景中运动车辆信息的获取方法，包括摄像机标 定、车辆检测和定位、车辆跟踪方法。接着介绍交通场景三维实时仿 真平台的构建方法，并在此基础上重点研究交通场景三维实时仿真平 台的场景优化技术，包括碰撞检测、运动路径优化和l o d 。最后设计 与实现原型系统，并对之前提出的算法进行理论验证。 关键词：交通场景，o s g ，三维，碰撞检测，路径优化，l o d u 北京邮电人学硕上研究生论文 t h ed e s i g na n di m p l e m e n r 】队t i o no fr e a l t i m e 3 ds i m u l a t i o np l a t f o r mo ft r a f f i c s c e n e s b a s e do no s g a b s t r a c t i t i sa n i m p o r t a n tt o p i ct h a tu s i n gv i r t u a lr e a l i t yt e c h n o l o g yf o r r e a l t i m et r a f f i cs i m u l a t i o ni nt h ef i e l do fi n t e l l i g e n tt r a f f i cm o n i t o r i n g i n t h i sp a p e r ，w ef o c u so nh o wt ou s ev i r t u a lr e a l i t yt e c h n o l o g yi n i n t e l l i g e n t t r a f f i c m o n i t o r i n g ，t oa c h i e v er e a l t i m es i m u l a t i o nf o rt h er e a lt r a f f i c s c e n e s f i r s to fa l l ，t h ep a p e rs t u d i e st h ev i r t u a l r e a l i t yt e c h n o l o g ya n di t s a p p l i c a t i o ni nt h ef i e l do fi n t e l l i g e n tt r a f f i cm o n i t o r i n g t h e ni td e s c r i b e s t h em e t h o do fg e t t i n gi n f o r m a t i o no fm o v i n gc a r sf r o mt h er e a lt r a f f i c s c e n e s ，i n c l u d i n gc a m e r ac a l i b r a t i o n ，v e h i c l ed e t e c t i o na n dl o c a t i o n v e h i c l e t r a c k i n gm e t h o d t h e ni t i n t r o d u c e st h em e t h o do f b u i l d i n g r e a l - t i m et h r e e d i m e n s i o n a ls i m u l a t i o np l a t f o r mf o rt h et r a f f i cs c e n a r i o b a s eo nt h a t ，t h ep a p e rf o c u s e so nt h eo p t i m i z a t i o nt e c h n i q u e sf o rt h e3 d r e a l - t i m es i m u l a t i o np l a t f o r m ，i n c l u d i n gc o l l i s i o nd e t e c t i o n ，m o t i o np a t h o p t i m i z a t i o n ，a n dl o d a f t e ra l l ，w ed e s i g na n di m p l e m e n tt h ep r o t o t y p e s y s t e m ，a n dp e r f o r me x p e r i m e n t st ov a l i d a t et h ep r o p o s e da l g o r i t h m k e yw o r d s ：t r a f f i c s c e n e s ，o s g3 d ，c o l l i s i o n d e t e c t i o n ，p a t h o p t i m i z a t i o n ，l o d m - - i v 论文 1 1 1 ：! ：； 4 ! ； 6 2 1 摄像机标定6 2 1 1 摄像机标定的基本理论6 2 1 2 主要的摄像机标定方法7 2 1 3 本系统采片j 的摄像机标定算法8 2 2 运动车辆检测。1 1 2 2 1 运动车辆检测基本原理1 1 2 2 2 基于背景差分和中值滤波法的运动车辆检测1 2 2 3 基于k a l m a n 滤波的运动车辆跟踪1 5 2 4 本章小结1 7 第三章交通场景三维实时仿真平台的构建方法1 8 3 1o p e n s c e n e g r a p h 技术1 8 3 1 1o s g 技术的特点1 8 3 1 2 0 s g 的场景图形特性。1 9 3 2 三维实时仿真平台的场景构建2 0 3 2 1 场景组织基本方法和内存管理2 0 3 2 2 场景模型复用。2 2 3 2 3 三维实时仿真平台中模型的三维坐标变换2 3 3 3 不变场景与运动物体建模。2 6 3 3 1 面向对象的建模方法2 6 3 3 2 静态场景建模。2 7 3 3 3 运动物体的建模2 9 3 3 4 运动物体的实时更新3 0 3 3 5 运动车辆的平滑处理。3 2 北京邮电人学硕l 研究生论文 3 4 本章小结3 4 第四章交通场景三维实时仿真平台优化技术3 5 4 1 碰撞检测3 5 4 1 1 碰撞检测基本原理3 5 4 1 2 碰撞检测算法分类3 6 4 1 3 交通场景下不同包围盒碰撞检测技术的比较3 6 4 1 4 基于a a b b + o b b 包围盒的碰撞检测算法4 0 4 2 三维仿真平台中运动车辆的动态路径优化。4 1 4 2 1 路径规划问题。4 2 4 2 2 快速路径优化的算法思想。4 2 4 2 3 基本路径生成。4 4 4 2 4 橡皮筋算法。4 4 4 3 复杂场景绘制优化技术4 6 4 3 1l o d 技术z 1 6 4 3 2l o d 三角形折叠简化算法研究。4 8 4 3 3 三角形简化基本概念。4 9 4 3 4 三角形简化折叠条件。5 1 4 3 5 三角形权值的确定5 2 4 3 6 三角形折叠点的确定5 3 4 3 7 算法步骤。5 3 4 4 本章小结5 4 第五章原型系统的设计与实现。5 5 5 1 系统综述一5 5 5 1 1 体系结构5 5 5 1 2 系统硬件5 6 5 2 场景编辑器子系统5 7 5 3 三维实时绘制平台子系统5 9 5 4 方法验证6 2 5 4 1 碰撞检测算法验证。6 2 5 4 2 路径优化策略算法验证6 2 5 4 - 3 复杂场景l o d 优化验证6 3 5 5 本章小结“ 第六章工作总结与展望6 5 - v n - 北京邮电人学硕，i ：研究生论文 v m 北京邮电大学硕t - 研究生论文 第一章绪论 1 1 课题背景 随着经济的发展和社会的进步，交通场景的监控已经成为一个十分重要的课 题。通过摄像机来监控交通场景，早己被广泛应用于社会生活当中，但是在很多 场合下，由人工来分析处理视频获取有用信息十分低效。近年来视觉监控技术发 展迅速，基于计算机视觉和图像处理的视觉监控技术提供了一种提取和处理有用 信息的高效方法，而以提高真实感为目标的虚拟现实技术的发展则为使用者提供 了一个获取有效信息的平台。视觉监控技术和计算机图形学相关技术的成熟，使 基于三维建模的智能监控技术显示出广泛的应用前景和潜在的商业价值，已经引 起了国内外学术界和企业界的极大关注。本论文主要围绕如何将虚拟现实技术应 用于智能交通监控，通过设计一个基于o p e n s c e n e g r a p h 1 】( 以下简称o s g ) 技术 的交通场景三维实时仿真平台，实现真实交通场景的实时仿真。 1 1 1 智能视觉监控技术 现代社会是一个人口密集、高度复杂的社会，面临的突发事件和异常事件越 来越多，其监控的难度与重要性也越来越突出。为此，世界各国政府和科研机构 已开始密切关注新一代的监控技术。 对于某些敏感场景，如银行、商店、停车场、军事基地等，出于管理和安全 的需要，人们必须知道该区域内发生的事件，于是采用某种特定方法来监视该场 景，并且及时地对发生的异常事件做出适当的反应，这就是所谓的监控。 从监控技术的发展来看，大致可分为三个阶段：人力现场监控、人力视频监 控和智能视觉监控【2 】。人力现场监控，即安排专人在现场对场景监控，人力现场 监控的应用可以追溯到原始社会，一直延续至今。人力视频监控，即用摄像机对 场景拍摄，视频信号被采集到中央控制部门并被显示到监视器上，由人对视频图 像进行分析，得出恰当的判断。视频监控又分为两种，一种是早期采用的模拟视 频监控，一种是现在广泛采用的数字视频监控，这种监控技术引入了大量的计算 机技术来协助人采集和管理所有视频信息，监控系统的性能得到了有效的提高。 由于人工本身固有的不足，人力越来越难以胜任分析和理解采集到的数量惊 人的视频数据。因此，目前世界各国政府和学者，密切关注新一代的监控技术一一 智能视觉监控技术。它和以往的监控技术有本质的区别，其主要特征是采用计算 机视觉的方法，在几乎不需要人为干预的情况下，通过对摄像机拍录的图像序列 进行自动分析来对动态场景中的目标进行定位、识别和跟踪，并在此基础上分析 和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时 做出反应。更形象地说，智能视觉监控系统能够看，看被监控场景中目标物体的 北京邮电人学硕十研究生论文 行为；能够想，想目标物体的行为意味着什么；能够说，把想的结果用自然语言 的形式表达出来。因此智能视觉监控系统取代了监控任务中人的大部分工作，是 新一代的具有高度智能的监控技术。智能视觉监控技术具有广泛的应用前景，可 以应用于交通场景，如十字路口、高速公路、停车场、飞机场等监控、军事场景 监控、国家重要安全部门，如军事基地、银行等监控、敏感的公共场合，如天安 门广场、火车站，等等。智能视觉监控技术已经显示了巨大的市场价值，以智能 交通系统为例，据p h i l i ps a y e g 和p h i l i pc h a r l e s 预测，到2 0 1 0 年，中国和南亚五 国的智能交通系统市场潜力估计在3 8 亿美元左右。特别是美国9 1 1 恐怖袭击事件 以后，各国都高度重视这样一个问题，即如何对国家重要安全部门和敏感的公共 场合进行全天候、自动的、实时的监控，而智能视觉系统就是解决这一问题的有 效手段之一。 智能视觉监控技术的研究不但有极其重要的实践意义，而且还有重要的理论 研究意义。在计算机视觉领域中，一个最根本的问题就是如何从底层原始视频数 据得到高层的语义理解，而智能视觉监控的研究正是紧紧围绕这个基本问题，研 究范围不是仅局限于某个特定问题，而是涉及到计算机视觉中从底层到高层的许 多基本问题。因此，该研究的成果对计算机视觉中其它研究领域有重要借鉴意义。 1 1 2 虚拟现实技术 虚拟现实( v i r t u a lr e a l i t y ) 技术是近十几年悄然兴起的高新技术，它是一种计算 机系统，这种系统创建模拟现实世界的虚拟三维环境。这种由系统创建的虚拟环 境，作用于用户的视觉、听觉、触觉，使用户产生身临其境的感觉，用户可以很 自然地通过计算机进入这个环境并操纵系统中的对象进行交互，进而沉浸其中。 虚拟现实技术是一门综合集成技术，它的出现是计算机图形学、人机接口技术、 图像处理与模式识别、人工智能技术、语音处理与音响技术、网络技术、并行处 理技术、高性能计算机系统和传感器技术等交叉与综合的结果。以虚拟现实技术 为代表的新型人机交互技术旨在探索自然和谐的人机关系，使人机界面从以视觉 感知为主发展到包括视觉、听觉、触觉和嗅觉等多种感觉通道感知；从以手动输 入为主发展到包括语音、手势、姿势和视线等多种效应通道输入。 虚拟现实作为一项实用技术，在建筑设计、城市规划、古迹恢复、产品原型 设计、娱乐、可视化仿真等多个领域有着广泛的应用前景。 虚拟现实具有多感知性( m u l t i - s e n s a t i o n ) 、沉浸感( i m m e r s i o n ) 、交互性( i n t e r a c t i o n ) 和自主性( a u t o n o m y ) 这四个重要特征。这四个特征的技术核心可由b u r d e a 在 e l e c t r o 9 3 国际会议上所发表的“v i r t u a lr e a l i t y a p p l i c a t i o n s ”一文中提出的可由三 个“l 来形象地描述： 沉浸感( i m m e r s i o n ) 。它是指用户感到作为主角存在于模拟环境中的真实程度， 北京邮电大学硕j ：研究生论文 即除了所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知、 甚至还包括味觉感知和嗅觉感知等。理想的模拟环境应该具有一切人所具有的感 知功能，达到使用户难以分辨真假的程度。但目前虚拟现实技术所具有的感知功 能仅限于视觉、听觉、力觉、触觉、运动等几种，无论从感知范围还是从感知的 精确程度都尚无法与现实世界相比拟。 交互性( i n t e r a c t i o n ) 。是指参与者对模拟环境内物体的可操作程度和从环境得 到反馈的自然程度( 包括实时性) 。例如，他可以用手去直接抓取模拟环境中的物体， 这时手有握着东西的感觉，并可以感觉物体的重量，视场中被抓住的物体也立刻 随着手的移动而移动。 想象力( i m a g i n a t i o n ) 。是指虚拟环境中物体依据各自的模型和规则按操作者的 要求进行自主运动的程度。例如，当受到力的推动时，物体会向力的方向移动， 或翻倒，或从桌面落到地面等。 虚拟现实技术的每一步发展，都是围绕它的三个特征而前进的。这三个重要 特征用以区别相邻近的技术，如多媒体技术、科学计算可视化技术等。 1 2 研究现状 虚拟现实技术一经应用，就向人们展示了诱人的前景【3 】。国际上，大规模场 景的建模与表现是目前虚拟现实研究的一个热点，i e e e 和a c m 每年都召开虚拟 现实的学术会议，有关大规模场景的建模与表现的论文正逐年增加。国内方面， 国家自然科学基金、8 6 3 计划等科研计划也加强了对此领域的支持。 浙江大学c a d & c g 国家重点实验室合作开发出了一套桌面型虚拟建筑环境 实时漫游系统【4 】，采用了层面迭加绘制技术和预消隐技术，实现了立体视觉，同 时还提供了方便的交互工具，使整个系统的实时性和画面的真实感都达到了较高 的水平。另外，他们还研制出了在虚拟环境中一种新的快速漫游算法和一种递进 网格的快速生成算法。 清华大学虚拟现实与人机界面技术实验室主要针对以虚拟现实技术为基础的 复杂“人一机一环境”交互系统进行模拟、仿真、测评和研究，立足于构建各种 人机界面进行近似真实场景的测评，并运用多通道人机界面技术开展部分虚拟体 验教学研究，通过“视觉、听觉、触觉”的集成体验来加深理论知识的学习并“感 知 复杂的系统或理论【5 1 。 2 0 0 8 年5 月，“北京0 8 数字博物馆网站正式开通【6 】，它综合虚拟现实技术、 应用图像、交互游戏等多种表现形式，生动地复原和展示奥林匹克文物、历史、 比赛项目及场景，并提供奥运场馆虚拟漫游、中国传统体育项目、北京历史古迹 与文物藏品展示、奥运比赛项目三维仿真模拟及交互体验等服务。 2 0 0 8 年1 0 月，故宫博物院与i b m 合作历经3 年开发的虚拟紫禁城对外开放， 北京邮电大学硕 研究生论文 虚拟紫禁城对古代建筑、文物和人物进行了高分辨率、精细的3 d 建模f 7 】，可在互 联网上再现三维的故宫建筑、文物及人物。i b m 还与中国历史学家合作，由中国 演员模拟明清宫廷人士的真实动作，在此基础上制作出各种皂家场景、导游路线 及互动活动。 虚拟现实在交通监控中的应用是一个专门的研究领域，真实场景中物体的定 位是一个研究的重要课题。中科院自动化所模式识别国家重点实验室就交通场景 的视觉监控开展研究，就路面标定以及车辆的三维建模提出了解决方案，并利用 虚拟现实技术在模拟场景中进行过初步的验证。 1 3 课题来源与研究内容 由于基于三维重现技术的智能交通监控这项研究重要的理论价值和应用价 值，目前已经成为世界上的研究热点，需要解决的问题也很多。北京邮电大学智 能通信软件与多媒体北京市重点实验室承担的国家“8 6 3 高技术研究发展计划 项目“大规模动态场景目标行为过程实时建模与表现方法”，以机动车辆行为过 程快速获取与建模方法为研究对象，研究大规模复杂场景中机动车辆行为过程的 快速获取及三维场景建模技术，包括相应智能监控原型系统的研制。其研究成果 可为机动车辆动、静态交通违法行为进行现场监测、抓拍、记录与处理等的道路 交通现场监测提供有效的手段，对进一步提高道路交通管理的“实时监测、联网 布控、自动报警、快速反应、科学高效、信息共享等综合监管效能，发挥其促 进作用。 该项目的研究涉及四个方面：一是目标检测、识别和跟踪方法；二是图形实 体构件库的构建方法；三是基于群体目标行为语义的动态场景模型装配技术；四 是大规模动态场景的实时绘制技术。 相应研发的原型系统主要分为三个部分。1 ) 数据采集子系统，主要负责多媒 体传感器网络节点的设计与部署，通过视频传感器节点采集视频信息，提供底层 数据；2 ) 信息处理子系统，主要从数据采集子系统获取原始的视频数据，设计算 法，进行视觉计算，完成视频中目标的检测、跟踪与识别分类，提供目标的特征 信息；3 ) 3 d 渲染子系统，主要负责从视觉计算子系统中获取目标特征信息，构 建目标模型，完成视频过程的3 d 重现。 本论文的研究内容紧紧围绕该交通场景三维实时仿真系统，即3 d 渲染子系 统。与3 d 渲染子系统相关的研究内容如下， 交通场景运动车辆信息的获取方法。运动车辆信息的获取是构建交通场景 三维实时仿真平台的基础，车辆信息的获取包括摄像机标定、车辆检测和 定位、车辆跟踪。研究重点是通过研究对比不同的信息获取方法，并选取 符合本课题实际情况的最优算法应用于本实时仿真系统。这个方向上的理 北京邮电人学硕上研究生论文 论研究得到同课题组田野、赵红亮、张乐华同学的协作和帮助，在此表示 感谢。 交通场景三维实时仿真平台的构建方法。包括研究构建该三维仿真平台构 建的技术基础，场景组织方法和内存管理方法，系统中的模型三维坐标变 换，静态场景建模和运动物体建模，以及运动物体的实时更新方法。 交通场景三维实时仿真平台的场景优化技术。车辆是交通场景三维实时仿 真系统中的主要运动对象，为保证仿真的真实性与可信度，必须处理仿真 系统中车辆与其他物体的碰撞问题。本论文研究一种基于a a b b + o b b 包 围盒的碰撞检测算法，避免运动车辆的碰撞而失去真实感，并提出一种基 于橡皮筋的运动车辆路径预判优化策略，帮助运动车辆绕过障碍物。 针对复杂场景渲染的性能问题，通过l o d 层次细节优化技术对加快对复 杂场景的渲染速度，并研究了一种基于三角面折叠的模型简化算法应用于 l o d 中。该方向的研究得到了同课题组祝清鲁同学的协作和帮助，在此 表示感谢。 设计与实现原型系统，包括静态场景编辑器和三维实时仿真平台。 1 4 论文组织结构 本论文组成如下： 第一章为绪论部分，介绍了智能视觉监控技术和虚拟现实技术，重点介绍了 虚拟现实技术在智能交通监控中的应用，介绍了国内外研究现状以及本文的课题 来源和研究内容。 第二章主要介绍交通场景运动车辆信息的获取方法，包括齐次线性模型摄像 机标定方法，基于背景差分和均值滤波的车辆检测法和基于k a l m a n 滤波的车辆跟 踪。 第三章主要研究交通场景三维实时仿真平台的构建方法，包括三维仿真平台 构建的技术基础o p e n s c e n e g r a p h ，交通场景三维仿真平台的场景组织方法，系统 中的模型三维坐标变换，静态场景建模和运动物体的实时更新方法。 第四章主要研究交通场景三维实时仿真平台的场景优化技术，提出基于a a b b 包围盒的碰撞检测算法，避免运动车辆的碰撞而失去真实感；提出一种基于橡皮 筋的运动车辆路径预判优化策略，帮助运动车辆绕过障碍物；提出一种基于三角 面片折叠的模型简化算法，并通过l o d 层次细节优化技术对加快对复杂场景的渲 染速度。 第五章设计与实现原型系统。包括静态场景编辑器和三维实时仿真平台的设 计和实现，并在此基础上对第三章和第四章提出的一些算法进行理论验证。 第六章对本文工作进行了总结，并讨论了今后进一步研究的方向和目标。 北京邮电大学硕十研究生论文 第二章运动车辆信息获取方法介绍 交通场景三维实时仿真平台的三维建模部分分为静态建模和动态建模。静态 建模即为对预先已知的交通场景环境进行建模，该三维交通场景环境建立好以后 就不会发生变化，因此可以使用外部三维建模软件进行事先建模并加载。动态建 模则是通过底层的数据采集子系统和模式识别子系统获得实时的车辆运动信息， 实现车辆的识别、定位、跟踪，交通场景三维实时仿真平台中最重要的三维建模 部分是实时运动中的车辆。由于本系统的信息采集模块是通过摄像头获取二维视 频图像信息，通过对二维图像的分析对车辆进行识别、定位、跟踪，如何通过数 据采集子系统和模式识别子系统获得正确的车辆运动信息，是交通场景三维实时 建模的前提。因此，第二章主要讨论如何实时获得正确的车辆运动信息。 2 1 摄像机标定 交通场景是三维的，而图像是二维的，为了能在车辆检测以及车辆速度的计 算中，得到切合实际的准确信息，这就需要在实际道路平面和图像平面之间建立 一个视觉模型，通过对模型的标定，建立二者之间的关系，从而使图像上的每一 点与实际道路平面上的每一点一一对应。在标定后的图像上进行处理，将大大方 便车辆位置、运动信息的检测算法。需要说明的是，这里所说的标定过程是指在 一定信息的帮助下( 如路面宽度、摄像机架设高度等) ，从摄像机所拍摄的图像中， 恢复出在实际交通场景中物体位置的对应关系。视觉模型的建立是计算机视觉方 法应用于实时车速采集的关键。模型的好坏决定着整个视觉系统的精度，摄像机 标定是整个采集系统的基础。 2 1 1 摄像机标定的基本理论 单目视频跟踪系统中，要从二维图像中计算得到三维真实目标对象的位置， 需要确定摄像机的坐标系和坐标系的变换，合适的坐标系对简化计算、提高实时 跟踪效率很重要。 图2 - 1 中位于图像平面前距离为f 的点被称为投影中心。由于图像平面位于投 影中心的后面，因此这种小孔摄像机模型又被称为后投影模型。其中z 轴常被称 为投影轴或光轴，它是传感器的观察方向，而由投影的几何关系所确定的有限大 小图像平面就是摄像机的视场。小孔摄像机模型不考虑透镜的畸变，在大多数应 用场合，这种模型可以满足精度要求f 8 】。 图像坐标系分为图像像素坐标系和图像物理坐标系两种。建立世界坐标系与 图像坐标系变换关系： s i 】2 争? u o 量】 ；1 1 s = c 1 。c 1 ：c l ，c l 。 y ， x ” y 。 z 1 z ” 川雌2 医 1 曼鞫c c 2 ：为巳i c 3 ：c 3 3 1 l y 。 z w 1 = c y ( 2 1 ) 其中比。，是图像中心( 光轴与图像平面的交点) 坐标，六和分别定义为x 和y 方向的等效焦距。“。、正和等4 个参数只与摄像机内部结构有关， 因此称为摄像机内部参数。 要求出式2 - 1 中的参数摄像机矩阵c 这1 1 个参数的值，需要n 组数据，每组 数据包括图像点( 峨，坼) 和对应被观测的3 d ( 五，y l ，毛) ，点数n 至少需要6 个或者更 多。 2 1 2 主要的摄像机标定方法 北京邮电人学硕1 ：研究生论文 摄像机标定方法根据标定方式的不同，主要可以归结为以下两种：传统标定 方法和自标定方法。 l 、传统标定方法 所谓传统摄像机标定方法是指用一个结构己知、精度很高的标定块作为空间 参照物，通过空间点和图像点之间的对应关系来建立摄像机模型参数的约束，然 后通过优化算法来求取这些参数。传统方法的典型代表有d l t 方法( d i r e c t l i n e a r t r a n s f o r m a t i o n ) 1 0 ，t s a i 方法 1 1 1 等。传统标定方法在标定前需要建立某个线性的 或非线性的摄像机模型，通过模型的内外参数来描述空间三维坐标与其图像二维 坐标间的映射关系。因此这类标定方法费时费力，并且其精度很大程度上取决于 摄像机模型的复杂程度。 2 、自标定方法 摄像机自标定方法 1 2 1 1 9 9 2 年由f a u g e r a u s 和m a n y b a n k 首次提出，并在此之 后不断发展成熟起来。作为近年来发展起来的另一类摄像机标定技术，摄像机自 标定方法与传统的摄像机标定方法的显著不同之处在于，摄像机自标定方法不需 要借助于任何外在的特殊标定物或某些三维信息己知的控制点，而是仅仅利用了 图像对应点的信息，直接通过图像来完成标定任务的。正是这种独特的标定思想 赋予了摄像机自标定方法的灵活性，目前，摄像机自标定技术的研究已成为计算 机视觉研究领域的热点方向之一。 本系统应用齐次坐标来进行图像标定【1 3 】。 墨瞄 。 塞荔荔毫 x 试 圪 z 耐 1 ( 2 - 2 ) 其中( x 耐，k ，z 耐，1 ) 表示地面坐标中的位置，( u ；，u ) 表示实际图像平面 像素点的位置，在摄像机标定过程中，根据式( 2 2 ) 可以估计出m i i 参数。采用图像 平面一物体点坐标表示，式( 2 2 ) 具有下列形式薯= h ( x ，m ) ，这里m 是含有m 。的矢 量，由一组物体和图像的对应点可以导出m i 参数估计的方程。 在实际应用中，需要某种正规化方法来解决式( 2 2 ) 中的参数非唯一性问题， 通常是令元素豫。一1 0 。将式( 2 2 ) 展开，有 “-mnx州+m12ywi+m13zw+inl4 。鸭一棚2 s 乙蝴2 4 ( 2 - 3 ) ，m 3 1 x 埘+ m 3 2 + m 3 3 z 耐+ m 3 4 m 4 l x “+ ，行4 2 匕+ ， 4 3 z 衍+ ，玎4 4 北京邮电大学硕士研究生论文 经过适当的代数处理，令m 弭= 1 0 ，由每一对物体与图像的对应点得到两个含 有胁玎参数的线性方程，用矩阵形式表示为： 陬匕乙10 00 0 吨邑) 屯瓦) 电乙) i o 0 0 0 瓦匕乙1 屯瓦) 吨圪) 吨乙) i 引 孰 引 i ( 2 4 ) 由于摄像机成像是一个不可逆的过程，从单个摄像机的2 d 图像恢复出3 d 的 信息从根本上是不可能准确的。分析本系统的研究对象，我们可以得出交通场景 较为普遍的特性：车辆在道路平面上运动，车辆的高度相对于摄像机的架设高度 较小。在这样的“平面假设下，我们可以忽略场景中的车辆高度信息，从而将 地球坐标系中的一维信息去除。这样，我们将地球x y z 三维坐标系，由z = 0 降为 x y 平面坐标系。通过变换，标定问题转化为两个平面间的映射关系。将z = 0 代入 式( 2 3 ) 和式( 2 4 ) ，则整理化简为： x 耐y 0 100 0 一 ，x 耐) 一 ；k ) 1 10 00 x 酊k1 一化x 埘) 一( u 比) i ：h ( 2 - 6 ) 【uj 可以将标定问题简化为：在图像中找到四个特征点，在实际路面上找到相应 的四个点，通过这四个点的映射求出坐标参数。利用实际场景坐标系中的四个点 的坐标值和图像坐标系的四个点的坐标值，以及它们的对应关系： 一一一 1 2 3 4 5 6 7 8 小 m m m 小 m m m 北京邮电人学硕一l ：研究生论文 己。( x ，x ) 兮p ， ，h ) 己z ! x z ，匕，斧p z ( m ：，v j 可以列出四组方程对，用矩阵表示如下： 己3 ( 墨，匕) p 3 ( u 3 ，v 3 ) 只4 ( x 4 ，k ) 铮p 。 4 ，y 4 ) x 。l 匕l l 00 0 一 ，x w l ) 一 ，k ) 1f m l 000 x 。l 匕l1 一( v l x ，1 ) 一( v l 匕1 ) l fm 2 x 。2 匕2 1 00 0 一u 2 x 。2 ) 一 2 匕2 ) | lm 3 000 x 。2k 21 一( ，2 x 。2 ) 一( v 2 匕2 ) i lm 4 x 。3 匕3 100 0 - ( u 3 x ，3 ) 一 3 匕3 ) | im 5 000 x 。3 比1 一化石。，) 一心匕。) | | m 。 x 。匕4 1 00 0 - ( u 。x 4 ) 一 。匕4 ) i l m ， 000 x 。4 匕。1 - ( v 。x ，4 ) 一“匕。) i lm 8 ( 2 - 7 ) 在此公式中，四个点的坐标可以通过操作人员输入，但是这样就不具备自适 应性。本文提出了通过检测车道标线来定位坐标的方法确定四个坐标。高速公路 的标线通常遵循g b 5 7 6 8 1 9 9 9 国家标准中第l8 条指示标线的第3 款对于车行道分 界线的规定( 图2 2 ) ： a ) 车行道分界线为白色虚线，用来分隔同向行驶的交通流，设在同向行驶的车行 道分界线上。在保证安全的情况下，允许车辆越线变换车道行驶。 b ) 凡同一行驶方向有二条或二条以上车行道时，应划车道分界线。高速公路、一 级公路和城市快速路，车道分界线的尺寸如图2 2 所示。 图2 - 2g b 5 7 6 8 - - 1 9 9 9 国家标准对于车行道分界线的规定 我们可以检测到车道虚线，然后找到四个标线段，通过已知距离可以确定四 个标线段的质心点的坐标，如图2 3 ( a ) 所示，对于两车道的可以在一条车道线 上找四个标线段，如图2 3 ( b ) 所示，对于三车道的可以在两条车道线上每条上 找到两个标线段。 巩比吃纵n咖以 x 。1 0 ，匕1 0 ，x 。2 一d l + d 2 ，匕2 = 0 ， “ x ，3 = 2 ( 盔+ d 2 ) ，匕3 0 ，x 。4 = 3 ( d 1 + d 2 ) ，匕4 = 0 ( 2 8 ) 这四个坐标是成比例的，由于摄像机成一定角度俯拍的，图像上两条车道分 界线不是完全平行的，也就是图像上相对应的四个点是不成比例的，所以能保证 方程2 7 能够求解。 如果是三车道的情况，找到图像上从下到上的两个车道线各两个标线段，以 这四个标线段的质心点作为四个坐标，这四个点的世界坐标可以计算如下： x ，1 = 0 ，匕l o ，x 。2 0 ，y w 2 一d 3 + d 4 ， x 。3 一d l + d 2 ，匕3 = 0 ，x 。4 = d l + d 2 ，y w 4 一d 3 + d 4 ( 2 9 ) 通过四个点的确定，就可以通过公式2 7 计算出坐标系数，然后对于图像中的 每一个点的坐标可以通过公式2 5 来计算出世界坐标，完成坐标的转换。 2 2 运动车辆检测 2 2 1 运动车辆检测基本原理 北京邮电人学硕i j 研究生论文 在运动车辆信息的获取过程中，运动车辆的正确检测与分割是所有后续工作 的基础。交通参数的采集、车型的识别以及车辆的跟踪等都要受到运动车辆检测 识别结果的影响。对运动物体的检测，首先要进行运动物体的分割。为了解决车 辆跟踪问题，对于检测出的运动目标要进行一定的预处理，包括噪声的去除、连 通区域以及阴影消除。最后，我们需要采用合理的算法分割出各个区域。 车辆检测的基本原理是通过视频摄像机将路面情况的图像经数字化后输入计 算机中，然后对输入的数字图像进行滤波去噪及图像增强等预处理，对于预处理 后的图像可以用相应的检测算法，检测出目标车辆，如图2 4 所示。车辆检测是目 前智能交通系统研究比较活跃的领域，常用的检测算法有帧间差分法、基于光流 的方法和背景差分法。 图2 4 车辆检测过程 2 2 2 基于背景差分和中值滤波法的运动车辆检测 背景差分方法是常用的运动目标检测方法，国内外很多学者在这方面做了大 量的研究 1 4 。 图2 - 5 背景差分运动目标检测流程图 背景差分法实现运动目标检测的过程如图2 5 所示，其主要包含预处理、背景 建模、前景检测和运动区域后处理4 个步骤： ：。( 1 ) 预处理是对视频数据进行简单的空间或时间滤波，以消除摄像机噪声和 雨雪等瞬时环境噪声，或者降低帧大小和帧率。 。( 2 ) 背景建模就是构建背景图像或通过构建某种模型来表示背景，这是各种 背景差分法的核心所在。 ( 3 ) 前景检测，是先形成交通场景的背景图像，然后将待检测图像与背景图 像逐像素相减( 理想情况下的差值图像中非零像素点就表示了运动物体) ，进而就 可运用阈值方法将运动物体从背景中分离出来。 北京邮电人学硕上研究生论文 ( 4 ) 后处理就是去除不属于真实运动目标的参考像素，以便得到真正的前景 运动目标，其要考虑的问题主要有这样几个方面：1 ) 消除由树叶摇动等产生的小 而假的前景像素，常用的办法是形态滤波，它可以消除独立的前景像素，并合并 非连通的前景邻近区域，而合并连通分支就是确定所有连通的前景区域，同时消 除那些不可能是真实运动目标的小前景区域；2 ) 消除因背景模型不能及时适应前 景变化速度而出现的重影；3 ) 另一个后处理问题是消除不感兴趣的运动目标像素， 以解决运动目标的阴影和遮挡等问题。 在智能交通监控系统中，运动物体的检测是高层视觉的预处理，需要有较好 的实时性，光流法的计算量很大，不适宜在智能交通监控系统中采用。背景差分 法可以快速准确地检测出运动的物体，但需要有一个精确的背景。而在实际的交 通场景中，不可能随时采集到一个理想的背景，而需要根据拍摄到的实际的交通 流序列的信息来建立一个背景。而且，建立的交通背景也不是一成不变的，而是 根据时间的变化、天气的变化缓慢的改变，所以需要对建立好的背景进行实时更 新。为了减少内存，另一种改进的方法称为运行期均值法( r u n n i n ga v e r a g e ) 1 5 ， 其思想是通过引入学习率a 来体现背景图像对场景变化的响应。通常a 取0 0 5 ，而 a 越低，则前景的变化越不会影响背景。 曰l o ，y ) 一1 1 ，( x ，y ) + ( 1 一a ) 占， ，y ) ( 2 - 1 0 ) 或者只在，o ，y ) 是背景时按式( 2 - 1 0 ) 更新，当，o ，y ) 为前景时，则直接使 屡+ l o ，y ) 一b ，o ，) ，) ( 2 - 1 1 ) 根据运行期均值法，我们给出了在真实的交通场景中背景构建方法的可视化 效果图如图2 3 所示。从背景建模过程图可以看出，初始背景帧往往包含了前景物 体，但通过不断的学习，这些前景物体将很快从背景中消除，在第5 0 帧时，已经 可以很好地提取出当前场景的完整背景。实验结果说明，该背景建模方法是高效 的。 一4 ? 彬哆i 。“一焉曩秀。 ( b ) 第1 0 帧时的背景图像 淀蒙4 帮蛾，驻越蘸瓣。鬻瞧。藏黝 ( c ) 第5 0 帧时的背景图像( d ) 第6 4 8 帧时的背景图像 图2 - 6 背景建模过程 接下来，我们在实时场景下实验背景差分的效果，具体的实验过程可以参考 图2 - 6 。( a ) 表示第6 4 8 帧原始采样图像，( b ) 表示第6 4 8 帧图像对应的灰度图， ( c ) 表示背景图像。背景差分的过程是，首先用( b ) 表示的灰度图像减去( c ) 表示的背景图像，相减结果经过二值化后可以得到最终的检测结果，该结果如( d ) 所