（计算机应用技术专业论文）三维重构技术在智能监控系统中的应用研究.pdf

abs t r act inte l l i gen “ surv e i l l a n ce s y s t c m is b ase don com p u t er v i s i o n .t 七 r o u gh aut o m at icanal ysiso f t he 加a ge seque n ces w h i chw a s r 以 刀 r d ed inthc c a n l e ra， itcan pos i t io n ， dst ect and t ra c k th e d ynami c object. i t can anal yze and j u d geth e object， 5 b e b av i o r w i t h o u t h u m 幼 i n t e rv e n t i o n . so in te l l i g en ces u rv e i l l ances y s t e mcan o o t o n l y 加 l fi l l t h e t ra d i t i o n a l d ai l y s urv e i l l ance， b u t a l soh ave th e abi l i tyt ot a k e placc o f hom an，s s u rv e il l aneet o ds a l w i thsom c acc i d e nt s . withm u l t i -cam e rain t e l l i ge n ce s u r v e il l ancc s yst e mcan r e sol ve som e p r o b 1 e ms t h atexi s t intr a d i ti onalsurve i l l an“: the s b i e l d ed o 场 eet d e t ec t i n gan dtrac ki n g irre l e v a nts t n k t u rein t 引 rf 亡 re nce ， l i ght sc n s i t i v it y，su i tabl e sce n e be即1 五 n i t e d a n d soo n . s 0inth e p a pe rth e in t e l l i ge nce surv e i l l ance s y s t e mu s em u l t i 一 c a m c r ai s mor er o b u s in e ssand a ccu rac yt h an s i n gl e c a m e r a in t e l l i g e n cesurve i ll ance s y s t e m the p a pe r expos e s a n ew inte l i i g e n c e s u rv e i l l ances y s t c mw h ich isco m b 1 n e d w i ththre e 一 d imens i on r e c o n s tructand arti 6 ci a l i n t e l l i gen ce a n d b u i l dsa p r o t oty p e o f th einte l l i ge n cc s u rv e il l anees yste m . 玩 the p ap e r，l al so co ns t ru ct anewf a s t 邝 c o n st ru比on m e t b o d . wi th th em e t h od， fi rs t we n e ed to flndoutth ezone o f m ov1 d go bj cct ， t h enw e can cut th c zon e o ffft 0 mp b o 1 o gr a p h ， atl ast w e u s e t h e z o ne ofm ovin g obj ee t to ns t ru c t the tbr比 di m ensi o n砌ect. withth e h el p of th e m ode l 一 瞬dcx perts y s t c m ， wc can obt ain th et hrce . d i m ens i o n obj e cte ffi c i c n t l y. thenwe can put t h e t hrec 一 d hae n s ion obj eet i n t o be h a v i oran a l y si s e x pert s y s t cm， w e can anai yzet h e beh avi o r fo n nth eintc l l i gence s u r ， e i l l an比 s yst em . at l ast we 抚 s t the s y s t e man d p r o v e i t can fu l fi l l th e m o t i on dst ec t i on an d t 口 c ki n g re q u i re m en ts e ffici e n t l y. k e yw心 rds :in t el l l g e n ce s u rv e i l l a n ce s y s t e m ; 臼ca l i b ra t io n ; fc a t u re e x tr acti on;t h r e e 一 d i me n s i o nr eco n s t ruc t i o n ;i m a g cp roce ss i n g 户 “ t ifi c i alln tell i g e n c e 学位论文独创性声明 学位论文独创性声明 本人声明 所呈交的学位论文是 本人在导师指导下进行的 研究工作及取得的 研究成果。 据我所知，除了文中 特别加以 标注和致谢的 地方外， 论文中不包含 其 他 人已 经 发 表 或 撰 写 过的 研究 成 果 ， 也 不 包 含 为 获 得 卫如如业扎或 其 他 教 育 机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学 位 论 文 作 者 签 名 (二爽咨 彭 字 日期 : 、年 月 ，肠 学位论文版权使用授权书 本 学位论文作者完全了 解南昌大李有关保留、 使用学 位论文的规定， 有权保留并向 国家有关部门或机构送交论文的复印 件和磁盘，允 许论文被查阅 和 借 阅 。 本 人 授 权南昌大学可 以 将 学 位 论文 的 全部 或 部 分 内 容 编 入 有 关 数 据库 进行检索， 可以采 用影印、缩印或扫描等复 制手段 保存、汇编学位论文。 ( 保密的学位论文 在解密后适用本 授权书) 学 位 论 文 作 者 签 名 (手 写 ):她弓 肖， 师 签 名 、手 写 ): 汤 乡 礴 签 字 日 期 必 砂 夕 年 月 / 尹 日 签 字 日 期 : 洲) 年乡 月 扣 学位论文作者毕业后去向: 工作单位: 通讯地址 : 电话 邮编 第 1 章 绪论 第 1 章绪论 1 . 1研究背景 视频、图像是对客观事物形象、生动的描述，是最直观具体的信息表达形 式，是人类最重要的信息载体之一， “ 百闻不如一见”这一谚语就是对视频图 像的重要性最具体的表现. 监控系统一般来说主要用两种手段进行对被监控场 景进行监控:1 、通过实时监控及时、准确地反映被监控现场的情况: 2 、录像 记录被监控现场的各时段内场景状况，等待监控人员进行检索或取证。除了 这 两种手段进行监控外，监控系统在人为干预下对监控现场进行监控的效果应该 和监控人员在现场进行监控的效果相同，最大限度地保证被监控现场的安全。 同时， 随着网络技术的飞速发展， 监控系统能通过网络可对监控现场实现远程、 多监控场景的同步监控，节省了大量的人力、物力。监控系统对被监控现场的 监控能极大地满足了人们对安全性的要求，这是它在需要安全保障的场景得以 广泛应用的根本原因。 但传统的视频监控系统也有它的缺点:在现代信息社会，它所收集到的视 频、图像信息是海量的， 作为监控系统如何更快捷地提取采集到的信息，并对 采集信息进行高效地处理，实时地提取用户在各种环境下所需要的不同 特征， 达到智能化的程度，还有待进一步提高，监控系统的准确率和实时性很难在复 杂的环境下得以 保证， 尤其是和人眼的视觉相比 较无论是在物体识别的能力上 或是对物体感知的 速度上还有很大的差距。 而且如果需要提高其智能 程度，就 很难满足监控系统实时性的需要，这样就存在着一对矛盾体，如何既能达到监 控系统实时性的需求， 并且达到一定的智能识别能力是现阶段主要的研究内容。 随着计算机视觉、 仿生学、计算机硬件技术和人工智能等计算机和生物学 理论的不断发展，也为监控系统的发展提供了 新的土壤和理论依据， 越来越多 的 相关知识已 经运用到了智能监控领域， 如: 基于空间解析几何的矩阵的变换、 智能视觉中的双目自 标定系统、基于人工智能先验知识的模型的学习 和识别。 尤其是三维重建的理论: 特征匹配、 摄像机标定和三维重构， 使得计算机在识 别能力上有了极大的提高， 对获得的数字信号信息不再只是停留在二维空间里， 第 1 章 绪论 三维的场景重构可以让一些特征点和特征向量更具有相关性，匹配也更具高效 性， 尤其引入了三维模型， 使得识别及检测在准确率上得到了很大程度的提高， 但同时也存在一个很严重的问题，三维模型的重建需要大量的时间和多摄像机 的协同工作，在时间上的大量消耗的时间使得其不能满足监控系统实时性的需 要。三维重建技术在智能监控系统中的应用碰到了一个前所未有的问题，如何 提高三维场景的重构速度，利用三维场景中多个特征向量的相关性，提高运动 检测和识别的效率。满足一般监控情景下对实时性的要求是三维重建技术现在 一个关键的技术瓶颈，也是本论文的出发点和研究重点。 1 . 2国内外研究现状 目 前世界各国政府和学者， 密切关注新一代的监控技术智能监控技术. 它和以往的监控技术有本质的区别，它紧密在和计算机视觉相结合，在几乎不 需要人为千预的情况下，通过对摄像机摄录的图像序列的自 动分析，达到对动 态场景中的运动目 标进行定位、识别和跟踪的目的，并在此基础上分析和判断 目 标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时做出 反应。更形象地说，智能监控系统能够看，看被监控场景中目 标物体的行为: 能够想，想目 标物体的行为意味着什么;能够说，把想的结果用自 然语言的形 式表达出来。因此智能监控系统取代了监控任务中人的大部分工作，是新一代 的具有高度智能的监控技术。智能监控技术具有广泛的应用前景， 可以应用于 交通场景:如十字路口、高速公路、停车场、飞机场等监控，军事场景监控， 国家重要安全部门:如军事基地、银行等监控、敏感的公共场合。 在国内，基于视觉的智能监控系统主要应用于生活住宅小区、大厦，这方 面有代表性的是上海忍申 科技发展有限公司的honi cs智能哨兵系统， 能对监控 范围内的物体运动进行检测和识别及被监控目 标的运动进行检测、识别和精确 定位.同时监控系统也被应用于公路等收费及超速监控系统。但总的来说，一 些银行、公路收费等监控系统还是停留在二维的图像处理的阶段或者是更原始 的数字化监控存储系统，对采集到的图像信息要么简单地将它们用磁盘等介质 存储起来，要么单纯地对图像进行简单分割、边缘检测等处理，不能智能高效 化地对运动物体进行识别。而且我们发现存储器当中的数据大都是按时间进行 顺序存储，并未对获取到的图像数据进行归类、整理、检索，对己经获取到的 第 1 章 绪论 数据的再利用程度不高，不能对己经发生的事件进行学习，在智能化上还很落 后， 因此国内的软件还有很多不足之处， 需要提高的地方也有很多。 总的来说， 国内的监控系统相对于国外的监控系统来说起步较晚， 技术还不够完善，开发 出的产品距离智能化还有一定差距，在实际的应用中，并不能完全发挥监控系 统的作用，因此国内的监控系统还有待于进一步的完善. 相比之下，国外的监控技术在二维图像的处理和图像数据的再利用上来说 相对来说比较成熟。 如美国mm公司2 以 拓年开发的“ 智能监控系统阶( s m art s urvcil l ance s y s tc m 或5 3)， 通 过 联 合 使 用ib m的 软 件、 硬 件、 分 析 与 服务， 5 3 可以 获取实时的关键安全信息， 对相关数据进行检测和分析， 监控并搜索特 定行为， 发现异常便向 管理者报警。 53可对实时或者录制的 视频序列进行分析， 基于开放标准中间件的53平台， 通过多路传感器监控和分析现实世界的事件和 行为，使用的设备包括摄像机、服务器、存储系统、软件、网络设备、化学传 感器以及音频输入。 53系统是一个开发得比 较完备的解决方案， 它与传统的视 频监控系统相比， 53 具备一系列优势，诸如独立索引、按照属性 ( 人的面孔、 汽车牌照等) 对视频内 容进行搜索与分类。 总的来说智能数字视频监控系统不仅符合信息产业的未来发展趋势，而且 代表了监控行业的未来发展方向。它是近期计算机视觉领域中最具有代表性、 最具有实用价值的研究方向之一。 1 . 3三维重构技术在智能监控应用分析 总的来说，在智能监控领域， 基于立体视觉的三维重构监控技术还没有真 正应用到实际的产品当中，其中主要的原因就是因为三维重构技术需要多个摄 像机来完成图 像的提取， 在成本上不适合智能监控的需要，而且由于多摄像机 在特征向量的匹配上要花费太多的匹配时间，满足不了实时性的要求，这也是 现在的智能监控系统不采用三维重构技术的主要原因之一。同时我们也应该看 到基于多摄像机的 三维重构技术能解决现有监控技术中的 遮挡、 无关结构千扰、 对光线敏感、适用场景有限等问题。因此如果在智能监控系统中运用好三维重 构技术，使其更具鲁棒性、高效性和准确性是本论文研究的主要内容。 第 1 章 绪论 1 . 4课题研究价值 智能监控技术的研究不但有极其重要的实践意义，而且还有重要的理论研 究意义。在计算机视觉领域中，一个最根本的问题就是如何从底层原始视频数 据得到高层的语义理解，而智能监控的研究正是紧紧围绕这个基本问题，研究 范围不是仅局限于某个特定问题，而是涉及到计算机视觉中从底层到高层的许 多基本问题。因此，该研究的成果对计算机视觉中其他研究领域有重要借鉴意 义。本课题的意义则在于利用三维场景的重构技术，通过摄像机获得的数据精 确定位到三维空间内，重新生成三维空间的点、线、面的信息，能够满足智能 监控技术实时性的需要，也就是指在一定时间内完成被监控场景内运动物体的 三维特征向量的匹配及三维物体重构，提取出所需要用于匹配的特征向量，并 研究特征向量之间的相关性，重新将这些特征向量还原成现实世界中的三维坐 标系中的向量及三维物体图形，以满足智能监控系统的实时性要求。如何更快 更好地获取到所能识别物体的特征向量.并将数据进行重构，使得所采集重构 的数据满足模式检测和机器学习的要求是本课题研究的重点和难点。 1 . 5主要工作 在该课题中，本人做的重点是将三维重构的理论应用于智能监控系统，利 用三维重构中的特征匹配技术以及三维重构理论，将连续图像序列中的二维场 景恢复到三维空间内，同时将机器学习应用到智能监控系统中，构建了一个智 能监控原型系统，本人的主要工作如下: 1 、 研究了监控系统的发展史，了解了国内外几个大公司的成熟的软件， 从 中发现监控系统的发展方向，并找到三维重构技术在智能监控系统的切入点， 将三维重构技术的优势应用到智能监控系统当中: 2 、 研究了三维重构理论当中摄像机标定、 特征量匹配及三维重构的一些经 典理论和方法， 把握三维重构的整个技术过程，选取较为适合智能监控系统的 三维重构技术，并将其应用到自己所设计的智能监控系统当中; 3 、 在前人的基础上找到适合基于三维重构智能监控系统的一种新型的特征 点提取算法，减少特征点的提取，从而减少特征点之间的匹配以及三维重构的 三维的特征点的数量，以提高三维重构的速度，以期达到智能监控系统的实时 第 1 章 绪论 性的要求: 4 、 根据当前的监控系统技术的发展趋势以及计算机技术的发展趋势， 结合 三维重构理论的技术走向， 提出了一种新型的基于三维重构技术的智能监控系 统的原型，并对该系统的模块进行了设置，利用人工智能的机器学习的理论来 提高该系统的效率和对物体识别的准确性，使智能监控系统能进一步达到具有 初步的智能，能在不断人为干预下增加系统的识别效率，并发现系统中的一些 不足和有待完善的地方，来进行今后的继续的研究工作。 1 . 6论文结构 本论文主要结构组织如下: 第一章主要介绍课题的研究背景、国内外发展现状、研究意义、智能监控 和三维重构技术分析、主要工作以及本文的组织结构。 第二章主要讨论了 监控系统的发展史，研究了监控系统的发展进程和智能 监控系统的现状，分析了监控系统的发展规律和计算机技术对其的影响及推进 过程，并对监控系统的发展趋势进行了预测。并在其中找到监控系统和三维重 构技术的切入点，提出将三维重构技术应用于监控系统中的理论，以提高现阶 段监控系统在物体识别上的准确率， 进一步代替人脑进行分析物体的行为。 第三章主要是介绍了 摄像机标定和三维重构所需要的多视几何理论，为后 面的讨论摄像机的标定和三维重构提供理论基础; 第四章主要是讨论摄像机的标定，首先在本章中研究了前人所提出来的一 些经典的标定理论，然后根据自己 研究需要采用了单应性矩阵对其内 参数进行 了标定; 第五章主要讨论图像的特征向量的提取和三维重构提取到的特征点，首先 在本章中 本章研究了 一些经典的三维重建的方法，本章提出了 一种新的 特征点 的 提取手段，以 提高三维重构的效率， 使其达到智能监控系统中对其的实时性 的要求， 并根据获取到的 特征点的相关性， 将提取的特征点重构成三维空间内 各个对应的三维空间点。 第六章在前面的三维重构技术的基础上设计了一个智能监控原型系统，主 要是通过三维重构技术获取到一个运动物体基本的形状特征点，并将人工智能 的专家系统应用到智能监控系统当中，根据人工智能中机器视觉的要求对实现 第 1 章 绪论 对三维物体运动的识别及检测， 增加了系统的鲁棒性、 识别准确率和运行速度。 同时将运动物体的三维特征点的信息应用到机器学习系统当中，以提高智能监 控系统在相似物体上的识别程度。 第七章则总结了本人在该论文中所做的一些研究，对研究过程中出现的问 题进行了阐述与分析，并对问题进行了一定程度的解决，论证了本人设计的合 理性。同时也分析了 本人设计的智能监控系统中的三维重构解决方案的一些不 足之处， 提出了 进一步解决这些问题的方案， 为以 后的研究提供了明确的方向。 第2 章 监控系统的技术发展趋势研究 第2 章 监控系统的技术发展趋势研究 2 . 1监控系统的发展史 随着计算机技术人工智能、计算机视觉等多个研究领域的不断深入研究与 发展，新型电 子设备、 传输传送设备的 研制和发明， 监控技术也在不断发展和 完善，总的来说基于视频图 像的监控技术经过了以 下三个阶段: 第一个阶段: 模拟信号监控系统 这是最古老的基于视频的监控系统，主要应用于九十年代初之前，它主要 以 模拟设备为主川 ， 引 入了 摄像机、 录像机、电 视机等模拟信号设备进入 监控 系统。是监控系统一个划时代的系统，把监控技术从原始的利用监控者在各个 监视场景现场实地进行监控的状态，实现了异地的监控，而且可以 根据传感器 来控制摄像机的转动来监视大部分的死角。通过视频线传输摄像机所取得的模 拟信号，在控制室的电视机上进行显示，采用手动方式切换各监控点的信号， 并用录像带对各监控点的信号进行存储，是监控技术的最初的模型. 但我们可以 看到模拟信号监控系统有其致命的缺点和不足之处: 存储介质 多采用录像带， 无法进行有效检索，存储质量无法得到保证。监控功能简单， 信号可靠性差，易受监控场景中的干扰，系统寿命受到模拟监控设备的 老化影 响大，使用时间短。 监控的工作完全在人为操作下进行，智能性差，监控系统 只是单纯地将远程信息传递到监控人员的面前。 第二个阶段:数字信号监控系统 在模拟监控系统的 基础上，随着计算机技术及计算机网络技术的进一步发 展，九十年代中后期出现了第二代本地数字视频监控系统和第三代远程数字视 频监控系统。 数字视频监控系统逐渐取代模拟视频监控系统，成为了 视频监控 领域的 主流。 计算机大容量存储硬盘已 经代替了 早期的录像带成为了 存储介质， 电视机也逐渐被主机显示器取代。 而且一些模拟传感器已 经被计算机主机替代， 计算机主机来进行控制工作。图像信号完全实现了 数字化，从而有利于视频的 存储、处理和传输; 在传输过程中使用了高效率的视频压缩算法，每帧图 像占 用的数据量大大减少，使得可以通过网络实时传输视频数据，实现远程实时监 第2 章 监控系统的技术发展趋势研究 控;数字信号监控系统的网络监控的功能管理功能强大， 人机交互功能也使得 操作更加简单灵活;系统兼容性强，易于扩展:功能专业化。 但我们也看到了，数字信号监控系统只是简单地在采集方式、传输方式和 存储方式上对模拟系统进行了改进，采集后的数据的利用率几乎为零，而且大 量的 监控工作还是需要人为 进行监控来完成监控任务， 无法满足现代社会对监 控系统的同时监控处理大量的信息的需要。当需要监控的场景大大多于监控人 员 时， 根本无法真正完成监控 任务121 。 第三个阶段:智能监控系统 随着人工智能技术、图 像处理技术、 计算机网络技术的 进一步发展，在近 几年出现了智能监控系统，它的主要智能体现在通过对摄像机摄录的图像序列 进行自 动分析来对动态场景中的目 标进行定位、识别和跟踪，并在此基础上分 析和判断目标的行为，从而做到既能完成日 常管理又能在异常情况发生的时候 及时做出反应。对采集到的数字信息能进行存储，进行智能分类，提高检索的 效率。 在智能监控系统中，一个理想的系统能大量地节约人力、物力。智能监控 系 统不仅能代替了 人眼对监 控场景 进行监视131 ， 代替了 人耳对监控场景进行监 听，代替人嘴将场景中达到监控要求的场景显示出来.而且利用生物、物理感 应器，可以捕捉到人眼难以 观察到的红外线、高频射线，监听到人耳听不到的 超声波、次声波，快速地将场景中达到人为监控条件的场景提取出来，能存储 大量人脑难以处理的数据，能监控高温、高海拔、高辐射等人体难以实时进行 监控的危险场景。智能监控是近期计算机视觉中最具有代表性、最具有实用价 值的研究方向之一。 但智能监控系统在现阶段也有其技术上的缺陷，如处理时间较传统的二维 图像处理上较为复杂，而且在多摄像机获取数据的同步、特征向量的匹配上也 会浪费大量的时间和效率，难以满足实时智能监控的需要，因此在对实时性要 求比 较严格的监控场景并不适合采用现有阶段的智能监控系统. 2 . 2监控系统技术发展研究 从上面可以知道，模拟视频监控系统和数字视频监控系统属于传统的监控 系统， 对于监控场景动态情况的捕捉和判断，只是停留 在原始的、简单的由监 第2 章 监控系统的技术发展趋势研究 控人员目视完成的阶段，如果要求对多个场景进行实时监控，则需要监控人员 对多个画面进行同步的目 测，对监控人员的要求较高，同时也无法保证有效地 对当时所有场景进行监控。传统视频数据另外一个缺点在于只能在监控人员发 现监控场景有异的时候进行提取， 不能 在监控人员进行对场景进行判断之前进 行对监控视频的进行实时的预处理，也就是说不能保证在非法行为发生之前进 行阻止，达不到实时监控的目的。根据以上的原因，我们可以发现传统的视频 监控系统已 经不能满足我们现代社会监控系统处理信息量大、监控智能化、实 时监控、提前预带的需要，我们所需要的是一个在能够保证效率和可靠性的同 时，能自 动完成运动检测、跟踪、识别，并能根据用户需要进行预替的智能化 监控系统。 与传统的模拟监控系统、数字监控系统相比，智能监控系统的优点已经很 明 显， 我们可以 很清楚地在以 下几个方面体会得到: 1 、 存储的信息量大， 检索 方便快捷: 2 、图像处理能力强， 尤其是对监控场景的无论是在图像质量的处理 上，还是图像的分割、运动检测及识别上能力都得到了提高，并己经达到了实 时性的要求， 能够运用到实际当中: 3 、 监控系统的集成度高， 便于架构和使用: 4 、智能 监控 系统能 在 一定程度上代替人为进行监控1.1 ， 能 够节约大量的 人力、 物力。 2 . 3监控系统技术发展及预测 通过研究监控系统技术的发展史， 我们可以 看到监控系统发展的整个过程， 也可以很好地把握监控系统的发展动向。这也是为什么我们将三维重构技术引 入监控系统的主要原因 之一。 我们在下面的图 表中可以 看到整个监控系统在短 短的几十年中发展的过程以 及其技术路线。 表2. 1 监控系统各发展阶段的对比 豪 妥 蚕 言 碘迎 缪模拟监控系统 数字监控系统智能监控系统 场景监控地设备棋拟摄像机、 棋拟传感器 数字摄像机， 数字化转换设备 数字摄像机、 数字化转换 设备 监控场景显示设备 电视机显示器 显示器 传输线路模拟信号线路数字信号线路 高速数字信号线路 第2 章 监控系统的技术发展趋势研究 续表2.1监控系统各发展阶段的对比 豪 疏 重 甭 巡 丝 里 竺 模拟监控系统数字监控系统智能监控系统 存储设备录相带大容t硬盘超大磁盘存储 图像处理技术仅提供存储 图像增强、 嗓声消除、 棋式识 别等二维平面图像处理 机器视觉、 人工智能、 仿 生学和三维图像识别及 处理 设备集成度低高极高 设备老化速度 快较快慢 图像嗓声 图像在采集、 传物阶段会 受到外界的影响 圈像采集、 传物过程采用数字 信号受干扰程度小 图像采集、 传翰过程采用 数字信号受千扰程度小 监控效果 需要监控人员对监控场 景进行观察 计算机会处理一部分的监控 场景中的信息 计算机己经可以代替监 控人员大t的工作 监控手段远程监控、 完全人为监控异地人为干预监控计算机自 动监控 图像传输速度无数据压缩技术有数据压缩，速度较快数据压缩技术成熟，快 需要的监控人员多较多少 采集图像的利用率无检索方式，利用率低无检索方式，利用率低 先进的检索方式， 利用率 高 在表2. 1 中，我们可以清楚地看到: 1 、由 于计算机技术的不断发展， 现代的计算机技术、 信号传输技术、 传感 器采集技术都己 经得到了相当程度的提高，软件、硬件己 经完全能满足现代监 控技术的要求，因此我们应该研究新型的监控方式来提供更好的监控手段，现 在的主流技术基于图像的一维象素、二维区域分割、形状匹配等技术不能提供 符合人眼需要的三维空间内空间向量，因此将三维的物体立体形状、三维向量 的位置匹配等技术应用到智能监控系统中也是当务之急，显然三维重构技术能 够找到一个快速有效地方法从图像序列中获得三维空间信息，它将是在监控系 统中一个较好的解决方法。 2 、 利用计算机模拟人类思维方式， 代替监控人员进行智能监控， 减小监控 人员的监 控强度，利用先进的计算机技术为人类服务也是当今计算机技术发展 的趋势之一，用人类的思维方式进行图像的处理最主要的一步就是将现有的由 摄像机获取到的二维场景图像转换到三维场景中进行监控，这也需要我们将三 第2 章 监控系统的技术发展趋势研究 维技术应用到现在的智能监控系统当中。 3 、 借鉴人的视觉系统， 提高智能监控系统的识别效率和精确程度是监控技 术发展的另一个趋势。 而如果要提高识别效率和识别精度就需要模拟人眼的视 觉系统， 将现阶段对二维图像的处理转换成较接近现实场景的三维重构后的数 据进行对比，这和普通的二维图像的处理相比，对比中增加了二维识别中相关 特征向量的匹配关系， 这样不仅在检测上更为精确，而且检测起来更为合理。 4 、 监控系统现阶段已 经不简单的是一个监控场景获取存储系统， 如何利用 好已经获取到的图像数据也是智能监控系统重要的研究方向，因此将图像中的 更详细的 信息提取出 来也是智能监控系统今后发展的一个主要方向。获取到的 场景信息经过重构成数字化的三维场景信息以后，明显较二维图像处理后的信 息更符合用户检索的需要，因此对智能监控系统来说，引入了三维重构技术能 提高图像数据的检索效率。 5 、 现代人工智能己 经应用到了智能监控技术当中， 在模式识别上， 经过三 维重构技术相关性处理过的特征向量较二维图像中各自 独立的特征向量具有强 相关性，更符合模式识别的需要，同时三维场景数据更容易用形式化语言来定 义，用三维场景重构技术生成的场景信息明显较二维场景信息更能满足机器学 习的需要，提高机器学习的效率。 2 . 4智能监控原型系统及工作原理 在本章中， 以 美国ibm公司2 以 拓年所开发出新型的 “ 智能监控系统，(s m art s u rv eill ances y st em 或5 3) 为 例， 简要地介绍了 现阶段智能监控系统的主要架 构和工作原理。 从图2. 1 中我们可以 看到，智能 监控系统是在以 摄像机等视频获取设备为 信息采集终端，用网络进行数据的传输媒介，并利用图像、图形处理技术，在 强大的数据库管理系统的基础上架构出 来的一种新型的、强大的适用于现代社 会高信息、多场景监控需要的系统。 这套53系统主要是通过强大的ibm的软 件支持，集成了摄像机、服务器、存储系统、软件、网络设备、化学传感器以 及音频输入设备，发挥ibm公司系统集成的优势，做到优势互补。53可以获 取实时的关键安全信息， 对相关数据进行检测和分析，监控并搜索特定行为， 发现异常便向管理者报警。 5 3 可对实时或者录制的视频序列进行分析， 基于开 第2 章 监控系统的技术发展趋势研究 2 . 5本章小结 在本章中，系统全面地介绍了 监控系统的整个发展史，主要研究了 监控系 统的发展各个阶段所采用的监控技术和监控手段，从中找到了监控系统的发展 技术的一个主线，对监控系统的发展趋势进行了 大胆的预测，提出了 将三维重 构技术应用到智能监控系统中的思想。并将三维重构技术应用到智能监控系统 中的 优越性和必要性进行了 一定的阐述， 找到智能监控系统和三维重构技术之 间的结合点，为下面的各章节进行铺垫。 第3 章 立体视觉基本理论 第 3 章立体视觉基本理论 本章主要介绍了计算机视觉三维重建的基本概念，主要包括射影空间和射 影变换、摄像机模型以及两视图几何的约束关系。这些内容是本文算法设计、 理论推导和应用的理论基础.单视成像几何就是研究摄影机成像的机理， 它描 述了从三维到二维的映射关系，提供了一个图像点与三维欧氏空间一束光线之 间转换关系。基子这种关系，我们可以推算出其变换矩阵，并将二维的图 像数 据重新定位到三维空间。 摄像机的坐标系有别于传统的几何学，几何学是一门研究在一定的变换群 下的几何不变量的学科，通常我们所观察的世界是欧氏三维空间，它的描述形 式是欧氏几何，但在某些情况下，如摄像机成像，不能用欧氏几何描述，只能 用射影几何描述，射影几何是大多数计算机视觉的根基，如基于图像的三维重 构和摄像机自 标定都采用射影几何作为描述形式. 分层几何是指:射影几何， 仿射几何，度量几何，欧氏 几何，它们的关系是:射影几何c仿射几何c度 量c几何欧氏几何， 射影几何内容最少， 而欧氏 几何有丰富的内 容， 欧氏 几何 为仿射几何及射影几何的子几何，分层几何与变换群 ( 射影群、仿射群、相似 群和运动群)相联系，这些变换群最重要的属性是不变量或不变性，某个变换 群的不变量是对任何变换保持不变。单视成像几何研究摄像机成像机理. 现就 摄像机成像所用到的几个概念进行阐述。 3 . 1射影空间 3 . 1 . ， 齐次坐标 设 欧 氏 直 线 上 点p 的 笛 卡 尔 坐 标 为x 。 现 在引 入毛， 令xl/ 毛 x ， xz碑 0， 则 只 要 xl / 乓 不 变 ， x 也 不 变 ， 称( xl ， 气 ) 为 点p 的 齐 次 坐 标 ， 记 为 p 认， 乓 ) ， 称 为p 的 非 齐次 坐 标 当 毛 0 时 ， (xl， 0)(xl 0)规 定了 直 线 上 的 无穷 远 点 的齐次坐标。在欧氏 直线上引入无穷远点后称为拓广的欧氏直线，简称为拓广 直线。 第3 章 立体视觉基本理论 为欧氏平面上的每一条直线引入无穷远点，所有无穷远点的集合称为无穷 远直线。欧氏平面引入无穷远直线后称为拓广的欧氏平面，简称拓广平面。对 引入的无穷远点做出如下规定: (l ) 在每一条欧氏 直线上引 入唯一的一个无穷 远点: (z)在平 行的欧氏 直线上引 入相同的无穷 远点; (3 ) 不平行的欧氏 直线上引 入不同的无穷远点. 设10:cl，气 】 为欧氏平面上的仿射坐标系，对于有序三实数 (xl几， x 3 ) ， (o，0， 0)， 若满足下列条件， 则 称为 拓广平面上的 齐次坐标: (l)g 、 0 ， “ 伪 x:， 、 ，是 仿 射 坐 标 “ (长) 的 拓 广 平 面 上 通 常 点 的 ” 次坐标; (2)若x3 0 ， 则 规 定认， 气 ， 毛 ) 为 拓 广 平面 上 无穷 远 点 的 齐 次 坐 标; (3)若p ， 0 ， 则( pxl， px:， pxs) 与伪， 凡 ， 气 ) 表 示 拓 广 平面 上同 一 点 的 齐次 坐标。 依 此 类 推， n 维 欧氏 空 间 点p 的 齐 次 坐 标为 p 认， 气 ， ， 凡 丫 ，其中x ， : ， 。 ， 而且其无穷远点的定义与上类似。 3 . 1 . 2射影平面 在欧氏几何的基础上用增加无穷远元素的方法来建立射影平面。在平面内 对于任何一组平行直线引入唯一一点叫做无穷远点与之对应，此点在组中每一 直线上而不在组外的 任何直线上。平面内原有的点则叫做有穷远点。平面内所 有无穷远点的 ( 点 ) 集合是 一条直线，叫做无穷远直线. 平面内 原有的 直线叫 做 有穷远直线。 空间 里所有无穷 远点的 ( 点 ) 集合是一个平面，叫做无穷远平面。 空间里原有的 平面叫 做有穷远平面。 无穷远点、无穷远直线、 无穷远平面统称 为无穷远元素。 3 . 12 . 1点、线齐次坐标 射影平面点、线齐次坐标符号表示如下: a . 射 影 平 面 上 点 x对 应 的 齐 次 坐 标 为 【 xl ， 毛 ，凡 了 ， 其 中 x 一 xl / 毛， y . 毛/ 毛 当x ， 二 0 时 ， 表 示 无穷 远 点，x (x ， y ) 是 点 的 非 齐次 坐 标的 表 示 方 法: 第3 章 立体视觉基本理论 b . 射 影 平 面 上 线1 的 齐 次 坐 标 描 述 1 一 【 11， 人 ，la 了 ， 线 的 非 齐 次 方 程 为 1 ilx十 人 y + 几 0 ， 直 线 的 齐 次 方 程 为 几 . 0 无 穷 远 直 线 无 非 齐 次 坐 标 ， 线的 齐次 坐标位于线上的点: 1 气. 0 或x 丁 1 . 0 ; c. 两点 决定一 条线:1 . p x q ; d. 两线决定一点:x . l x m: e . 向量叉积的矩阵表示:假设v.(vx， 咋 ，vz) 了 是 一 个 是 一 个 三 维 向 量 ， 则 向 量叉 积可表示一 个矩阵的乘 积v x x . x ， 其中【 v : = 它是一个 v-v0 布ov 0气-vy 3 x 3 秩为2 的 反 对 称不 可 逆 矩 阵。 任 意 满 足【 v : x ; 0 的 向 量r 与v 只 差 一 个 常数因子，即r . kv ( k 为非零常数因子) 。 3 . 1 . 2 . 2平面射影 z d射影 几何研究的是关于射影平面护在所谓 射影映射的 变换群下 保持 不 变的 性 质 。 射 影 平 面ip z 可以 定 义 为 一 个 增 加了 理 想 点 ( 无 穷 远点 ) 集 和 一 条 理 想 线的仿射平面。每一个理想点对应于一个方向。 射影映 射是 把护的点 映 射到了的点的 一种可 逆映 射， 它 把直线映 射到 直 线。更准确地说，射影映射是 护 到它自 身的一种满足下列条件的 可逆映射 a: 三点x : ， x z 和勒， 共线当 且仅当a (x 小 a(xo ， a (x 办 也 共线。 射影映 射组 成一 个 群，因为射影映射的逆是射影映射，两个射影映射的复合也是射影映射。射影 映射也称为射影变换或单应(hom o gr a p h y) 。 上述射影映射的定义是用点线关联的几何概念来描述的，它与坐标无关。 射影映射的等价代数定义是: 平面射影变换是关于齐次三维矢量的一种线性变 换，并可用一个非奇异3 x 3 矩阵a表示为 p ! 几 . a! 凡 ( 3 。 1 ) 气凡毛 als气气 alz气与 nzi习 aaa 产lwe、 . 、lwe矛1 这个对应叫做非奇线性对应， a叫做它的方阵， 在计算机视觉中称a为单 应性矩阵。 此方程中的a矩阵乘以任意一个非零因子不会改变射影变换， 或者 说a是一个齐次矩阵。 在a的九个元素中有八个独立比率， 因此， 平面射影变 换有八个自由度。 第 3章 立体视觉基本理论 3 . 1 . 2 . 3三维射影空间 三维射影空间就是通常所称的射影空间。三维射影空间中的基本元素包括 点、线、 面。 三维空间的一点p 用齐次坐标表示为一个四维矢量x。 齐次矢量 x (xl， xz，称x4)了 ， 当 x4动时 表 示淤中 非 齐 次 坐 标 为 ( x ，y ， 2 )r 的 点 ， 其 中 x xl / 毛， y 毛/ 凡 ， 2 凡/ x; 当 凡 0 时 ， 齐 次 点 表 示 无 穷 远 点 . 三维空间中一张平面有三个自由 度。因此， 平面的 齐次表示是一个四维矢 量 x 一 认， 凡 ， 凡 ，人 ) r . 空 间 中 连 接 两 点 或 两 个 平 面 相 交 定 义 一 条 直 线 . 在 三 维 空间中， 直线 有四 个自 由 度. 护 上的 射影 变换由 非 奇异4 x 4 矩阵给出 ， a是 一个齐次矩阵， 乘以 任意一个非零因 子不会改 变射影变换。 在a的16个元素 中有 15个独立比率。因此，空间射影变换有15个自由度。 3 ， 2摄像机成像原理及几何模型 摄像机是三维空间物体与二维图像之间的一种映射。成像模型就是三维空 间物体到二维视平面的 投影关系。在本论文中进行实验所采用的针孔摄像机为 非量测c c d摄像机。追溯成像设备的发展史，按所具备的摄影测量功能分类， 摄像机可分为量测摄像机、网格摄像机、半量测摄像机和非量测摄像机。前三 类摄像机是为量测目 的 而设计制造的，非量测摄像机设计制造的初衷不是出于 量测的目 的，但随着科技的进步，非量测摄像机的 精度越来越高、镜头光学畸 变越来越小，逐渐能满足量测的需要。在此简单介绍一下针孔摄像机成像原理 和几何模型。 3 . 2 . 1摄像机成像原理 电 荷祸 合器件 ( c c d ) 摄像机于1 970 年推出， 它已 经在大部分现代 应用中 取代了摄像管摄像机，从消费者用的摄像机到适合显微镜或天文学应用的专门 摄像机， c c d传感器采用敷设在薄硅片上组成矩形网格的电荷收集晶格， 来记 录到达每个晶格的光能总量的某种度量，每个晶格是通过在硅片上生长一层二 氧化硅， 然后在二氧化硅上渗入导电门结构的方式组成的。 当光子击中 硅片时， 电 子一空穴 对就 产 生了 ( 光电 转 换) ， 而电 子则 被 加 载 有正电 压的门 所形 成的 势 能进行捕获，每个晶格将在一个固定时间间隔t内产生的电荷收集起来。 第3 章 立体视觉基本理论 此时，存储在每个晶格内的电荷使用电荷祸合方式往外传递， 通过控制门 电 势的方法， 每个晶体存储的电 荷成组地从一个晶格传输至另一个晶格，组与 组之间保持一定间隔。 图像从c c d按一次一行方式读出， 每行平行地往一个串 行输出寄存器传输，每次传一列的一个元素。在读出两行之间，寄存器将电 荷 逐个传递到一个输出放大器中，放大器随之产生一个与它所收到的电荷量成正 比的信号。这个过程直到整幅图都读出才结束。对视频应用场合，图像读出过 程 每 秒 重复30次， ( 电 视帧 率 ) ， 而 在 天 文学 等 地 亮度 应 用中 ， 这 个 过 程 较慢， 以 便留出 成 倍的 时间 ( 秒、 分甚至小时 ) 收集电 荷。 大部分c c d摄像 机的数字 输 出 在内部先转换成模拟电视信号，再送到图像帧采集卡中，才构成最后的数字 图像阎 。 3 . 2 . 2摄像机几何模型 理想的成像模型是光学中的小孔成像模型。 针孔成像模型见图3. 1 。 考虑空 间点到一张平面的中心投影，设投影中心c位于欧氏 坐标系原点，投影平面为 5 空 间 点x 以y， z) 在 投 影 平 面 上的 投 影是 点x( x ， 均. 火 不 芡 2 2) 图3. 1 针孔摄像机成像模型 为方便起见，设光轴方向为2 轴方向， 投影平面与光轴垂直， 并且其坐标 轴x ， y 分别平行于三维空间 坐标系的x轴和y轴. 将上述模型的坐标系取为正实像投影变换坐标系，即将投影平面5置于投 影中心之前距离原点f 处， 将投影中心置于欧氏坐标系的原点， 将摄像机主轴 指向2 轴方向， 构成摄像机坐标系压x y z中。 摄像机坐标系见图3. 2 。 在图中， f 是该成像系统的焦距， 即投影中心到投影平面的距离. 投影平面又称为图像平 第3 章 立体视觉基本理论 面，投影中心称为摄像机中心或光心。摄像机中心到图像平面的垂线称为摄像 机的主轴，主轴与图像平面的交点称为主点。 萄 代鱿 刀 图3. 2 摄像机坐标系 在中心投影坐标系中，用非齐次坐标表示的中心投影方程是: x 了 普 y 厂 晋 ( 3 . 2 ) 中心投影方程的齐次表示是: f ( 3 . 3 ) ，.lee.j xyzi r.ee