（控制理论与控制工程专业论文）基于vr的倒桩系统的监控技术研究.pdf

硕士论文 ab s tra c t t b e c o m b in 甜on ofv ir 比 al爬 川 i ty让 尤 hoof o gy and l ong 刁1 5 加 口 cecon tl l isone ofth e i m poita习 t res已 山 h山 欧 沈 t i ons inin 血5 匀 con tl o l fi eld now a d a y s ， m 俪幻 d n gs y s t eln b a s e don v i rt 比 幻代 目 l tytechnof o gy u ses th eon一 th e 一 spot血tatod 石 v ecus t o m er.d 曰 m u l at orm ede l ， n 级 h z i n g toc o n o . l toth e 。 衍 ect ofs c e n e . thiss y s t em win p r edu ceth e fi ctiti ous s p 即 ewithhi g 拍 yon一 th e- s pol 涨 泊 s etoin tr odu ee toth e p 代 活 ent 功 o n l t o n n g s y s l e m ， l t i s a n 绷 ki n d ofh u n . 盯 泊 m p u 吐 i n t 已 习 ct i on， c o 几 甲 a 在 月w ith th e m 丽t o n n g s y s 忱 n 巧w hi ch sho ws on一 山 e 一 s pot in fon 刀 曰 ti on on th e b as贻ofc 瓦 双 。 ， ， c 抽几 e t c . its i n t er fa c ei s们 。 o re i n ha行 叨i stic ; 胡dcom p ar ed with v i d eo m o 拍 t o ri n gs y s 比 m ， i ts 。 习 n s n 七 ssion dataa m o unt iss m al l ， 即dex户 戈 tsl es 冬 ofb and wid thofn etw o 比. 丁 七 e l ong 一 御ge c o n ti 1 让 兄 hnof o gy b as 司on v rh asl m p ro v edth e in t 曰 忿 ctjon env lro功 m e n t ， and h asv e r y goodth 印ryv al ueand p ro s 户 沈 t in dus 卿 c o n tr o l . t h i s p a p erh a s 脚di ed the relev呱 m 改 h 司s about i rnage p r oce s s in gandm o t o n ai object d e t ect in g ， i lr ip m v 司t h e 立 曰 t c h i n g arith m e ti c b as edonn o rr 班 山 左 山 ont e m p l ete， 阴d h asd 韶 i gned th e relevant e x 声 泊m e n t andth er e s u ltsho ws th a t th ep r ecl s i on addo m e 山司 盆 c 沈 ri s ti c h a v ei庄 甲 m v edr e m 田 久 a b l el 醉 丁 七 e p a 户 叮h asd env edth e m o d e l ofth e si n gle 。 刃 刀 e 口 ， 山 印utih zep ar a 】l axintw。 。 ” n 。 住 侣ofth e goai ， 阳d hav e d ra wn th e ki n d ofl 玲 t squ are m ethodtopos l d onsp a c e g o 川 5 ， th e datagot 廿 ir o u ghth e e x 详 价 m ent are 侧山 j n th e 。 “ 勺 r 口 g e . s tl 刀 引 tu 代the fi c ti ti ous c o n tr o 1 p lat fo n nb a 涨 刃on v r ， on th eb 翻s of 曲川 y sing 骊5 血g fi c tl 石 o uss c e n e 加 o d e l i n gandl n t e ra c ti on n 姆 th od， h a v e p rop o s ed th e 印m pon e n t m ode 】 迈 g th o u ght ofth e 剐 艾 泊 e and n l o ni m 团e l n t 曰 盆 c ti on 兹 le t h od ofthe 五 cti石 o u s 狱 笼 n e k e y ， o r d ; 巧 n u alr 山 ty in t 曰 书 c 6 on， mal te h te m p l ate， p o 幼 d ong o al ， c o 幻 仅 。 i p l a 目 b 幻 刀 声明 本学位论文是我在导师的指导下取得的研究成果， 尽我所知， 在本 学位论文中， 除了加以标注和致谢的部分外， 不包含其他人已经发表或 公布过的研究成果， 也不包含我为获得任何教育机构的学位或学历而使 用过的材料。 与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名: 夕 袱 再 夕 月 ， 旧 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档， 可以借阅或 上网公布本学位论文的部分或全部内容， 可以向有关部门或机构送交并 授权其保存、 借阅或上网公布本学位论文的部分或全部内容。 对于保密 论文，按保密的有关规定和程序处理。 研究生签名气 斗 文粼 夕 月 “ 日 硕士论文 墓子v 获的倒桩系统的监控技术研究 1绪论 1 ， 1 引言 近年来， 随着科学技术的发展， 尤其是计算机、 微电 子学的 迅猛发展， 使自 动控 制技术水平不断提高。自 动控制技术是当代发展极为迅速、 应用十分广泛、 最引人注 目 的高新技术之一， 也是推动技术革命和产业革命的核心技术。 随着现代控制理论的 发展，自 动控制技术已 从单变量控制到多变量控制， 从自 动调节到最优控制。 现在对 自 动控制的要求已 不仅是保持个别变量( 如温度、 转数、 电 压等) 的稳定， 而是要求实 现多个变量的最优控制。 随着微型计算机的出现并应用于控制系统， 为计算机控制带 来了根本性的变革。对于复杂的、分散的控制对象，由于它们往往是同时、并行的， 且独立地工作， 控制对象分布面又很广， 因此把它们联系起来实现监控是现代控制技 术中的一个重要发展方向。 随 着计算机软硬件技术及集成电 路技术的 迅速发展， 工业 监控系统己 成为计算机技术应用领域最具活力的一个分支，并取得了巨大进步。 工业计算机监控系统对于工业生产有着重要意义， 它直接影响着工业生产的效率 和产品的质量。 一个良 好的计算机监控系统， 不仅能使人们能及时了 解现场的运行状 态并对其进行控制，完成控制任务，而且要具有良 好的扩展性和适应性，易于维护。 1 . 2监控系统的 现状及 分析 劝模拟视频监视系统 这里使用“ 监视” 一词而不用“ 监控”， 是因为其没有什么控制能力。 模拟视频 监视系统己经得到了 广泛的应用， 其技术己经很成熟， 成为安全防范领域重要的技术 之一。 采用模拟方式传输， 最简单的是将图 像信号直接接入视频电 缆进行传输， 每一 . 监视点的视频信号都通过一条电缆线连接到中心控制室的多路切换器上， 手动切换的 方式选择监视点图像， 使之显示在监视器上， 而且每一次只能看到一点的图像。目前 虽然在监控系统应用领域仍有一定的市场， 但其自 身具有局限性， 如模拟信号不利传 输， 使得监控的区域范围 有限: 其记录的 信息量有限， 难以长期保存; 系统可靠性差， 可扩展性差，缺乏远程监控能力等。 2)数字视频监控系统 近年来， 随着计算机、网络以及图像处理技术的飞速发展， 视频监控制技术也有 了 很快的发展， 已从模拟视频监控系统过渡到数字视频监控系统。 这种系统是基于图 像处理的， 利用计算机的数据处理能力与显示器的高清晰度， 将视频信号通过视频采 集卡采集到计算机中， 然后进行图像压缩、处理、传输，在显示器进行显示上， 大大 提高了图 像的画质。 新的图像监控技术完全打破了 传统的结构， 依靠功能日 益强大的 绪论硕士论文 计算机， 不仅可以处理文本、 数据、图形等， 还可以 处理视频图像、 声音等信息， 成 为真正的多媒体监控终端， 视频监控以其直观、 方便、 信息内 容丰富而广泛应用于许 多场合。 再加上网络和通信技术的发展， 多媒体信息的共享， 与此同时对监控所涉及 的区域范围也不断地扩大， 从局域网到城域网再到广域网， 从一个城市到另一个城市， 从一个国家到另一个国家， 都能实现对现场的监控。 前端一体化、视频数字化、 监控 网络化、 系统集成化、 管理智能化是视频监控系统公认的发展方向， 视频监控系统画 面真实、 直观，但它无法实现一些机器智能、 机器判断与操作11 刀 。 3)基于组态软件的监控系统 组态软件监控系统主要利用文字、 图表、 二维图形的形式显示现场信息， 这种系 统具有数据驱动画面、 数据显示、 可用于故障诊断、 智能判断与决策等功能， 但其真 实感、现场感差。 1 . 3盛拟 现实的 基本 棍念、 特性 虚拟现实( v ir tu alr 已 公 i ty ，简称v r ) ，是 继多 媒体技术之后的新一 代人机交 互 接口 技术 3.m。 它作为 一门 综合了 计算机图形、 多 媒体 技术、 仿真技术 等多 种学科的 计算机领域的最新技术， 最初只应用沉浸式技术以提供真实体验的三维交互式可视 化环境。通常具有3 个基本特征: 沉浸感伍钊 m 曰 落 i on) :沉浸感是指用户作为主角存在于虚拟环境中的真实程度。 理想的虚拟环境应该达到使用户难以分辨真假的程度， 甚至超越真实，如比现实更 逼真的照明和音响效果等。 交互性 in 叙 洲 妞 比on) :交互性是指用户对虚拟环境内的物体的可操作程度和从环 境得到反馈的程度。 用户可以用手直接抓取虚拟环境中的物体， 这时手有触摸感， 并 可以感觉物体的重量，场景中被抓的物体也立刻随着手的移动而移动。 想象力如姐 乡 n ation) ; 想象力是指用户沉浸 在多 维信息空间中， 依靠自 己的 感知 和认知能力全方位地获取知识，发挥主观能动性，寻求解答，形成新的概念。 虚拟现实的发展大致经历了3 个阶段: 1)5 0 一 7 0 年代为虚拟现实的探索阶段 国外在五十年代就开始了 虚拟现实的探索，1956年美国的m o 川 :o n h e i】 e g 开发 s ena o 右 刃 刀 以 的摩托车仿真器，不仅具有三维视频及立体声效果，还能产生风吹的感 觉和街道气味。 1 9 68年， le.s u th e rl and 开发了第一个计算机图形驱动的头盔现实器 h m d(h 因-mount 曰 d i s p ln y ) ，为虚拟现实的发展奠定了 基础。 2)8 0 年代为虚拟现实的集成阶段 虚拟现实 技术由 实 验室 走向实际 应用， 其重要标志是19 85年在 m i ch aelm e g 叭 笼 v y 领导下完成了 view的虚拟现实系统， 装备了数据手套和头部跟踪器， 提供了手势、 硕士论文基于v r的侧桩系统的监控技术研究 语音等交互手段，使v i e w 成为了名副其实的虚拟现实系统，成为后来开发虚拟现实 的体系结构。 vpl 公司开发了用于生成虚拟现实的 应用软件朋2 ， 为虚拟现实提供了开 发工具。 3)90年代至今，是虚拟现实全面发展的阶段。 在硬件体系方面， d v 巧 ion 公司在s u 户 犷 vi滋 05 系统中 提出了 一种基本的并行模 型，开发了相关的并行处理器件和d v s 操作系统，使虚拟现实全面发展，并出现了大 量的相关应用软 件。 如 s ense 的 wq d d t oo l 屹t 、 w o ri d u p ， s gi的 o p enln v entor、 0 沐ll g l 、 p er fo rmer ， ant odes k 公司的 u ght s c 越 丫 ， muhi g en公司的 m u lti g e n c 心t or ， v e g a 以 及e o n 公司的e o n 等等。 虚拟现实在最初是指沉浸式的虚拟现实系统， 用户可以 完全沉浸在一个虚拟的， 完全由计算机生成的三维场景中。由于这样的系统造价高昂， 操作复杂，尚无法在普 通的工作环境中得到应用， 因此目 前虚拟现实的含义有所拓宽， 它可以是完全沉浸的， 也可以是利用立体眼睛来观看立体现实设备， 以 产生立体效果， 也可以是通过显示器 对三维物体进行浏览， 或通过显示器用鼠标控制在三维世界里进行漫游。 这样按照沉 浸程度分为沉浸式的、 半沉浸式的和桌面级的虚拟现实。 相应的硬件有基于沉浸式虚 拟现实系统的h m d ， b o 0 m(bi n 以 l l aro m 刀 1 . o ri e 幻 ta ti onm 咖仍 r ) ， c a v e ( c 滋 v e a u t o m a t i c v l rt u alenv 五 “ m ent ) 以及基于半沉浸虚拟现实系统的3d立体眼镜。按照参 与用户的数量不同分为单人的和分布式的虚拟现实系统， 分布式的虚拟现实系统是指 多个用户，他们可以利用不同的设备，通过网络沉浸于同一个虚拟环境当中。而由 app le 公司生产的 q u i ck t i m e vr可以 通过图 像缝合技术， 产生基于图片的“ 虚假” 三 维世界， 提供简单的漫游。 虚拟现实含义的拓宽有利于在更大的范围中普及和应用虚 拟现实技术。 各种虚拟现实系统的核心通常都是具有增强功能和行为表现的三维模型， 基本特 征包括分布式、 三维、 交互性、 多媒体集成和境界逼真性等 阎 。除计算机外，典型的 虚拟现实设备有如下几种: 1)立体眼镜，通过它能看到计算机所产生得立体感很强的三维图像. 2)数据手套，通过它可以用手势的控制把信息传递给虚拟环境。 3)位置跟踪器， 通过计算机可以 跟踪人的头和手在三维空间中的位置和方向。 4 ) 立体声装置，使虚拟环境产生立体音响效果。 5)图形/ 图像生成器，具有实时处理图形/ 图像功能的高性能 ( p u 和图形加速卡。 虚拟现实技术开辟了人机交互的新领域，己被广泛应用于航空、 航天、医疗、 商 业等领域，并显示了诱人的前景。同时， 虚拟现实技术也正逐渐渗入到工业领域， 如 虚拟现实在工业设计和冶金工业中的应用。 本文将其引入到监控领域， 采用动态三维 可视化的显示模式， 在保证监控实时性的同时， 丰富和发展了监控的交互手段， 有利 绪论硕士论文 于提高监控界面的真实感。 近几年，由于互联网的迅速发展， 使得虚拟现实技术也走向了网络。 v r m l 就是 一种通过world wideweb发布这种模型并允许用户使用带有插件的普通浏览器对三 维物体进行浏览的国际标准。 虽然它不具备沉浸感， 但是由 于其易于实现、 适合网 络 传输， 对建立基于web的三维可视化交互式应用提供了一种很好的解决方案， 而被广 泛应用于创建网络虚拟环境。 随着网络带宽和计算机硬件性能的不断提高， 作为web 3 d技术主流的v r 材l 正日益拓宽其应用领域。v r ml 定义了集成3 d 图形和多媒体的 交换标准， 利用v r m l 可以 在网上创建充满真实感的三维虚拟世界， 可以在其中漫游， 并可以通过网络共享这些虚拟世界。 1 . 4应拟现实技术应用于监控系统 在 “ 神州四号” 的 监控终端， 除了大量的数据、曲 线外， 最引 人注目 的是飞船实 时运行的虚拟场景。 这是一项把测量、图形、 监控等高新技术充分融合在一起的虚拟 现实技术。 近几年， 国内外针对v 侧 m l 在设各远程监控和故障诊断方面的应用开展了许多研 究，在基于v r ml 的设备远程监控诊断技术、 设备远程监控诊断中基于v r ml 的物理 建模方法等方面都有进展。 目 前在下述方面己经出现基于v r m l 的远程监控系统的应 用实例: 变电站监控网 ; 物流系统设备监控门 ; 水煤气生 产过程监 控阔 ; 逆变电 源设备远程监控igj : 石化企业风机机组智能 维护 110.川; 城市供热网智能 三维监控 1 刀 ; 机器人远程监痊13- 均 ; 为了进一步了 解关键设备现场的运行状态， 更好地进行远程监控、 诊断， 并指导 设备的使用和维修， 在生产现场和监控中心之间进行实时的设备运行状态图像传输正 逐步得到应用， 针对现行网络带宽不足的问题， 利用v r m l 制作仿真现场的三维图形， 并利用v r m l 的动画和交互功能虚拟出现场的工作流程和工作状态， 可以减少网上图 像数据的传输量，提高数据的 传输速度。 本文旨 在结合虚拟现实 技术设计一种基于v r 的 倒桩系统，本系统使用普通pc机 予以实现， 采用因特网上的三维标准v r m l 和网络编程语郁ava 构建。 v r m l 是一种 在网络环境下描述虚拟三维模型和提供交互操作的 跨平台的开放式和解释性的文本 语言，可以在低带宽网络环境中实时进行三维信息的远程传输和远程指令的接收. 硕士论文墓于v r的倒桩系统的监控技术研究 j a v a 则是功能强大的基于分布式编程的面对对象的编程语言，采用v r 州 l 和j a v a 建立 的监控系统， 能够对监控对象给以 逼真的三维显示， 相比二维监控系统更具有真实感， 与视频监控系统相比更有机器智能，对网络带宽要求不高。 1 。 5盛拟场景的 几种可行的 实现方 法 1) 使用q 阵 n gl实现 open g l 是为 三维绘图 提供的 标准应用编程接口， 是一个独立于硬件设备、窗口 系统和操作系统的图形与硬件的接口， 它在许多平台上得到支持， 开发者可利用它设 计出功能强大高效的交互图形 应用 程序。 op印 g l 处理的仅仅是 三维 绘图方面，而很 少或是根本不提供图 形用户界面编 程方面的 支持， 所以利用御切gl开发监控软件需 要自 己 完成建模、 窗口 界面设计、 交互程序开发、 模型对事件的响 应等. 由 于诉切g l 大 多 是 嵌 入 到 c 或 c + + 语 言 中 使 用 : 捍 序 设 计 灵 活 性 大 ， 与 网 络 接口 设 计 方 便 ， 开 发 出的软件与任务结合紧 密， 效率高. 但由 于。 p e d o l 涉及到三维 绘图的底层开发、建 模和交互等程序设计工作量大， 许多高级图形变换如: l o d( l 之 v e l ofd e tail ， 细节变 换层级) 等需要开发者自 行设计， 程序设计复杂，工程周期长，人力投入大，而且任 务一旦改变，软件修改困难，维护代价较大。 2)使用三维动画软件实现 通用三维动画软件实现一般的三维动画很方便， 但这种动画交互性差， 达不到监 控的要求。 但我们可预先设计好控制对象的各种动作， 如:转向、 平移等，利用通用 三维动画软件建模， 并事先生成控制对象各种角度、 姿态下的图片， 将图片根据一定 规则编号， 在实时显示时， 计算出控制对象状态对应的图片编号并调出显示， 或将控 制对象的动作制作成动画， 根据实测数据播放相应的动画， 这种方法控制对象动作简 单， 不需详细查看细节时可达到较好效果。 但基于方法本身的局限性， 对动作复杂的 控制对象实时显示效果不理想， 不能动态改变观察点及视角范围， 只能在计算机实时 处理能力和显示能力较差的情况下使用。 显然， 这种方法实现容易， 耗费少， 但效果 一般，逼真度较差。 3)使用高级图形软件包实现 s gi是目 前世界上最出色的三维图形产品提供商，它不仅提供各种档次的高性能 图 形 工 作站， 还开发了 后来 形 成 q 阵 l 的 gl( g 口 p h i c s li b ra 叮 ) 三维图 形 库以 及各 种 高 级图 形 软 件 包， 如 。 户 翔如. 吹， p er fo rmer 等。 其中 。 讲 n 加e n t o r 是 高级建 模工具 包， p el 云 兀 m er 是高级图形软件包， 专为开发大场景、 复杂交互、大型可视化仿真项目 使用。 p er fo n r le r 软件包提供了 大量高级图形函数和可视化界面程序， 其函数可嵌入c 或c 杆程序， 它可调用v r m l 文件里的模型，也可利用其他工具自 建模型。利用s gi 图形工作站上的 p er fo 仙er 可开发出高效、灵活的虚拟监控软件，可节省使用卿切g l 绪论硕士论文 开发时花费的大量底层处理时间， 而且它还提供对数据的优化， 使程序在繁重的任务 下仍然流畅运行。 4)使用v r m l 实现 虚拟现实建模语言v 侧 m l 是随着in t e m et 的普及发展起来的一种网上虚拟现实标 准，v k m l 定义了当今3 d 应用中的绝大多数常见概念，诸如变换层级、光源、视点、 几何、 动画、 雾、 材质属性和纹理映射等。 利用v r ml 建立的三维场景可利用带v r 加 几 浏览器插件的ie浏览器中浏览察看。 利用v 侧 m l 可建立包括控制对象及周围空间环境 的三维场景， 可将控制对象上关键部件定义为可独立操作对象， 建立面向不同观察需 求的观看点，如:全景、第一视角 随控制对象动作而变化的视角) 、关键部件近景、 固定视角等。 在观察浏览模式下， 控制人员可以抓取三维场景中的控制对象， 按下鼠 标左键拖动， 将控制对象绕其自身中心旋转， 或将其平移、 缩放等。 v r m l 支持三维 声音， 可定义不同的事件触发不同的声音提示， 由于v r ml 支持使用内建的脚本语言， 如: v r m l s cript ， j ava ， javascript 等， 所以 vrm l 程 序具有很强的交 互功能。 利用 j av a 语言编制脚本程序， 接受网络上的现场实时数据并用其控制场景内的三维物体， 我们 可实现虚拟场景与网络的通信， 利用真实的测量数据控制三维场景中的对象实体， 实 现虚拟场景中的控制对象与真实控制对象同步动作， 达到实时虚拟监控的目的。 由于 v r ml 支持交互， 我们甚至可在场景中增加对控制对象的控制功能， 利用点击工具可 直接操纵控制对象动作( 通过j ava 脚本程序将操作动作形成控制指令实现) 。 该方法由 于采用通用软件实现三维场景显示， 系统实现相对容易， 项目 周期短， 而且硬件配置 价格较低，整体性价比高。 比 较上述三种方法， 方法三实现虚拟监控可实现最好的效果， 方便、 灵活和高效， 缺点是需要专用的s g i 图形工作站，且实现代价比 方法四高:方法四的实现方便，实 现代价比 低。 应用虚拟现实技术， 在监控显示系统中实现虚拟监控， 可向监控人员提 供直观、生动、形象、实时的真实三维场景信息， 从而为监控提供判断、决策以及故 障分析所需的重要信息和直观依据。它的使用将大大改善监控系统的人机交互环境， 为监控任务的完成提供重要帮助， 使用虚拟现实建模语言v r m l 、 脚本语言结合浏览 器是实现一般监控的虚拟场景的可行途径。 1 . 6本文的 主要工作 本文在分析比较当前监控系统的特点后， 将虚拟技术和监控技术相结合， 对基于 v r 的倒桩系统进行了整体设计，并针对该系统涉及的关键技术进行了 研究。具体地 说，本文的主要工作如下: 第一，分析当前的监控系统各自 的特点，结合虚拟现实技术和传统的监控技术， 对基于v r 的倒桩系统进行了整体设计，确定了虚拟场景的建模方案。 硕士论文基于v r的倒桩系统的监控技术研究 第二， 介绍了v r m l 的文件结构， 研究了造型节点和编组节点技术， 对虚拟场景 的交互技术进入了深入的研究， 探讨了 v r m l 的两种交互机制一 一 刁 s ai和e ai，并对 两者进行了分析比较，提出了多模式的交互方法。 第三， 着重研究了运动目 标检测技术， 首先完成视频图像的捕获， 然后对图像进 行预处理， 对基于归一化的模板匹配算法进行了改进， 并利用此方法进行目 标跟踪检 测，获取目 标对象中心点位置，最后给出了实验结果。 第四， 分析了摄像机的模型， 确定空间坐标系中物体点同它在图像平面上象点之 间的对应关系， 研究了基于双摄像机的目 标定位技术， 利用目 标在两个摄像机中的视 差， 得出了一种基于最小二乘解实现的空间目 标定位的方法， 完成了从二维图像提取 空间三维中目标的坐标并给出了验证结果。 第五， 重点构建了 虚拟监控平台， 通过分析常用的建模方法， 提出了 构件化的建 模方法，然后分析了模型的 优化， 最后利用 洲a 实现了 v r m l 虚拟场景的多模式交互 控制。 基于v r的倒桩系统的设计硕士论文 2基于vr 的侧桩系统的设计 本文研究的基于v r的倒桩系统，是一种在三维虚拟环境中对真实实验场地上 的小车进行监控的系统。 在此系统中，真实小车的运动情况不仅仅能以传统的文字 方式得到显示，而且能以三维场景的方式得到展现， 对虚拟小车的操作也可以通过 网络在真实小车上得到实现。 简言之， 这种系统通过网 络将虚拟场景和真实的现场 联系起来成为一个整体。 2 . 1系统棍述 本虚拟汽车倒桩系统以l o n wo 比 5 总线的一个智能节点模块作为控制核心，完 成小汽车倒库的整个过程， 同时和上位机即服务器的控制软件之间实现命令和数据 的实时传递。 服务器上的应用程序利用动态数据交换技术和l o n网络交换数据和命 令，通过 n e u r o n芯片对电动小汽车发出前进、后退、左转、右转等控制命令，使 其准确完成倒库过程。小车的运动状态如速度、方向、位置等信息由 相应的传感器 测量后经现场总线传送给服务器， 在服务器上利用虚拟现实建模语言 v r m l创建 三维虚拟实验场景， 实验人员根据三维虚拟场景中的虚拟小汽车的位置来实现对真 实小汽车倒库的准确操作。倒桩实验场地参照实际车辆与车库的比例来设计大小， 并按照驾驶员桩考的要求设置有撞线检测、报警等功能。 普通遥控小车速度都只有低速、高速两种，对小车速度的控制也仅仅是由一个 开关量来完成， 无法实现按照需要进行速度的线性调整操作。小车方向的控制也是 由一个开关量完成的，只能完成左转、右转功能，转向角度固定，不能达到转向角 度可调的要求。实验小车由市场上的遥控电动小汽车作相应的改造，以达到速度和 转向角度能够缓慢调节的要求。 以上底层控制网络和检测电路的设计及小车功能改造由牛军同学完成， 本文主 要完成监控平台的研究与设计，主要包括以下几个部分: 1 ) 图像采集和存储 通过设置敏感度，当 监控范围内的场景发生一定的变化后， 摄像机按照一定的 速率采集序列图像并存储到计算机中。 2)图像处理及目 标检测 应用图像处理技术对采集到的序列图像进行灰度变换、 平滑、锐化等处理后， 利用模板相关匹配法进行目 标跟踪检测。 3)目 标定位 利用目 标在两个摄像机中形成的视差获取目 标在三维空间中的深度信息， 借助 单摄像机模型完成目 标在空间三维坐标的确定。 硕士论文墓于v r的倒桩系统的监控技术研究 4)监控功能 利用以 上获得的监控对象的位置参数信息驱动虚拟监视平台中的虚拟对象， 并 通过人机交互界面对实际控制对象发送控制命令达到控制的目的。 2.2系统实现 一个监控系统无论多么复杂，基本组成部分是不变的，如图2 . 1 所示，图中给 出了一个监控系统的典型结构图。整个监控系统包括3 个部分，即本地监控、远程 监控和监控设备。监控设备是整个系统的数据来源， 摄像机是必不可少的，可能还 包括其他一些检测设备，如各种类型的报警检测设备。 !: 一 一 - . - 一 主 缨 堕 牵 膺沐 书 溉 远 攫 苹攀 ， 习 . . . . .月 . l ! l i 卫 i l l l . . l 网络或无线 传愉介质少 图2 . 1监控系统基本结构图 本地监控通常设置在监控现场附近， 对从现场传回来的视频信号通过计算机进 行显示，对需要记录的视频图像，可以记录存入硬盘。 随着技术的发展，远程监控应用越来越广泛。远程监控计算机通过以太网、 劲 “ 知以或其他的无线网络与本地计算机连接， 从而实现远程对监控现场的监视与控 制，这一部分发展潜力还很大。 本系统由c mo s 摄像头对小车进行视频图像采集， 从二维的图 像提取空间三维 中的小车坐标信息， 然后利用此坐标信息驱动虚拟场景中的小车， 对虚拟小车进行 控制。 操作者根据虚拟小车的位置信息， 可以 对实际小车发出控制命令，该系统底 荃于v r的倒桩系统的设计硕士论文 层 由l 习 n 认 10 比5 现场总线对小车进行控制， 1 o n 研 陌 d “控制网络通过专用网络接口卡 与上位机连接，利用l n sd d es 。 ， er负责上位机监 控平台和底层智能 节点之间数 据 的实时传输。本系统结构框图如图2 . 2所示。 图2 卜 2系统结构框图 由于采用的是 c / 5模式结构， 需要在客户端安装 v 侧 m l 、 j ava 等相关插件和软 件。图中服务器是远程客户端与现场对象之间数据传输的上位机监控服务器，同时 也是虚拟对象实时动态仿真的服务器。用户通过虚拟监控平台对现场小车对象进行 控制， 因此仿真模型 逼真度和界面的友好程度直接影响 用户对操作的 真实感。 系统 的关键技术如下。 1)图像处理与 目 标检测 视频图像采集在实时图像处理中占 有重要地位， 只有实现目 标 场景图像的视频 捕获及其数据存储， 才能对之进行相应的分析与处理。 图像处理与目 标检测是对由 摄像机设备获得的包含 目标及场景的动态图像序列进行各种必要的分析与处理，从 而获得目 标的 位置等运动状态信息。由 于该系统的目 的是 通过动态图 像序列来确定 视频图像中特定目 标的 坐标位置信息，为实现目 标的 运动控制做好准备，以下是获 取 目 标位置的流程 图，如图 2 . 3 所示。 2) 目 标定位 摄像机是监控系统的前端设备，是监控系统的数据来源。由于系统需要从摄像 机采集的二维图 像中 恢复目 标在空间 三维中的 位置信息， 则建立摄像机成像几何模 型并确定 该模型的参数是必要的步 骤。 摄像机的 模型主要分为线性模型和非线性模 型， 根据实际的需要选择其模型的类型及带有畸变的 非线性模型的 阶数。当从二维 图像恢复 特定目 标的三维信息时， 由 于单摄像机模型只能确定目 标在空间的 某条直 线上，在此利用了双摄像机的目标定位技术，首先通过目标在两个摄像机中形成的 视差求得目 标在场景中的深度信息， 然后利用单摄像 机模型求解剩下的两维信息。 由于测量和计算过程中存在误差， 使得线性方程组无解，本文是求解方程组的最小 硕士论文墓千vr的倒桩系统的监控技术研究 h 丁 m 山页面 国 j_ _ 1， 四 it 进翌 竺 乙 j l一 移! 1 ! 广丁 竺 r 尸 尸 、i j 神 八 卯以 1 ! 旋转1 1 髦 竺塑创一 丈 石 二 奋) v下 . 洲l 比拟环埂 国 团忍旬刃t 交互界面 ” ， ”. ! ， 平移 旋转 控韦 模 块 月 朗a 肖 p p 厄 ， ! 月-一月 1 伪 图澎 甲黑漪些一 乘 磷 巩将得到 较合理的 灰度图 像。 实验和 理论推导证明， 当叽二 0. 3 0 ，礼= 0. 5 9 ，凡= 0. 11时，即当 r = g= 刀 二 vgn 乃 ， = r x 0 3 9 + g x 0 5 0 + b x o . 1 1( 4 . 4 ) 时得到的灰度图像最合理。 毛3 . 2圈像平措 图像常被随机信号 ( 也称为噪声) 所污染， 一些常见的噪声有椒盐噪声、 脉冲噪 声、 高斯噪声等。 椒盐噪声含有随机出现的黑白 亮度值， 而脉冲噪声则只含有随机的 白强度值 ( 正脉冲噪声) 或黑强度值 ( 负脉冲噪声)，与前两者不同， 高斯噪声含有 亮度服从高斯或正态分布的噪声， 高斯噪声是许多传感器噪声的很好模型。 图像平滑 主要目 的是减少噪声， 平滑的方法视其噪声图 像本身的特性而定， 可以在空间域也可 以在频率域采用不同的措施。 在空间域里一类方法是噪声去除， 即先判断某点是否为 噪声点， 若是， 重新赋值， 若不是， 按原值输出。另一类是平均，即不进行噪声点的 识别和 去除， 而对整 个图 像进行平均运算124)。 在频率域里是对图 像频谱进行修正， 一 般采用低通滤波方法， 而不像在空间域里直接对图像像素灰度级值进行运算， 在本文 只讨论在空间域的平滑方法。 生3 . 2.1均值注彼 最简单的线性滤波器是局部均值滤波， 即每一个像素值用其局部领域内 所有值的 均值置换，如下式 h(i ，” = 裔 瓜 f( i，j) (4. 5 ) 其中， 材 是 邻域n 内 像素点总数。 例如， 在像素点(i，j)处取3 x 3 邻域， 得 图像预处理与目标检侧硕士论文 然后 对 差分 图 像帐l ， ( x， y)和 久 ， ; ( x， y)取 逻 辑与 运算， 得 到 对 称 差 分图 像 峨( x ， y ) ，其计算公式为: 互 一 ，.* ( x ， y ) 门 bk 滋 +l ( x ， y ) = 1 热 _ : : ( x， 夕 ) 门 久 ， + 1 ( x， 夕 ) = 0 ( 4 . 1 2 ) 1.、t 一一 y x 峨 4.生2背景差分法 背景差分法是采用图像序列中的当前帧和背景参考模型的差值运算来检测运动 目 标的， 它可以 看作是一种特殊的 帧差法， 即将相邻的 前一帧 用 背景模型替 换【2 刀 。 背 景差分法的具体介绍如下: 设t 时刻背景模型 参 考图 像为九 (t)，当 前帧图 像为关 (t)， 则 背景差分图像为: f ( x， 少 ， t ) = 】关 ( x ， 夕 ， t ) 一 几 ( x ， 夕 ， t ) ( 4 . 1 3 ) 设分割闽 值为t ， 则二值化差分图 像心(x ， y)计算公式如 下: 心 一 ， = f (x， y ， t) t 口 认e rei j 己 ( 4 . 1 4 ) 这是一个最基本的背景差分法， 描述了背景差分方法的基本思想。 背景差分法比 较适合环境变化较小的情况， 但是由于实际环境的复杂性和运动的多样性， 在实际应 用时需要的算法比这复杂的多， 其中背景更新是背景差分法的关键。 当目 标与背景图 像之间有小部分颜色和灰度相似或受噪音千扰时， 背景差分图像中往往会含有许多孤 立点、 孤立小区域、小间隙和孔洞。为了完整的提取运动目 标需要将孤立点、小区域 去除，必须将小间隙连接，将小孔洞填充。 生玄3模板相关匹配算法 为了在图 像中检测出己 知形状的目 标物，使用这个目 标物的形状模板与图像匹 配， 在约定的某种准则下检测出目 标物图像， 称为模板匹配法。 模板相关匹配算法分 为基于边缘特征的匹配算法和基于区域特征的匹配算法， 本节研究基于区域特征的跟 踪检测方法 模板相关匹 配算法 四。 该算法为检测目 标建 立 模板， 根 据模板和序列 图像之间的相关性对目 标及其位置进行检测定位。 由于模板中 包含目 标的区域、 灰度、 纹理特征等信息， 因此克服了 基于边缘特征跟踪检测算法目 标特征单一的缺点， 所以 其跟踪性能、 抗干扰性能要好于基于边缘特征的目 标跟踪。 下面我们介绍模板相关匹 配算法的基本原理和基本方法。 生魂3 . 1羞本原理 模板相关匹配算法的基本原理如图4 . 7 所示。 设目标模板了 为一个材x m的参考图 硕士论文 墓于v r的倒桩系统的监控技术研究 像，搜索图5 为一个n x n 图像。2 在5 上平移，模板覆盖的部分叫做子图 5 划，(u，v) 为子图 左上角点在5 中的坐标，叫参考点。比 较了 和5 划 的内 容，若两者一致， 或极其 相似，则点(u， v)则为所寻找的最佳匹配点， 摆t 泞鹅 ， 图 4 . 7模板相关算法原理图 在该算法的实现过程中， 最重要的两个步骤是模板的选取和作为 相似性测度评价 标准的相关函数的选择。 前者主要关系到运算量的大小， 即算法的实时性; 后者影响 跟踪检测的准确性和算法的适应性。 毛生3 . 2基于归一化互相关的模板匹配算法 归一化互相关的 模板相关跟踪算法12 9 加 通过建立归一化的 相关函 数来 进行相似 度计算。 首先，以子图和目 标模板的各像素误差平方和作为它们相似度的 度量。 。 (“ ，v) = 全 全 5 (， )一 : (， ) ( 4 . 1 5 ) 了 城 二 1 展开上式可得: 。 (“ ， ) = 觉 觉 5 (， )了 -过 觉 5 一 (， ， x t “ ， ， + 封 “2 怡i j 留 】 艺 艺 it (1 ， j) ( 4 1 6 ) 上式右边的第三项表示模板的总能量， 是一个常数: 第一项是模板覆盖下的子图 能量，随(u， v)位置而缓慢改变: 第二项是子图和模板的互相关能量，随(u， v)而改 变， 当 模板和子图匹配完全相同时该值最大。 因此可以 用以下相关函 数做相似性测度: 全 全 5 (， ) x t “ ， ， r(u ， v) = 一 产 一 纂 裂 ( 4 . 1 7 ) 全 觉 5 “ ， ， 2 1 材 衬2 艺 艺 【t (i ， 川 司 j 二 、 贻i j 二1 根据柯西一施瓦兹不等式可知上式中0 4 时 ) 旋 转 矩阵 双 和平移分量tx 、 写 。 乐2.2.2r a c 两步法标定的计 算过程 第一步: 1)拍摄一幅含有若千共面特征点的标定的图形。然后确定刃 个特征点的图像坐 标，图 像坐标为匈 ， 为) ， 份1 ， n 。并设这些点相应的世界坐标为( 肠，踢) 。 根据式( 5 . 约，计算 卜= (uz 一 % 冲 l 儿 = (vi一 vo) 办 ( 5 . 2 0 ) 2)利用式( 5 . 1 9)对每个点 只可列出一个方程，联立这 w( n 5)个方程，得到一 个方程组。再利用最小二乘法求解这个超定方程组，可得到如下变量: 弓 = / r， ， 性 = 几 / 兀 ， 式 = 兀 j 兀， 找 = r4 / 兀 ， = / 兀 。 3)利 用 r 的 正 交性 计 算不 和 一 ， 略 去 详细的 数学 推导， 得到: 对= s r 一 阿一 州心 一 riri)， r 2( “一 几 ) ， ( 5 . 2 1 ) 其中 5 ， = 价十 犷+ 犷+ 犷 求 得 引 后 ， 需 要 确 定 它 的 符 号 由 成 像 几 何 关 系 可 知 ， xd 铁应 有 相 同 的 符 号 ， 为 与 yc 也 应有 相同 的 符号， 可以 利用这一 关 系来 确定 界 的符号， 即 在 求得 兀 后， 任选 一特征点 尸 云 ， 首先假设兀 为正， 计算 = 兀， 几 = 代 ， 兀 习夕 弓 ， x 。 二 气 x ， + 几 yw 十 rx ， 耳 = x ， + yw + 兀 若此时 翔 与 凡， yd 与yc 同 号， 则兀 符号 就为正， 否则 兀 应为负。 利 用正交性和右手 硕士论文基于v r的例桩系统的监控技术研究 定则，可计算况 . 几性rs r= ( 1 一 气 2 一 几 2 ) u z 5 ( 1 一 2 一 ， ) ，2 几 ( 5 . 2 2 ) 式中5 = 一 s gn【 nr4+ 几 r， 扮 、 、 可由 矩阵 中 的 前 两 行 的 叉 积 得 到。 r 的 另 一 解为 性几 r= 气 1 一 ， 一 几 2 ) “ 2 一 5 (l 一 2 一 2 ) “ 2 一 枯 ( 5 . 2 3 ) 具体选择取哪一个丑 ，可由 试探法确定，即任选一个，向下计算，若以此掀 值第 二步计算出的f 0 ， 就是选取正确。以 上已 经解出 旋转矩 阵 盈 和平移矩阵t 中的 兀 和兀， 下面计算有效焦距f 与tz 分量和透镜畸变系数k 。 第二步:对每个特征点八 计算: 丁 珍 = 氏+ 式+ 毛 l 凡= 乓 x 、 + 与+ 双 ( 5 . 2 4 ) 设wl= x ， + 珠， 若不 计透镜畸变， 则有 之= 玉 f 几 考虑zc，= wl + 兀 ， 则 式(5 . 2 5)可 展开为 ( 5 . 2 5 ) 珠f 一 y 双= 洲 ( 5 . 2 6 ) 而y = (v 一 vo ) 办， 则有 、 ， ， f l，、， i l d 气v 一、) 口 少 1 ， 1 =、 v 一vo夕 玛。 y l l : ( 5 . 2 7 ) 假设k 习，解此超定方程份1 ， 2， 分量，然后再利用这些值作初始试探 ， n)可分别求出有效焦距f 和平移矢量t 的兀 利用优化算法求解下列非线性方程组 少 ( 1 + 妙 2 ) = f r x 叫 + 咋 x 丽+ 十 兀 + 兀 盛rsl式 =f二 理 半 牛 华士 孕 凡 入“十几 与 +1 : ( 5 . 2 8 ) x( l + krz ) 墓于双摄像机的目 标定位技术硕士论文 可求解出f 、 兀 、k 的 精确值。 这种方法简