（控制科学与工程专业论文）多传感器时空一致及其信息融合技术研究.pdfVIP

国防科学技术大学研究生院硕十学f 7 ：论文 摘要 论文以陆地自主车( a u t o n o m o u sl a n dv e h i c l e ，a l v ) 为背景，利用研究室已有 的自主越野车辆平台，对多传感器信息融合技术中时空一致问题进行了深入的研 究，在此基础上实现了激光雷达和立体视觉信息的融合障碍检测。 多传感器时空一致是将各个不同来源的数据变换到同个时空基准的过程， 包括时间同步和空间对准两方面内容。时间同步是把各个传感器的时间统一到参 考标准时间上；空间对准则要建立从各个传感器不同坐标系到一个统一的基准坐 标系的变换关系( a l v 传感器的空间对准必须通过各个传感器间的空间标定来完 成) 。 本文的主要研究工作包括： ( 1 ) 在基于局域网的时间同步方法的基础上，提出了一种用于多传感器系统 时间同步的改进算法，该算法通过多台客户端与服务器的数据交换来实现网络中 各台计算机的时间同步。仿真实验表明该算法可以在网络延时变化的情况下达到 毫秒级以下的时问同步精度。 ( 2 ) 提出了两种传感器空间标定算法。利用单线激光雷达几何扫描模型，设 计了一种激光雷达外标定算法；提出并设计了一种平面模板标定算法，完成了激 光雷达和图像的直接标定。实车实验验证了两种算法的有效性。 ( 3 ) 研究了激光雷达和立体视觉摄像机的信息融合问题，实现了一种基于 d s 证据理论的融合障碍检测算法。实车平台的静止实验和运动实验表明该融合算 法可以正确的融合激光雷达和立体视觉的信息，获得可靠的环境描述。 理论 主题词：多传感器信息融合时空一致时间同步空间标定d s 证据 第i 页 国防科学技术大学研究生院硕十学位论文 a b s t r a c t b a s e do na u t o n o m o u sl a n dv e h i c l e ( a l v ) ，t h i st h e s i si n v e s t i g a t e st h ep r o b l e mo f m u l t i - s e n s o r st i m e s p a c ec o n s i s t e n c y f u s i o no fl i d a ra n ds t e r e ov i s i o ni n f o r m a t i o ni s a p p l i e dt od e t e c to b s t a c l e s m u l t i - s e n s o r s t i m e s p a c ec o n s i s t e n c y i st ot r a n s f o r md i f f e r e n ts o u r c e so f i n f o r m a t i o nt ot h es a m et i m e s p a c ef r a m e w o r k ，w h i c hi n c l u d e st w oa s p e c t s ：o n ei st h e t i m es y n c h r o n i s ma n dt h eo t h e ri st h es p a c ea l i g n m e n t t i m es y n c h r o n i s mi st ou n i f y e a c hs e n s o r st i m ei nt h er e f e r e n c es t a n d a r dt i m e ；s p a c ea l i g n m e n te s t a b l i s h e st h e r e l a t i o n s h i po ft h et r a n s f c i r m a t i o nf r o md i f f e r e n ts e n s o rc o o r d i n a t es y s t e m st o t h e r e f e r e n c ec o o r d i n a t es y s t e m ( a l vs e n s o r ss p a c ea l i g n m e n ti sb a s e do nt h ea c c u r a t e s e n s o rc a l i b r a t i o n ) t h em a i nw o r k so ft h et h e s i sa r ea sf o l l o w s ： ( 1 ) a ni m p r o v e dt i m es y n c h r o n i s ma l g o r i t h mi sp r o p o s e db a s e do nl o c a la r e a n e t w o r ki nm u l t i - s e n s o rs y s t e m t h ea l g o r i t h mc a ns y n c h r o n i z ee a c hc o m p u t e r st i m e t h r o u g ht h ed a t ae x c h a n g eb e t w e e ns e r v e ra n dc l i e n t s i m u l a t i o nr e s u l t ss h o wt h a to u r a l g o r i t h mc a nm e e tt h et i m es y n c h r o n i z a t i o na c c u r a c yn e e d ( lm s ) w h e nn e t w o r kd e l a y v a r y s ( 2 ) t w os e n s o rc a l i b r a t i o na l g o r i t h m s a r ep r o p o s e d o n ei s s i n g l e l i n e l i d a r e x t e r i o rc a l i b r a t i o na l g o r i t h mb a s e do nt h el i d a rg e o m e t r i c a lm o d e l ；t h eo t h e ri st h el i d a r a n di m a g ed i r e c tc a l i b r a t i o nu s i n gt h eb o a r dd e s i g n e db yt h ea u t h o r r e a lv e h i c l e e x p e r i m e n t sv e r i f yt h ev a l i d i t yo f b o t ha l g o r i t h m s ( 3 ) t h ef u s i o np r o b l e mo ft h el i d a ra n ds t e r e ov i s i o ni n f o r m a t i o ni ss t u d i e du s i n g t h ed - se v i d e n c et h e o r yt od e t e c to b s t a c l e s b o t hs t a t i ca n dk i n e t i cr e a lv e h i c l e e x p e r i m e n t si n d i c a t et h a tt h ea l g o r i t h mc a nf u s el i d a ra n ds t e r e ov i s i o ni n f o r m a t i o n s u c c e s s f u l l ya n do b t a i nr e l i a b l ee n v i r o n m e n td e s c r i p t i o n k e yw o r d s ：m u l t i - s e n s o ri n f o r m a t i o nf u s i o n t i m e - s p a c ec o n s i s t e n c y t i m es y n c h r o n i z a t i o n s p a c ec a l i b r a t i o n d se v i d e n c et h e o r y 第i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表1 1 国外a l v 主要成果1 表2 1 符号定义1 4 表3 1 箱子之间的距离误差3 0 表3 2 各方向的绝对误差3 l 第1 i i 页 国防科学技术大学研究生院硕+ 学位论文 图目录 图l - 1s t a n l e y 3 图1 2s a n d g o r m 3 图l - 3h 1 9 h l a n d e r 3 图1 4b o s s 3 图2 1n t p 数据传输示意图1 0 图2 - 2 数据报文传递示意图1 l 图2 3 实验流程示意图15 图2 - 4 服务器算法流程图1 6 图2 5 客户端算法流程图1 6 图2 - 6 客户端2 每秒钟同步误差变化情况l7 图2 7 客户端2 的网络延时和变化情况17 图2 8 客户端1 每秒钟同步误差变化情况18 图2 - 9 客户端1 的网络延时和变化情况1 8 图3 1 激光雷达直角坐标系和车体坐标系示意图2 l 图3 2 激光雷达直角坐标系和车体坐标系的空间关系2 2 图3 3 激光雷达原始数据中的混合像素现象2 5 图3 - 4q 点的两个解与x 轴夹角变化趋势图2 6 图3 5 标定场景图2 8 图3 - 6 激光雷达原始数据2 8 图3 7 车体坐标系下激光雷达数据2 8 图3 8 车体坐标系下优化后的激光雷达数据。2 9 图3 - 9 标定后的激光雷达数据2 9 图3 1 0 激光雷达数据局部放大图3 0 图3 1 l 测试实验场景3 0 图3 1 2 线性摄像机模型3 2 图3 1 3 设计的标定板和局部放大图。3 4 图3 1 4 标定板数学模型3 4 图3 15 遗传算法流程图3 8 图3 1 6 激光雷达和摄像机安装关系4 0 图3 1 7 激光雷达直角坐标系下直线拟合结果4 0 图3 18 遗传算法得到的可行解集4 l 图3 1 9 聚类后的结果4 l 第1 v 页 国防科学技术大学研究生院硕十学位论文 图3 2 0 车辆静态实验4 2 图3 2 l 车辆动态实验4 2 图4 1 信任区间和不确定性4 5 图4 - 2 激光雷达和立体视觉决策级融合框图4 7 图4 - 3 滚动角插值结果4 9 图4 - 4 惯导坐标系到本地导航坐标系的变换5 0 图4 5 立体视觉数据处理一5 4 图4 6 激光雷达数据预处理5 4 图4 _ 7 障碍信任度融合结果5 5 图4 8 融合的原始高度数据5 6 图4 - 9 静态障碍检测结果5 6 图4 - 10 障碍信任度融合结果5 7 图4 - 11 融合的原始高度数据一5 7 图4 - 1 2 动态障碍检测结果5 7 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：垒篮盛墨盟空二敦丞基焦皇塾佥披盛盟窒 i 1 学位论文作者签名： 翌趔 日期： 刀年肛月多日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：矽例 作者指导教师签名： 1 9 期：0 8 年肛月多廿 日期： 司年胡；日 国防科学技术大学研究生院硕十学位论文 第一章绪论 信息融合技术是2 0 世纪7 0 年代兴起的一门学科，它是信息处理的一个重要 的领域。近年来，伴随着计算机技术、传感器技术和自动控制技术的高速发展， 多传感器信息融合技术已经广泛的应用于许多领域。 陆地自主车( a u t o n o m o u sl a n dv e h i c l e ，a l v ) 是能够在道路和野外环境进行连 续、实时自主运动的移动机器人。a l v 的研究涉及了多个学科，多传感器信息融 合也是其中之一。由于对多传感器的信息进行融合，可以降低系统的误差和不确 定性，提高环境的感知能力，多传感器信息融合已成为a l v 研究的热点之一【i 】。 q 1 1多传感器信息融合技术在a l v 中的历史发展和现状 1 1 1 多传感器信息融合技术在a l v 中的历史发展 近几十年里，许多国家都在研究多传感器信息融合技术在a l v 中的应用，尤 其以美国等西方国家的研究发展较快，其主要的成果如表1 1 种所示。 表1 - 1 国外a l v 主要成果 名称国家时间传感器运行环境融合方法 彩色摄像机、声纳、立体视觉等 n a v l a b - 1 美国 1 9 8 6 结构化道路 【2 】 激光雷达 激光雷达、触觉、未知室外环 r a n g e r 美国 1 9 9 4 模糊逻辑 超声波境 彩色摄像机、g p s 、 n a v u 扭一5 美国 1 9 9 6 结构化道路k a l m a n 滤波 惯导 两个摄像机、 a r g 0 e 3 1 意大利 1 9 9 8 结构化道路立体视觉 里程计 摄像机、红外、超已知或未知 模糊逻辑和 a n f m 4 1 瑞典 2 0 0 1 声波、g p s 、惯导 自然环境神经网络 1 1 2 最新的进展 美国d a r p a 在2 0 0 2 年宣布要进行d a r p a 大挑战( g r a n dc h a l l e n g e ) 比赛， 比赛目标是参赛a l v 在1 0 小时之内独自行驶一段2 5 0 英里的路程。在2 0 0 4 年举 行了第一次d a r p a 大挑战，一共有1 5 支队伍参加了比赛，获胜者奖金1 0 0 万美 元。为了减小比赛的难度，比赛的距离缩减为1 4 2 英里，不幸的是没有一支队伍 完成比赛。行驶最远的a l v 是c m u 大学红队的“s a n d s t o r m ，它行驶了7 4 英 里。s c i a u t o n i c s 2 队的a v i d o r 获得第二名行驶了6 7 英里。 第1 页 国防科学技术大学研究生院硕十学位论文 第二届d a r p a 大挑战在2 0 0 5 年举行，大赛总奖金提高到2 0 0 万美元，共有 2 3 辆a l v 参加，赛程为总长1 3 2 英里的崎岖山路和沙漠路段。比赛路线设计横跨 美国内华达州境内的莫哈维沙漠地区，比赛主办方赛前已向各参赛队提供了由 g p s 定位数据确定的精确比赛路线图。按照赛程规定，参赛车辆必须要在保持平 均时速1 5 2 0 英里的情况下，在1 0 小时规定时间内完成全部路程。比赛中参赛车 辆将在沙漠的旷野和各种崎岖的山路中跋涉行驶，而在经过途中一个干涸的河床 时，还将设置人造障碍物阻挡，以增大比赛难度。同时，赛程中有一段长达1 3 英 里的山路，参赛车辆经过其间时，将受到特殊地形和隧道的阻碍，无法接收g p s 卫星定位信号。对于各支参赛队的a l v 来说，克服掉这些困难无疑将是完成比赛 的关键。最终有总共五辆车跑完全程，美国斯坦福大学利用大众s u v 改装的 “s t a n l e y 获得冠军，成绩是6 小时5 3 分。c m u 的“s a n d s t o r m 以7 小时4 分 屈居亚军。c m u 的“h i g h l a n d e r 以7 小时1 4 分名列第三。第四是g r a y 保险公 司的“k a t - 5 ，成绩是7 小时3 0 分。俄亥俄州立大学的“t e r r a m a x 以1 2 小时 5 1 分完成比赛。 下面简要介绍一下前三名的基本情况。第一名“s t a n l e y 如图1 1 所示，它使 用了5 个激光雷达、1 个2 4 g h z 的长距离雷达系统和1 个单目视觉系统来感知周 围环境。激光测距仪最远只能看到前方3 0 3 5 米的距离，在车辆高速行驶时就需要 使用长距离雷达来扫描更大的范围。长距离雷达系统由1 个发射器和两个3 英寸 见方的接收器组成，使斯坦利的视野范围扩大到了2 0 0 米。“s t a n l e y 可以根据 g p s 、6 自由度惯性测量装置和车轮速度来评估车辆的姿态，g p s 的定位能精确到 1 0 厘米以内【5 1 。第二名和第三名的a l v 上也安装了多种传感器来感知周围的环境， 图1 2 和图1 3 分别是“s a n d s t o r m 和“h 1 9 h l a n d e r 。这两辆a l v 上都安装了 摄像机，激光雷达和导航雷达等环境传感器1 6 】。为了获得准确可靠的周围环境信息， 这三辆a l v 中都使用了多传感器对环境进行感知，并使用了信息融合技术对各个 传感器获得数据进行融合得到周围环境的地图。 在2 0 0 7 年1 1 月，d a r p a 进行了第三届大挑战比赛城市大挑战。这次 a l v 的运行环境是在一个简化的城市环境行驶，要求参赛各队在六小时内行驶6 0 英里的路程。根据比赛的规则a l v 需要在遵守交通规则的同时识别其它行驶的车 辆和障碍物。与前两届比赛相比，这次比赛对a l v 的要求更高，需要更完善的软 件根据周围的环境来进行智能的决策。经过预赛、半决赛和决赛，最终有六辆a l v 完成了所有比赛，其中获得第一的是c m u 的“b o s s ，如图1 4 所示。获得第二 名的是斯坦福大学的“j u n i o r 。 从图1 4 中可以看到“b o s s 上安装了多种环境传感器，比如激光雷达，导航 雷达等。为了得到可靠的环境信息，“b o s s 上也使用了多传感器的信息融合方 第2 页 国防科学技术人学研究生院硕士学位论文 预报。 图1 - 1s t i m l e y固l 之s a n d s t o r m 图i - 3 h i 曲l a n d e r 图1 _ 4 b o s s 从三届d a r p a 的比赛中不但看到了当今世界最先进的a l v 技术，而且看出 了多传感器信息融合技术在a l v 研究中的重要地位。虽然各个参赛队使用的a l v 各不相同，但是为了保证a l v 平稳的运行，他们都选择安装多种传感器来对环境 和自身状态进行感知。可见在a l v 的研发过程中，多传感器信息融合技术发挥着 极其重要的作用。 1 2 多传感器信息融合技术 1 21 多传感器信息融合的基本原理和特点 信息融合并不是新出现的技术，它广泛存在与自然界中，是人类或其他生物 系统中普遍存在的一种基本功能。人类通过应用身体的各个传感器( 眼、耳、鼻、 四肢) 和先验知识来理解周围环境和正在发生的事件，这本身就是一种多传感器 信息融合。从本质上来说，多传感器信息融合就是一种对数据的综合和推理，它 实际上只是- - i 3 技术，是传统学科和新技术的集成和应用，体现了多学科的交叉、 第3 页 国防科学技术大学研究生院硕十学位论文 综合和延拓。 多传感器信息融合的基本原理或出发点就是充分利用多个传感器的资源，把 多个传感器获得的在空间或时间上的冗余或互补信息依据某种准则组合起来，以 获得被测对象的一致性解释或描述，使该信息系统获得更优越的性能【引。 与单传感器系统相比，多传感器系统主要具有如下优点： ( 1 ) 由于多传感器获得的信息之间有一定的冗余，当有某些传感器受到干扰 或出现故障时，根据未受干扰的传感器获得的信息系统依然可以继续运行，增强 系统的生存能力； ( 2 ) 多个传感器的作用区域是可以相互交叠覆盖的，可以扩展系统空间覆盖 的范围； ( 3 ) 当某个传感器在某时不能利用或被干扰，其它传感器还可以继续检测、 测量目标，这样提高了系统的时间监视范围，扩展了时问覆盖范围； ( 4 ) 利用多种传感器对同一目标或事件加以确认，这样有可能提高系统的可 信度，减小目标的不确定性； ( 5 ) 使用不同的传感器来测量，增加了获取环境信息的手段，因而增加测量 空间的维数。 由于多个传感器的使用，也会给信息融合系统给来一些不利的因素。比如系 统的复杂性会大大增加，设备的尺寸、重量、功耗等也会增加，信息融合过程中 可能会引入新的误差等。 1 - 2 2 多传感器信息融合的层次 根据信息融合系统中数据抽象的层次，通常可以把信息融合划分为三个级别： 数据级、特征级和决策级融合【9 】。 l 、数据级融合 数据级融合是最低层次的信息融合，在完成时空一致的基础上直接对传感器 的观测数据进行融合处理，然后基于融合的传感器数据进行特征提取和判断决策。 这种融合处理方法的主要优点是：只有较少数据量损失，并能提供其他融合层次 所不能提供的细微信息。它的局限性包括【l o 】：( 1 ) 所要处理的传感器数据量大， 故处理代价高，处理时间长，实时性差；( 2 ) 数据级融合是在信息的最低层进行 的，传感器信息的不确定性、不完全性和不稳定性要求在融合时有较高的纠错处 理能力；( 3 ) 它要求传感器是同类的，即提供对同一观测对象的同属性观测数据； ( 4 ) 数据通信量大，抗干扰能力差。 2 、特征级融合 特征级融合属于中层次的融合，先从每一个传感器观测的数据中抽象出各自 第4 页 国防科学技术大学研究生院硕士学位论文 的特征向量，在完成时空一致后把特征向量送到融合中心，融合中心完成的是特 征向量的融合处理。其优点在于实现了可观的数据压缩，降低对通信带宽的要求， 有利于实时的处理，但是由于损失了一部分有用的信息，使得融合正确性有所降 低。 3 、决策级融合 决策级融合是一种高层次的融合，先基于每个传感器各自获得的数据进行本 地处理，得到各自对观测目标的初步决策，然后通过时空一致使得各个决策之间 建立联系，最后在融合中心对这些决策进行融合处理，输出一个联合决策结果。 这种融合方法数据损失量最大，数据预处理的代价高，但是其具有通信量小、抗 干扰能力强、具有一定的容错性、对传感器依赖小、不要求同质传感器、融合中 心处理代价低等优点。 1 2 - 3 多传感器信息融合的主要方法 信息融合的方法是多传感器信息融合技术的重要组成部分，由于应用背景的 复杂性和多样性，决定了信息融合的方法极其丰富，涉及的基础理论较多。下面 就介绍几种基本的信息融合方法： l 、加权平均法 加权平均法是最简单最直观的多传感器底层数据融合方法，该方法将由一组 传感器提供的冗余信息进行加权平均，并将加权平均值作为信息融合值。该方法 可以处理动态的原始数据但是调整和设定权值系数的工作量很大，并具有一定的 主观性【l 】。h i l a r e 是首次用多传感器信息融合技术移动机器人，它通过使用加权 平均法融合了触觉、听觉、二维视觉和激光测距传感器的信息，得到了对环境的 感知信息和物体的定位信息【l 。 2 、b a y e s 估计 b a y e s 估计是融合静态环境中多传感器信息的一种常用的方法。首先将多传感 器提供的各种不确定信息用概率表示，将相互独立的决策看作一个样本空间的划 分，使用贝叶斯条件概率公式对它们进行处理，最后以某种规则给出系统的决策。 该方法有几点不足：( 1 ) 需要给出各传感器对目标类别的先验概率。即需要先经 过大量的实验得到先验概率，这在实际的应用中很难做到。( 2 ) 要求各可能的决 策相互排斥。( 3 ) 当可能的决策和传感器的数目增多时，融合计算变得很复杂， 融合的实时性会受影响。所以此方法在实际应用中具有很大的局限性，但是在一 定场合下仍不失为一种行之有效的方法【1 2 1 。在文献【1 3 】中l u o 和l i n 使用b a y e s 估 计对同类传感器的冗余数据进行融合来获得周围环境的信息。 3 、d e m p s t e r - s h a f e r 证据理论 第5 页 国防科学技术大学研究生院硕十学位论文 d e m p s t e r - s h a f e r 证据理论( 简称d s 证据理论) 是d e m p s t e r 在19 6 7 年研究 统计问题时首先提出来的【1 4 1 ，后来由s h a f e r 进一步发展起来成为一种不确定性推 理理论【1 5 】。d s 证据理论是b a y e s 方法的推广，但是比b a y e s 方法具有更多的优点。 ( 1 ) b a y e s 方法需要知道先验概率，而d s 证据理论可以在不知道先验概率的情 况下进行不确定性推理。( 2 ) d s 证据理论可以区分“不知道 和“不确定 ， b a y e s 方法做不到。正因为这种优越性，有不少的学者利用d s 证据理论进行多传 感器信息融合。文献【1 6 1 7 】中应用d s 证据理论融合了c c d 摄像机获取的2 d 彩色 图像和激光雷达获得的3 d 距离图像，从而提高了a l v 对环境理解的能力，提高 了障碍物检测的可靠性和精度。文献1 1 8 j 中把摄像机、激光雷达、微波雷达和超声 传感器获得的信息使用d s 证据理论进行融合，得到了一张2 d 栅格地图来分类描 述周围的环境。文献【1 9 1 应用d s 证据理论融合两个2 d 激光雷达的数据进行障碍 检测。 4 、k a l m a n 滤波 k a l m a n 滤波用于实时融合动态的低层次冗余多传感器数据，该方法用测量模 型的统计特性递推决定在统计意义下的最优融合估计。如果系统具有线性动力学 模型且系统噪声和传感器噪声是高斯白噪声模型，k a l m a n 滤波可以为融合数据提 供唯一的统计意义下的无偏最优估计。k a l m a n 滤波计算速度较快，所需存储空间 不多，因而在多传感器信息融合领域中应用很成功。随着电子计算机的迅速发展 和广泛应用，k a l m a n 滤波理论被广泛应用于各种领域，如惯性导航、制导系统、 全球定位系统等。k a l m a n 滤波在控制领域得到广泛应用以后也逐渐成为多传感器 信息融合系统的主要技术手段之一，且在信息融合中是进行位置估计的有效方法。 文献【2 0 l 提出一种方法，该方法是通过一种改进的k a l m a n 滤波器把c c d 视觉图像 与惯性传感器的信息进行融合。 5 、神经网络 在多传感器系统中，各信息源所提供的环境信息都具有一定程度上的不确定 性，对这些不确定性信息的融合过程实质上是一个不确定性推理过程。神经网络 可根据当前系统所接受的样本的相似性，确定分类标准。这种分类标准主要体现 在网络的权值分布上，通过特定的学习算法来训练网络的联接权值，最后把得到 的网络用于实际的信息融合中。神经网络具有很强的容错性以及自学习、自组织 和自适应能力，能够模拟复杂的非线性映射【2 1 1 。上面的这些特性恰好满足多传感 器信息融合技术的要求，国内外都有不少学者在从事这方面的研究。文献【1 2 】中利 用d s 证据理论和神经网络相结合，在时间域对多传感器的多次测量进行融合， 有效地提高了工件识别的正确率。文献【捌介绍了分别使用小脑模型联结控制器 ( c m a c ) 和一个三层前向神经网络对来自c c d 摄像机的二维图像和来自超声测 第6 页 国防科学技术大学研究生院硕+ 学位论文 距系统的距离信息进行数据融合。 6 、粗糙集理论 粗糙集理论( r o u g hs e t st h e o r y ) 是由p a w l a kz 与2 0 世纪8 0 年代初提出的一 种新的处理模糊性和不确定性的数学工具【l o l 。较之其他的不确定性方法优点在于 它不需要预先给定某些特征或属性的数量描述，也不需要先验的模型假定。它仅 仅使用数据本身的内部知识，通过不可分辨关系和不可分辨类确定问题的近似域， 自动获取该问题的内在规律。粗糙集的这些特点使其在多传感器信息融合中得到 了一定的应用1 2 3 】。 1 2 4 多传感器信息融合要解决的几个关键问题 l 、时空一致 在多传感器信息融合系统中，每个传感器提供的观测数据都是在各自的参考 框架之内。在对这些信息进行融合之前，必须首先将他们变换到同一个参考框架 中去【l o l ，这样的过程称为多传感器的时空一致。时空一致包含时间同步和空间对 准两个方面的内容。 ， 从上面介绍的多传感器信息融合基本层次结构中我们可以看出，无论是数据 级的融合、特征级的融合还是决策级的融合，其中都涉及到多传感器时空一致问 题，可以说时空一致是多传感器信息融合中不可回避的重要问题。 2 、传感器观测数据的不完整性、不一致性 由于传感器工作环境的不确定性和传感器本身的系统误差等原因，导致观测 数据中包含噪声成分。在多传感器信息融合系统中，对传感器接收到的数据有时 会存在多种解释，称之为数据的不完整性；在多传感器数据往往也会对观测的环 境做出不一致甚至矛盾的解释。信息融合系统需要能够对这些不完整、不一致的 数据进行有效的处理，保证融合的结果能够更真实的反映客观环蝌1 0 l 。 3 、信息融合算法的选择 由于信息融合未形成基本的理论框架，融合研究皆是针对特定的应用领域的 特定问题开展的。如何根据问题的特点，结合已有的融合算法确立合理的融合方 案和融合模型，是有效地进行信息融合的基本问题。 1 3 1 论文的主要内容 1 3 本文研究工作 第一章介绍了多传感器信息融合技术和其在a l v 中的发展历史和现状，介绍 了论文的主要研究工作和成果。 第7 页 国防科学技术大学研究生院硕十学位论文 第二章首先介绍了时间同步在多传感器信息融合系统中的重要作用，确定了 a l v 中多传感器时间同步的基本思路；介绍了n t p 协议的基本原理，在基于局域 网的时间同步方法的基础上，提出了一种用于多传感器系统时间同步的改进算法。 该算法通过多台客户端与服务器之间的特殊的数据交换来实现网络时间的同步。 从仿真实验的结果看该算法不但在网络空闲的情况下可以获得很好的时间同步精 度，而且在网络延时变化的情况下时间同步精度也达到了毫秒级以下。 第三章主要对多传感器信息融合中的传感器空间标定算法进行了研究。研究 的内容主要包括两个方面：第一，提出了一种基于单线激光雷达几何扫描模型的 激光雷达外标定算法，并通过实验进一步验证了算法的有效性；第二，设计了一 种特殊的平面标定模板，提出了一种基于该标定模板的激光雷达和图像的直接标 定算法。经实验验证，该算法可以成功的建立起激光雷达直角坐标系和图像坐标 系的转换关系，准确地将激光雷达数据点投影到图像坐标系的对应点上。 第四章首先对比激光雷达和立体视觉摄像机两种传感器各自的优缺点，确定 了融合两种传感器信息的基本思路，选择了d s 证据理论在决策级对两种传感器 的信息进行融合障碍检测。静止和运动实验验证了本章提出的信息融合算法的有 效性。 第五章对论文工作进行了总结，对今后进一步的研究工作进行了展望。 1 3 2 论文的主要成果 本文主要研究了多传感器的时空一致和信息融合方面的内容，取得了下面几 个研究成果： ( 1 ) 在基于局域网的时间同步方法的基础上，提出了一种用于多传感器系统 时间同步的改进算法，该算法通过多台客户端与服务器的数据交换来实现网络中 各台计算机的时间同步。仿真实验表明该算法不但在网络空闲的情况下可以获得 很好的时间同步精度，而且可以在网络延时变化的情况下达到毫秒级以下的时间 同步精度。 ( 2 ) 提出了两种传感器空间标定算法。第一，提出了一种基于单线激光雷达 几何扫描模型的激光雷达外标定算法；第二，设计了一种特殊的平面标定模板， 通过该标定模板作为中介，完成了激光雷达和图像的直接标定。实车实验验证了 两种算法的有效性。 ( 3 ) 研究了激光雷达和立体视觉摄像机的信息融合问题，实现了一种基于 d s 证据理论的融合障碍检测方法。实车平台的静止实验和运动实验验证了该融合 算法可以正确的融合激光雷达和立体视觉的信息，得到更准确的障碍物分布情况。 第8 页 国防科学技术大学研究生院硕十学位论文 第二章多传感器信息融合中时间同步方法的研究 2 1 引言 多传感器时间同步是时空一致问题的一个重要方面。时间同步就是把各个传 感器的时间统一到参考的标准时间上。如果各个传感器的时间不能同步，那么后 续的信息融合根本无法准确地进行，可以说时间同步是多传感器信息融合的必备 条件之一。如果各个传感器的时间同步精度不高，不仅会影响数据关联的准确性 而且会对最终的决策产生很大的影响。为了最大限度地发挥多传感器融合系统中 多传感器的优越性，就必须认真地研究多传感器时间同步的方法。 对于一个多传感器信息融合系统来说，各个传感器的数据接收和处理是不可 能由一台计算机来处理的，为了进行数据的传输需要用网络把多台计算机连接起 来，所以一般来说一个融合系统中会存在着网络数据传递的问题，这样多传感器 的时间同步问题就转化为网络时间同步问题。 根据融合系统的规模，一般来说融合系统使用的网络可以分为广域网和局域 网两种。虽然广域网和局域网没有一个正式的定义，但是可以认为横跨广阔地理 范围的网络称为广域网，而在较小地理范围使用的网络称为局域网1 2 4 j 。 a l v 的环境感知系统中包含了各种各样的传感器，比如激光雷达、毫米波雷 达、摄像机等等，它们的数据采集和处理是由各自的计算机来独立完成的。各个 计算机之间通过一个交换机来连接，组成一个小的局域网。为了实现各个计算机 之间的时间同步，就需要一种能在局域网中进行时间同步的方法。汪文俊等人在 文献1 2 5 】中提出了基于u d p 的局域网时钟同步协议，该协议通过服务器与客户端的 数据交换来进行时间同步，可以获得了较高的时间同步精度。但是该协议假设在 数据交换过程中网络延时不变，在实际的系统中不同时刻网络流量的变化会改变 网络数据传输的延时，在网络延时变化较大的情况下，该算法的同步精度会变差。 在a l v 的行驶过程中，由于各个传感器的数据采集速度各不相同，造成网络 的流量不稳定，网络数据传输的延时也随之改变。为了更好的进行各个传感器的 时间同步，本章在基于局域网的时间同步方法的基础上，提出了一种用于多传感 器系统时间同步的改进算法( i m p r o v e dl o c a ln e t w o r kt i m es y n c h r o n i z a t i o n a l g o r i t h m ，简称为i l n t s 算法) 。该算法的特点是某客户端广播通知网络上其它 计算机时间同步开始，这样就减小了后面数据交换中网络延时变化对时间同步精 度的影响，提高了算法的精度和稳定性。从仿真的结果看，该算法不但在网络比 较空闲的情况下可以获得很好的时间同步精度，而且在网络延时变化的情况下也 有较好的时间同步精度。 第9 页 国防科学技术大学研究生院硕+ 学位论文 2 2 1n t p 协议的介绍 2 2i l n t s 算法 目前在i n t e m e t 中广泛使用的时间同步协议是n t p 协议( n e t w o r kt i m e p r o t o c 0 1 ) ，该协议发表于1 9 9 2 年，是由美国德拉瓦大学的d a v i dl m i l l s 教授提 出的【2 6 】。它可以估算数据包在网络上的往返延迟，还可独立地估算计算机时钟的 偏差，从而在广域网上实现计算机时钟的精确同步。时间服务器是利用n t p 的一 种服务器，它提供了一个标准的时间源，通过它可以使网络中的计算机维持时间 同步【2 7 , 2 8 】。在大多数的地方，n t p 可以提供1 - 5 0 m s 的可信赖性的同步时间源【2 6 1 。 从网络传输的角度来看，影响n t p 协议精度的主要原因在于由网络延迟的随 机性引起的时间同步误差。由于网络延迟的不确定性，所以无法依靠从时间服务 器到客户端的单边传输来传递精确的时间信息。为了解决这个问题，在n t p 协议 中使用时间服务器和客户端之间的双向信息的方法来解决，具体的原理如图2 1 所示【2 7 1 。 ， 客户靖 ， h、 q是 时f 司服务器 图2 - 1n t p 数据传输示意图 从图2 1 中可以发现n t p 进行时间同步是客户端提出请求，服务器接收到请 求后向客户端发送应答报文，报文内容为s 、最。图2 1 中c l 、c 2 分别为客户端 发出报文和接收报文的时刻，s 、墨是服务器接收到报文的时刻和发出报文的时 刻。这样当客户端接收到服务器发送的报文后，假设两次报文传递的网络延时相 同，可以得到： 1 f = i i t ( ( s + s 2 ) 一( c ；+ c 2 ) ) ( 2 - 1 ) 二 2 d = ( c 2 一c 1 ) 一( 是一s ) ( 2 - 2 ) 其中d 是网络延时，为服务器时间与客户端时间偏差。 n t p 协议通过多台计算机间的协议通信解决网络时间同步问题，受到这种思 路的启发，本章提出了一种用于多传感器系统时间同步的改进算法来解决局域网 第l o 页 国防科学技术大学研究生院硕七学位论文 中的时间同步问题，该算法通过客户端与服务器之l 、日j 特殊的数据交换朱实现网络 时间的同步。 2 2 2i l n t s 算法原理 假设在局域网中存在个时间服务器和若干个客户端，其中时间服务器是根 据需要指定的，它的主要作用是提供一个时间同步的基准时间，客户端既是时间 同步的发起者也是时间同步的受益者。当某客户端充当时间同步的发起者时，其 本身并不参与本次与时间服务器的时间同步。当另一个客户端充当时间同步的发 起者时，上一次未参加时间同步的客户端就可以与时间服务器进行时间同步了， 通过上面这样的方式网络中所有客户端都可以完成与时间服务器的时间同步。下 面以三台计算机为例具体介绍本算法的原理。 s t e p1 ：由客户端l 向服务器和客户端2 发送u d p 广播，服务器和客户端2 分别记录接收到该报文的时间，然后服务器把这个时间再传递给客户端2 。数据的 传递过程如图2 2 所示。 互 客户端l 图2 - 2 数据报文传递示慈图 图2 2 中z 时刻客户端1 向服务器和客户端2 发送广播，服务器和客户端2 记 录接收到广播的时间分别为乃和互，然后服务器把乃传递给客户端2 ，客户端接收 到服务器的时间后可以计算出客户端2 与服务器接收到广播的时间差。假设在发 送广播时客户端l 到服务器的网络延时等于客户端1 到客户端2 的网络延时，则 乃一互就是服务器时钟与客户端2 时钟的时间偏差，这样就完成了客户端2 与服务 器的时间同步。当然这样进行时间同步存在着一定的误差，具体的分析见后面2 3 节。 s t e p2 ：由客户端2 向服务器和客户端l 发送u d p 广播，服务器和客户端1 分别记录接收到该报文的时间，然后服务器把这个时间再传递给客户端l 。具体的 过程与第一步相似。 第l 1 页 国防科学技术大学研究生院硕十学位论文 通过上面两步的交替进行就把客户端l 和客户端2 的时间分别与时i 、日j 服务器 的时间进行了同步。当客户端的数量增加时，第一步是仍然成立的，因为发送的 数据报文是采用u d p 广播来实现的，所以其它的客户端也可以收到，这样还是只 有发送u d p 广播的客户端不能进行时间同步，再执行第二步则全部的客户端就完 成了与时间服务器的一次时间同步。 2 2