（光学工程专业论文）三维目标离面旋转识别研究.pdf

三维目标离面旋转识别研究 摘要 三维目标识别研究在生产和科学研究中发挥着重要作用，成为工程技术领域 的重要研究课题和研究热点，本文的研究工作围绕三维目标离面旋转和复杂背景 下的识别问题展开，具体内容如下： 针对三维目标在离面旋转以及非线性光照条件下的识别问题，采集了1 8 0 幅不同旋转角度的图像作为训练集，利用主分量分析法选取了2 0 个特征向量， 显著降低了特征空间的维数。利用这些特征向量对图像进行分解和重构，在保持 较高计算精度的前提下减少了计算的复杂性。提出了利用原始图像向量与重构图 像向量夹角余弦值来判别目标真假的方法。计算结果表明，该方法能有效识别不 同旋转角度的目标，同时能够消除非线性光照对目标识别的影响。 基于识别目标真假和空间位置的需要，将1 8 0 幅训练图像分成了四个训练 集，分别计算每个训练集的特征向量，分析结果表明每个训练集可以用三个特征 向量来表示，这样用十二个特征向量就可以建立目标的四个特征空间，使目标分 解与重构过程大大简化。利用待识别目标向量与重构向量之间的关系，不仅可以 判别目标的真假，还可以确定目标所在的空间位置。计算结果表明，目标多特征 空间的建立方法和目标识别准则是有效的，能够实现离面旋转条件下三维目标真 假和空间位置的识别。 研究了复杂背景下的三维目标识别问题，运用模板匹配方法有效降低了背景 对目标识别的影响，实现了复杂背景下三维目标的识别。 关键词：三维目标识别，特征向量，主分量分析，多特征空间，复杂背景 三维目标离面旋转识别研究 a b s t r c a t t h er e s e a r c ho f t h r e e - d i m e n s i o n a lo b j e c tr e c o g n i t i o np l a y sa ni m p o r t a n tr o l ei n i n d u s t r i a lp r o d u c t i o na n d h a sb e c o m et h es i g n i f i c a n tr e s e a r c hp r o b l e mi ne n g i n e e r i n g a r e a i nt h i sp a p e r , w ef o c u so nt h ep r o b l e mo ft h r e e d i m e n s i o n a lo b j e c tr e c o g n i t i o n 。 u n d e ro u t - o f - p l a n er o t a t i o na n dc o m p l e xb a c k g r o u n d t h e o r e t i c a lr e s e a r c ha n de x p e r i m e n th a v e b e e nc a r r i e do u ta st h ef o l l o w s ： i no r d e rt or e c o g n i z et h e3 do b j e c tu n d e ro u t o f - p l a n e r o t a t i o na n dn o n l i n e a r i l l u m i n a t i o n ，18 0w i t hd i f f e r e n tr o t a t i o na n g l ew e r et a k e na st h es e to ft r a i n i n gi m a g e s b yu s i n gp r i n c i p a lc o m p o n e n ta n a l y s i sm e t h o d ，t w e n t yf e a t u r ev e c t o r sw e r es e l e c t e d a n dt h ed i m e n s i o nn u m b e ro ff e a t u r e s p a c ei sg r e a t l y r e d u c e d t h ei m a g e d e c o m p o s i t i o na n dr e c o n s t r u c t i o nw e r ep r o c e s s e db a s e do nt h e s ef e a t u r ev e c t o r s ，a n d t h ec o m p l e x i t yo fc a l c u l a t i o nw a sd e c r e a s e dw h i l ek e e p i n gh i g h e rc a l c u l a t i o n a c c u r a c y t h eo b j e c tr e c o g n i t i o nr u l eb a s e do nt h ec o s i n ev a l u eb e t w e e no r i g i n a l i m a g ev e c t o ra n dr e c o n s t r u c t e di m a g ev e c t o ri sp r o p o s e d c o m p u t e rs i m u l a t i o n r e s u l t ss h o w , t h em e t h o dc a nn o to n l ye f f e c t i v e l yr e c o g n t r et h eo b j e c tw i t hd i f f e r e n t r o t a t i o na n g l e ，b u ta l s oe l i m i n a t et h ei n f l u e n c eo fn o n l i n e a ri l l u m i n a t i o n i no r d e rt or e c o 嘶z et h eo b j e c ta n dd e t e r m i n ei t ss p a t i a lp o s i t i o n , 18 0t r a i n e d i m a g e sa r ed i v i d e di n t of o u ri m a g es e t s ，a n dt h ef e a t u r ev e c t o r so fe a c hi m a g es e ta r e c a l c u l a t e d i ti ss h o w nt h a te a c hi m a g es e ti sr e p r e s e n t e dw i t ht h r e ef e a t u r ev e c t o r s ， a n dt h u st h et o t a lf o u rf e a t u r es p a c e sa r ec o n s t r u c t e dw i mo n l yt w e l v ef e a t u r ev e c t o r s a sar e s u l t , t h eo b j e c td e c o m p o s i t i o na n do b j e c tr e c o n s t r u c t i o na r ee a s i l ya c h i e v e d b a s e do nt h er e l a t i o nb e t w e e no b je c tv e c t o ra n di t sr e c o n s t r u c t e dv e c t o r , w ec a nn o t o n l yd e t e r m i n ew h e t h e rt h eo b j e c ti st r u eo rf a l s e ，b u ta l s ol o c a t ei t sp o s i t i o ni ns p a c e c o m p u t a t i o n a ls i m u l a t i o nr e s u l t ss h o wt h a tm e t h o do fc o n s t r u c t i n gm u l t i p l ef e a t u r e s p a c e sa n dt h eo b j e c tr e c o g n i t i o nr u l ea r ee f f e c t i v e ，t h eg o a lo fr e c o g n i z i n gt h eo b j e c t a n dd e t e r m i n i n gi t ss p a t i a lp o s i t i o nu n d e ro u t - o f - p l a n er o t a t i o ni sa c h i e v e d i no r d e rt or e c o g l l i z ct h e3 do b j e c tu n d e rc o m p l e xb a c k g r o u n d ，w eu s e d e f o r m a b l et e m p l a t e st od e c r e a s et h ee f f e c t so fc o m p l e xb a c k g r o u n d t h eg o a lo f n 三维目标离面旋转识别研究 r e c o g n i z i n gt h eo b j e c tu n d e rc o m p l e xb a c k g r o u n di sa c h i e v e d k e y w o r d s ：t h r e e - d i m e n s i o n a lo b j e c tr e c o g n i t i o n ，p r i n c i p a lc o m p o n e n ta n a l y s i s ， f e a t u r ev e c t o r ，m u l t i p l ef e a t u r es p a c e s ，c o m p l e xb a c k g r o u n d i ! 学位论文独创性声明 本人郑重声明： l 、坚持以“求实、创新 的科学精神从事研究工作。 2 、本论文是我个人在导师指导下进行的研究工作和取得的研究 成果。 3 、本论文中除引文外，所有实验、数据和有关材料均是真实的。 4 、本论文中除引文和致谢的内容外，不包含其他人或其它机构 已经发表或撰写过的研究成果。 5 、其他同志对本研究所做的贡献均已在论文中作了声明并表示 了谢意。 学位论文使用授权声明 本人完全了解南京师范大学有关保留、使用学位论文的规定，学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版；有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆被查阅；有权将学位论文的内容编入有关数据库进 行检索；有权将学位论文的标题和摘要汇编出版。保密的学位论文在 解密后适用本规定。 作者签名： 日期： 三维目标离面旋转识别研究 第一章绪论 1 1 研究背景 随着新的信息技术和信息媒介的普及，目标识别广泛应用于机器人视觉、工 业自动化检测、复杂面形加工、医疗诊断、公安身份识别和军事目标识别等众多 领域。所谓目标识别，就是根据所采集的图像，通过相应的算法，检测出图像 中是否有待识别的目标以及该目标是否是预先设定的真目标。目标识别难点在于 待识别目标的不确定性，噪声干扰以及不可预知，这些因素给识别的算法带来很 多个不确定因素，人们往往很难设计出一种通用的算法使得一切目标识别问题都 可以用一种方法来解决。从总体上讲，目标识别的算法大致分为两类，一类是同 一目标处于不同的条件下( 例如不同的光照和不同的空间姿态) 的识别，另一类是 不同目标之间的分类识别。目标识别的关键是从有限个目标样本中提取目标的综 合特征，设计恰当的判别准则来区分真假目标。 目标的检测与识别在实际情况中由于目标在大小、位置、方向、姿态方面是 可变的，故给识别带来难度。例如在人脸识别中，人脸表情、遮挡条件的变化和 光照改变都会改变人脸的整体外观。总的说来，目标识别中主要需要解决的问题 可以归结为以下几个方面： 1 特征提取。目标识别的一个关键的问题是如何提取出目标的特征，之后 才能根据所提取特征设计判别准则对目标加以识别。从现有的两大类特征提取的 方法来看，基于训练的方法一般在提取目标特征时，在从固定条件下采集得到的 目标图像样本当中，通过各种方法计算得到目标的特征图像，再设计准贝, l l j n 以判 断。这种方法在从图像样本库计算特征图像的时候大都采用了主分量分析技术， 侧重将目标图像看作一个矩阵或者一个向量来从数学的角度加以研究。另外一种 方法是采用光学相关技术的方法来提取目标特征，使不同状态的目标与相关滤波 器的输出均为一常数，这样求解得到的滤波器就包含了目标的公共特征。尽管光 学滤波器的形式很多，但都是利用待识别图像与滤波器的卷积结果作为判别依 据。 2 空间姿态。不管采用何种方法提取目标的特征，前提都是在目标处于固 三维目标离面旋转识别研究 定的条件下采集。而通常情况下，识别目标时，待识别目标的空间姿态往往是变 化的且不可预知的，如目标发生面内旋转和离面旋转，尤其是离面旋转使目标形 状与采集的训练图像相比变化很大，给识别增加了难度。 3 遮挡与复杂背景。实际情况当中，目标所处的环境与实验室环境相比会 有比较大的变化，所得到的待识别图像的背景往往也是复杂的，由于背景变化使 得这时候待识别目标图像的特征和利用原始训练图像得到的目标特征相比有很 大的变化。同时，目标可能被其他物体遮挡，例如军事目标的隐蔽和伪装，在人 脸识别中象胡子、眼镜和头发等面部特征，这就给实际的识别过程增加了难度。 4 光照变化。目标所处环境的光强变化是难以控制的，这会引起目标局部 光强的变化，光强变化会使得待识别目标整体或局部像素的灰度数值发生很大的 改变，对目标识别的结果产生影响，使相应识别算法失效。 1 2 国内外研究现状 目标识别的关键是特征提取，如何有效地提取目标的特征是国内外研究的重 点。 在三维目标识别中，研究者们一直在试图找到目标图像的不变量，即日标的 特征，用来检测目标。这基于潜在的前提，人能够轻而易举地在多姿态、不同光 照情况下检测出目标。因此，撇开背景，光照等等这些变化的因素之外应该存在 一些不变的因素，这些不变的因素就是目标的特征。到目前为止，已经提出了很 多方法来检测待识别目标的特征并用来判断目标的真伪。基于光学相关技术的特 征提取方法是设计光学相关滤波器n 嘲，如匹配滤波器或者是线性综合滤波器。滤 波器包含了目标不同畸变状态的公共特征，如果输入目标与滤波器的相关峰值大 于某个阈值即为真目标，否则为假目标。该种方法的关键是滤波器设计和实际应 用中滤波器位置的精确调整。本征图像的方法也经常被用于目标特征的提取，所 谓本征图像法就是利用基于主分量分析技术的n 。1 们方法提取图像的特征，从训练 图像集上得到一组正交基作为特征向量，求取目标在特征向量上的分解系数，采 用最近邻判别方法识别目标的真假，在充分保留特征信息的同时，显著降低了特 征空间的维数。利用基于特征的方法进行目标识别，主要可以划分成三个步骤， 特征的提取，降维运算，根据适当的准则判断。但这些算法都存在的一个问题是， 2 三维目标离面旋转识别研究 目标图像特征会受光照、复杂背景以及空间姿态变化等因素的严重破坏。例如， 阴影能够带来很多明显的边界，光照会使图像局部的像素数值发生很大的改变从 而使算法失效。 实际情况中待识别目标所处环境的光强变化是难以控制的，这会引起目标局 部光强的变化，从而使得灰度图像受光照和噪声的影响比较大。进而影响识别 的效果。文献 1 1 - 1 2 提出了光强线性变化情况下设计目标识别滤波器以进行目 标识别。另一类是基于特征子空间技术n h 钔的识别方法，与传统的利用光照补偿 的方法不同，这里根据基本光照方向，首先建立特征子空间，再确定测试目标所 对应的子空间，最后用最近邻法匹配，达到识别目的。 在识别三维目标的时候，实际采集的待识别目标往往是处在复杂背景当中。 使得图像与原始单一背景条件下采集的训练图像相比，特征发生了较大变化，给 识别带来许多难题。复杂背景下的目标识别方法大致分为两类，一是利用模板匹 配的方法n 钔；另一类是找出若干准目标区域，进而选取目标区域来进行识别。虽 然背景的变化使图像特征变化较大，但目标的边缘依然是目标最基本的特征，包 含了目标的重要信息，文献 1 6 提出了一种在数学形态学的结构元基础上构造的 多结构元的边缘提取算子，利用该算子对所获取的图像抑制背景噪声，去除各种 干扰，提取目标边缘，然后以目标边缘的像素数，复杂度和最小外接矩形的长宽 比作为目标的特征量加以识别。该算子了克服传统的边缘提取算子例如r o b e r t ， s o b e l 等算子抗噪声能力较差的缺点。为了克服传统的计算全息制滤波器在识别 复杂背景目标中相关峰值容易被背景噪声掩盖的缺点，文献 1 7 设计了一种新的 匹配滤波器，在傅丽叶全息的基础上，将整个输入场景和背景分别进行编码，然 后两者相减，把它们的差作为新的编码信息，达到剔除背景，识别目标的目的。 a l e o n a r d i s 等采用求取待识别图像在特征向量上统计意义上方差最小的一组 分解系数来识别目标的方法也取得了比较好的实验结果n 射。针对如何在复杂背景 下如何从多个准目标进行目标选取，文献 1 9 3 提出在提取目标的多个特征的基础 上用模糊隶属度来表征各个特征的重要性的方法，实验结果表明，识别率较高。 。目标识别的另一个重要方面是研究当目标空间姿态发生变化时，如何准确地 识别出目标。由于目标空间姿态发生较大变化，使得目标图像与原训练图像产生 比较大的变化，识别是一个难题。在进行识别运算的时侯第一步是获取目标的特 三维目标离面旋转识别研究 征，但普通的主分量分析方法在解决这类问题的时候存在局限性，由于是将所有 训练目标看作一个训练集，所建立的特征空间只能判断目标是真还是假，无法判 断目标的空间姿态。子特征空间的方法往往在解决此类问题当中得到比较多的应 用。文献 2 0 提出一种基于子空间的识别方法，首先对三维目标进行训练学习， 采集目标可能出现的图像，提取场景中目标的主要特征，建立所有目标样本图像 和每个目标样本图像对应的两类特征子空间，分别用来确定目标类型和姿态。 a l e o n a r d i s 等利用建立多个子特征空间乜q 的方法进行识别运算并取得了较好 的实验结果。另外，虽然目标在姿态变化时特征变化较大，但基于几何不变性方 法可以有效的消除这种差异带给三维目标识别的不利影响陇3 ，文献 2 3 基于三维 空间目标不变性识别的原理，采用多滤波器并行处理和综合判断的光学相关检 测技术，实现了对三维空间目标不同空间姿态条件下的识别。 除了基于特征的目标识别方法以外，基于知识的方法也常被应用在目标识别 的领域当中。基于知识方法的目标检测是依赖于对目标特征的先验知识，这种先 验知识即是通过对真实目标的样本图像的分析从而得到描述目标特征及其相互 关系的线索。例如，在人脸识别与检测领域当中，出现在图像中的人脸经常包括 互相对称的结构，比如两只眼睛、一个鼻子等等。特征之间的关系可以通过相对 距离和位置来表示。此类方法的步骤是，先从输入目标样本图像当中抽取出特征， 然后通过与经编码的准则进行比较，识别目标。在此基础上，出现了利用基于知 识的分层方法进行目标检测乜幻，用较高层的准则对目标的总体特征进行描述，而 用较低层的准则对目标细节特征进行描述。基于知识的方法的一个难点是怎样根 据目标图像来定义良好的准则。如果判别标准过高，那么有些包含真目标的待识 别图像由于存在噪声等等干扰因素，将会被误判，因为其没有符合判别标准。如 果准则过于粗略，则将可能犯将许多假目标判断为真实的目标的错误。此外，这 种方法很难被扩充到检测不同空间姿态的目标，因为要枚举出所有可能的情况比 较困难 上述基于特征和知识的方法，实际都包含一个前提，无论的特征的提取还是 知识的积累，样本都必须到达一定数量，但问题在于，在很多实际情况当中，样 本的数量不够多，人们自然是希望找到已有数据的内在联系，从而预测未知，达 到识别目的。在此基础上，提出了支持向量机理论，并在模式识别中广泛应用 4 三维目标离面旋转识别研究 2 鲋1 。另外，在样本数量较多的时候，进行模式识别时一再碰到的问题就是降维 问题，在降维问题上，除了通过降低图像分辨率以外，一般采用的方法是本征图 像法和f i s h e r 判别法。f i s h e r 判别法解决了在将高维的目标投射到低维( 一般是 一维) 空间上如何根据实际情况找到一条最好的，最易于分类的投影线的问题， 从而避免了使几类样本混在一起而变的无法识别的可能。f i s h e r 判别方法的研究 始于r a f i s h e r 在1 9 3 6 年发表的经典论文汹3 ，在此基础上，s a m m o n 提出了基于 f i s h e r 鉴别准则的最佳鉴别平面嘲3 的概念。随后，进一步提出了采用一组满足正 交条件的最佳鉴别矢量集进行特征抽取的方法啪1 。文献 3 1 对小样本下的f i s h e r 线性鉴别问题做了进一步的研究。 模版匹配也是常用的一种目标检测方法，其主要思想是通过使用模板在待测 图像上进行全方位全角度的搜索，然后根据相关性匹配相似度进行图像辨识。这 里模板的概念实际是通过事先定义或用函数参数化一个标准目标模式。模板匹配 识别方法被广泛应用于各种图像识别领域，如人脸识别b 2 删，印章识别，车 牌识别3 等。这种方法的优点是执行起来比较简单，但计算量大，因此不能直接 应用，在不同领域中，一般都根据实际情况对其进行改进。文献 3 8 - 4 0 对加速 模板匹配法做了相应的研究。在实际应用中，模板匹配又提出了多路、子模版和 可变形模概念h 。s a k a i 等使用眼睛、鼻子、嘴巴和人脸轮廓的子模版建立人脸 模型，试图检测出照片中的正面人脸蚴。文献 4 3 提出用一种分层模版匹配法进 行目标检测。 综上所述，目标识别，特别是三维目标识别的研究有着极大的研究价值，在 诸多领域内有着广泛的应用前景。不管是用那一类识别算法，关键的步骤就是提 取出三维目标的特征再用相应的判断标准来进行判别。不过，在三维目标离面旋 转的过程中，特征会发生比较大的变化。同时，由于实际情况当中存在光照不均 匀，复杂背景等等干扰因素，使得识别问题更加的困难。 1 3 本文主要研究内容 本文完成的主要工作： 第一章分析了目标识别的重要性，介绍了常用的目标图像识别算法并对各种 三维目标离面旋转识别研究 识别算法进行了比较。 第二章针对三维目标在离面旋转以及非线性光照条件下的识别问题，建立目 标的特征空间，利用主分量分析的方法，显著降低了特征空间的维数。利用保留 的特征向量对图像进行分解和重构，在保持较高计算精度的前提下减少了计算的 复杂性。提出了利用原始图像向量与重构图像向量夹角余弦值来判别目标真假的 方法。 第三章基于识别目标真假和空间位置的需要，将训练图像分成了多个训练 集，建立子空间。分别计算每个训练集的特征向量，用极少的特征向量建立了目 标的多个特征空间，使目标分解与重构过程大大简化。同时，利用待识别目标向 量与重构向量之间的关系，不仅可以判别目标的真假，还可以确定目标所在的空 间位置。 第四章基于复杂背景情况下目标识别的需要，根据待识别真目标设计相应的 模板，利用设计的模板对待识别的图像进行预处理，基本消除了背景对识别结果 的影响，利用预处理后的图像与其在目标特征空间重构图像向量之间的关系来判 断目标的真假。 第五章对整个研究工作进行了总结。 6 三维目标离面旋转识别研究 第二章三维目标离面旋转和非线性光照识别研究 2 1 引言 在目标识别实际应用中，待识别的目标往往是三维目标，其空间姿态是随机 变化的，这种变化包括面内旋转和离面旋转，尤其是离面旋转使目标形状与采集 的训练图像相比变化很大，从而使得所采集的待识别图像的整体或局部像素数值 发生了比较大的变化，这就给特征提取增加了难度。另外，目标所处环境的光强 变化是难以控制的，这会引起目标图像局部灰度的变化，例如，阴影能够带来很 多明显的边界，光照会使待识别图像局部的像素数值发生很大的改变，从而使算 法失效。 本章针对三维目标在离面旋转以及非线性光照条件下的识别问题，将待识别 目标看作图像空间中的一个向量，采集了1 8 0 幅不同旋转角度的图像作为训练集， 利用主分量分析法选取了2 0 个主要特征向量，显著降低了特征空间的维数。利用 这些特征向量对图像进行分解和重构，在保持较高计算精度的前提下减少了计算 的复杂性。提出了利用原始图像向量与重构图像向量夹角余弦值来判别目标真假 的方法，避免了最近邻方法的多次系数比较。模拟结果表明，该方法能有效识别 不同旋转角度的目标，同时能够消除非线性光照对目标识别的影响。本章第二部 分研究了建立目标特征空间的方法并设计了目标真假的判别准则，第三部分给出 了目标识别的实验结果。 2 2 基本原理 2 2 1 目标特征空间 图像在计算机中以二维矩阵的形式存储，矩阵中的每个元素对应目标图像的 一个点。既然人眼可以轻易识别同一目标的各种不同姿态，说明这些图像从直观 上有相似的特征，也就是图像所包含的目标相同。那么，可以推想，是否从数学 角度上考虑，这些图像所对应的灰度矩阵之间，也应该有某种共同特征? 找到了 这个共同的地方，便可以方便而准确地对待识别目标进行识别。 采集目标离面旋转的k 幅灰度图像作为训练图像，每幅训练图像记为 7 三维目标离面旋转识别研究 s i ( x ，y ) ，i = l ，2 ，k ，每幅图像像素为p = m xn 。将所有训练图像的像素点的像 素值按照按行优先的原则依次赋到一个列向量当中去，则将每幅训练图像都转换 成维数为p 的列向量，接着构造训练图像集s ，每幅训练图像列向量作为训练图 像集s 的一列，即 s = ( s 1s 2 ，也) ( 1 ) 可以看出，训练图像集s 为p 行k 列的灰度矩阵，通常p 远远大于k 。下面 由训练图像集s 求出一组正交基向量，使得s 中的任意一幅图像向量均可由这组 正交基向量的线性组合来表示。注意到在p 维正交空间中可以完备地描述p 维向 量，为了建立p 维特征空间，构造矩阵c ，即： c = 镕r ( 2 ) 矩阵c 是一个p xp 矩阵，且c 是对称矩阵，它有p 个特征向量且彼此是线 性无关的。由于p 为每幅训练图像的像素数目，这个值通常很大，因此直接对矩 阵c 进行奇异值分解求解特征向量所需的计算量很大。为了降低特征空间的维 数，我们构造另一个互相关矩阵d ，即 d = s r s ( 3 ) 矩阵d 仍然是一个对称矩阵，但其维数仅为k 维，k 为训练图像集的数目， 一般来讲，较之图像像素p 小很多，因此求解矩阵d 的特征向量所需的计算量很 小。 假设矩阵d 的特征值和特征向量分别为入。和v 。，i = l ，2 ，k ，则有 s t s e = 形 ( 4 ) 上式两边乘以训练图像集矩阵s ，得到 豁r s 形= 五s 形 ( 5 ) 不难发现，s v 。是对称矩阵c 的特征向量，记为 k = s v , ( 6 ) 所有特征向量构成一个特征向量矩阵， v = s v ( 7 ) 由上式可得y 矿= s ，由于v 是对称矩阵d 的特征向量矩阵，所以有v 一= v r ， 8 三维目标离面旋转识别研究 则 将上式展开，得到 ( k ：呢，磁 y 矿r ：s k 置 吃r ： = 岱。，s ：，) ( 9 ) 即o s t = k ，v 1 7 + ，巧+ + 曝 ( 1 0 ) 可以看出，任意一幅训练图像s 。都可以表示成特征向量形的线性组合，或者说 任意一幅训练图像s t 在特征向量上分解得到一组系数吃，m = l ，2 ，k 。我们 将特征向量矿称为本征图像，本征图像包含了目标的整体或局部的特征，在后 面的实验结果里也将清楚的看到这一点，由这些本征图像的线性组合可以重构目 标图像。 事实上，由互相关矩阵得到的k 个特征值中，部分特征值很小，在实际应用 中可以选取较大特征值对应的特征向量，进一步降低特征空间的维数，从而得到 训练图像在更少数量的特征向量上的分解系数，这一点将在后面目标识别中得到 验证。 2 2 2 目标判别准则 如果待识别目标为真目标即属于训练目标集，则由( 8 ) 式和( 1 0 ) 式可以 得到目标在基向量( 吃，砭) 上的分解系数( 吮，砭，) ，同样， 由此系数与基向量的线性组合可以无误差地重构目标向量，即待识别真目标向量 与其在特征空间上的重构向量完全重合，两个向量的夹角余弦为1 。 如果待识别目标与训练集中的目标相似，则该目标向量与其在特征空间上的 重构向量不完全重合，但夹角很小，两个向量的夹角余弦略小于1 。 如果待识别目标为假目标，也就是说与训练集中的目标完全不相似，则其在 真目标特征空间基向量上的分解系数为： 9 ； l 1 ； ，。- 三维目标离面旋转识别研究 红= 臀 m ， 其中g 为假目标向量。该系数与基向量的线性组合的重构向量为， g - - k + + + 仇圪 ( 1 2 ) 由于基向量包含真目标的特征信息，所以上式的重构向量同样包含真目标的特 征，也就是说该重构向量与待识别假目标向量不重合，夹角较大，夹角余弦小于 前述两种情况。为此，我们利用原始目标向量与重构向量之间夹角的余弦 c o s 肚踹 ( 1 3 ) 作为目标真假的判断准则。 2 3 实验结果 2 3 1 目标特征空间的建立 实验中我们选取以下实验设备，采集同一目标离面旋转图像构成的训练集。 电动位移台。如图2 1 所示。实验时候选用z o l i xs c 3 0 0 型电动位移台。 图2 1 为电动位移台及其控制箱。由计算机串口与位移台相连通过计算机对位移 台实施控制，以实现精确控制旋转角度。该位移台采用步进电机控制，最小转动 角度为每个脉冲0 0 0 1 2 5 度，那么，转动1 0 需要8 0 0 个脉冲。实验中在采集训 练图像的时候，我们依然是每隔2 0 等间隔采集旋转一周的训练图像，在这里， 我们设定每次转动1 6 0 0 个脉冲，即2 0 ，然后连续执行1 8 0 次转动来实现等间隔 位移一周。 c c d 相机。如图2 2 所示。c c d 相机采用m v c 3 0 0 0 型相机，其默认的分辨率 为8 0 0 x 6 0 0 像素。实验中采用默认的像素进行采集。图像采集模式设为灰度图像。 在这里，我们设定一个恰当的桢率，让c c d 连续的采集图像。将c c d 的控制程序 和位移台的控制程序连接起来，让两者同步运行。这样在位移台旋转的时候，c c d 可以同步的采集，当目标旋转一周的时候，c c d 也采集了1 8 0 幅等间隔的训练图 像，提高了工作效率。 三维目标离面旋转识别研究 如图2 3 所示是由电动位移台和c c d 组成的目标采集装置。 ( a ) 电动位移台 ( b ) 控制箱 图2 1 ：z o l i xs c 3 0 0 电动位移台 三维目标离面旋转识别研究 图2 2 - m v 3 0 0 0 型c c d 相机 图2 3 ：训练图像采集系统 所采集的这1 8 0 幅图像构成了目标训练图像库。每幅训练图像大小为c c d 相 机默认的8 0 0 x 6 0 0 像素，直接计算计算量很大，实时性较低。为了减少计算量同 时保证图像不失真，将每幅图像离散抽样缩小为8 0 x 6 0 像素，如图2 4 所示为部 三维目标离面旋转识别研究 分训练图像。整个训练图像集矩阵s 的大小为4 8 0 0 1 8 0 ，即训练集图像由1 8 0 个列向量组成，幅图像就是特征空间的一个向量，需要4 8 0 0 维特征空间来描 述图像的灰度分布，我们将通过前述方法来降低特征空间的维数。 图2 4 ：部分训练目标图像 由( 3 ) 式可以得到互相关矩阵d ，其大小为1 8 0 1 8 0 ，由( 4 ) ( 6 ) 式得到 1 8 0 个特征值和特征向量力，和k 7 ，i = i ，2 ，1 8 0 ，这样就将描述图像特性的特 征空间维数从4 8 0 0 降到了1 8 0 。如图2 5 所示是将部分特征向量以图像形式表 示的结果，从左到右从上到下对应的特征值越来越小，从中可以看出较小特征值 所对应的特征向量包含了真目标的局部细节特征，较大特征值所对应的特征向量 包含了真目标的整体特征。 三维目标离面旋转识别研究 图2 5 ：训练目标集部分特征向量分布图 图2 6 所示为特征值的分布，在1 8 0 个特征值中，大多数特征值都很小，小 于最大特征值千分之一的就有1 6 5 个，这就为进一步减小特征空间的维数提供了 可能。 i 迦 岿 堂 特征向量个数 图2 6 ：特征值分布 如图2 7 ( a ) 所示为任意一幅目标的训练图像，如图2 7 ( b ) 一( f ) 所示为依次 利用1 8 0 、9 0 、4 0 、2 0 和1 0 个较大特征值对应的特征向量重构后的目标图像。 为了说明重构目标与原来目标之间的差别，我们计算重构目标向量与原来目标向 三维目标离面旋转识别研究 量夹角的余弦值，如图2 8 所示。 fd jf e )旧) 图2 7 ：训练目标与选取不同数量的特征向量后的重构目标 迥 嘏 媚 1 8 09 0口02 01 0 特征向量数目 图2 8 ：训练目标与重构目标向量夹角的余弦 从图2 8 可以看出，当特征空间的维数从1 8 0 维为2 0 维，带来的目标重构误 差仅为o 6 ，但特征空间的维数却降低了8 9 ，用很小的重构误差换取了较大 的降维空间，减小了目标分解与重构的计算量，因此在后续的实验中我们选取 2 0 个较大特征值对应的特征向量构成特征空间。至此，我们完成了目标采集与 特征空间的建立，下面，利用目标在特征空间上的分解与重构进行目标识别。 2 3 2 目标识别 图2 9 所示是待识别目标，a 1 a 5 为从训练库中随机抽取的目标，b 1 b 5 为 任意旋转角度的目标，不属于训练库，c 1 c 5 为不同光照条件下的目标，d 1 d 5 为不同类别的目标。 按照前述原理，可以得到待识别目标的重构图像如图2 1 0 所示。图2 9 和图 三维目标离面旋转识别研究 2 1 0 对应图像向量之间夹角的方向余弦如图2 1 1 所示。 a 1 )( a 2 ) ( a 3 )( a 4 )( a 5 ) ：b 1 )( b 2 )( b 3 )( b 4 )( b 5 ) ( c 1 )( c 3 )( c 4 )( c 5 ) ( d 】 图2 9 ：待识别目标 d 4 ： ：a 1 )( a 2 )( a 4 )( a 5 ) ( b 1 )( b 2 )( b 3 )( b 4 )( b 5 ) 三维目标离面旋转识别研究 ( c 1 )( c 2 )( c 3 )( c 4 ) ( d 1 )(d2)(d3)( d 4 )( d 5 ) 图2 1 0 ：待识别目标的重构图像 e2碍68嚯8 目标序号 图2 1 1 ：待识别目标与重构目标夹角余弦分布图 从图2 1 1 可以看出，不管待识别的目标是训练集中的目标、还是非训练集中的 目标，或者是在不同光照条件的目标，由于都包含了真目标的特征，所以在真目 标的特征空间上，重构结果依然带有真目标的特征，重构后的目标与原始目标的 相似程度比较高，即重构目标向量与原始目标向量的夹角较小，反映在图2 11 上则为重构后的目标与原始目标的夹角余弦都在0 9 以上，相反，由于假目标是 ， 筋 始 筋 蛳 懈 臌 ， 嘶 始 篓 蛳 慨 嘣 趔嘏熊 三维目标离面旋转识别研究 在真目标的特征空间上进行分解与重构，因此，得到的目标也包含真目标的特征。 这样，假目标与重构后的目标不相似，即在空间上向量不重合，从图2 1 1 上可 以看出，假目标与重构后的目标夹角余弦都在0 9 以下，因此可以通过选取一个 恰当的阈值来实现目标真假识别。 2 4 本章小结 本章完成了以下工作： 1 用计算机控制电控旋转台和c c d ，等间隔采集了目标离面旋转条件下的 目标图像，构成了目标训练库。 2 利用主分量分析法，由训练矩阵得到了目标特征值和特征向量，选取部 分较大特征值对应的特征向量构成目标的特征空间，有效降低了特征空间的维 数，保持了较高的目标重构精度。 3 将目标离面旋转和非线性光照的变化，看成是目标向量空间位置的变化， 通过在特征空间上的分解与重构，利用重构目标向量与原始目标向量之间的关系 来判断目标的真假。 4 选取了5 个训练目标，5 个非训练目标，5 个非均匀光照目标，5 个假目 标进行测试，测试结果表明，利用利用重构目标向量与原始目标向量之间的夹角 余弦，可以有效的区分真假目标，达到了预期的识别效果。 三维目标离面旋转识别研究 第三章基于多特征空间的三维目标离面旋转识别研究 3 1 引言 前面一章中我们将所有训练目标看作是一个训练集，构造了一个特征空间， 利用该空间可以有效的识别目标的真假。有些情况下，我们不仅需要判别目标的 真假，还需要分析当前目标的大致方位，如当前目标的姿态是目标的正面，背面 还是侧面等等，这就需要根据希望得到的信息，建立多个特征空间。 本章围绕目标离面旋转，基于识别目标真假和空间位置的需要，研究了目标 多个特征空间的建立和生长方法，并利用多特征空间进行三维目标识别。每个特 征空间用少数几个特征向量来表示，每个待识别目标在所有特征空间上分解与重 构，根据各个特征空间上得到的结果综合判断目标的真假，如果是真目标，还可 以得到其空间方位。实验结果表明，本章提出的目标多特征空间的建立方法和目 标识别准则是有效的，能够实现离面旋转条件下三维目标真假和空间位置的识 别。该方法具有较高的鲁棒性以及姿态识别准确的优点，识别率较高。 3 2 基本原理 在第二章已经介绍了目标单个特征空间的建立方法，当目标离面旋转的时 候，如果需要同时判定目标的真假和空间位置，只建立一个特征空间来判断是不 够的，在这里，我们需要建立多个特征空间。由于目标在离面旋转的时候是沿固 定的轴在空间做3 6 0 0 离面旋转，这里，将其所处的空间位置用一个圆周来表示。 目标在空间离面旋转如图3 1 所示，圆周上的每一点表示目标离面旋转的一个空 间姿态，取目标正面面对c c d 相机为o o ，旋转时依顺时针方向角度越来越大，至 转至一周时角度为3 6 0 0 。直观上不难发现，空间角度相邻的目标训练图像相似度 较高，应归入同一个目标特征空间。为此，分别选取0 。和1 8 0 。附近的若干幅训 练图像组成目标的正面和背面空间，同样分别选取9 0 。和2 7 0 。附近的训练图像组 1 9 三维目标离面旋转识别研究 成目标的两个侧面空间，四个目标空间分别用h 。、h 。、h 。和h 4 表示。 图3 1 ：目标空间 利用单个特征空间的建立方法，利用h 。、h ：、h 。和h 4 建立四个特征空间称为 子空间。此时四个子空间所反映的是目标在离面旋转过程中正面，背面和两个侧 面四个特殊姿态以及附近旋转角度下的综合特征。子空间中还只是包含了四个特 殊位置附近的一些训练图像，也就是说，只包含了部分训练目标，要想对目标离 面旋转的所有情况都做出判断，还应当按照一定的原则将另外四个空间t 。、t 2 、 t 。和l 中的训练目标扩充到四个目标空间中，最后使得所有的训练图像都被划入 四个子特征空间中。称这一过程称为子空间的生长。 以空间t 。为例，选取该空间中的任意一幅图像g ，分别在空间h 。和空间h 2 的特征向量瑶( 扛1 , 2 p 。) 和( j = 1 , 2 p 2 ) 上分解，其中，p ，和p 2 是 空间日，和日，的特征向量个数，这样，我们得到两组分解系数， 气2 皆2 管 两组系数与对应基向量的线性组合为目标的两个重构向量， g l = c x l v l l + c 1 2 k 2 + + c l j 口l 巧n ( 2 ) g 2 = c 2 1 圪1 + c 2 2 + + c 2 p 2 砭见 ( 3 ) 对于任意的图像而言，如果该图像是特征空间内的图像，图像向量可以由特征向 量完全无误差的重构得到，即两者图向量完全重合，那么两个向量夹角余弦应该 三维目标离面旋转识别研究 为l ；如果不属于特征空间，那么其与特征空间内的图像相似度较小，重构前后 原始向量与重构向量夹角余弦是一个小于1 的数值。自然，在划分其它训练图像 的时候，我们依据其与各个特征子空间的相似程度，引入向量夹角余弦作为判断 标准，通过判断两个重构向量与原始目标向量的相似程度，来判断该图像与特征 子空间的相似程度。 为此，引入两个参数： c o s e t = 踹c o 哦= 如果c o s e 。大于e o s g 2 ，则说明目标g 与目标空间h ，中的目标相似，则将其归入 空间h 。，反之归入空间h 。 重复上述过程，空间t ，、t ：、t 。和t 。的每个目标只要经过两次系数分解和两 次重构运算就可