（计算机应用技术专业论文）基于自适应张量投票的视觉特征结构提取研究.pdf

基于自适应张量投票的视觉特征结构提取研究摘要 基于自适应张量投票的视觉特征结构提取研究 摘要 随着计算机视觉研究领域的不断拓展，许多新的图形图像形式逐渐成了计算机视 觉研究的对象，同时对处理结果的要求也越来越苛刻。在这背景下，一些新的视觉特 征结构提取算法逐渐发展起来，张量投票正是其中比较出色的算法。 本论文从张量投票视觉特征提取构架分析出发，提出了一种改进的自适应张量投 票算法，给出了算法设计和具体实现方案，并将之应用于二维点云中的特征结构实体 提取和图像曲线提取，取得了较好的实验结果。具体表现为如下几点： ( 1 ) 提出了结合点云密度和图像纹理的自适应张量投票算法，改进和丰富了张量 投票理论构架。 ( 2 ) 对点云密度进行了深入系统的分析研究，提出了能反映局部密集程度的密集 度参数，弥补了传统点云密度提取方法导致整体密度均匀化的缺陷。结合点云的密集 度、均匀分块密度和方差，提出了判别点云随机性和分布均匀性的方法，填补了点云 密集性判别研究的空白。 ( 3 ) 基于已有点云视觉结构提取算法大多只能对特定类型的点云进行提取的缺 陷，提出了一个结合点云密度和随机性判别的自适应张量投票算法。该方法首先对点 云进行预判别，仅对包含视觉特征结构实体的点云进行特征结构实体提取，排除了提 取伪特征结构实体的可能性，从而提高了张量投票算法的准确性；其次通过自适应确 定投票场尺度参数实现了自适应张量投票，使投票过程依据点云自身密度进行自适应 调整，提高了算法的提取精度。 ( 4 ) 基于图像纹理分析，提出了一个结合图像纹理的自适应张量投票算法。该方 法依据图像纹理谱自适应确定投票场尺度参数，实现了自适应张量投票，提高了张量 投票在灰度图像中提取曲线结构的精度。 张量投票作为计算机视觉结构提取的一个有力工具，对它的研究和改进，也可以 为其他视觉结构提取算法的研究和实现提供借鉴和参考。 关键字：自适应张量投票，点云密度，纹理谱，投票场尺度，点云预判别 作者：叶爱芬 指导老师：龚声蓉教授 a b s t r a c t p e r c e p t u a l s a l i e n c es t r u c t u r ee x t r a c t i o nb a s e d o na d a p t i v et e n s o rv o t i n g p e r c e p t u a ls a l i e n c es t r u c t u r ee x t r a c t i o nb a s e do n a d a p t i v e t e n s o rv o t i n 9 1e n s o r a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rv i s i o na r e a , l o t so fn e w g r a p h i c a li m a g ef o r m sa r e g r a d u a l l yb e c o m i n gt h er e s e a r c ho b je c t so fc o m p u t e rv i s i o n a tt h es a m et i m e ，t h e r e q u i r e m e n t s f o rp r o c e s s i n go u t c o m ea r ea l s o i n c r e a s i n g l yd e m a n d i n g i n s u c h c i r c u m s t a n c e s ，s e v e r a ln e wa l g o r i t h m sf o rp e r c e p t u a ls a l i e n c es t r u c t u r ee x t r a c t i o na l e e m e r g i n g ，a m o n gw h i c h t h e r ei sa no u t s t a n d i n ga l g o r i t h m ，c a l l e dt e n s o rv o t i n g i nt h i sd i s s e r t a t i o n , a c c o m p a n i e db yt h ed e s i g na n di m p l e m e n t a t i o ns c h e m e ，w e p r o p o s ea ni m p r o v e da d a p t i v et e n s o rv o t i n g ， w h i c hi sb a s e do nt h ei n - d e p t ha n a l y s i sa n d r e s e a l c ho nt h et e n s o rv o t i n gf r a m e w o r kf o rp e r c e p t u a ls a l i e n c es t r u c t u r ee x t r a c t i o n w e a p p l yt h i sf r a m e w o r kt oe x t r a c tp e r c e p t u a ls a l i e n c es t r u c t u r ef r o m2 - dp o i n tc l o u d ，a n dt h e p r e f e r a b l eo u t c o m ew a so b t a i n e d t h ec o n t r i b u t i o n sa l ea sf o l l o w s ： ( 1 ) p r o p o s i n ga d a p t i v et e n s o rv o t i n ga l g o r i t h m s ，w h i c ha l ec o m b i n e dw i t hp o i n t c l o u dd e n s i t ya n di m a g et e x t u r e ，t oi m p r o v ea n de n r i c ht h et e n s o rv o t i n gt h e o r e t i c a l f r a m e w o r k ( 2 ) b a s e d o nt h ei n - d e p t ha n a l y s i sa n dr e s e a l c ho np o i n tc l o u dd e n s i t y , w ep r o p o s ea d e n s e n e s sf e a t u r e ，w h i c hc a nr e f l e c tt h ed e g r e eo fl o c a la g g r e g a t i o n w i t ht h i sf e a t u r e ，t h e p r o b l e mo fa v e r a g i n gt h eo v e r a l ld e n s i t yo fp o i n tc l o u d ，w h i c ha l w a y sa c c o m p a n i e st h e t r a d i t i o n a lm e t h o d sf o re x t r a c t i n gp o i n tc l o u dd e n s i t y , c a l lb es o l v e d m e a n w h i l e ， c o m b i n i n gd e n s e n e s sw i t hu n i f o r mb l o c k i n gd e n s i t ya n dv a r i a n c e ，w es u g g e s ta na p p r o a c h f o re s t i m a t i n gs t o c h a s t i cd i s t r i b u t i o na n dh o m o g e n e i t yo ft h ep o i i l tc l o u d ，w h i c hf i l l si nt h e g a po fd e n s e n e s sr e s e a r c ha l g a ( 3 ) d e s i g na n di m p l e m e n ta l la d a p t i v et e n s o rv o t i n gw h i c hc o m b i n e dw i t hp o i n t c l o u dd e n s i t ya n ds t o c h a s t i ce s t i m a t i o n , w h i l et h ee x i s t i n ga l g o r i t h m sa r eu s u a l l yd e s i g n e d o n l yf o ras p e c i a lt y p eo fp o i n tc l o u d t h i sa p p r o a c hf i r s t l yi m p l e m e n tap r o c e s sc a l l e d p r e - d i s c r i m i n a n tf o rp o i n tc l o u d ，w h i c hc a ne l i m i n a t et h ep o s s i b i l i t yo fe x t r a c t i n g p s e u d o 。e n t i t ys t r u c t u r ec h a r a c t e r i s t i c sb yd i s t i n g u i s h i n gd i f f e r e n tt y p e so fp o i n tc l o u d ， s e l e c t i n gt h o s ew h i c hh a v ep e r c e p t u a ls a l i e n c es t r u c t u r ef o re x t r a c t i o na n de x c l u d i n gt h e o t h e r s t h i si n c r e a s e st h ea c c u r a c yo ft h et e n s o rv o t i n ga l g o r i t h m f u r t h e r m o r e ，t h r o u g h a d a p t i v e l yg e t t i n gv o t i n gf i e l ds c a l ep a r a m e t e r , w er e a l i z ea na d a p t i v et e n s o rv o t i n g w h i c hi m p r o v e st h ee x t r a c t i o na c c u r a c y ( 4 ) p r o p o s i n g a l l a d a p t i v e t e n s o rv o t i n gc o m b i n e dw i t h i m a g et e x t u r e b y a d a p t i v e l yc o m b i n i n gs c a l ep a r a m e t e ro fv o t i n gf i e l dw i t he x t r a c t e di m a g et e x t u r e s p e c t r u m ，w er e a l i z ea l la d a p t i v et e n s o rv o t i n gw h i c hm a k e st h ev o t i n gp r o c e s sa d a m i t s e l fw i t hi m a g et e x t u r es p e c t r u m t h i si m p r o v e st h ea c c u r a c yo ft e n s o rv o t i n gi n e x t r a c t i n gc u r v e sf r o mg r a yi m a g e a sa no u t s t a n d i n ga l g o r i t h mf o rc o m p u t e rv i s i o n , r e s e a r c h e sa n di m p r o v e m e n to n t e n s o rv o t i n gw i l la l s ob ei n s p i r i n gf o rr e s e a r c ho fo t h e rv i s u a ls t r u c t u r ee x t r a c t i o n a l g o r i t h m k e yw o r d s ：a d a p t i v et e n s o rv o t i n g ，p o i n tc l o u dd e n s i t y ，t e x t u r es p e c t r u m ，t h es c a l e p a r a m e t e r o f v o t i n gf i e l d ，p o i n tc l o u dp r e - d i s c r i m i n a n t i i i w r i t t e nb y ：y ea i - f e n s u p e r v i s e db y ：g o n gs h e n g - r o n g 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡 献的个人和集体，均己在文中以明确方式标明。本人承担本声明的法律 责任。 研究生签名：堕踅型：日期：之! 塑：笸： 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：耷益彗： e t期：2 1 受：垒 导师签名： 基于自适应张量投票的视觉特征结构提取研究第一章绪论 1 1 课题研究的目的和意义 第一章绪论 随着计算机视觉研究领域的不断发展，人们对视觉数据的处理结果要求也越来越 苛刻，因而对该领域的研究提出了许多新的挑战。对视觉特征结构实体的识别就是其 中一个挑战。例如在计算机视觉中常有这样的需求：从大量的包含噪声的点云中识别 和提取点、线、面、区域、交接点和不规则复杂结构体等特征结构。在这种背景下， 一些新的视觉图像提取算法逐渐发展起来，张量投票正是其中非常出色并引起广泛关 注的一种算法。 作为计算机视觉研究中视觉特征结构提取的一个构架，张量投票在提取各种复杂 的视觉特征结构方面都有较好的精度，并且已被证实具有较强的抗噪能力，弥补了其 它算法在这方面的不足，实现了对复杂结构的提取，同时满足了抗大量噪声的需求， 能够作为各模式识别技术的重要工具和支撑。 提出自适应张量投票的目的在于使张量投票算法在更多的应用中能发挥出更好 的效能，促使其本身的完善，使之更好地应用于模式识别等领域。而作为自适应张量 投票难点之一的投票场尺度问题，国内外至今仍未有一个统一的标准，然而却是实现 自适应张量投票的一个关键因素。 本课题研究的意义还在于以下几点； 。( 1 ) 张量投票视觉特征提取构架，是模式识别和计算机视觉的有力工具。本课题 是张量投票现有研究的一个延续，是对张量投票构架的深入研究和完善，将为张量投 票的进一步应用研究提供较好的理论基础，对今后继续改进和完善张量投票算法的研 究具有借鉴意义。 ( 2 ) 自适应确定张量投票的投票场尺度，使张量投票依据各应用目标的自身性 质，选取不同的尺度，提高了张量投票的适应性和精确性。 ( 3 ) 对于张量投票的自适应研究将为其他计算机视觉处理技术在这方面的研究 和开发提供一些借鉴和参考。 ( 4 ) 对张量投票的不断完善，将进一步推动张量投票在计算机视觉研究领域的更 第一章绪论基于自适应张量投票的视觉特征结构提取研究 广泛应用。 1 2 国内外研究现状 本文是基于自适应张量投票的视觉特征结构提取的研究，主要研究结合点云密度 的自适应张量投票系统和结合图像纹理的自适应张量投票，因此本节先介绍视觉特征 结构提取及张量投票的国内外研究现状。 近年来随着计算机视觉研究的发展与深入，许多难点被克服的同时也产生了许多 新的需求。点云处理作为计算机视觉研究的一个重要分支，近年来伴随着光学扫描等 各项技术的突破，日渐成为国内外计算机视觉研究的热点之一。点云处理中受关注最 多的要数点云识别与曲面重建，其中曲面重建又是逆向工程的核心技术。所谓点云识 别就是在散乱的空间点云中提取识别点云中所包含的结构实体，这些实体包括散乱噪 声点，曲线，曲面，交接点，不规则区域等等。由于点云获取的途径及其它因素的影 响，往往导致获取的结构体点云中或多或少地包含一些噪声点，因此就要求对点云进 行识别的过程中能够去除噪声，或者使点云识别技术能够具有较强的抗噪声能力。张 量投票就是基于这种背景而被提出的一个比较优秀的方法。 基于对象的不同，我们可以将前期计算机视觉特征结构的研究工作大致地分为以 下几个类别：对二维空间点集中点、曲线和区域的识别；二维的曲线和边缘识别以及 三维的曲面重建。 z u c k e r 和h u m m e l 是从事识别点集中的区域结构研究较早的两个人。他们发展了 一种迭代的松散分类算法【1 1 ，这种算法后来成为很多区域识别算法的基础。在文献【2 】 中对这种算法做了总结，并且还包含了由a h u j a 和t u c e r y a n 发展的一种新的算法。 s h i 和m a l i k 提议将区域的识别看作是图形片断问题来处理【3 】，并在文中给出了一种 递归的算法。 大部分的曲线和轮廓识别方法都要用特定的曲线和轮廓模型 4 1 ，只有少数的识别 方法能推断一般的曲线。 在三维空间，输入数据是包含点、线和面的元素集合，而输出结果应该是一系列 独立或由一些曲线和交接点所连接的曲面。在有些情况下，还可以对目标形状先作初 步的估计。文献【5 】中提到的一种基于物理学的方法可能是很有应用前途的。 2 基于自适应张量投票的视觉特征结构提取研究第一章绪论 通常，要解决的问题就是在一大堆包含噪声的三维点集上拟合曲面。f u a 和s a n d e r 提出了一种描述在点集中的曲面的局部算法 6 1 。s z e l i s k i 等人提出了一种基于物理动 态局部处理的方法【7 1 ，这种方法要对所有的点进行处理，并且受到很多因素的限制。 它可以处理具有不规则拓扑结构的对象，但是必须基于一个假设：该对象是连续的。 h o p p e 等人喁】和b o i s s o n n a t t g l 矛l j 用计算几何学来处理这个问题，他们的方法在没有噪 声的情况下非常适用。 一种名叫l e v e l s e t 的方法取得了非常好的效果，并受到了高度的重视，特别是 在数学界。这个方法的一大优点是它允许拓扑结构发生变化，这在很多物理学、集合 学和计算机视觉的应用中被证实为非常强有力的工具。在表面重建的研究中，z h a o ， o s h e r ，m e r r i m a n 和k a n g 提出了一种运用l e v e l s e t 的图像重建新方法【lo 】，但是这种 方法一直被对外层噪声的敏感所困扰，原因是它利用了距离方程。 在应用感知突显度的研究工作中，s a r k a r 和b o y e r t l1 1 ，s h a ，a s h u a 和u l l m a n 1 2 1 等 人的研究都是率先运用突显度图来指导知觉分类过程的例子。突显度图是从二维图象 中提取的，是一幅密集图象，其中的每个象素值都取决于“感知重要性”。而所谓的“感 知重要性”就是如平滑度，长度或者曲率连续度等特征的组合。他们的方法是利用增 量最优化方案来避免从大量数据集中寻找子集时指数级增加的复杂度，局部处理给定 片断的最优外延集合。但是他们的方法并不能处理具有很大间隔的曲线，并且在曲线 中包含有错误片断的时候也会发生错误，而且该算法是迭代的。 视觉特征结构提取技术依据方法的不同，可以分为拟合型和随机提取型，其中拟 合型的视觉特征结构提取技术需要有先验的初始假设，经过迭代而使特定参数最优 化，从而拟合得到曲线，曲面等视觉特征结构实体，因此也被称为参数型视觉特征结 构提取技术，前面介绍的视觉特征提取方法基本上都是参数型的方法。随机提取型视 觉特征结构提取技术则不然，它们一般不需要先验假设模型，也没有特定参数，而是 依据应用目标自身包含的性质来认定它是否为组成视觉特征结构实体的成员，也叫无 参数型视觉特征结构提取技术。 g g u y 和g m e d i o n i l 构研究是其中一个非迭代的算法【1 3 1 。他们的算法对由离散 的点、小线段和曲面片段组成的视觉特征结构都能够处理。这个方法的优点在于，由 于曲线或者曲面的添补信息可以通过收集周围元素的倾向信息来完成，从而不连续检 测和周边界定也可以由从周围元素中得到的显著性和倾向不变性信息中得以确定。他 第一章绪论 基于自适应张量投票的视觉特征结构提取研究 们提出了一种称为矢量投票( v e c t o rv o t i n g ) 的算法来收集和评估周围元素的倾向信 息。对于倾向性的估计可以通过矢量场得到，并且该算法对数据信息的传递还允许高 效的回旋执行。他们算法的新颖之处在于运用二阶矩来积聚和解释矢量投票。但是由 于用矢量来表示数据，故对于不同类型的输入，必须选择不同的规则来估计倾向性信 息。 基于矢量投票发展完善而成的张量投票( t e n s o r v o t i n g ) 1 4 】【1 5 1 现已成为提取视觉 结构体的一个方法论，应用于提取点云中的结构体时具有令人非常满意的效果。它可 以处理多噪声、不规则数据集中的多种形式的结构和各结构间的交互作用，克服了其 他点云识别技术由于对点云中所有的点一视同仁，从而使得所有的点都能影响最终提 取结果而导致的噪声敏感问题；同时由于其每个点都需要对其他点进行投票，每个点 也都收到其邻居投给的投票信息，从而实现了点与点之间的信息交互。由于其良好的 抗噪性能和优异的识别能力，目前己成为随机提取型点云识别技术的一个非常典型的 方法。， 自从g m e d i o n i 和g g u y 提出了张量投票这个概念以来，张量投票经过许多 学者多年的研究和完善，如今已有了许多新的拓展，并且在计算机视觉研究的很多领 域也都有了很好的应用。c k t a n g 和g m e d i o n i 以及其研究小组在这方面做了大 量的工作。 在改进和完善张量投票构架过程中，许多学者提出了很有意义的改进算法。例如， m s l e e 在投票过程中引入了极性( p o l a r i t y ) 1 1 4 ，使得张量投票在检测不规则区域 的性能方面有了进一步的提高；w s t o n g 在投票中引入一阶张量以表征点处于区域 边缘或者曲线终端的可能性【”】，使得张量投票在区域、曲线、曲面的提取中表现更加 稳定精确，并在点集中修复边缘直线的过程中迭代最优化投票尺度，动态确定了适合 于该点集的投票尺度；j i a y aj i a 引入亮度投票( 1 u m i n a n c ev o t i n g ) 用以图像配准【1 6 1 ， 通过平滑约束投票以得到最优的替代方程；p k o m p r o b s t 引入了基于时空特性运动 区域的张量投票【1 刀，称为2 d + t 张量投票，其中2 d 表示二维空间，t 表示时间维； l i n m it a o 则运用张量旋转和去掉第二次投票过程等方法来缩小算法计算复杂度【堋， 并应用于分级滤波和组群；c k t a n g 等将张量投票拓展为n 缮1 9 1 ，并应用于对极几 何估计。 另外，张量投票的应用近年来也成为计算机视觉应用研究的热点。 d l p a g e 4 基于自适应张量投票的视觉特征结构提取研究 第一章绪论 运用张量投票来检测分段平滑曲面的折痕和曲面的曲率估算【2 0 j ；文献 2 1 1 1 2 2 应用张 量投票于组群和分割；j i a y aj i a 则应用张量投票于图像修复【2 3 1 和阴影_ 去除i 2 4 j ，并取得 了非常好的实验结果；文献 2 5 2 6 2 7 】中张量投票被用于曲面曲线重建：文献 【2 8 2 9 3 0 应用张量投票于视频运动估计，运动分割；文献 3 1 】运用张量投票于文档 倾斜检测与矫正，这些应用都取得了较好的实验结果。 目前国内在这方面的研究开展的还不是很多，邵晓芳，孙即祥运用张量投票来组 群【3 2 1 ，文献【3 3 】运用迭代的张量投票于主观轮廓的提取，都得到较好的实验结果；文 献 3 4 】将张量投票应用于蚁蛉翅脉修补。 尽管在张量投票的研究中硕果累累，然而张量投票的投票尺度问题，到目前为止 仍然没有得到很好的解决，上述所有应用系统中，投票场的尺度仃都是作为一个需要 由用户确定的参数而存在，从而使得应用系统必须与用户交互，无法实现自适应。针 对这一难点，本文分析了各特征结构实体的特性，在研究和设计应用于不同类型的数 据集的张量投票中，对离散点集，结合点云的密度分析和随机性判别，对仃进行自适 应确定；对连续的灰度图像，结合图像纹理以自适应确定仃，从而消除了投票过程中 必须与用户交互，由用户依据经验评估给出投票尺度这一过程，实现了自适应的张量 投票。 1 3 本文的主要研究内容和创新 张量投票是视觉特征结构提取的一个构架，可以应用于离散点云中的特征结构实 体提取，也可以应用于图像中的视觉特征结构提取，因此本文的主要研究内容包括结 合点云密度的自适应张量投票和结合图像纹理的自适应张量投票研究，以及在此基础 上的两个应用：点云特征结构实体提取和图像曲线结构提取。 在结合点云密度的自适应张量投票系统设计研究中，针对目前张量投票系统对不 包含视觉特征结构实体的纯噪声点云无法正确判别而导致常常提取到伪特征结构实 体的缺陷，引入了点云预判别。而在点云预判别的过程之前需先对点云进行密度分析 以提取判别参数，本文在深入分析研究了现有的点云密度提取方法之后，针对现有方 法存在的整体密度均匀化而无法表现点云局部密集性的不足，提出了能表现点云局部 密集性的点云密集度参数，并结合均匀分块点云密度和方差，提出了结合点云分布均 第一章绪论基于自适应张量投票的视觉特征结构提取研究 匀性和随机性判别的密度提取方法，并给出了点云类型判别规则。在自适应张量投票 的设计中，将点云密度应用到投票场尺度的确定过程，使投票场尺度自适应地依据点 云的密度不同而调整，从而实现了自适应的张量投票。将结合点云密度的自适应张量 投票算法应用于点云特征结构实体提取实验，发现改进后的算法在抗噪能力和提取的 特征结构实体的完整性方面有了明显的提高。 在结合图像纹理的自适应张量投票系统设计研究中，先将纹理谱综合为一个图像 全局参数，再将投票场尺度与纹理谱全局参数结合，使投票场尺度依据图像纹理而自 适应确定，从而实现了自适应的张量投票，并将之应用于图像曲线提取，实验表明该 方法可以达到更高的提取精度和更好的曲线提取性能。 1 4 本文的章节安排 本文的主要研究内容包括结合点云密度的自适应张量投票和结合图像纹理的自 适应张量投票算法研究，以及在此基础上的应用。本文共分六章： 第一章绪论部分，主要介绍张量投票的研究意义和相关领域的研究现状，以及自 适应张量投票的创新点。 第二章详细地介绍了张量投票的理论基础，系统地分析了张量投票算法的步骤， 为后面的章节提供基础构架。 第三章系统地分析和介绍了点云密度提取方法，包括基于分块的密度提取方法和 基于距离的密度提取方法两大类，并在此基础上提出了结合点云随机性判别的密度提 取。 第四章介绍了结合点云密度的白适应张量投票算法的设计，并提出了点云预判别 及自适应张量投票场的设计方法。最后，在自适应张量投票算法的理论基础上提出具 体的实现方案。 第五章在对图像纹理分析的基础上提出了结合图像纹理的自适应张量投票算法， 并将之应用于图像曲线的提取。 第六章对本文工作进行了总结，对未来工作进行了展望。 6 基于自适应张量投票的视觉特征结构提取研究第二章张量投票算法分析 第二章张量投票算法分析 本章首先对张量投票算法进行总体介绍，然后按照张量投票算法的步骤，详细对 张量投票算法的编码、投票场设计、投票累计、投票结果解释和张量分解等步骤进行 了分析。 2 1 算法概述 在计算机视觉研究中，我们经常面临在包含大量噪声信息的数据集中识别一些特 征结构信息的问题。例如，在灰度图中，边缘信息是通过探测亮度的微妙变化而提取 的，对噪声非常敏感，若采用探测突显度的方法则可以有效的避免噪声的干扰。因此， 对计算机视觉研究而言，一个比较好的结构特征突显度估计方法就具有重要的研究价 值。本文所要讨论的张量投票( t e n s o rv o t i n g ) 就是这样一种非常有用的工具。 张量投票是针对从离散数据集中识别特征结构问题而提出的一个有效的统一框 架，本文称该框架为张量投票算法或张量投票。从基本构想上来讲，张量投票是一种 从由点、线和面组成的二维和三维复杂结构中探测交接点、曲线、区域和曲面等突显 特征的统一方法，主要包括两个过程： ( 1 ) 张量的计算，以张量来表示数据。 ( 2 ) 张量的投票过程，以此来传递数据间的信息并进行交流。 用张量来表示数据就必须弄清张量的含义。张量是一种信息编码的形式，也是一 ， 种信息。张量信息包含了某点的最可能的方向信息( 本文又称为倾向性信息) ，以及 该方向的置信度信息( 本文又称为显著性信息或突显度) 。张量这种信息形式，可以 再经过张量投票算法中的投票操作形成新的张量，而这个过程实际上是对图像信息进 行多次提取、精炼的过程。张量投票算法的收敛较快，一般来说经过有限次数的投票 过程就可以将点云的突显度信息提取出来，因此该算法是一种非迭代算法。 在张量投票算法的投票操作中，每一个输入点都将自己的信息在周围的邻居中进 行传播( 本文称投票过程为张量投票操作或投票) 。每个点都会收到来自特定范围内 邻居的投票，这些信息经过分析整合( 即张量的计算) ，最终编码成一个张量。一次 投票操作完毕，可以根据各点的张量信息为各特征集合绘制突显度图。所包含的结构 特征可以通过寻找相应的突显度图的局部极大值而得到。需要指出的是本文所讨论的 7 第二章张量投票算法分析基于自适应张量投票的视觉特征结构提取研究 张量投票算法仅涉及二维的几何空间，并不涉及三维的复杂结构。 张量投票算法是一个总体的指导性框架，该框架具有一定的抽象性，实际上并不 涉及非常具体的细节。本文对张量投票的大致步骤总结为如下5 个过程： ( 1 ) 对输入特征进行编码，将输入特征编码成张量。若输入的特征只具有位置信 息，那么它将被转变成一个等方性的单位张量( 例如一个半径为一个单位长度的圆形 张量) 。 ( 2 ) 投票的第一个阶段为第一次张量投票操作。各初始张量对它们的邻居进行投 票，在这个过程中各个点就将它们的显著性信息和倾向性信息传递给周围的邻居点， 并且同时接收来自邻居点的投票。这个过程生成一个普通的张量特征图。 ( 3 ) 投票第二阶段，第二次张量投票操作。普通的张量特征也在各自的一定邻域 范围内的邻居间进行信息的传播，从而产生了将每一点的特征突显度在其范围内进行 编码的密集张量图。 ( 4 ) 分解最终的密集张量图。在实践中，第二次张量投票的空间范围便被数字化 为统一的单元阵列，在每个单元中的张量都可以被分解为很多表示该单元属性的成 分，从而进一步分解出最终的曲面突显度图、曲线突显度图和交接点突显度图。 ( 5 ) 特征提取。曲面，曲线和交接点等特征将通过寻找张量显著性的局部极大值， 记录该极大值所对应的方向等渠道萃取而得到，最终的输出结果是很多特征结构实体 的组合。 下图2 1 进一步展示了张量投票算法的总体思路：大体上分为张量编码，张量投 票，张量分解和特征结构实体提取四个阶段。 基于自适应张量投票的视觉特征结构提取研究第二章张量投票算法分析 输入的特征集合 ( 稀疏) j ( 编码 ： 张量编i j 张量的特征集合 ( 稀疏) 0 ( 张量投票 ) 0 张量的特征集合 ( 密集) 张量投； j ( 张量投票 ) 上 哭显反张量场 ( 密集) 上 ( 张量分解 ) 非詈俞蠢 + 0 7 队里j jm l 曲面突显度图曲线突显度图交接点突显度图 i + ( 特征提取 ) 。 特征结构实蕾 上山山 “”7 ( 曲面 ) ( 曲线 ：( 点 ： 取 图2 1 张量投票算法总体步骤图 通过对张量投票的总体思路和具体步骤的了解，可以知道张量投票算法不需要先 验模型，是一个非拟合的算法。采用邻居点之间互相投票的方法，可以很容易地将某 点倾向性信息和显著性信息传播给邻居点，从而大大降低了噪声点在诸如点云特征结 构实体识别中对该点信息提取和识别的影响。本文总结了如下三个张量投票算法的优 占 ( 1 ) 算法非迭代，计算量相对而言较小 ( 2 ) 算法为非拟合算法，不需要先验模型 ( 3 ) 抗噪能力强 在介绍了张量投票算法的总体步骤之后，下面将进一步展开对张量投票算法的讨 论。 9 第二章张量投票算法分析 基于自适应张量投票的视觉特征结构提取研究 2 2 算法步骤 张量投票算法主要分为张量编码，张量投票，张量分解和特征结构实体提取四个 阶段，而张量编码是张量投票算法的第一步，因此下面首先介绍张量编码过程。 2 2 1 张量编码 张量投票算法最初设想的输入是带有方向信息的边缘图像或边缘片段等，经过完 善后，方向信息比较模糊的也可以作为算法的输入，甚至没有任何方向信息的点云也 可以作为算法的输入。 计算张量的目的是为了提取区域、曲线、曲面以及他们之间的相互作用等几何特 征。本节首先讨论二维空间中的两种常见特征实体： ( 1 ) 点。每个点都能用一个张量来表示。 ( 2 ) 曲线。对于曲线，一阶局部描述将由相应点的张量特性及其相应的正切值 得到。二阶描述包含了该曲线的主曲率和位置信息。 二阶对称张量仅仅对一阶微分几何性质进行编码。但是我们事先并不知道所需识 别的是什么类型的实体( 点或线) ，并且当这些实体之间发生相互作用时可能会有异 常发生。例如，当两条曲线相交时，在相交的地方没有相关的夹角信息。但是，如果 我们考虑两条线的交接点周围的一个小范围内的邻居，我们会发现它们包含了这些交 叉线的相应夹角信息。为了取得一阶微分几何信息及其异常信息，引入了二阶对称张 量。二阶对称张量不仅获取二维空间实体的一阶微分几何信息及其异常信息，还获取 它的显著性或突显度信息。二阶对称张量可以看成一个椭圆，参考图2 2 ： 不明显的方向 ，一”i 一一 ：刁、 7 a i n a 瞰 j l 一一一x 、】 ( a ) 椭圆形张量 主轴 倾向性方向 ( 较长) 图2 2 二阶椭圆形张量 l o ( b ) 圆形张量 基于自适应张量投票的视觉特征结构提取研究第二章张量投票算法分析 在二维空间中，一条很突出的线形元素( 小线段) 将用一个椭圆来编码表示，该 椭圆的主轴( 图2 2 ( a ) ) 代表了该线形元素的切线方向，它的长度则代表了估计的 显著性。因此，它将倾向信息和显著性同时封装在一个椭圆里。该椭圆完全由它的特 征空间来描述，用两个特征值入嗍入曲0 和两个特征向量占。，乞来表示： t 咄a ( 入矿入臻 协，) 实际上，对于一条小线段由于它的入曲比较小，因此从椭圆特征值也可以看出这 是一个很扁的椭圆。特殊地，对于一个点，天一= 入曲= 1 ，该点的张量可以表示为 一个圆形( 如图2 2 ( b ) ) 。 重新整理一下该特征系统，二维空间中的椭圆可以表示为： o 一一x m ) s + k i p ( 2 2 ) 其中 s = 五色r ( 2 - 3 ) p = 色r + p 一2 e 2 r ( 2 - 4 ) 其中s 表示扁平的椭圆形张量，p 表示圆形张量。 2 2 2 投票场设计 点可以简单地用它们的坐标表示；线可以表示为线上点的坐标集合，并辅之以其 切线或法线；曲面也可以表示为其上点的坐标集合，并辅之以法线。然而在运用张量 投票的离散点云中，我们事先并不知道其中包含了什么类型的实体( 点，线或面) ，并 且在包含多个特征实体的点云中，各实体可能存在部分的重叠，交叉等现象，因此一 个点可能同时对应于多个类型的实体。因此为了更好的识别显著性特征，必须对显著 性进行约束。 2 2 2 1 显著性处理原则 ( 1 ) 平滑连续性：在没有其他条件的时候，平滑连续性是唯一的遵循原则。 ( 2 )曲率恒定性：对于恒定曲率的曲线，其延伸部分的曲率和原曲率一样。 第二章张量投票算法分析 基于自适应张量投票的视觉特征结构提取研究 ( 3 ) 倾向于小曲率延伸：符合人类视觉习惯，一般人类倾向于用小曲率曲线连 接曲线片段。 ( 4 ) 邻近性：与距离成反比的原则，近距离的影响比较大，远距离的影响较小。 2 2 2 2 曲线的最佳连接 首先给定某一条曲线，根据上述显著性处理原则对该曲线进行延伸，参考图2 3 。 有许多算法是根据端点的切线来确定最佳延伸的，如图2 3 中延伸点a 处标注了一个 带箭头的切线方向，根据第一条原则，曲线的延伸要尽可能平滑连续，所以在图2 3 所示曲线进行延伸的过程中，即使发现该曲线是断续，仍然要可以进行曲线的延伸。 实际上，在做曲线的延伸时可以考虑相反的做法：不给出最佳的延伸，而给出可能的 延伸，按照概率论的观点，概率最大的延伸一般就是最佳延伸。如图2 3 用细虚线给 出了一条更自然的延伸，该虚线比其它两条实线绘出的延伸概率更大。 一一。、 的切线方向 图2 3 一条曲线的最佳延伸 讨论另一种情况：给定两条曲线，对两条曲线进行最佳连接，请参考图2 4 ： 曲线c l 、 。 量佳连接 图2 4 两条曲线的最佳连接 1 2 _ 一一一 曲线晓 基于自适应张量投票的视觉特征结构提取研究第二章张量投票算法分析 图2 4 中有两条c l 和c 2 ，先分别考虑c 1 和c 2 的最佳延伸，在此基础上，如 果各自的最佳延伸的连接能够满足平滑连续性，即两条曲线能够自然的连接为一条曲 线，那就找到了两条曲线的最佳连接。如果不行，就只好在最佳连接的附近取折中： 每条曲线依据概率延伸出一族曲线，如果c l 和c 2 确实存在延伸的可能性，那么一 条曲线的延伸将和另一条曲线的延伸交汇，形成折中的连接。 下面对二维空间实体的投票场进行讨论。 2 2 2 3 二维空间实体的投票场设计 首先，将可以进行投票的二维空间实体称为投票单元。投票场是投票单元对其邻 近区域投票所能形成的矢量场。投票单元对其邻近区域的每个点都