（模式识别与智能系统专业论文）基于视觉感知的图像理解方法研究.pdf

西装王韭大学博士学位论文 摹于锐觉感翔躲整像瑾簿，宵注赣究 摘要 图像理解是- - 1 、 从图像中自动获取信息的科学，其主要的技术包 括图像分割，图像成份的建摸，图豫分析及推理。该领域的研究包括 了开发图像( 户内室外，人， 脸，树，大楼，等等) 目标特征的 自动提取方法以及实现图像解释的有关方法，这对诸如翻片的数据库 管理或自动建立是非常有益的。图像理解是人工智能中涉及基予输入 图像解释来做出决策或完成一些控制系统的主要环节，葜在医学和国 防等领域中袁羲广阀的用途。 本文在总结近几年研究成果的基础上，给出了一个潮像理解的基 本框檠续擒，并对善粼分的篡体功戆及实臻进行详缨露分柝，文中对 图像理解的研究主要分为六个部分。具体是：第一部分着重探讨图像 理解方法，在这一部分中首先对当前有关的视觉感惫理论进幸亍介绍。 简要地回顾低级视觉过程对目标的识别的作用，如从阴影或纹理中感 知结构等，萁主要目的是集中讨论阁像理辩方法。并对有关理论的生 物学似然性进行了评寇。这些来自心理的研究证据对不同的计算模型 有着不同的结论，它们或支持于或矛盾于计算模型。除此之外还给出 了最近有关生理学的磷究成爨，这些硬究结果表明大脑中的3 d 信息 处理是个层次型的结构模式。第二部分主要涉及图像分割技术的实 现，其主要用来检测国标豹边爨。重点绘燮了边缘检测后魄再分割算 法以及对分割后结果的评价分析方法；创新地提出了基于视觉感知的 分裁思憨。第三个部分主要骈究形状表示释分毒厅豹各静技术。形状戆 表示方法或基于边界( 边的边之间的关系描述) 或基于区域( 利用边界 检测算法生成的闭合区域) 。这一餐分主要给警了边界形状分攒方法 的回顾及链码表示技术。第四部分集中于理解技术与有关知识表示技 术的集成以及感知推理方法的研究。第五部分讨论有关图像理解啐基 西北工业大学博t 学位论文 基于视觉感知的图像理解方法研究 于特征相似性匹配及特征匹配方法，该部分是通过应用来自分割算法 的信息结果来进行目标识别和推理。由特征匹配构成的识别阶段是源 于景象区域，而使用的推理方式主要是不确定推理。最后给出了一个 基于跑道理解算法来设计的仿真跟踪系统。 本论文围绕图像理解的一些关键技术进行了一些探索性的研究， 研究的内容属于目前图像理解和图像处理领域的研究重点，具有较高 的理论及实际的应用价值。其主要贡献在于系统地给出了一个基于视 觉感知的图像理解方法实现，为进一步的研究打下了良好的基础。 关键字：图像理解图像分割图像分析匹配推理识别人工智能 视觉感知 瓣建王鼗天学博士学位谂文 糍中睾鼙燮毖知熬熬爨疆解方涪辨残 a b s t r a c t i m a g eu n d e r s t a n d i n gl st h es u b j e c to fa u t o m a t e de x t r a c t i o no fi n f o r m a t i o i lf r o m i r n a g e s t h ee s s e n t i a lt e c h n o l o g i e so f t h es c i e n c ei n c l u d ei m a g es e g m e n t a t i o n ，i m a g e c o m p o n e n tm o d e l i n g 。i m a g ea n a l y s i sa n dr e a s o n i n g 飘枇r e s e a r c hi n t h i s f i e l d i n v o l v e sd e v e l o p m e n to f a u t o m a t e dw a y st od e t e c tv a r i o u sc h a r a c t e n s t i e so f o b j e c t si n ap i c t u r e ( i n d o o r o u t d o o r ，p e o p l e ，f a c e s ，t r e e s ，b u i l d i n g s ，e r e + ) t h a tm a yb eu s e f u li n f u t u r ea p p l i c a t i o n ss u c h 箍sd a t a b a s em a n a g e m e n to ra u t o m a t i cc r e a t i o no fp h o t o a l b u m s 。i m a g eu n d e r s t a n d i n gi sam a j o rs t e pt o w a r d st h ed e v e l o p m e n to fa r t i f i c i a l i n t e l l i g e n c e 。w h i c hi n v o l v e ss y s t e m st h a tw i l lm a k ec e r t a i nd e c i s i o n so rp e r f o r ms o r t i e a c t i v i t i e sb a s e do nt h e i ri n t e r p r e t a t i o no fa l li n p u ti m a g e 。i m a g eu n d e r s t a n d i n ga l s o h a sw i d e s p r e a da p p l i c a t i o n si nm e d i c i n ea n dd e f e n s e ， b ys u m m i n g t h er e s e a r c hr e s u l to f t h er e s c e n ty e a r s ，t h i sd i s s e r t a t i o np r e s e n t s t h ef u n d a m e n t a lf r a m es t r u c t u r eo f i m a g eu n d e r s t a n d i n g ，a n da n a l y z e st h ef u n c t i o no f e v e r ys e c t i o nw i t ht oa c h i e v e t h i st h e s i sc o n s i s t so fs i xm a j o rc o m p o n e n t s t h ef i r s t a d d r e s s e st h em e t h o do fi m a g eu n d e r s t a n d i n g i nt h i sc o m p o n e n tc u r r e n tt h e o r i e so f t h ev i s u a lp e r c e p t i o na l ei n t r o d u c e d s t a r t i n gw i 攮ab r i e f o v e r v i e wo f l o w - l e v e lv i s u a l p r o c e s s e s ，w h i c hc o n t r i b u t et ot h er e c o g n i t i o no fo b j e c t s ，s u c ha st h ep e r c e p t i o no f s t r u c t u r ef r o ms h a d i n go rt e x t u r e ，t h i sc o m p o n e n t m a i n l yc o n c e n t r a t e so nt h em e t h o d o fi m a g eu n d e r s t a n d i n g 。t h ed e s c r i b e dt h e o r i e sa r ea s s e s s e dw i t hr e s p e c tt ot h e i r b i o l o g i c a lp l a u s i b i l i t y 。e v i d e n c ef r o mp s y c h o l o g i c a ls t u d i e si sg i v e n ，w h i c he i t h e r s u p p o r t so rc o n t r a d i c t st h ed i f f e r e n tc o m p u t a t i o n a lm o d e l s b e s i d e st h i s ，r e c e n tr e s u l t s f r o mp h y s i o l o g i c a ls t u d i e sr e f l e c tt h eh i e r a r c h i c a lp r o c e s s i n go f3 di n f o r m a t i o ni nt h e p r i m a t eb r a i n + t h es e c o n dc o m p o n e n td e a l sw i t ht h ei m p t e m e n t a t i o no fs e g m e n t a t i o n t e c h n i q u e 。w h i c hi sa p p l i e di no r d e rt od e t e c tt h eb o u n d a r i e so f t h eo b j e c t st h a td e f i n e t h es c e n e 弧i sc o m p o n e n tm a i n l yg i v e so u tt h ea l g o r i t h mo fr e s e g m e n t a t i o n 。 m o r e o v e rt h ee v a l u a t i o no ft h ep e r f o r m a n c eo ft h er e s u l ti sc a r r i e do u tb ya n a l y z i n g t h ei n f o r m a t i o na s s o c i a t e dw i t ht h es i n g u l a re d g ep o i n t s 羊t h i r dc o m p o n e n ts u r v e y s t h ev a r i o u st e c h n i q u e sf o rs h a p er e p r e s e n t a t i o na n da n a l y s i s + t h er e p r e s e n t a t i o nc a r l b ee i t h e re d g eb a s e d ( d e s c r i p t i o n so fe d g e sa n dt h er e l a t i o n s h i pb e t w e e ne d g e s ) o r r e g i o nb a s e d ( y o um a y h a v et of i d d l ew i t hy o u re d g ed e t e c t i o na l g o r i t h mt op r o d u c e c l o s e dr e g i o n s ) + s p e c i f i c a l l y ，ar e v i e wo fb o u n d a r ys h a p ea n a l y s i sm e t h o d sa n d e h a l n - c o d er e p r e s e n t a t i o nt e c h n i q u e si sp r e s e n t e d t h ef o u r t hc o m p o n e n tf o c u s e so n i n t e g r a t i n ga d v a n c e dk n o w l e d g er e p r e s e n t a t i o nt e c h n o l o g yw i t hi m a g eu n d e r s t a n d i n g t e c h n o l o g ya n dp e r c e p t u a lr e a s o n i n gt e c h n i q u e s ，t h ef i f t hc o m p o n e n ti sc o n c c m e d w t ht h en s eo ff e a t u r e - b a s e dm a t c h s i m i l a r i t ym e a s u r e sa n df e a t u r em a t c ha l g o r i t h m s 3 两北_ 业大学博士学位论文皋f 视觉慝知的嘲像理解方拉母 冤 i n i m a g eu n d e r s t a n d i n g t h ec o m p o n e n ta d d r e s s e st h eo b j e c tr e c o g n i t i o na n d r e a s o n i n gb yu s i n gt h ei n f o r m a t i o nr e s u l t i n gf r o mt h ea p p l i c a t i o no ft h es e g m e n t a t i o n a l g o r i t h m t h er e c o g n i t i o ns t a g ec o n s i s t so fm a t c h i n gt h ef e a t u r e sd e r i v e df r o mt h e s c e n er e g i o n s ，w h i l et h er e a s o n i n gi sa d d r e s s e du s i n gu n c e r t a i nr e a s o n i n g t h el a s t g i v e s as i m u l a t i o n t r a c k i n gs y s t e m i s d e s i g n e d b a s e do nr u n w a yr e c o g n i t i o n a l g o r i t h m i nt h i sd i s s e r t a t i o n ，l o t so fr e s e a r c hw o r kh a sb e e nd o n ea r o u n ds o m ek e y t e c h n i q u e so fi uf i m a g eu n d e r s t a n d i n g ) t h ep r e s e n t e ds t u d yi st h ec u r r e n tr e s e a r c h f o c u so fi m a g eu n d e r s t a n d i n ga n di m a g ep r o c e s s i n g t h u si t sr e s e a r c hh a sb o t ht h e t h e o r ya n dt h ea p p l i c a t i o nv a l u e t h ec o n t r i b u t i o no ft h i st h e s i sw a st h a tw ep r e s e n t e d ar e a l i z em e t h o do fi m a g eu n d e r s t a n d i n gb a s e do nv i s u a lp e r c e p t i o n ，a n dt h i ss t u d y l a yf o u n d a t i o nf o rf u r t h e rr e s e a r c h k e yw o r d s ：i m a g eu n d e r s t a n d i n g ，i m a g es e g m e n t a t i o n ，i m a g ea n a l y s i s ，f e a t u r e m a t c h i n g ，r e a s o n i n g ，r e c o g n i t i o n ，a r t i f i c i a li n t e l l i g e n c e ，v i s u a lp e r c e p t i o n 4 两北工业火学博士学像论文 撼于观觉磷知的图像蠼解方法酬究 第一章绪论 l 。l 逸题背景及意义 人类在飙囊然要获墩售息黝过程中，錾旗冀自身能力的局羧性，因嚣发明了 许多机嚣设备来帮助人们获取聪多的信息。我们知道人获取信慰的渠邋很多，蕻 中主要来自人的视觉系统，因此人们就希望能蠢一种机器视觉系统能够 弋替人熬 视觉来滗成一些特殊的工作。在这一方两随着计算机技术的发展，机器视觉获得 了长足的发展，同时机器视觉又是一个相当新的且发展十分迅速的研究领域，已 经成为计算机科学的重整研究领域之一。而机器视觉又楚建立谯对获取图像的瑾 解基础之上的，从另一方面来说，对图像理解的要求还来自予胰用的需求，大檄 的图像需要我稍去识剐稀解释，如卫星照片中的目标识涮、生物医学等领域中分 子及病凑的图像分析等。 鹜豫理解怒辩给定瀚图像簸够给予台瑾的解释，获鋈稼中获取宥价值酶傣 息。我们知道图像是通过各种不同类型的观测系统以不同的方式和手段获取客观 整赛豹彩像图，它霹良纛接或阉接懿鸯人类褪豢提供具有徐蓬懿参考信爨。霞馥， 对于图像的理解是很自然的事情。但由于图像理解技术的滞后，对于图像的理解 述没有援爨台逶黪方法聚薅决。在一些应用中，我褒矮攀酶徽浚是，在获取墨像 的基础上，经过加工处理后，再由人来识别和提取图像中有价值的信息，对图像 搬鞋理勰。照蓑诗算机技零移务释不嗣炎型摄缳技术黪发展，瀚豫豹应用曼荛广 泛，获取图像的数据量也越来越大，因此，人们就希望能够利用计算机来自动谶 行目标的识别毅圈豫的残簪，扶两帮助人们实现对客观邂界兹认识秘信息莪智辘 提取处避。随着计算机科学和技术的发展，计算机系统难在逐步实现对图像的处 理、分橱和理解，从蕊减少人的介入。鞫前的瓶颈主要在理解层次，聪此，对图 像理解的系统研究对其理论体系的形成以及安际的应粥开发有着非常蓬要的现 实意义。 显然觚图像静获取捌鹜像瓒解是一个多层次的结构纯系统工程，因此就凿现 了所谓的图像工程。在参考文献| 中把图像工稷分为三个层次，它们分别是图像 处理、潮豫分褥和蚕豫蘧解。这三个酃分是对黼像经理技术的个概耩往总结。 对于有关图像处理和图像分析的研究，闺内外研究的较彩，但图像理解的研究相 对跑较薄弱，瑗论还不戏熬。嚣爨对委像理解磺究龟崮缝子初级除段，肖关强像 两北工业大学博士学位论文 摹十视觉感知的例像理群方注岍咒 理解的研究论文和专著也寥寥无几。参考文献i2 1 中对图像理解给出了这样的定 义：图像理解是研究用计算机系统来解释图像，实现类似人类视觉系统理解外部 世界的一门科学。参考文献h l 中对图像理解也有相应的定义。从更为广义的角度 出发来讲，图像理解是通过某种中间手段对图像中所包含的内容给予适当的描述 和解释。这一中间手段可以是人的视觉系统也可以是计算机系统或其它形式。其 主要过程是通过对图像所包含内容的分析，给出图像含义的相应解释。目前能够 使用的中间工具通常是计算机。对于图像的理解所包含的内容很多，其必然要涉 及到识别图像中的目标，图像中各个目标之间关系的说明、测量目标的相对尺寸 和离观测点的距离等。以下将进一步对图像理解的主要内容进行介绍。 1 _ 2 图像理解研究的主要内容 图像理解要达到的目标通常包括两个方面，一是图像中目标对象的识别，二 是给出这些目标对象之间的关系。在人工智能中把图像信号转换成可理解的中间 符号是非常重要同时又是十分困难的问题之一。其困难的主要原因包括： 1 人类捕获图像的有关特征，并把这些特征聚类成具有意义的目标以及语 义描述和图像的联系方式仍没有完全清楚。 2 特殊化问题的解决方法很难归纳。 3 实时的计算量即是最好的工作站也难以胜任。 因此，图像理解要研究的内容很多，涉及面也非常广，其主要内容概括起来 有以下几个方面： 1 图像分割 图像分割是数字图像处理中的关键技术之一。图像分割主要是将图像中 有意义的特征部分提取出来，其有意义的特征包括图像中物体的边缘、区域 等，这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出不少 边缘提取、区域分割的方法，但还没有一种适合于各种不同类型图像的有效 方法。因此，对图像分割的研究还在不断深入之中，是目前图像理解中研究 的热点之一。 2 图像描述 图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用 其几何特征描述物体的特性，一般图像描述方法采用m - - 维关联特征描述。随 着图像处理研究的深入发展，已经开展了有关三维物体描述的研究，提出了 体积描述、表面描述、广义圆柱描述等方法。 3 图像理解方法 图像理解研究的主要内容还包括方法和结构的研究。图像理解的方法通 常主要有两种形式，一种是结合图像处理的物理过程来进行的；另一种是从 两北工业大学博士学位论文 撩于觇觉感知的图像聩解方法明矩 模伤生物感知的角度来研究的。目前研究采用较多的前一种方法。 图像理解已经发展成一个瓤的领域，所涉及魍内容非鬻多，对于图像理解要 深入研究的问豚还包括如三维景象分析、图像净列分 ! 阡、双t 7 黼像分析等内容。 我们研究的重点将放在躅像理解的方法以及各郝分包括的主要内容上。 1 3 目前国内外研究状况分析 图像处理豹磺究已缀有三十多年的历史，在蒺些方聪已取褥了一些可喜艴成 巢，并已经运用到一些成用领域。图像理解的研究事实上是和图像处理的研究同 步发展的，图像理姆研究的内容包括了图像处理的某些方蕊。联煎对图像理解的 研究主鼗集中予以下几个方面： 1 阉像分制区域的方法。其中包括分割模型的建立、纹理分割、雾尺度分 害i 方法等。 2 特征提取。其中包括边缘检测方法的优化、视觉计算中的结构化比例等。 3 觚2 一d 圈豫审获取3 一d 形状黻及蟊稼轮廓形状的恢笈等。 4 目标识别。其中包括目标的描述、搜索匹配、识别方法等。 5 。计算瓿撬觉技术貔应瘸。其中姣捂辊嚣久褪觉、率l 造鼗中一些税器程爨 的应用。 6 。人纛极嚣智戆瓣强豫理瓣。其中最主要爨方法有嚣耱，一耱是鏊予鎏像 处理的物理过程；另一种就是熬于生物视觉系统的感知机理。 对予 丛上足令方霹黝疆究取褥了一些戏采，著开袋了一些筵摹熬寝羯。具毒 代表性的有三个系统：个是v i s i o n s 系统，该系统魑一个慕于图像中区域的 二维视懿信息系统。它的任务是在一定建验翔识豹弓 导下，怼懋像中能医域进行 分析，从而给出场景中的物体的正确解释；另个是a c r a n y m 系统，该系统 是一卜很有代表性的与镁域无关并基予模型豹三维视觉信息系统。在这令系统中 用户用豳形法交互式地产生舀标模型，系统自动地预测期望的图像特征，发现候 选的特征并给予解释；嫩后一个就是k bv i s i o n 系统，它是一个基于知识的图 像理解环境，它可以帮助我们验证和评价有关黼像理解的新概念和方法。 在豳内对图像理解的研究也己开展了十多年，并取得了一贱成果。针对图像 邃解静艨稻程纛论兹磺究，国家科委在1 9 9 9 年铺定的1 5 个基础研究顼霞中，掇 图像理解研究作为其中之一来逃行征标，主要倪括以下几个方硒： l 。羯豫瑾解爱萁认错秘攀麓穑图像理解瓣谈籍模凌纯过纛。 2 利用现代科学手段( f m r ，脑电图等) 研究由视网膜到脑视觉肢层，视 觉售息疆舄部到全局接逡熬缝织与演联：。 3 研究图像内容相似性度量计算理论。定性与定嫩的相似性度量。 4 。基于痰容秘基像数据瘁捡索系绫实验平台。 两北工业大学博【二学位论文筚于视觉感知的图像理解方法弼f 冗 总的来说图像理解是一门还不太成熟的科学，由于理论的不完善和技术的复 杂性，至今还没有建立一套完整的体系结构。从以上分析可知图像理解在国外已 经进入了一个简单使用的阶段，而我们国内尚处于起步阶段，因此开展图像理解 的研究具有赶超世界先进技术的实际意义。我们研究的目的是为了获得一个比较 合理的解决方案，为以后的进一步研究打下基础。 1 4 人的视觉与计算视觉以及图像理解 为了有效地建立图像理解系统，必须充分研究人的视觉系统及人利用知识来 进行图像理解的过程。从某种意义上来讲人的视觉系统就是一个结构非常复杂、 性能非常优越的图像处理系统。从仿生学角度出发，视觉原理、视觉特性以及视 觉模型的研究，对图像理解研究人员来讲，是很有启发性和吸引力的。 视觉的研究可分为视觉生理、视觉特性、视觉模型等三个方面，近年来，人 们越来越清楚地认识到视觉系统在图像信息的产生、传播、处理方面具有十分优 越的性能，许多方面是目前图像理解系统还不具备的。尽管这方面的研究时间不 长，但也取得了不少有意义的成果。 人的视觉过程由多个步骤组成，在参考文献1 4 i 中对人的视觉过程进行了描述。 人的视觉过程是从光源发光开始的，光的模式通过场景中的物体反射进入人的视 觉感受器官，并同时在左右眼睛的视网膜上引起视感觉。视觉生理主要是从视觉 信息的产生部分视细胞( 图像信息感受器) 和其它神经细胞以及大脑高级中 枢的神经系统的信息产生、传输和处理的机理。这就涉及到神经生理学，它对图 像工程技术是很有启发性的。由于能够插入单个细胞中的微小电极的出现以及数 字处理技术的发展，已经能够对部分神经网络进行模型分析，如侧抑制现象、马 赫效应等。但涉及大脑高级神经中枢的思考过程，学习、联想、记忆等所谓的自 组织化机能的研究还刚刚开始，预料今后可能有所突破，这将大大地促进图像技 术和人工智能的研究。对视觉特性的研究主要包括视觉的运动特性和空间时间频 率特性。将视觉抽象化为一个简单的模型来研究是很有意义的，这些模型主要包 括神经元模型、黑白模型和彩色模型等。由于对视觉的生理和特性并未完全清楚， 所以这些模型并不一定完善。 人们对视觉的运动特性研究发现注视点的分布是有一定规律的，实验得出： 1 注视点主要集中在图像黑白交界的部分，尤其集中于拐角处。 2 ，用闭合的图形进行分析实验，注视点容易向图形内部移动。 3 注视点容易集中在时隐时现、运动变化的部分。 4 图像中如果存在一些特别不规则处，也是注视点容易集中的地方。 计算机视觉是指用计算机实现人的视觉功能对客观世界的三维场景的 感知、识别和理解。计算机视觉的主要研究目标可以归纳成两个，它们互相补充。 两就王监大学蹲圭学位论文肇f 麓 觉感知静骝像理解彦蛙讶嚣 第一个目橼是建成计算机系统，完成各静视觉任务。换句蹑漫，即要使计舞机系 统借助各种视觉佼感器( c c d 、c m o s 掰像器件镲) 获取场景的图像，而感知 和恢复3 一d 环境中物体的几何性质、姿态结构、运动情况、相互位置等并对 客观场景进行识剐、箍述、解释，进而骰戡决策，这罩主要磅究的是技术机瑾。 目前这方顾的工作主要集中在建成各种专用系统，完成在备种实际场合提出的专 门撬觉任务，蔼从长远来说赠要建成逶用豹系统。第二：个礤究西貅是整该磺究宇# 为探索人脑视觉工作机理的手段，进一步加深对人脑视觉的掌握和理解。 鋈豫毯解窥诗箨撬援凳密韬穗关。霭豫是表达鬣觉僖慧的一静携理形式。鹜 像理解可以借助于计算机对视觉信息处理和分析来进行。计算机视觉作为门科 学秘圈像壤解有着密甥豹荚系，戆聚是在羯像处理、銎豫分援方瑟毒羞不蘑程度 的交叉。图像理解和计算机视觉在很多情况下内容交叉重合。事实上这两个名词 也露豢混合寒使鼷，它们互援联系、覆盖嚣毒一定戆重合。在搬念蔓箨没毒严格 的绝对界限，有时根据不问的侧黛相互补充。 1 5 图像理解方法 在对图像理解研究时，我们很容易提出这样一个问题，即人类自身的视觉系 绫是髭餐泉对图像中麴爨糖进行识别积分类魏? 这一翊题已盛受大积极器褪燮 研究中一个新的活跃领域。在日常生活中，人的视觉系统展现了个令人惊讶的 谈测疑力。入们熟知大量的不同类型的馨标对象，可噬毫不费力壤谈别出霆怼懿 目标，这种识别可以在一个环境变化非常大的范围内来完成，如观察的位蒋，光 照，遮挡以及目标形状的变化等。然面对予目前的枫器褪觉系统来说，只裁完成 一些强约束的任务，其识荆能力远远低于人的视觉系统能力。这怒因为许多因素 影响的结鬃，一个主要方瓣是因为我们对识别机制的认识还非常薄弱。当我们在 场景中看到一个3 d 裔标时，我们的视网膜上就接收到个2 d 激励信号，这些信 号酋先被转变成神经中枢信号；然后，枧觉信息f 信号) 穿过不同的皮层区域送 至太黼中。其中每一过程都要对这些数据信号进行船工鲶理，直到最终形成对目 标识别的决策。 目题怒我髓不躲遘税凳的过耧怎样来运 亍，箕输入芨每一过稷静输出叉是数 什么样的形式来描述的，存储理解或有关以前的经验知识如何来淡示，以及我们 懿何扶记忆中提取有关稳僚惑来骰窭摇疲爨繇。掰鸯这些潼题扫缝为一令更为全 面的问题，即人的大脑是如何来鹪决可视目标的识别? 这一问题的研究是从认知 鼓学早麓簸开始黪。在精狰携理学、心理攀、毒枣缎学、谈躲 孛经科学以及诗羹瓿 科学方面，科学家们对视觉的感知机制作了大量的研究并且为人工视觉系统建 立了一些壤论 十算模型。对这些领域懿磅究不援事富了我们熬褪激感妇稚谈( 我 们现在对许多视觉现象，大脑中的视觉区域的解剖结构，以及涉及这些区域的功 涎黯王鼗大学耩士学位埝史 纂予糖霪撼璺瓣麓强豫壤瓣方滤婿毙 熊特瞧殴疑瀵楚) ，蕊聂撬供了大爨的璎论秘壤激。 主要熬骚究王俘还氛戆秀发鬻豫豹数攀分凝方法纛疲蠲。这然嚣经带来了一 戆令人数耱瓣避裰，疆璇安键赛燕# 露嶷象的，计舞褫褫懿的髓熊遮运落瑟予人 类窝馥魏旋感鳃。燕露言之，数辫分援怒露繁螫簧弱，键莠不怒泰远郡楚态分鸯 效的。餐麓鼋廷舔必狻髑提供了一个广阕鹣焱臻懿黎，然蕊蒺逡殷添不能逶藏瓒长 邋淡更快嶷麓豹鼹黉；为魏，簧蘩裰获熬簇论与方法获繇突移实黢瘟矮豹疆突。 一耱方法裁蹩馥蠲越荣越多魏褥臻鳃浚和耨戆鼓术来遴行黼像联鳃麴礤究，辑冁 羧饲经过多年豹磺究，将巍已鸯戆瀵论蒸獭上，获生物毒羹激麴一熬赫兹 | 究残暴 袭来霹阁像灌瓣避行翻新毪豹磅究。 l 。s 图像理解的发展帮殿震 图像疆艇豹教袋蹩辩瞬像处理褒不可分。瑟豫处理旋磺究戆予年代识颓， 蓠次获缮安琢藏麓疲震戆爨荚强羧气接邀窝验室( j p l ) 。镶餐对粪莛天探溅嚣餐 掴 豢7 号在1 9 6 4 零笈强熬尼予张嗣球慧冀，使鼷溪豫簸疆鼓寒，魏凡簿棱委、获 度变换、去处嗓巍镰方浚瀵孳亍处纛，莠考懋了太辍像蓑鞠蠢球鄢缝瓣影穗，囊计 繁橇成葫戆臻绘溅舞球交瓣壹| 鎏甏，获褥了藤大藏臻。隧后又怼搽溅飞虢笈阐麓逅 卡万照片邀持瑟必发杂瓣阁像鲶纛，激鼗霹数获彳罨莛球瓣缝彩阉。巍人类翳冀獒 瓮了蘩突豹嫠礁。 凝像鲶壤彀德熬另一个巨大成激怒隳举上获褥鲍戏麟。1 9 7 2 年葵瓣e m i 公 罨z 程蠡器h o u s f i e l d 发朝了滔予头鼷诊藜瓣x 羹季线诗葵凝聚溪摄影装鬟，楚称c t ( c o m p u t e r t o m o g r a p h ) 。c t 的熬零方法怒粳攥入戆头部猿露貔瀵影，经诗葵_ 极 筑溪素鬟建猿嚣戮豫，称瓷强稼整建。1 9 7 5 年e m i 公镄又疆裁凄全鸯溺瓣c t 装疑，获褥了入体番个郯缀鲜明滚激豹断灏圈像。1 9 7 9 冬，这王燹无损臻诊断技 零获褥了滏鬟客奖，滋绢窃对久炎徽囊了翔霹饯豹粪觳。 与藏闲器重，黼像处理技术在诲多废餍锻域受翻黧褫并取褥了懿大瓣开掇瞧成 裁，震予逡魏领域鹣毒靛窆簸天、生秘互穰、王簸稔溪、嘏器久裰爨、公安逶法、 军察铺器、文纯艺术嚣，後图豫懋溪咸建一门萼| 入注蠢、蘸最远大麓毅整漤萃i 。 觚上拿 夔缀7 0 年代审麓器戆，夔蘩诗箨壤技术鞠入王餐黢、麓缝辩学磅究 熬避遮发麟、数字强像缝骥淀受离、更深瀑次笈疑。缀多颡家，姆澍怒发达国家 投入燹参鹣人力、瀚力疆突诗冀壤镶鬣( 漤缳壤缎) 领域，敬褥了不少纛鬟静臻 突藏莱。簇中代表瞧鹣成浆楚7 0 馨代末m i t 瓣m a r r 稳爨静稷徽溪谂，这个瑗 论成为诗繁辍凝激镁域茭嚣卡多譬瓣主器懋憋。 m a r t 瓣疆论主爨涉及臻述三绫秘俸瓣足簿交示瓣蘸。m a r t 疆谂认为撼逐三 镱物钵蠢三令鼷次： 1 黼豫特蔹。爱浃t - - 罐强像上饔薅麓熏蘩特惩，魏获痰变织分奄与缝秘， 1 6 两北工业大学博士学位论文麟于视觉感知昀型像蠼解方法瑚f 芄 其基元是二阶蹲数过零点、块、终点与不连续点、边缘段等等。 2 + 2 土维蛰桨，又拣为i n t r i n s i c 图像。它在戳观测点为中心豹坐褥系统中， 2 表示可见表面的外法线方向、离观察点的距离( 深度) 以及它们不连续 点麓输薅等，蘩基元燕遐罄表戮穸 法线方蠢，褒溪察患麓距离、深褒不 连续性及表面不连续性等。 3 。 兰维模型表示，疆述了三缍秘转载形状粒它襄】羟空阂的缝捣，鏊元是钵 积的或寝面的麟元。 m a r t 计算褫觉理论糕架虽然在鳃节甚至主孕愚想上存在不竞蚤豹方瑶i ，诲多 方面还有争议，但它至今仍是一个可按骚的基本框架，计算机视觉这门科学的形 成，应当澄与这一理论撰架有密切的关系。 计弊机视觉难模仿入的视觉，由于人们对视觉机理的研究还没有突破性的进 展，因此计算机视觉研究是一项艰巨丽长远的馁务。数字图像处理和理解任重蕊 道远。德视觉 乍为人类簸重要的种感知，是人类智能活动所不可缺少的。因而 对图像理解的研究将永远是一个挑战性的课题，不管存在多大的困难，总会取得 突破茬静进展，并给人类社会各个方面的实际艨用带柬越来越多的效益。 一个视觉任务是依据视觉进行的一魑活动。通常这活动的“输入”是一景 象或鹜像源，舔“输蠢”静结果逶常是些决策、描述、魂 乍袋报告。阉像理麟 对人而言通常是一个简雎的过程，为什么人们想用计算机自动完成这些工作? 遂 楚垂予瓣予一骜程觉王俘蘑诗舅壤来完成矍炎会逶。这些乐霞龟括诲多方覆，其 中主要包括以下几个方面： l 。危殓懿醛境该任务峦入来完或运露是不爵链麴，毽致透簇疯予镬碣辍 器人来自动完成。如：导弹中的目标跟踪，核电站的机器人，机器人行 攫援测等。 2 繁重枯燥的工作通常这种工作做起来繁琐，使人们容易疲劳。如：认 涯模糊分凝，基于视频的安全系统。 3 赞用昂爨该种任务需要特殊的训练，从而导致人力资源的紧缺和昂爨 的代价。通常，视觉任务仅仅媳蚀们工 乍的一部分。例如：医学上豹黔 瘤显示，卫星照片的智麓收集。 4 目标精确的度量该项工作使用人来观察是无法胜任的，可视元素霭蘩 准确遣遴行灏寇。饲魏：病菌的活动的分析，诊断的效栗判定( 需要对 病毒的数量进行检测) 镑。 5 。大量豹数据处理大量辫窝像数据侵入销处理起来力不觚心。 1 7 本文研究所包括的燕要内容及创新点 西j t 工监大学搏尘掌位沦文袋子撬觉惑知静糊像理篇方法硪究 以上几节给出了图像理解研究所包含的主要内容以及桐关的应用领域，事实 土佟为图像理解的研究薤予起多阶段，是一f j 捐对阮较新述不太成熟的学科，由 于其理论和技术上的复杂性，至今还没有建立起完整的体系结构，其研究还在不 錾静深入发藤。献系统静角发来看淹没有统一靛框繁体系，荬范困逐在逐步扩震， 所以结构次序都很难确定。此外，那些内容是基础的，那些内容是关键的，处于 不鞭静交缘中，搿淡有必要提出一个系统翡方法来对以静静研究藏莱亲遥行慧 结。本文将从视觉的理解出发，利用模仿生物的视觉感知过程来对图像理解进行 磅突。 本文对图像理解的研究主要可以归纳为以下几个方面： l ，对生物投擞熬磋究遴嚣慈绣，绘出密关援擞理解的相关 垂攘。 2 ，从视觉的理解出发，结合图像理解在计算机上的实现，提出系统的框架 结槐。 3 对图像理解中知识的作用、表达及应用进行探讨。 4 。对耀解的基础阁像分害的处理避行介绍，对边缘检测的进一步处理 进行研究，便分割的结果谶一步满足理解的需要。 5 重点对图像中出现腿标的描述形状描述进行研究。 6 结合感知的过程蔽旋理解的基本组成。 7 重点对匹配理解进行探讨和研究。 8 ，结合实际镄子送 亍分绍。 本研究的主要创新包括以下几个点： i ，系统遣麸横觉静瑾解密茇，结合髫蓠有关静疆究袋聚绘密一个可撩受韵 图像理解基本框架，并在此基础上结合知识的表示形式范例，给出 了一个基予菝镄撵灌兹图像淫解系统框鬃络麴，这一系统鏊奉逶粒a 熬 视微理解模型相吻合的，具有较高的应用价值。该系统的建立和目前图 像壤解专著中囊普遮粟月豹工程方法鞠吃蒸有结撬篱蕈，耱于理释积实 现簿优点。 2 。文唪 结合豳像理解的第一除段曩据提墩，对分测矗的霹标边爨提取 进行了详细的研究，提出了一种依据边界一致性判定结果的自适成分割 方法。该算法对于人造目橱的提取具有篱单及较赢的可靠蚀。 3 文中从视觉感知出发色q 新遗提出基于视觉感知的分割算法思路，此思路 的提出将为目标的自动提取开辟新豹途径。 4 文中有枫遗把知识和分害i 、识剽理解紧密的联系在一起，成功地把图像 理勰的理论和实际的应用结合起来，从而形成一个较为完整的体系络构。 帮肖关文献中蠢称 滚澍稻玩具有较高的理论价值。 霜熊l _ 韭大学撼上学经论文 基手税觉惑翔抟嬲像理解万垃研琵 需要指出的是，所给出的体系结构只是一个基本的框架结构，有些想法还不 成熟，需要迸一步懿氢完善。并置文中所给密实验研究主要依据的慧静态图像柬进 行的。 1 8 研究的主要思路 为了给如我的研究思路，首先让我们来看一个视觉模烈，即k o s s l y n 模型。 1 8 1k o s s l y n 模型 对生物视觉系绞的研究可以帮助我们 柬理解大脑中丰煲觉区域的功能佟用以 及其解翻结构。k o s s l y n 对这方面的研究已经进行了2 0 多年，他在“i m a g ea n d b r a i n ”一书中对高级的视激和心像的本质特征进行了研究，并提出了一个目标 识剐和成豫的计算理论方法。他的疆论是旗于褫懿的感知及心豫( 表示) 共享机 制遮一概念，并且心像事件在大脑中生成解释。圈1 1 给出了k o s s l y n 的视觉识 图l ，lk o s s l y n 视觉模型 别模型。从图中我们可以糟出每一部分都熟有独立的不同功能，其实现是位于一 个分离的积相对较小的大藏区域中。由眼戆输入生成的图像被拣为援觉缓存医， 它相当于脑中的映射区域。为了表示处理羝统的信息选择，用一个关注窗阴来表 示提取信息的区域。然后关注窗中的信息被送到鼹条主要的皮层通道上。羁标特 ，怔编码经黢侧通路到达低屡的暂存脑叶，殿空间编码经脊背通道别达顶骨脑叶。 腹侧负责处理如形状、颜色及纹理的对象特征。 系统酋先从关涟窗中掇取输入秘标的特征，然后把这塑特征和视觉存储器中 的储存特挺进行匹配。腹侧流的目标是匹配的且认可对象，脊背流主要通过记录 空间信惠柬稽导行动( 懿i 夔蒲静运确) ，魏强标或秘标部分於位置，大小及方向。 两个通路的输出在联想存储中汇集，联想存储中储存着多种信息既包括感知信 息，逢包括接象鹃壤念信惑。螽采输入豹信爨帮联慧存储中豹嚣标袭示是强蕊配， 1 9 西j 亡工韭大学鞲士学位论奠基于税觉惑知蕊瓣橡理解方法阱竞 目标就被识别，并且要访问有关目标的大墩知识。然而，如果匹配不是足够的， 酱称特征只能是强设，只膏通过信怠查我系统柬述行额羚的信惑收集才能判定强 标。不同于以前的体系结构讨论，该模型舆有一个强大的从上到下的组成部分。 在这个穰垒中个磊秣特征识涮程设寒引导额外信怠豹擅索，跌丽有韵予对 假定目标出现的判定。这种先从下到上然后再从上到下的处理机制事实上类似于 l o w e 酶摸鬃 1 1 5 o 强采援索过程在巍觉缓存中发蕊麓显稳不蕊特薤释么注意力将 发生转移。然后，新的关注区域就会出现从而形成新的匹配过程。本节中所介绍 兹k o s s l y n 模型墓豹来说燕麓视觉夔銎标鼋袋裂瑟设计匏，它不仅毯搪了援凳蕊处 理，同时也包括智能控制殷复杂的e l 标和环境模型。 和大的视觉系绞超比较，对于鞋嚣襞设诗兹久逡褪觉系绫寒溅哭缝竞液一些 约泵严格的任务。网此，研究人员加大对生物视觉的研究，并尝试把它们用于设 计一个全毅的视觉舞法。翳兹对有关曩标识别的计黪葶g 生物心理学方匿的硖究是 一个非常活跃的研究领域。这些研究包括人的识别能力实骏的研究，结论的计算 模型以及实际计算机视觉系统的设计。然藤，从生物学研究出发采建立一个启发 式豹视觉系统茸前还处于尝试阶段，原因之一是实现生物丰黛觉系统的计算模型还 不潢楚。因此，对这方面的研究仍潘进一步地深入下去。因此，本文将从图像理 解的基本概念出发，按照k o s s l y n 模型理论来研究黼像理解系统中主要应解决的 基本问题，并给出相应中间过程的解决方案，从而给出一个系统的图像理解模型。 l 。8 2 研究思路 显然k o s s l y n 模型是把视觉大脑的全部过程按照其功能分解为几个部分来实 现的视觉模塑。那么对于图像理解来说应该如何来实现类钕于视觉的功能? 许多 学糟对其进行了多种尝试。本文将在此模型的基础上按照这一模型中所描述的结 褐帮数据流方式，旗予当蓊鹜像理勰豹稳关技术来霹国像理解逶行翻薪缝研究。 其主要研究思路是把理解的过程分为两个大的阶段即目标的提取和识别理解，在 藏蒸礁上皋研究一耱可望蝰戆疆絮结构，该挺絮绝褥中能镑集残有关匏薪羧京和 新算法，从而能保持图像理解结构体系的不变性。 对于一令图像壤解系绞寒瀵，冀本身又是一令鬃次他终梅，磷究蠹在不强瓣 层次上开发了大量的算法，因此，对于每一层都有大量的算法可供选择，如何来 选撵这些算法烽戏为萋豫璞矮系统设计载关罐。对予一令可塑懿系绞寒落懿必须 能够对相应的有关算法性能进行评估和分析。因此，我们谯分割的实现中对其算 法分割性能避_ 亍了讨论。邋常对于个绘定魄工作成应熙柬涟，可以使