（计算机应用技术专业论文）真实场景图像中的阴影去除技术.pdf

真实场景图像中的阴影去除技术舌两要经过几十年的发展，数字图像处理技术已经日趋成熟，但诸如阴影去除这类涉及入脑对视觉信号处理和理解的问题依然不能很好地解决。彩色图像中出现的阴影足以扰乱许多图像处理任务的执行，已经大大超出了传统意义上噪声给图像品质带来的影响，许多基于滤波和去噪的图像增强和复原技术已远远不能适应阴影去除的要求。因此，从图像中去除阴影，具有极大的学术价值和现实意义。本文主要研究了从单幅彩色图像中自动去除阴影，并获取图像场景在均匀光照条件下表现的方法。我们将像素色度比向量向光照无关方向投影获取光照无关图，利用线性色彩恢复机制得到具有良好色彩表现的无阴影彩色图像。实验证明，该方法速度快，能达到实时性处理；全程无需人工辅助，有很强的自适应能力；输出的高品质图像中，保留了对于图像理解非常重要的原始环境信息。全文共分五章。首先在第二章对与阴影去除相关的传统经典数字图像处理技术进行了讨论分析，通过实验进行了验证，归纳总结了各种算法的优缺点，供我们设计算法的过程中参考和借鉴，并提出了对阴影去除算法的具体要求和所期望达到的目标。然后，在第三章分析了彩色图像的成像原理以及色彩属性在其中的形成机理和发挥的作用，介绍了色彩恒常性和色彩不变性理论，通过实验对各种色彩不变性描述子进行了验证分析，从中挑选了色度比作为我们设计的阴影去除算法中表征与光照无关的特征量。在第四章基于r g b 彩色模型对彩色图像中出现的阴影进行了分析，接着基于成像色度学对我们的设想进行了证明，并以此提出了将像素的色度比向量通过向光照无关方向投影获取光照无关图，然后利用线性的色彩恢复机制获取具有良好色彩表现和模拟场景处于均匀光照条件下状态的无阴影彩色图像的方法。此外，利用m a t l a b 对算法进行了仿真实验，证明了算法的处理效果和运算性能，进而编写了基于o p e n c v 机器视觉函数库的c + + 程序，作为自适应光照均匀化模块集成到阅读机器人应用系统中，增强了该系统在复杂光照环境中的应用能力。最后，在第五章对本文提出的算法进行了总结，指出了其优点和不足，对将来进一步改进的方向进行了展望。关键词：阴影去除；光照无关图；光照校正s h a d o wr e m o v aif r o masin gier e ais c e n eim a g ea b s t r a c t t h o u g hd i g i t a li m a g ep r o c e s s i n gb e c o m e sm o r ea n dm o r ep e r f e c ta f t e rw h i c hh a sb e e nd e v e l o p i n gf o rs e v e r a ld e c a d e s ，s o m ep r o b l e m ss u c ha ss h a d o wr e m o v a lw h i c hr e f e rt ot h em e c h a n i s mo fp r o c e s s i n ga n du n d e r s t a n d i n go fv i s u a ls i g n a lc o n d u c t e db yh u m a nb r a i nc a n n o tb es o l v e de f f e c t i v e l y s h a d o wa p p e a r si nc o l o ri m a g eh a sb e e ne x c e e d e dt h ed e t e r i o r a t i o no fi m a g eq u a l i t yc a u s e db yt r a d i t i o n a ln o i s e m a n yi m a g ee n h a n c e m e n ta n di m a g er e s t o r a t i o nt e c h n i q u e sc a nn o ts a t i s f yt h er e q u i r e m e n t so fs h a d o wr e m o v a lf r o mc o l o ri m a g e s r e m o v i n gs h a d o wf r o mac o l o ri m a g ea n ds u p p l y i n gh i g h q u a l i t yi m a g ef o ro t h e ri m a g ep r o c e s s i n ga l g o r i t h m sh a sb e e nar e s e a r c hh o t s p o ti nc o m p u t e rv i s i o nf i e l d i nt h i sp a p e r , w ef o c u so nh o wt or e m o v es h a d o wf r o mas i n g l ec o l o ri m a g ea n dd e r i v et h er e p r e s e n t a t i o no fi ti nu n i f o r ml i g h tc i r c u m s t a n c ea u t o m a t i c a l l y w ep r o j e c tb a n d - r a t i ov e c t o r so fi m a g ep i x e l so n t oi l l u m i n a t i o n i n v a r i a n td i r e c t i o nt oo b t a i ni l l u m i n a t i o n i n v a r i a n tg r a y s c a l ei m a g e ，t h e ne m p l o yal i n e a rc o l o rr e s t o r a t i o nm e c h a n i s mt oa c q u i r es h a d o w - f r e ec o l o ri m a g e o u rm e t h o dh a st h r e ea d v a n t a g e s f i r s t ，i tr u n sv e r yf a s ta n dr e a l i z e sr e a l t i m ep r o c e s s s e c o n d ，i th a sp o w e r f u la d a p t i v ea b i l i t ya n dr u n sw i t h o u ta n yh u m a n - a i d a n dl a s t ，i tr e s e r v e so r i g i n a lc i r c u m s t a n c ei n f o r m a t i o nw h i c hi sv e r yi m p o r t a n tf o ri m a g eu n d e r s t a n d i n g t h i sp a p e rh a sf i v ec h a p t e r s i nc h a p t e rt w o ，w ea n a l y z es e v e r a lt r a d i t i o n a li m a g ep r o c e s s i n ga l g o r i t h m sr e l a t e dt os h a d o wr e m o v a l ，s u m m a r i z et h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s ，a n dp r o p o s eo u rr e q u i r e m e n t sa n da i m so fs h a d o wr e m o v a l i nc h a p t e rt h r e e ，w ea n a l y z et h ef o r m a t i o no fc o l o ri m a g ea n di t sc o l o rp r o p e r t y , i n t r o d u c et h e o r i e so fc o l o rc o n s t a n c ya n dc o l o ri n v a r i a n c e ，a n a l y z em a n yc o l o ri n v a r i a n td e s c r i p t o r sb ye x p e r i m e n t sa n dc h o o s eb a n d r a t i oa sc h a r a c t e r i s t i cq u a n t i t yi no u ra l g o r i t h m i nc h a p t e rf o u r , w ef i r s ti n t e r p r e tt h ec a u s eo fs h a d o wf o r m a t i o nb a s e do nr g bc o l o rm o d e l ，t h e np r o v eo u ri d e ab yc h r o m a t i c i t y , p r o p o s eam e t h o dt h a tp r o j e c t i n gb a n d - r a t i ov e c t o r so n t oi l l u m i n a t i o n - i n v a r i a n td i r e c t i o nt od e r i v ei l l u m i n a t i o n - i n v a r i a n tg r a y s c a l ei m a g e ，a tl a s tg e tt h es h a d o w f r e ec o l o ri m a g eb yai il i n e a rc o l o rr e s t o r a t i o nm e c h a n i s m w et e s t e do u ra l g o r i t h mb yp r o g r a m m i n gi nm a t l a ba n dp r o v e di t se f f e c ta n dp e r f o r m a n c e t h e nw ep r o g r a m m e dw i t hc + +l a n g u a g eb a s e do no p e n c vl i b r a r ya n di n t e g r a t e di ti n t oo u rr e a d i n gr o b o ts y s t e ma sf lm o d u l ei no r d e rt os t r e n g t h e nt h ea p p l i c a t i o nc a p a c i t yo ft h es y s t e mi nac o m p l e xl i g h tc i r c u m s t a n c e i nt h el a s tc h a p t e r , w es u m m a r i z et h ea d v a n t a g e sa n dd i s a d v a n t a g e so fo u ra l g o r i t h m ，a n dp o i n to u th o ww ec a ni m p r o v ei t k e yw o r d s ：s h a d o wr e m o v a l ；i l l u m i n a t i o n - i n v a r i a n ti m a g e ；l i g h tn o r m a l i z a t i o ni i i独创声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含未获得( 逵! 垫邀查墓丝壶要挂别主题的! 奎拦亘窒2 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：d 对& 薄签字日期：叫年参月8 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公众提供信息服务。( 保密的学位论文在解密后适用本授权书)学位论文作者签名：导师签字：瘤签字同期：础呷年6 月8 日签字日期：溯罗年6 月8 日真实场景图像中的阴影去除技术1 绪论1 1 研究内容和意义随着科技的迅速发展，数字图像处理技术越来越多地进入到了我们的日常生活中，在自动监控、目标跟踪和人脸识别等机器视觉系统中得到了广泛的应用。但由于光照和目标表面相互作用的机制非常复杂，出现在很多真实场景图片中的阴影，尤其是投射阴影，给许多机器视觉任务带来了很多的问题和限制。由于阴影的存在，也就是局部光照变化导致灰度和色彩在图像中的变化，使图像分割【l 】，目标识别【2 】，运动估计【3 】等机器视觉领域的应用很难达到较好的效果。比如，在对包含阴影的图像进行图像分割、目标检测时，由于阴影的存在，会导致检测出错误的目标。所以，无论是为了对图像局部进行增强，还是为了提高图像分割、目标检测的准确率，都应该将图像中的阴影去除。在单幅图像中，区分那些由于目标表面变化导致的边缘和由于遮挡形成的场景光照急剧变化而导致的清晰边缘，就成了许多机器视觉系统亟待解决的基本问题之一。复杂场景中通过未校正的单幅图像去除阴影的影响，获得在具有一致性均匀光照条件下的无阴影彩色图像，更成了机器视觉领域中的重大挑战。麻省理工学院的a d e l s o n l 4 1 领导的研究组自从上世纪八十年代开始，一直从事人类视觉对于光感变化理解的研究，至今取得了很多里程碑式的成果。如图1 1 所示，在黑白相间的方格棋盘的一角，放置着一个圆柱体，棋盘上两个方格分别被标示了“a 和“b ”两个英文字母。有一束光线从图像的右前侧照射过来，由于对光线的遮挡，使得圆柱体在方格棋盘上投射出一片阴影区域。如果我们此时提出这样一个问题分别被标示为“a 和“b 的两个方格，哪个是黑色，哪个是白色?通过观察图1 1 ( a ) ，我们可以迅速而准确地作出判断被标注了“a ”字样的方格是黑色的，而被标注了“b ”字样的方格是白色。但如果以a 格的灰度为准制作两个长条形的色块，使其相互平行且以竖直方向分别通过标注了“a 和“b ”的两个方格，如图1 1 ( b ) 所示。则我们发现，由于遮挡导致的投射阴影的存在，使得处于阴影区域中标注了“b 字样的方格的灰度值大大降低，与处于非阴影区域真实场景图像中的阴髟击除拄术具有“a ”宇样的方格的灰度基本一致。原本具有“b ”字样的方格表现为白色，现在却由于处于阴影区域中，具有了与黑色方格相同或相近的灰度表现。而这也是在计算机数字图像处理中，从计算机的角度对图像的理解。带弗图1 一i 具有投射阴影的棋盘格由此可见，由于投射阴影的存在，直接导致了阴影区域像素的外在表现发生了巨大变化，与其所表征的实质内容产生了极大的差异，进而导致了计算机在这种情况下执行分析、识别和判断等任务发生障碍。但通过我们对图1 - l ( a ) 的观察分析得知，人脑显然存在一种潜在的机制能够处理这一复杂情况，消除由于光照条件变化导致事物外观发生巨大变化的影响，还原事物的本来面目，为准确地对视觉信息进行处理和理解提供了可靠的保证。目前，有许多机器视觉系统代替人类执行着无人值守的监控、识别和跟踪等任务。这些系统通常情况下都工作在均匀的光照环境中或者光照变化缓慢的条件下，而一旦所要处理的图像中出现了由于光照导致的阴影，往往会极大地降低其识别的准确率，影响系统运行的稳定性。如图1 2 ( a ) 中，我们希望机器视觉系统能够自动地提取出目标物体的轮廓。这是一幅非常简单的图像，前景和背景都非常干净，背景中只包含路面，没有任何其它物体来对系统的工作造成干扰。如果我们直接使用传统的边缘检测算法，利用以c a n n y 算予为卷积模板的滤波器对原图像进行滤波，由于图像中存在阴影，会得到类似于图l 一2 0 0 ) 所示的图像。因为图中的阴影区域具有清晰锐利的边缘，我们对图像直接进行边缘检测，会把阴影边缘和目标物体边缘一同检测出来。由于无法分辨检测到的边缘究竟是由阴影引起还是属于目标本身的边缘，从而导致轮廓提取的失真实场景圈像中的m 影去除技术败。我们希望能够有一种算法，能够作为上述边缘检测算法的预处理过程，去除原图像中出现的阴影，进而获得如图1 - 2 ( c ) 所示的理想的目标物体边缘。图1 2 阴影给目标轮廓提取造成的困难真实场景图像中的阴影去除技术经过上述讨论，我们就会自然地提出这样的疑问人脑是如何迅速而准确地对图像中这一复杂情况进行分析和认知的? 我们能否设计一种算法，使计算机具有相同或相似的认知能力? 这些问题大大影响了机器视觉系统在复杂光照条件下运行时算法的成功率，限制了其应用范围，已经成为当前机器视觉、数字图像处理等相关领域亟待解决的任务之一。1 2 课题来源本课题关注于如何自适应地从单幅彩色图像中去除阴影，恢复图像中的场景在均匀光照条件下的表现，来源于山东省科技攻关项目( 2 0 0 6 g g 2 2 0 1 0 1 5 ) “智能阅读机器人关键技术研究及应用系统开发”，并同时获得了山东省自然科学基金课题( j b l 0 ) “多语种智能导游机器人”和中国海洋大学理科重点项目“智能文本阅读机器人的共同资助支持。该项目以服务盲人等特殊社会群体为目的，综合运用机械设计与制造、计算机视觉、图像处理、文字识别、语音识别、语音合成、人工智能等多种高新技术，设计和开发一种能够为盲人和弱视者进行自主导航，并帮助他们自动阅读图书资料和浏览互联网信息的智能阅读服务机器人系统。根据世界卫生组织资料，目前全球约有4 5 0 0 万盲人，1 2 5 亿人视力受到损伤。中国卫生部2 0 0 6 年1 0 月份发布的统计数据表明，目前中国约有5 0 0 万盲人( 在册，有残疾人证书) ，占全世界盲人总数的百分之十八。作为一个庞大的社会群体和特殊的弱势群体，视盲和视弱者由于视力的原因使他们不能像普通人一样学习、读书、看报、自由地浏览互联网新闻，不能像普通人一样自由地活动，独立完成工作和生活中的各种事务，导致他们的工作、学习、生活乃至最基本的行动都受到了重重的制约，剥夺了他们平等地参与社会活动的权利。为了服务盲人和弱视群体，使他们能够平等地参与社会活动，提高他们获取信息的能力，利用计算机视觉、图像处理、文字识别、语音识别、语音合成、人工智能等多种高新技术，设计和开发一种能够为盲人和弱视者进行自主导航，并帮助他们自动阅读图书资料和浏览互联网信息的智能阅读服务机器人系统，具有显著的社会意义和实际应用价值。智能阅读服务机器人系统是智能服务机器人研究领域的重要课题，是实现机器人助残的典型代表。其研制不仅可以带动计算机视觉、图像处理、文字识别、语音识别与语音合成、人工智能等多项技术的发展，而且可以提高服务机器人的综合智4真实场景图像中的阴影去除技术能水平，填补我国智能服务机器人领域的空白，从整体上促进智能服务机器人系统的发展。同时，该项目的研究成果也可广泛应用于家教服务、景点导航、互联网和各种数据库的信息咨询等公共服务。因此，该机器人系统的研发也具有十分显著的学术意义和经济价值。该项目开展了智能阅读服务机器人关键技术研究，研制了由语音控制的具有阅读、语音上网、三维导航能力的智能阅读服务机器人系统。主要研究内容如图1 3所示，包括两部分：( 一) 智能阅读系统，包括：1 ) 自动翻页技术与装置；2 ) 研究文本图像分析与预处理技术，包括图像预处理、自适应光照模型、版面智能分析等；3 ) 研究智能网页分析与语音上网技术；( - - ) 基于视频的三维室内导航技术，包括：1 ) 研究基于双目视频移动机器人三维重建关键算法；2 ) 研究基于结构光的三维重建算法；3 ) 三维室内导航控制与定位技术。( 一) 智能阅读系统，( 1 ) 自动翻页技术与子系统：自动翻页是智能阅读服务机器人系统必须具备的功能之一，也是其智能度的体现。翻页结构必须精确可靠，能够准确地按页翻动书籍和报刊。同时，考虑到图书的多样性和阅读的需要，必须具备从左向右和从右向左两个方向翻书的能力。主要研究自动翻页装置的机械结构和运动控制技术，书页压平装置等。( 2 ) 图像分析与预处理技术与子系统研究，包括图像预处理、自适应光照模型、版面智能分析等方面的研究：a 图像预处理：在拍摄得到的书本页面图像中会存在多种几何畸变，比如由于照相机工作原理形成的透视畸变，径向畸变等；对较厚的采用平订或胶订等方式装订的书籍，尽管存在书页压平装置，但在不拆开的条件下拍照时得到的图像仍将存在类似圆柱形畸变。这样会使图像严重失真，使得文字辨识困难，因此必须对图像进行预处理，对发生畸变的图像进行几何校正，研究图像畸变的模型和自适应校正方法。b 自适应光照模型：光线的变化会严重影响采集图像的质量。主要研究能够根据光线变化，自适应改善输入图像质量的算法。引入最新理论设计丌发用于对光照变化进行处理的算法，以建立自适应光照模型，提高输入图像质量，为后续的文字识别打下基础。真实场景图像中的阴影去除技术智能阅读子系统室内维导航子系统豢筹要冀蝇溪机器人机构设计视频图像分析与处理关键技术文字识别技术语音识别与语音合成h网页分析与语音上网技术基于双目视频的三维重建副基于结构光的三维重建卜糊三维导航定位技术研究鬣臣图1 3 智能阅读服务机器人关键技术及主要研究内容示意图c 版面智能分析：主要研究内容为版面分析、版面理解和版面重构三个部分：1 ) 版面分析方面：主要研究文本版面、表格版面、图形版面和复杂的图文表混合版面的分析、识别、分割的技术和方法。引入版面复杂度分析的策略选择算法，根据版面复杂度，选择版面分析策略。研究采用面向简单版面使用的基于投影的方法和对复杂版面使用的基于模糊连接度和行列置信度的方法相结合的方法，自顶向下部分采用投影法来实现，自底向上部分采用基于多层次可信度指导下的自底向上版面分析的方法，这样可以提高分析的准确率和适应性。引入数学形态学等技术研究更有效的版面分析方法。2 ) 版面理解方面：采用基于规则的算法，在排版知识的指导下，通过版面各区域的位置关系可以较方便地找到各板块之间的逻辑关系。3 )6智能阅读与室内导盲机器人关键技术研究真实场景图像中的阴影去除技术版面重构方面：研究利用r t f 文件格式实现版面重构的技术和方法，并设计合适的版面描述数据结构。( 3 ) 智能网页分析与语音上网子系统研究：智能阅读服务机器人的一个重要功能是语音上网。盲人和弱视者可以通过语音指令控制机器人登陆网站，而机器人则根据提取的网站页面信息，用语音提示使用者选取自己感兴趣的新闻或信息标题，然后进行相关内容的朗读，从而使他们可以像普通人一样自由地上网阅读新闻或查阅资料。主要包括网页版面分析、网页信息特征提取与分类、版面信息重构和语音上网四部分内容。a 网页版面分析：网页内容在网页版面中占据的区域以及这些区域之间的关系，是网页版面信息的重要组成部分。网页版面信息隐含了网页内容间的一些关联信息，理解网页版面信息将有助子加深对网页内容和结构的理解。主要研究描述网页结构的方法，区域分割和提取方法，从而实现对网页中特定区域的可靠提取。b 网页信息特征提取与分类：w e b 网页特征提取与分类，是互联网信息智能搜索中的一个重要步骤。由于w e b 网页内容表示与普通文本有所不同，因此如何选择合适的特征对w e b 网页进行描述，成为w e b 网页特征提取与分类中一个首先需要解决的问题。网页文档的特征选择方面，主要研究如何对训练文档包含的大量词条进行初步处理和特征选择，实现由高维空间到低维空间的转换，降低非特征项对特征项权重计算的干扰，减少系统计算所需开销；特征的权重赋值方面，主要研究如何在各类别之间界限模糊，词条交叉较多的情况下，选择合适的算法对各类特征项的重要性进行评估，赋予适当的权重，从而更好地辅助文档自动分类。c 版面信息重构：通过网页版面分析和信息特征分类，已经将网页中需要的信息和类别信息提取出来，此外还要对这些网页信息进行重构，重构结果为机器人阅读终端可以识别的信息。d 语音上网：根据语音指令登陆网站，然后根据网页分析获取的信息列表，利用语音指令选择相关内容进行阅读。( 二) 基于双目视频和结构光的三维导航技术研究( 1 ) 机器人运动系统设计，考虑到环境的复杂性和机器人运动的灵活性，采取双轮驱动的圆形机械结构，圆形车体结构在运动过程中能够有效降低机器人与外界障碍发生碰撞的概率，从而获得更大的相对运动空间。前后各有一个万向轮，左7真实场景图像中的阴影去除技术右两个电机驱动轮，可以实现全方位的转动。( 2 ) 基于双目视频的三维重建关键算法研究，为了实现基于双目视觉和结构光的机器人自动定位系统的三维影像重建，开展以下几方面的研究内容：双目立体视觉平台设计：在进行双目视觉系统标定以及应用该系统进行测量时，要确保摄像机的内参和两个摄像机相对位置关系不能发生变化，且由于视觉系统的安装方法影响测量结果的精度，所以设计了一个适用于复杂环境的稳定的视觉装置。视觉系统参数标定算法研究：在基于栅格图像的三维重建方面，利用现有的标定算法，研究结构光视觉系统的结构参数标定。基于双目视觉的三维重建算法研究：引入一种基于s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) 特征描述的图像匹配算法，对基于s i f t 特征描述的特征点进行精确匹配；然后提出了一种简单高效的匹配机制和匹配算法，通过分析栅格形变信息和散焦信息，获取数据的三维信息。( 3 ) 结构光照系统设计及三维重建算法研究，主要包括结构光照系统设计、结构光系统标定和三维重建算法研究三部分内容：a 结构光照系统设计：结构光三维视觉技术利用一定的光模式对物体表面的空间位置进行映射，进而获取物体表面点的空间位置。为了获得稳定的结构光模式，通过研究结构光构造、结构光通道和结构光生成和投射模式等关键技术，我们开发了一种便于机器人控制的结构光生成器。当打开结构光生成器，光线将辐射到物体表面，通过计算机分析捕获到的图像，可以提取环境的三维信息。b 基于结构光照系统标定：为了从结构光测量系统所摄取的图像中提取空间物体的几何信息，必须建立图像中像点位置和空间物体表面特征点位置之间的相互关系。这种相互对应关系主要是由测量系统成像模型来决定的，其参数主要包括c c d 摄像机的内参数和外参数，结构光光源及固定装置之间的位置关系参数。因此，本部分主要研究：1 ) 研究c c d 摄像机的标定，以标定结构光的测量系统；2 )空间直线交比具有不变性，若配合以标准量具，便可对系统进行标定。在充分掌握结构光间接测量现状的基础上，根据自身系统的特点，设计出一种结构光系统标定算法。3 ) 标定光平面；4 ) 旋转平台旋转轴的标定：5 ) 摄像机参数改变时系统的再标定。8真实场景图像中的阴影去除技术c 基于结构光的三维重建：基于结构光的三维重建方法具有大量程、大视场、较高精度、栅格图像信息提取简单、实时性强及主动受控等特点。本部分主要研究基于仿射变形的三维重建方法和基于散焦的三维重建方法。基于仿射变形的三维重建方法通过分析投影图案的形状，推导出被投影图案遮挡的表面的三维结构。在基于散焦的三维重建中，主要研究对不同程度散焦的栅格亮度进行校正和采用基于剖面模型应用d f d 的方法。( 4 ) 三维导航定位技术研究：基于上述两种方法获取的三维信息，研究利用三维信息创建具有可辨别性路标的室内环境模型的方法，并引入r a n s a c( r a n d o ms a m p l ec o n s e n s u s ) 技术和粒子滤波等概率方法实现机器人的全局定位。同时开展复杂室内环境下机器人同时定位与地图创建算法研究，这是实现机器人真正自主的关键。由于该阅读机器人系统需要把得到的图像二值化，把图像中的文字作为前景从背景中分离出来，进而送入文字识别系统当中转换成文本，所以受光照变化的影响尤其大。其中提出的自适应光照模型的研究，即本文所阐述的在真实场景图像中去除阴影的内容。1 3 研究现状近年来，为了拓展各种经典图像处理算法的应用范围，从图像中消除阴影对各种机器视觉系统影响的研究受到了越来越多的重视。w e i s s 5 1 使用了一组光照根据时间变化而场景反射系数保持不变的图像序列，来获取无阴影图像。首先在图像序列上按照时间变化进行中值滤波操作，然后把中值滤波的结果进行整合，从而得到去除了光照影响( 包括阴影效果) 的本征反射图像。这一方法应用在通过固定摄像机所获取的光照变化较大的不变场景图像序列上，可以获得较好的效果。如果图像序列中的光照变化不够大，或者单帧图像中具有非清晰边界的阴影就不能被中值滤波器很好地去除，从而图像序列中的阴影区域也不能很好地去除。t a p p e n 等f 6 】利用了灰度、色彩、目标表面的三维构成等多种线索来训练分类器，从而识别出由原始图像中检测出的边缘是属于目标表面反射系数变化引起，还是由于光照变化引起的阴影边缘，而后使用置信度传播的方法对模糊区域进行修正，最9真实场景图像中的阴影去除技术终获得无阴影彩色图像。但是这种方法需要预先训练分类器，处理结果的好坏完全依赖于分类器的性能。所以，为了获得较好的处理结果，前期需要大量有效样本来对分类器进行训练，工作量很大。在以前的工作中，f i n l a y s o n 等8 1 通过对单幅图像自动检测和去除阴影，获得了很好的效果。但在他们的论文里，对光源和成像设备作出了许多限制。而且如果在图像中出现复杂纹理，那么就很可能会在去除阴影之后变得模糊。f i n l a y s o n 和h o r d l e y 等 9 1 还提出了一种方法，由单幅彩色r g b 图像，基于获取光照不变图像，去除投射阴影。光照不变图像中的边缘，反应了目标反射系数的变化，所以，可以被用来检测图像中阴影区域的边缘。对于每一色彩分量的梯度图像，阴影边缘通过形态学操作加宽后被置为零。最后，采用了类似于文献 5 】中的整合方法，由每个色彩分量的梯度图像，恢复出三幅无阴影灰度图像，进而最终得到无阴影彩色图像。w u 和t a n g 1 0 】提出了一种基于贝叶斯统计的方法，对由阴影区域和非阴影区域直方图得到的高斯混合模型概率密度函数进行估计，来获取无阴影图像，获得了较好效果。此方法可以把阴影区域从原始图像中抽取出来，还可以在修复由于镜头眩光造成的受损照片和重建出具有真实感的人工图像等方面获得应用。但这一方法需要人工干预，在对图像进行处理的过程中，需要由人工标注出阴影区域、非阴影区域、不确定区域和由于光照形成的在目标物体背光面的附属阴影区域，大大限制了应用范围。何晓光、田捷等【l l 】在人脸识别的研究中，利用形态学和商图像，设计了一种对复杂光照进行动态估计，从而进行光照校正的算法。此算法不需要训练数据集和预先假定光源位置，但对要处理的人脸图像，需要预先准备一幅注册图像进行对比，限制了应用范围。近年来，由l a n d e l 3 】提出，作为模拟人类视觉系统对于光照和色彩理解的r e t i n e x 理论成为新的研究热点。自从r e t i n e x 理论出现以来，l a n d 一直致力于对它的改进。这一理沦已经由最初的随机路径算法【1 5 1 发展到目前中心环绕形式【1 6 】，更加近似于人类视网膜神经元的神经生理学功能。f i n l a y s o n 等以随机路径形式的r e t i n e x 算法为基础，进行了阴影消除方面的研究。m e y l a n 等【1 8 】和s u n 等【1 9 】分别对中心环绕形式的r e t i n e x 算法进行了改进，希望实现同样的功能。但他们分别需要在每个像素上进行迭代计算确定滤波器尺度和主成分分析( p c a ) ，计算复杂l o真实场景图像中的阴影去除技术度较高。唐磊等【2 0 】提出了各向异性中心环绕r e t i n e x 算法，其中融入了基于偏微分方程的各向异性扩散，建立了基于“边界性的各向异性扩散方案，避免了在阴影消除过程中对参数门限等的选择。但该算法要求使用o s t u 方法基于灰度对图像中存在的阴影进行检测，只适用于具有简单纹理的简易场景中。作为一个相关的研究课题，对场景中主要光照的颜色属性作出估计和解释同样受到了越来越多的关注【1 6 1 2 1 】【2 2 】【2 3 1 。上述文献关注的焦点主要集中于获取阴影图像的本征反射分量图像，而不是获取阴影图像场景在均匀标准光照条件下的表现。像这些建立在色彩恒常性基础上的算法，都是运行于相似的严格限制的条件下，诸如镜面反射，遮蔽，投射阴影等引起光照变化的影响因素通常被简单地忽略。获取不依赖于上述因素的光照不变性的方法为我们提供了一个不同的视角重新审视这一问题 2 4 1 1 2 5 1 。与试图估算场景中光照的色彩不同，通过对阴影图像进行代数变换获取光照无关灰度图，找出具有相同物理性质的像素在变化的光照条件中的不变属性，基于光照不变性的方法希望可以简单地把阴影的影响从图像中去除。在对场景光照和成像设备作出一定限制的条件下，文献【2 6 】提出的方法能够在图像中每个像素点上解决色彩恒常性的问题，从给定的单幅三通道彩色图像可以获得不随场景中光照亮度和色彩改变而变化的一维灰度图像，也就是无阴影的本征反射图像。采用这一方法去除图像中具有清晰边缘的投射阴影，待处理的彩色阴影图像需要满足三个条件：( 1 ) 图像场景中的目标表面为朗伯反射面；( 2 ) 场景光照可以近似为普朗克光源；( 3 ) 成像设备具有良好的窄带响应。即便有如此苛刻的限制条件，此方法在实际中仍然可以很好的工作于那些不符合上述条件的情况下。在应用这一方法的过程中，最关键的一步是要确定“光照无关投影角”的度数。以前，人们通过一系列的实验，对作为成像设备物理属性的光照无关角不断地进行估计和校正，然后用已知光照无关角的数字成像设备对待处理的场景进行图像采集。而现在，我们可以不再通过反复实验来获取成像设备参数，因为在文献【8 】中论证了这样一个简单而重要的事实，通过最佳投影角获得的光照无关灰度图的熵最小。只要我们计算出所有可能的投影角度下的光照无关灰度图，然后选出其中熵最小的即为我们要求的结果。但这一方法获得的是一幅与场景中光真实场削像十m 嚣去障技术照变化无关的灰度图，在去除了阴影的同时也丢失了对于人类视觉理解至关重要的色彩信息。14 本文的主要内容和结构安排本文中，我们试图揭示在人脑理解图像的过程中，如何对出现在场景中的投射阴影进行解析，并以此为基础设计一种算法，使得计算机在处理单幅彩色图像时，能够自动去除存在的阴影，获得类似于人脑对这一复杂情况的认知和理解能力，为后续的图像处理工作提供高品质的输入图像。在过去许多有关机器视觉的文献中，对算法效果影响巨大的光照因素被简单地忽略了，这说明阴影对许多基于色彩恒常性的视觉任务的影响并没有受到足够的重视。但这一现象却在某种程度上是非常令人费解的- 因为阴影经常性地出现在一些实际应用的系统当中，并能够对很多视觉应用造成重大影响。虽然人脑可以迅速而准确地辨识阴影的存在，并在对阴影图像的理解过程中消除阴影的影响，但实际上这是一个十分复杂的过程，因为阴影不但引起了场景光照亮度的变化，同时导致其色彩发生了改变。为了说明这一问题，请参见图l _ 4 ，由图可见，阴影区域中路面和草坪的颜色分别比非阴影区域中路面和草坪的颜色要深。非阴影区域的光照由直射的太阳光和天空的反射光构成，相应的阴影区域的光照只是由天空的反射光组成。这意味着我们如果要在图像理解的意义上解析投射阴影，就必须有效地处理局部色彩恒常性的问题也就是说，确定场景中每一个像素点的光照色彩。圈1 4 包含阴影的彩色图像本文对从真实场景的单幅彩色图像中去除阴影的关键技术进行了研究，主要内容如下：真实场景图像中的阴影去除技术( 1 ) 研究了与阴影去除有关的经典的数字图像处理方法，提出了对于阴影消除算法的具体要求；( 2 ) 对图像成像的色彩属性进行了分析，选定了用于阴影去除算法中在光照变化条件下保持恒定的特征量；( 3 ) 提出了一种基于光照无关图和线性色彩恢复机制的阴影去除算法，能够自动去除单幅彩色图像中的阴影，并获得在一致性均匀光照条件下的无阴影彩色图像。全文共分五章，内容安排如下：第一章绪论主要介绍了真实场景图像中阴影去除关键技术研究的内容和意义，课题来源，以及本文的主要内容和结构安排。第二章与阴影去除有关的算法分析介绍分析了与阴影去除有关的经典的数字图像处理技术，并进行了实验验证。通过对这些方法的分析，归纳出他们的优缺点，并提出我们对阴影去除算法的具体要求。第三章光照不变性理论的概念和背景知识详细分析了图像构成中色彩的作用和形成原理，介绍了色彩恒常性和色彩不变性理论，通过实验对各种色彩不变性描述子进行了验证，选定了色度比作为光照不变的特征量用于我们的算法设计。第四章基于光照无关图的阴影去除算法对彩色图像中的阴影基于r g b 彩色模型进行了分析，运用在二维色度比空间中投影的方法获取了无阴影的光照无关图，进而设计了一种线性的色彩恢复机制，综合考虑了原图像的整体色调和单个像素的颜色，得到了具有良好色彩表现的无阴影彩色图像。通过仿真实验对算法的性能和效果进行了验证，然后编写了自适应去除阴影的程序，作为一个模块集成到阅读机器人系统中。第五章全文总结与展望总结了本文的工作，提出了今后需要进一步研究和改进的问题。真实场景图像中的阴影去除技术2 与阴影去除有关的算法分析要消除图像中投射阴影对于机器视觉任务的影响，传统上主要使用图像增强技术和图像恢复技术。图像增强的方法大体上分为两类：空间域方法和频域方法。“空间域”方法是指在图像平面上对图像像素直接处理，“频域 方法是以修改图像的傅里叶变换为基础来达到图像增强的目的。通用的图像增强理论是不存在的。图像质量的视觉评价是一个高度主观的过程，为视觉理解而进行图像增强时，往往是由观察者对特定方法的效果作出最终的判断。2 。1 空域图像增强2 1 1 对比度线性展宽如果所获得的图像质量不好，期望观察的对象由于对比度不足而不够清晰，可以通过对比度线性展宽的方法获得对画质的改善，把关心的部分强调出来。对比度线性展宽的原理是，进行像素点对点的，灰度级的线性映射。假设处理后图像与处理前图像的量化级数相同，即处理前后图像的灰度分布范围相同，则如果要进行对比度展宽，从原理上说，只能通过抑制非重要信息的对比度来腾出空间给重要信息进行对比度展宽。设原图像灰度为f ( x ，y ) ，处理后图像的灰度为g ( x ，y ) ，原图中的重要景物的灰度分布在【六，以】的范围内，对比度线性展宽的目的是使处理后图像的重要景物的灰度分布在【，g b 】的范围内，当( 以- l ) ( 一岛) 时，则可达到对比度线性展宽的目的。对比度线性展宽的计算公式可以表示如下：fa f ( x ，少) ，0 f ( x ，j ，) 无g ( x ，y ) = f l ( f ( x ，y ) 一工) + g 口，l f ( x ，y ) 五式( 2 一1 )【7 ( f ( x ，y ) - 丘) + 9 6 ，五f ( x ，y ) m a x其中，口= 尝，= 糟俨器，慨是图像中可能出现的最大灰飙1 4真实场景图像中的阴影去除技术其处理效果如图2 - i 所示。图2 - 2 非线性动态范围调整的映射关系由于从a n e 接收图像信号到在大脑中形成一个完整图像的过程中，有一个近似对数映射的步骤。因此，一般情况下可采用对数运算的方法来实现菲线性动态范围的调整一因为处理的依据是人眼的视觉特性，所以处理后图像的灰度分布与人的视觉特性相匹配，可以得到较好的增强效果。真实场景图像中的阴髟去除技术非线性动态范圉调整的计算公式可以由下式表示：g ( x ，力= c t o g o + ，似y ) )式( 2 - 2 )其中，c 为增益常数，l o g ( x ) 表示对r 取对数。其处理效果如图2 3 所示。原图像2 13 直方图均衡化闰2 - 3 非线性动态范围调整处理后的图像直方图是表达一幅图像灰度级分布情况的统计圈，表示具有某一荻度的像素数。对于数字图像信号，直方图的横坐标是灰度，一般用，表示，纵坐标是某一灰度值的像素的个数一。一幅灰度图像中灰度级出现的概率近似为p a r , ) = 兰式( 2 3 )h且y p , ( r ，) ；l式( 2 4 )i ；i其中，n 是图像中全部像素个数，k 为图像对应的灰度级数。信息学中有这样的结论：当数据的分布接近均匀分布的时候，其所包含的信息量( 熵) 最大。从前文介绍的图像灰度直方图的概念可知，图像的扶度直方图反映了图像中像素的灰度分布特性，因此，通过对灰度直方图的调整，可以达到使图像数据信息含量增大的目的，由此改菩图像表现效果。如果等于某个灰度值的像素在图像中所占比倒较大，则其对图像的影响较大；产i l真舞场景图像中的胡影去除技术反之，某个灰度值的像素在图像中所占比例极小，则其对图像的影响可以忽略不计。由此，直方图均衡化的基本原理是，对在图像中像素个数多的灰度值进行展宽，而对像素个数少的灰度值进行归并，从而达到使图像清晰化的目的。在由式( 2 3 ) ( 2 - 4 ) 获得原图像直方图的基础上，可以通过式( 2 5 ) 和式( 2 6 )进行直方图均衡化。首先，计算各个灰度值的累计分布概率，p o ( j ) = b ( ) ，= 1 ，2 ，慨r式( 2 - 5 )i - o然后，求得处理后的像素值岛= m a x 岛( 力式( 2 6 )其中，m a x 为图像中可能出现的最大灰度值。这样，我们就把原图像中的灰度值r 与处理后的图像中的灰度值吕对应起来，并按照原灰度值对图像的影响大小重新调整了图像的灰度值分布，增强了图像的对比度。其效果如图2 4 所示。2 2 同态滤波原图像图2 _ 4 直方图均衡化处理后的图像同态滤波是把频率过滤和灰度变换结合起来的一种图像处理方法，它依靠图像的照度，反射率模型作为频域处理的基础，利用压缩亮度范围和增强对比度来改善真实