（通信与信息系统专业论文）文件摄像仪的图像恢复方法研究.pdf

论文题目：文件摄像仪的图像恢复方法研究 专业：通信与信息系统 硕士生：卢亚军 指导教师：沈伟教授 摘要 随着科技的发展，数字化办公、无纸化办公等越来越普及，扫描技术的发展 受到了广泛的关注。传统扫描仪虽然扫描质量较高，但是成像慢、占用空间 大及不便于携带等缺点非常明显。以摄像头为核心器件的文件摄像仪具有成像 快捷、体积小且便于携带等特点，但是获取的图像质量无法与传统扫描仪成像相 比，主要原因是图像会出现阴影和产生几何畸变等问题。因此，如何去除图像阴 影和进行几何畸变校正的算法研究对于文件摄像仪的实际应用至关重要。 为解决阴影去除的问题，在对比分析经典的阴影去除方法的基础上，结合文 件摄像仪的成像特点，采用数学形态学方法消除阴影，重点分析了数学形态学中 的结构元素大小对去除阴影的影响。为了校j 下图像的几何畸变，分析比较了传统 的标定方法和自标定方法，通过对比实验，采用v d o u s k o s 的角点自动检测标定 方法作为本文的标定方法。在c + + 环境下开发出实验平台，对本文所提的阴影去 除和几何畸变校正方法进行了验证，实验结果令人满意。此外，对于两个摄像头 的协同成像，研究了图像融合的问题，效果还有待提高，这是今后研究工作的重 点。 关键词：文件摄像仪，阴影去除，摄像机标定，几何畸变校正 中山大学硕士论文 t i t l e ：s t u d yo nt h ei m a g er e s t o r a t i o nm e t h o do f f i l e - c a m e r a m a j o r ： n a m e ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m y a j u nl u s u p e r v i s o r ：p r o f e s s o rw e is h e n a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs c i e n c ea n dt e c h n ol o g ya n dt h ep r e v a l e n c eo f d i g i t a lp a p e r l e s so f f i c e ，d e v e l o p i n gs c a n n i n g t e c h n o l o g yh a sr e c e i v e de x t e n s i v e a t t e n t i o n t h et r a d i t i o n a ls c a n n e rp r o v i d e sah i g hq u a l i t ys c a n , b u ti tp o s s e s s e s d r a w b a c k so fi m a g i n gs l o wa n dc o n s u m i n g l a r g es t o r a g e i nc o n t r a s t ，t h e c h a r a c t e r i s t i co ff i l ec a m e r a ，w h i c ht a k e sc a m e r a sa st h ec o r ed e v i c e ，i sf a s ti m a g i n g ， b u ti ts u f f e r sd r a w b a c k so fs h a d o wg e n e r a t i n ga n dg e o m e t r i cd i s t o r t i o n t h e r e f o r e ，i t i sv e r yi m p o r t a n tt oi n v e s t i g a t et h ei m a g e s s h a d o wr e m o v a la n dg e o m e t r i cd i s t o r t i o n c o r r e c t i o nu n d e rt h ed o c u m e n t c a m e r ae n v i r o n m e n t t os o l v et h es h a d o w - r e m o v a lp r o b l e m , c o m p a r e dw i t ht h ec o n v e n t i o n a lm e t h o d s o fs h a d o we l i m i n a t i o n , m a t h e m a t i c a lm o r p h o l o g yi se m p l o y e da c c o r d i n gt ot h e p e r f o r m a n c eo ff i l ec a m e r a ，w h i c hm a i n l ya n a l y z e st h ei n f l u e n c eo fs t r u c t u r a l e l e m e n t ss i z e i na d d i t i o n , t os o l v et h ep r o b l e mo f g e o m e t r i c - d i s t o r t i o nc o r r e c t i o n , b y i n v e s t i g a t i n gt h et r a d i t i o n a lc a l i b r a t i o na n ds e l f - c a l i b r a t i o na p p r o a c h e s ，a na u t o m a t i c d e t e c t i o nm e t h o do fc a l i b r a t i n gc o m e rp r e s e n t e db y 钐d o u s k o si sc o n s i d e r e df o r c a l i b r a t i n gc a m e r a si n t h i st h e s i s f i n a l l y ，t h ee x p e r i m e n to ft h ei m a g e s s h a d o w e l i m i n a t i o na n d g e o m e t r i c d i s t o r t i o n c o r r e c t i o ni s d e v e l o p e du n d e rt h e c + + e n v i r o n m e n t ，w h i c hs u b s t a n t i a t e st h ea b o v em e t h o d se f f e c t i v e i ti sw o r t hp o i n t i n go u t t h a tt h i st h e s i sa l s oi n v e s t i g a t e st h ei m a g ef u s i o nf o rs y n e r g yi m a g i n go ft w oc a m e r a s ， w h i c hc o u l dh ef u r t h e rp r o m o t e da n dw i l lb ec o n s i d e r e da so n eo fo u rf u t u r er e s e a r c h d i r e c t i o n s k e yw o r d s ：f i l e - c a m e r a ，s h a d o wr e m o v a l ，c a m e r a sc a l i b r a t i o n , g e o m e t r i cd i s t o r t i o nc o r r e c t i o n 论文原创性声明内容 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 一戳：幸现孚 日期：2 - 0 f 0 年钞砂r 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查 阅，有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其 他方法保存学位论文。 靴敝储撕恤 日期：2 - o t o 年乡月和r t p 厶 1 月沈 名 如 獬 少 师 明 新 嗍 第一章绪论 第一章绪论 1 1 研究背景和选题意义 在日常生活工作中，我们不难知道，传统扫描仪有占用空间大、成像速 度慢、质量重、不便于携带及价格昂贵等缺点。随着科技的发展，数字化办公、 无纸化办公等越来越普及，扫描技术的发展受到了广泛的关注。很多行业和领域 对扫描设备有了新的需求，如银行大量票据的电子存档、教育行业课件书籍的扫 描及讲义的制作、政府机关环保办公以及移动商务人士的文件电子化管理等等， 这些需求是传统扫描仪所不能满足的。以摄像头为核心器件的文件摄像仪具有成 像快捷、体积小且便于携带等特点，能够满足这类特定人群的需要。但文件摄像 仪获取的图像会出现阴影和产生几何畸变等问题。因此，去除图像阴影和几何畸 变校正的算法研究对于文件摄像仪的实际应用至关重要。 传统扫描仪基本都包含上盖、原稿台、光学成像部分、光电转换部分、机械 传动五个部分n 一。传统扫描仪的基本原理是通过传动装置驱动扫描组件，将各 类文档、相片、幻灯片、底片等稿件经过一系列的光、电转换，最终形成计算机 能识别的数字信号，再由一些扫描软件读出这些数据，并组成新的图像文件，供 计算机存储、显示、修改和完善，以满足人们各种形式的需要n 1 。传统扫描仪扫 描中首先是c c d 先将r g b 光带转变为模拟信号，然后a d 转换器将模拟信号 转变为数字信号，最后传送到计算机。c c d 和a d 转换器的性能直接影响到传 统扫描仪的整体性能指标。 文件摄像仪结构简单，由摄像头、支架和扫描平台组成，轻便易携带，可以 在飞机、办公室、图书馆、公共汽车等各种场合作为扫描工具使用。文件摄像仪 使用方便，成像快捷，占用空间小，成像速度较传统扫描仪有较大提高，这种优 势有可能使其作为办公产品取代传统扫描仪。 但文件摄像仪能否取代传统扫描仪的关键在于扫描图像的质量。文件摄像仪 的摄像头在获取图像时，经常会出现图像阴影并产生图像的几何畸变，甚至有些 文件超出摄像头一次拍摄范围，需要进行多次拍摄。因此，能否有效的去除图像 阴影，能否对图像进行较好的畸变校正，甚至能否对多次拍摄图像进行完美的融 1 中山大学硕士论文 合等，都将是文件摄像仪发展过程中必然会面临的技术难题。阴影去除和几何畸 变校正都属于图像恢复的范畴。因摄像机与物体相对运动、系统误差、畸变、噪 声等因素的影响，使图像往往不是真实景物的完善映像，于是需要通过计算机处 理，对质量下降的图像加以重建或恢复。 基于本文的研究对象，在图像恢复中重点研究阴影去除和几何畸变校正。为 解决阴影去除问题，对比分析了经典的阴影去除方法和滤波去除阴影的方法，根 据文件摄像仪的性能，决定采用数学形态学方法口1 来消除阴影，重点分析了结构 元素大小对于数学形态学去除阴影的影响。为解决几何畸变校正，首先要对摄像 仪的摄像头进行标定，本文研究了传统的标定方法和自标定方法。本文标定中所 使用的标定物体是黑白棋盘，通过对提取棋盘角点的图像位置信息，可以确定机 器视觉系统中像平面坐标与空间坐标系的关系，并得到摄像机的内外参数，确定 其空间位置。棋盘角点的检测精度直接决定了摄像机方位元素的计算精度。通过 实验分析对比，采用v d o u s k o s 的角点自动检测h 1 标定方法作为本文的标定方法。 本文最后基于c h 程序开发出实验平台，对阴影去除和几何畸变校正进行了实验 分析，得到了较好的效果。根据文件摄像仪实际情况，本文还尝试性的研究了图 像融合问题，但融合分界线尚存在色差，其融合效果还有待进一步提高。 1 2 图像恢复研究现状 文件摄像仪作为便捷式的拍摄仪，可随处进行纸制文件的快速数字化扫描。 但是，文件摄像仪拍摄到的图像，总是会出现阴影和产生一定的几何畸变，需要 进行图像的恢复。因此，本文对于图像恢复的研究主要针对阴影去除和几何畸变 校正。在阴影去除中，主要从传统方法、滤波方法和数学形态学三方面来分析研 究。为了实现几何畸变校正，必须对摄像头进行标定，而本文选定的标定参照物 是黑白棋盘，对于棋盘角点的检测是标定的重要步骤。以下将分析阴影去除、摄 像机标定和角点检测的研究现状。 1 2 1 阴影去除研究现状 在进行图像拍摄的时候，由于场景、光照条件等多种因素的影响，拍摄的图 像中往往存在着阴影啼1 。图像中的阴影对于图像分析有利有弊，因不同问题而产 2 第一章绪论 生不同的结果。根据图像阴影，可以分析出光源方向、物体运动状态等，这是其 有利的方面。但更多的时候，图像阴影对计算机视觉研究，往往产生不利的影响。 卫星拍摄图像中的阴影会影响卫星图片的数据分析旧1 ，医学影像学图像的阴影会 影响医生对于病理的判断和分析盯1 ，交通违章拍摄图像的阴影会影响对于交通违 章事故的判定，本文讨论的文件摄像仪的图像如果存在阴影，会影响图像文件的 质量。因此，非常有必要对图像中的阴影进行去除。根据文件摄像仪的应用，本 文阴影去除的研究对象是静态图像。 常用阴影去除算法主要分为三类，分别是基于区域补偿的阴影去除算法、基 于二维积分的阴影去除算法以及基于颜色比率的阴影去除算法。基于区域补偿算 法的代表人物有杨俊瞄1 等人；基于二维积分算法的代表人物有g d f i n l a y s o n 8 , 9 】； 基于颜色比率的阴影去除方法代表人物有e l i a r b e l n 们等。 以中值滤波和均值滤波为代表的低通滤波器和以拉普拉斯滤波为代表的高 通滤波器也常常被用于图像增强的处理之中。中值滤波和均值滤波是图像平滑中 的两个重要方法，主要目的是为了减少图像的噪声，但图像平滑在降低噪声的同 时也使图像的轮廓和边界模糊起来，其模糊的实质是因为图像上受到了平均和积 分运算。拉普拉斯滤波是图像锐化技术的典型代表，加强图像中的目标边界和图 像细节。但是在增强图像边缘的同时，也使得图像中的噪声得到增强。 数学形态学是以图像的形态特征为研究对象，描述图像的基本特征和基本结 构，现在广泛应用于边缘检测、纹理分析、图像恢复和增强等口1 。数学形态学作 为图像处理与分析学科是在上世纪6 0 年代，根据积分几何的研究成果，由 c l m a t h e r o n 和j s e r r a 创立的1 。数学形态学发展至今，已经成为了图像处理中 的一个主要研究领域。数学形态学图像处理表现为邻域运算形式n 川，采用结构 元素的方法，对每个像素位置上邻域结构元素与图像对应的区域进行逻辑运算， 可以得到图像结构的信息，这些信息与结构元素的大小和形状有着密切的关系。 因此，构造不同的结构元素，便可以对图像进行不同的分析。数学形态学是一种 非线性滤波方法，是以膨胀和腐蚀运算基础的，可以用来解决图像分割、形状识 别、边缘检测、图像恢复、图像重建、噪声抑制等多方面的图像处理问题n 引。 数学形态学最早是用于处理二值图像口川，在二值图像中，将图像看作是集 合，所以形态学对二值图像的处理其本质就是对集合的处理过程。二值形态膨胀 3 中山大学硕士论文 与腐蚀适于对二值图像进行图像分割、细化、抽取骨架、边缘提取和形状分析等。 数学形态学对灰度图像的处理是对二值图像处理的扩展b j ，其代表人物 s t e r n b e r g n 3 1 对灰度形态学的算法及应用进行了详细的阐述。形态学滤波主要采用 形态学开、闭运算进行滤波操作，是一种非线性滤波器，能在滤波的同时保持结 构不被钝化。开、闭运算都能有效的提取特征和平滑图像。闭运算会填充那些图 像上与结构元素不相吻合的相对暗的分布结构，同时保留那些相吻合的部分。本 文就是利用这个性质，来进行图像的阴影去除。 本文将对几种主要的阴影去除方法进行详细研究，并分析其优缺点，最后选 择数学形态学的方法为文件摄像仪中阴影去除的方法。 1 2 2 摄像机标定研究现状 摄像机的参数包含内部参数和外部参数n 钔。内部参数是指摄像机本身的几何 特性和光学特性；外部参数主要是指摄像机在世界坐标系中的位置和方向等1 。 求解这些参数的过程就叫做摄像机标定。摄像机标定的精确程度，直接决定了立 体视觉系统测量的精度和三维重建的精度。现有的摄像机标定技术总体上可以分 为两大类：传统的摄像机标定方法和摄像机自标定方法。 传统的标定方法n 钔，就是指用一个结构和形状已知的标定参照物，通过图像 处理，建立空间点和图像点之间的对应关系，利用一定的数学算法从而获得摄像 机的内外参数。该方法的典型代表有f a i g n 剐提出的最优化算法、a b d e l a z i z 和 k a r a r a 提出的直接线性变换方法口引( d l t ) 、g a n a p a t h y 提出的利用透视变换矩阵 的标定法n 、t s a i 的两步标定法n 引，w e n g n 训等人提出的迭代法、m a r t i n s 乜等人 提出的双平面标定法以及张正友提出的平面模板标定方法乜。 摄像机自标定方法n 利，它不需要标定物，仅仅依靠多幅图像对应点之间的关 系直接进行标定。自标定研究的主要成果有利用本质矩阵和基本矩阵进行标定， 其代表人物是o d f a u g e r a s 和s m a y b a n k 瞳2 船1 ；利用绝对二次曲线和外极线变换 性质进行的标定，需要间接或者直接求解k r u p p a 方程瞳3 1 ；利用主动系统控制摄 像机做特定运动的标定，其代表是由马颂德提出的利用主动视觉系统控制摄像机 做两组互垂直的运动，进行手一眼标定的方法嘲，2 5 1 ；利用多幅图像之间的直线对 应关系进行的标定，其代表人物是s h a s h u a 心6 1 。 4 第一章绪论 传统标定方法与自标定方法优缺点的比较如表1 - 1 ： 表卜1 两种标定方法比较 优点缺点 传统标定可以获得较高的精度费时费力，场所限制较大 自标定与场景和摄像机运动无关算法复杂，鲁棒性差 结论各有优缺点，都有适用范围，根据实际情况选择标定方法。 1 2 3 角点检测研究现状 本文的标定是选用黑白棋盘图形，所以重点研究棋盘角点检测。通过对提取 棋盘点的图像位置信息，可以确定机器视觉系统中像平面坐标与空间坐标系的关 系，并得到摄像机的内外参数，确定其空间位置。棋盘点的检测精度直接决定了 摄像机方位元素的计算精度。 所谓角点，是指二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的 点1 。角点检测在目标跟踪、目标识别、图像匹配等领域有着重要而广泛的应用， 其原因是角点可以保留图形重要信息的同时，还可以提高计算速度和精度田1 。一 般进行摄像机标定时，往往用带有方格的棋盘图进行参照，通过将已知格点世界 坐标系的位置和对应的图像坐标进行校准求解，从而达到对摄像机的标定旧1 。 现在主流的角点检测算法主要有三类旧脚嚣门町，即基于亮度变化的角点检测、 基于边缘特征的角点检测和基于模板匹配的角点检测。( 1 ) 基于亮度变化的检测 方法，其特点是利用角点本身的特点直接提取角点，而不依赖目标的局部特征， 算法的速度快、实时性强，以h a r r i sa n ds t e p h e n s 算法口和s u s a n 算法为代表。 ( 2 ) 基于边缘的检测方法，认为角点在图像的边缘上，对边缘进行分析来提取角 点。该方法需要先对图像进行预分割，然后进行编码和提取。( 3 ) 基于模板匹配 的检测方法，是计算一个给定的刀珂模板与图像的n x 甩区域的相似程度，根据 相似性来判断位于子窗口中心的像素点是否为角点。 目前棋盘角点检测的主流方法中，主要存在的问题是需要人工干预且定位的 精度不高，比如需要通过鼠标点击来逐个获取角点的位置口刳，或者利用人机交互 获取角点所在的区域信息，再通过代数变换求取所有角点啪一。本文经过对比研 s 中山大学硕士论文 究，决定采用vd o u s k o s 的角点自动检测标定方法作为文件摄像仪的标定方法。 1 3 本文主要研究工作及内容安排 本文研究文件摄像仪的图像恢复方法，重点在阴影去除和几何畸变校j 下两方 面进行深入研究。在阴影去除中，通过分析对比，采用数学形态学来去除阴影， 通过实验验证，取得了满意的阴影去除效果，并且验证了结构元素大小对于阴影 去除的影响。在几何畸变校正中，重点对摄像机标定和角点检测进行了研究，分 析了主流的标定和角点检测的方法，并重点对h e i k k i l i 的四步标定法和 v d o u s k o s 1 的角点自动检测标定法进行对比实验分析，决定采用vd o u s k o s 的角 点自动检测标定方法作为文件摄像仪的标定方法。根据文件摄像仪的实际需要， 为解决摄像头多次拍摄同一幅图像或者两个摄像头协同拍摄后遇到的图像融合 的问题，在最后对图像融合进行了尝试性的研究。本文的内容安排如下： 第一章绪论，阐述了本文的研究背景和选题意义，对图像现有的阴影去除、 摄像机标定和角点检测的研究方法进行了分析与归纳，给出了本文的主要研究工 作和内容安排。 第二章阴影去除，阐述了阴影去除主要方法的原理，并分析了这些方法的优 缺点。根据文件摄像仪的实际情况，决定采用数学形态学的方法用于文件摄像仪 的阴影去除。于是对数学形态学的概念和相关理论做了较为全面的介绍。在实验 分析中，对比了滤波、二维积分与形态学方法对于灰度图像阴影的去除效果，验 证了结构元素大小对于阴影去除效果的影响，并利用二维积分的方法对彩色图像 的阴影进行去除。各组实验，均得到满意效果。 第三章摄像机标定，为了进行几何畸变校正，必须进行摄像机标定，而角点 检测又是摄像机标定的重要环节。本章对摄像机标定主要方法的基本原理以及角 点检测的基本原理进行了阐述，通过实验，对比分析了h e i k k i l i 的四步标定法和 vd o u s k o s 的角点自动检测标定法，决定采用vd o u s k o s 的角点自动检测标定法 作为文件摄像仪的标定方法。 第四章实验设计与结果分析，在c + + 平台下，对不同类型的黑白图像和彩色 图像进行去除阴影处理，对几何畸变的图像进行畸变校正，对不能一次性完成拍 摄的图片进行图像融合的尝试性研究，并对实验结果进行分析。 6 第一章绪论 第五章总结和展望，对全文工作进行总结以及对未来工作进行展望。 1 4 本章小结 本章概述了扫描仪在现代社会生活中的重要作用，对传统扫描仪与文件摄像 仪在成像质量、占用空间大小和便携性等方面进行了对比，说明了文件摄像仪的 成像会有阴影并易产生畸变，于是指出文件摄像仪的图像恢复的重要性。本章较 为详细的介绍了阴影去除、摄像机标定和角点检测的研究现状，根据文件摄像仪 实际应用的具体要求，得出本文的研究内容和研究路线。 7 第二章文件摄像仪图像的阴影去除 第二章文件摄像仪图像的阴影去除 文件摄像仪的摄像头在拍摄图像的过程中，由于受到光照、场景等外部条 件的影响，产生阴影是不可避免的。为提高文件摄像仪成像质量，阴影去除是 不可缺少的步骤。 本章对常用阴影去除算法进行了介绍，其中重点介绍了基于二维积分的阴 影去除方法，并运用此方法对彩色图像进行阴影去除。本章还分别介绍了滤波 和数学形态学在去除阴影方面的应用，将二维积分方法、滤波和形态学对灰度 图像阴影去除进行对比实验，说明形态学方法在本文实验条件下去除阴影方面 具有更好的结果。结合形态学去除阴影的理论分析，进行分组实验，表明了结 构元素大小的选取对阴影去除的效果有着非常重要的联系。上述实验结果，均 取得令人满意的效果。 2 1 常用的阴影去除算法 近年来，国内外许多学者对阴影去除进行了深入研究，并提出了一些有效 的算法。下面介绍几种常用的阴影去除算法，并对它们进行优缺点分析。 2 1 1 基于区域补偿的阴影去除璐3 基于区域补偿的阴影去除算法的代表人物是杨俊，其假设阴影部分与周围 一定范围内的非阴影部分的统计信息具有一定的相似性，也就是图像是局部平稳 的。在阴影检测完成后，通过对独立的阴影部分和邻近的非阴影部分进行匹配来 完成阴影部分的补偿，最后沿着阴影边界做一次中值滤波以减轻边缘效应，从而 获得去除阴影的图像。该算法主要思路如下： ( 1 ) 计算每个独立阴影区域临近的非阴影区域 吸= i q t o d ( q ，呒) t h ，t ( i ，j ) 为边缘点。 2 3 基于形态学的阴影去除方法的研究 数学形态学以图像的基本特征和基本结构为研究对象口1 ，也就是研究图像 中元素与元素、部分与部分间的关系。通常形态学图像处理表现为一种邻域运 算形式，采用邻域结构元素的方法，在每个像素位置上邻域结构元素与图像对 应的区域进行特定的逻辑运算，其结果便是输出对象的相应像素。因此，结构 元素的选择与从图像中抽取何种信息有密切的关系，不同的结构元素就可以对 图像分析得到不同的结果。 数学形态学的运算以腐蚀和膨胀两种基本运算为基础，来引出其它的数学 形态学运算，最常见的形态运算是：腐蚀、膨胀、开运算及闭运算口1 。 这些运算及其组合可以进行图像形状和结构的分析及处理，包括图像分割、 特征抽取、边界检测等方面的工作。图2 2 为数学形态学的基本思想。 。1 i i i 输入图像k - - 。i 蛉山圃艟 一移位、交、并等集台运算l 7 l ”。” t 一处理算法 输入图像 i 一j l 图2 - 2 数学形态学的基本思想 数学形态学中的各种算法的本质是将图像看成是点的集合，通过使用结构 元素对图像所构成的集合进行移位、交、并、补等运算。基于这些基本运算还 可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的 分析及处理，包括图像分割、特征抽取、边界检测、图像滤波、图像增强和恢 复等。形态学是以结构元素来运算的，在阴影处理中，主要是利用结构元素将 对象与背景区分，将阴影作为背景提取出来，再与原图相减，从而得到去掉阴 影的图像，其具有很强的针对性。 本节将介绍数学形态学的基本概念，归纳数学形态学在二值图像和灰度图 1 4 第二章文件摄像仪图像的阴影去除 像处理中的原理，为2 4 节进行相关实验提供理论基础。 2 3 1 集合论的几个基本概念口1 令a 为一个z 中的集合。下面简单介绍集合论的各种基本概念，图2 - 3 是 两个集合交、并、补和差的示意图。 ( 1 ) 口= ( 口l ，口2 ) 是a 的元素，则口a ；否则，口萑a 。空集用表示。 ( 2 ) 子集：a 互b 表示；并集：c = au b ；交集：d = a n b 。 ( 3 ) 不相容或者互斥：a n b = 。 ( 4 ) 集合彳的补集：彳= b 缈萑彳) 表示。 ( 5 ) 集合彳和b 的差：彳一b = ( - 0 ( _ 0ea , c o b = an b 。，元素属于彳，而不属于 b 。 ( 6 ) 集合b 的反射：会：( _ 00 3 = 一b ，b b ) 。 ( 7 ) 集合彳平移到点z = ( 毛，z ：) ，表示为( 彳) ：，且( 彳) ：= 翻c = a + z ，口4 。 嗲嗲够 黪：蝶= 溺 陲j 强2 1 譬逸。! 鋈 | 矗 图2 - 3 ( a ) 两个集合a 和b ；( b ) 并集；( c ) 交集；( d ) a 的补集；( e ) a 和b 的差 2 3 2 二值图像中的形态学处理n 1 么被b 膨胀的定义为：彳。b = z l ( 会) ：n 彳) ，这是以得到b 的相对于 它自身原点的映象进行位移为基础的。a 被b 膨胀是所有位移z 的集合，这样， a b 和a 至少有一个元素是重叠的，所以也可以用a 。b = z j ( 幻：na 】a ) 表 和至少有一个元素是重叠的，所以也可以用o = z f ( b ) ：n 】 表 中山大学硕士论文 示。膨胀最简单的应用之一是将裂缝桥接起来。 b 对彳进行腐蚀的定义为：彳o b = 翻( 曰) ：彳) ，是所有b 中包含于彳中的 点z 的集合用z 平移。腐蚀的最简单的用途是从二值图像中消除不相关的细节。 膨胀和腐蚀在求补和反射运算中是彼此对偶的，即：( 么o b ) 。= a 。ob 。图 2 4 是膨胀与腐蚀的示意图。 闺画+ 睁 图2 4 膨胀与腐蚀 结构元素的选择直接影响形态学运算的效果，因此如何选择很重要。选举 结构元素一定要遵行“在几何上结构元素要比原图像简单有界”及“在形状上 结构元素要有某些凸性特征的原则。图2 5 是3 x 3 结构元素的几种示例。 1 x 【l l j | 卜： - j 【x i l 图2 - 53 3 结构元素的几种示例 结构元素召对集合4 进行开运算，用彳。b = ( a o b ) o b 表示，即先腐蚀后 膨胀，如图2 - 6 。结构元素b 对集合彳进行闭运算，用a b = ( aob ) 0 b 表示， 即先膨胀后腐蚀，如图2 7 。 图2 - 6 开运算可看成结构元素在图像边缘内部滚动的过程 1 6 1lj l x x l lil -。1l 第二章文件摄像仪图像的阴影去除 图2 7 闭运算可看成结构元素在图像外边缘滚动的过程协1 开运算一般使对象的轮廓变得光滑，断丌狭窄的间断和消除细的突出物。 闭运算同样使轮廓线更为光滑，但与开运算相反的是，它通常消弥狭窄的间断 和长细的鸿沟，消除小的孔洞，并填补轮廓线中的断裂。 开运算与闭运算是一对对偶运算，即：( 彳b ) 。= ( a 。b ) 。 2 3 3 灰度图像中的形态学处理n 3 在灰度图像中，我们将处理形如f ( x ，y ) 和b ( x ，j ，) 的数字图像函数，其中 f ( x ，y ) 是输入图像，b ( x ，y ) 是结构元素且本身是一个子图像函数。 灰度膨胀表示为：厂o b ，定义为： ( o6 ) ( s ，f ) = m a x f ( j x , t - y ) + b ( x , j ，) i ( s 一) f ) ，( t - y ) d l ，；( x ，j ，) d 6j ，这 里d ，b 分别为f ，b 的定义域，0 一x ) 和( ，一少) 必须在厂的定义域内以及x 和y 必须在b 的定义域内。这些条件与膨胀在二值定义中的条件是相似的。 膨胀处理的结果是双重的：( 1 ) 如果所有结构元素的值为正，则输出图像会 趋向于比输入图像更亮；( 2 ) 暗的细节部分全部减少了还是被消除掉了取决与膨 胀作用所用的结构元素的值和形状。图2 8 为灰度膨胀的示意图。 厂( 毛 “5 t c ) 屯 图2 - 8 灰度膨胀图示b 1 7 中山大学硕士论文 狄度腐蚀表示为：归6 ，定义为： ( f l g b ) ( s , ，) ：m i n 扩( s + x ，+ j ，) 一6 ( x ，j ，) k j + x ) ，o + y ) d 一；( x ，y ) d b 这里的d ，和q 分别是和b 的定义域。平移参数( s + x ) 和( ，+ y ) 必须在厂 的定义域内，而且x 和y 必须在b 的定义域内，这与腐蚀的二值定义中的条件是 相似的。 腐蚀处理的结果是双重的：( 1 ) 如果所有的结构元素都为正，输出图像会趋 向于比输入图像更暗；( 2 ) 在输入图像中亮的细节的面积如果比结构元素的面积 小，则亮的效果将被消弱。消弱的程度取决于环绕于亮细节周围的灰度值和结 构元素自身的形状与幅值。图2 - 9 为灰度腐蚀的示意图。 厂 、毋 to) 图2 - 9 灰度腐蚀图示1 灰度膨胀和腐蚀也是对偶的，即： ( 归6 ) 。( s ，t ) = ( f 。o6 ) ( s ，t ) ，其中f = 一f ( x ，y ) ，b = b ( - x ，- y ) 灰度图像的开运算和闭运算与二值图像的对应运算具有相同的形式。 灰度图像的开运算定义为：f 。b = ( f l g b ) 0 b ，即用b 对厂先腐蚀后膨胀。 开运算经常用于去除较小( 相对于结构元素的大小而言) 的明亮细节，同时相 对地保持整体的灰度级和较大的明亮区域不变。先进行腐蚀操作可以除去小的 图像细节，但会使图像变暗。再进行膨胀操作又会使图像亮度增强，但不会将 腐蚀操作除去的部分重新引进图像中去。 灰度图像的闭运算定义为：f 6 = ( 厂ob ) o b ，即b 对厂先膨胀后腐蚀。闭 1 8 第二章文件摄像仪图像的阴影去除 运算经常用于除去图像中的暗细节部分，而相对地保持明亮部分不受影响。先 通过膨胀除去图像中的暗细节，同时增加图像的亮度，再对暗图像进行腐蚀， 而且不会将膨胀运算除去的部分重新引入图像之中。 灰度图像的丌运算和闭运算也是对偶运算，即：( f 6 ) 。= f 。b 。 2 4 实验结果及其分析 2 4 1 滤波法与形态学去除阴影对比 为了选用更好的阴影去除方法用于文件摄像仪中，本小节实验将对比中值 滤波、均值滤波、拉普拉斯滤波以及数学形态学对相同图像处理的实验结果。 在本小节实验中，将同一张图像，分别用中值滤波、均值滤波、拉普拉斯滤波 及数学形态学进行处理，验证上述四种方法对于灰度阴影图像处理结果的差异， 如图2 1 0 、图2 1 1 、图2 1 2 。 从图2 1 0 、图2 一1 1 和图2 1 2 不难看出，形态学对灰度图像阴影的处理效 果更好。均值滤波器与中值滤波器都属于低通滤波器，对模板内图像值进行平 均或者中值模糊处理，平滑了图像高频信息，导致了最终处理图像的模糊，均 值滤波器处理后的结果尤其明显。而拉普拉斯高通滤波器是属于锐化滤波器， 其主要的作用是凸显图像边缘信息，通过增强图像边缘达到图像增强的目的。 通过实验可以看到，图像中的文字边缘信息得到了很大的加强，但是背景中的 噪声也明显的被增强。 经过实验，不难看出，文件摄像仪拍摄的图像中的阴影不是单纯的椒盐噪 声、随机噪声等类型的噪声，因此用均值、中值和拉普拉斯滤波的方法并不能 有效的去除阴影。应该把文件摄像仪拍摄的图像中的阴影作为背景，将对象和 背景进行区分，而形态学的结构元素的运算方式，刚好可以实现这个目标，所 以用形态学的方法对文件摄像仪拍摄的图像中的阴影进行去除的效果会好于用 均值、中值和拉普拉斯滤波的方法。 中山太学硕士论文 十 * a 藿昔枷姒 2 塑像2 4 量象统 黝锄 糯口i l m 鼢扎新龇! 疆c 嘏礼璺 暴招音j 盎橱厦、洚总器，零件 哟自强熟锉舢l 所示， 鼢懒繇辎；驰# 瞵僦 勰# 渤黼躲爨腑h 倦她翔 _t j 一 一 2 图像目悝系统 厨像铡 系统的土盟自【戚挪分n ：汁；l 帆、光 自扎涠镕秘十，女栅尺，能霹” 前蹙塑跆j l 眇绌，如囝i 佩 * 熟目慊绽i 强$ 她眵卿柑仉 获取棱测物体的囝像，然后j f 寸雷慷进行预处理。面 幽2 一1 0 f 幻原囝( b ) 中值滤波处理托) 均值滤波处理棚) 拉普拉斯滤波处理阳) 形态学处理 第二章文件摄协位图像的阴影击降 ：磊童连竺臻兰兰若圈 ： - 兰兰基毫圭兰三兰= = = = ：一一一1 睦： ；二： j 芏i2 - 1 i ( a ) 原酗( 砷中值滤波处理( 0 均值滤波处理( d ) 拉臂拉斯滤波娃理( e ) 形态学处理 中山大学硕士论文 口， j ；o o = 一；筝2 一一 兰兰三兰三；：蚤：= = 篙。描= 篇：= ：，一 兰善董譬= = 。= o = = l = = # o 羹薹纂篓萋薹誉誊薹 三兰蔓j ：；= = = = = 品：= = 一一 兰兰三三= ? = 摹= o = 渊：= 翼羹萋薹薹誉薹 薹囊懑要兰童置三j 兰 兰兰兰j ：三：= = = = = ：= - - 一 兰三三= = 描蔓= = = ：o 墓薰熏囊誊季 誊蓥蠹蒡誊蒹兰兰 薹耋夏磊薹誓三二= 善意嚣薹薹呈三三= ： 兰兰妻羞= ；2 省二二= ：= ：= = z = = = 委蚕囊鬻纛嚣濑 瑟綦囊萋器量意端粼 囊孽 f d i ；= = 一一 兰兰兰兰三：毛= ：= = ：= ：= = 一一 兰岂三三掣= = 二? = 未= = = ：o 蒌曩篓篓雾薹 ：= = 麓= = = = ：嚣= = = = 盎 蒌誉誊囊登誊黧燮 = = = ：= = = = ：= = ：= ：= = 篮二z = ：_ 幽2 一1 2 ( 时原图( b ) 中值滤波处理( 0 均值滤波处理( m 拉普拉斯滤波处理( e ) 形态学处理 第二章文件摄像惶图律的明影去豫 2 4 2 二维积分的阴影去除 根据21 4 中常用的阴影去除算法优缺点比较，我们选用基于二维积分的方 法柬进行图像阴影去除的实验。 首先将二维积分的阴影去除方法和形态学阴影去除进行对比实验，实验对 比如图2 1 3 和2 1 4 。 j 一 ，h q t 4 一r t 1 _ 枷 * 1 t * t 十一e 一 f n 一4 n 。一 ：= 篇：= 嚣= ：= ： 篡篡= 瑟：誓= ： ， * - ，t ：麓：篡= = ：= 二：= | = ：! ： ：嚣= 嚣! ：= = ：= = 篙： ：一：= ：= ： 图21 3 ( a ) 原嘲( b ) 形态学击阴影( c ) 二维积分去阴影 中山大学硕论女 三2 三盔主 i 麓要兰壤 ：懋；篡i 攀冀麓 冀= o - i - 二u - - 一_ - 一 兰三；妊! = 二一一 _ 鐾：毽圭三三三 一 一一一 _ - h h ! i m t 一一一 一一d i i i i 一 ：= 二= 。= 蛊乳： 露巨三= 三：嚣_ = 繁：= ：| i = 誉_ 芑一萑薯二 ：懋i 鼎；篇：善誊兰罾菁 ? 耋戮；爱三三；：= = = = 蚓2h ( a ) 原圈( b ) 形态学去阴影( c ) 一维积分击阴影 在图2 1 3 、2 1 4 中，可以非常明显的观察到，对于扶度图像去除阴影的处 理中，形态学处理的效果明显好于二维积分处理的效果，主要在背景更为均匀， 没有明显的扶度变化。其主要原因是基于二维积分的方法中，由于边界点存在 阴影，这样在后续泊松重建所取的原始图像边界点值容易保留了阴影的干扰， 造成背景存在一定扶度变化现象。于是在对丁二文件摄像仪中拍摄到边缘就有阴 影的图像的处理效果就比较差。基于本i ，和24l 的实验对比验证了形态学作 为本文阴影去除方法的有效性。 第= 章文件撮t 仪固静的胡影去酥 其次根据2l2 基于二维积分的阴影去除的理论分析决定采用该算法来 处理彩色图像的阴影如图2 1 5 得到比较好的效果。这就说明了基于二维积 分的阴影去除方法对于彩色罔像阴影去除的有教性 2 4 3 形态学击豫胡影 剖2 1 5 ( a ) 阴影凹( b ) 去除胡影后的幽 通过2 4 1 、2 4 2 节实验，说明了数学形态学对去除灰度图像阴影的有效性。 根据文件摄像仪应用环境，拍摄到的图像更多是文字表格为主的图像，直接选 用方形结构兀索f 是本小节主要说明结构元素大小的选取与处理效果的关系。 图2 1 6 为实验中自己拍摄的真实图片，有较大的阴影区域，图像非常的不 清晰。现在用m x n 的结构元录对原图进行闭运算提取阴影信息。本文为了做对 比，分别用5 x 5 、2 0 x 2 0 、3 0 x 3 0 的结构进行阴影提取操作，得到结果如图2 1 7 、 图2 1 8 、图2 - 1 9 所示。 ；：。挈一霉f_耳磐 中山太学硕士论文 圈2 1 6 含有阴影的原刨 酗2 - 1 82 0 x2 0 结构元豢提取阴影结果 刳2 1 93 0 x3 0 结构元素提l 睨阴影结果 然后将提取出阴影部分的图像与原图相减，得到图2 2 0 。并将罔像进行 亮度变化，将分别得到图2 2 1 、圈2 2 2 和图2 2 3 ，可以看出，图2 - 2 2 效果最 好。原图与去除阴影的图的直方图分别如图2 2 4 和图2 2 5 。 第二章文件摄像位图像的阴影去豫 幽22 0 原图与圈2 一1 8 相减 釜l 2 = = = = ：蕾_ 一= = 坐吨i 二_ 二= ；【目- 一二一 一扯= 七 ：= = = 二1 0 ：l 二a ；z ? 一 i r 出畔= 品毒产号面面巧五二二= 二 羔：= ? 一- - 薹糍i 窝 。烈黧囊! ：j ：= = ，量一! ：一 图2 - - 2 15 5 结构元素最后去阴影圈 垂蠢蚕蓦匿墓鐾 篁芒竺兰兰= = = 竺萎d = 一暮= = 二= _ 二_ = 西芷二_ j ! 蓥懑黧雾蒌鎏爹嗣 鼍蠢蠢妄茹；l = = = 届面；l ! 二一j 签麓避篓函 i 。_ _ _ _ _ _ - h 一_ 一 1 一 = 未击；f 二二二一j 图2 2 22 0 x 2 0 结构元素最后去阴影幽圈2 2 33 0 x 3 0 结构元素最后古阴影圈 中山大学硕士论文 醛羔二= 0恤1 5 u皿卸 图2 2 4 原图直方幽图2 2 5 去除阴影侨的直方酗 本算法用的是数学形态学的闭运算，利用闭运算能填：f f , m l 的特点，把