基于多幅灰度图像恢复三维物体表面形状

1、研 究 生 课 程 论 文基于多幅灰度图像恢复三维物体表面形状研究生： 提交日期： 年 月 日 研究生签名：学 号 学 院 课程编号 课程名称 学位类别 任课教师 教师评语： 成绩评定： 分 任课教师签名： 年 月 日目录引言11图像预处理21.1彩色图像灰度转换21.2图像平滑处理31.3小结52SFS原理62.1辐射度学62.1.1点辐射源62.1.2面辐射源72.2光度学82.3光照反射模型102.4三维表面形状表示方式112.5小结123算法实现133.1实验装置133.2算法实现133.2.1图像预处理143.2.2求法向量n153.2.3求坐标z153.3实验结果与分析163.4小

2、结18参考文献19基于多幅灰度图像恢复三维物体表面形状 摘要：三维物体形状恢复是机器视觉领域中的一个经典问题，它是指利用客观事物的一幅或多幅二维灰度图像来推导出该物体三维表面形状信息的技术。本文介绍了一种通过多幅图像的灰度信息来恢复三维物体表面形状的一种方法，即明暗恢复形状法（Shape from Shading，SFS），阐述了其原理。最后在Matlab平台上对拍摄的物体图像进行了预处理，并利用SFS技术对物体表面实现了三维还原。关键词：SFS技术；图像预处理；三维形状恢复引言三维物体形状恢复技术已在社会生产生活的各个领域显现出越来越不可忽视的地位和作用，具有广泛的应用价值。其中明暗恢复形状

3、方法（即SFS）技术是利用单幅或多幅图像中物体表面的明暗变化来恢复其表面各点的相对高度或表面梯度等参数，具有运算简单，适用范围广，使用灵活的优点，存在广阔的应用前景和价值，成为目前国内外相关领域研究的热点之一。1 图像预处理由于三维形状的恢复是建立在图像的基础之上，因此，对相关的图像在进行三维形状恢复之前是必要的。在图像采集过程中，由于摄像机或照相机等输入仪器因素影响，使得图像的质量与实际情况有一定的差距。同时可能存在获取的图像含有人们不感兴趣的信息这些情况，因而在进行三维形状的恢复时首先应该对图像做预处理。本文中采取的预处理主要有一下几种：彩色图像灰度转换处理和图像平滑处理。1.1 彩色图像

4、灰度转换由于在三维形状恢复方面是基于灰度图像，目前一般摄像器材从外界的客观事物获取所得的图像大部分都是彩色的，不能直接从中获取图像中像素点的灰度值，因此要涉及彩色图像转换为灰度图像的过程。一幅数字图像由有限个像素组成，每个像素都具有两种特征即空间特征和颜色特征。通常像素采用二维矩阵的形式来描述。用矩阵元素的行列表示像素点的空间位置，用数值或向量来表示像素的颜色信息。对于灰度图像来说，可以采用以下的二维矩阵来表示：其中，代表图像中第x行、第y列的像素，m，n分别为整幅图像像素点阵的行列数。而目前大部分彩色图像采用RGB颜色模型。RGB模型如图1-1所示图 11 RGB模型RGB模型由红色、绿色、

5、蓝色这三原色的光谱分量按照一定的比例调和组成，在RGB颜色模型下，一幅彩色数字图像是所有构成图像的像素的集合，并且集合中所有像素的颜色都是RGB三颜色混合而成。在RGB 颜色模型下，彩色图像用一个三维向量来描述：表示像素空间位置的颜色值，分别表示该位置点的红、绿、蓝（RGB）三种颜色分量值。在本文中，将直接使用matlab自带的函数rgb2gray函数来将彩色图像转化为灰度图像。1.2 图像平滑处理由于不相关因素的干扰，采集的图像在计算机处理过程中与实际图像相比总是出现噪声污染、形态失真等图像质量的退化，这就需要采取一定的措施来消除。图像平滑处理能够很好的解决这一问题，使图像在进入计算机处理时

6、保持很好的质量以便更好的进行图像处理。一幅数字图像的任一点的平面坐标为，对该点进行掩模处理，该点得到的一个新的结果，用公式表示为：依此对图像逐点进行掩模处理，以达到减弱或消除图像的高频分量，而又不影响到图像的低频分量，进而达到滤除噪声使图像平滑。其典型的滤波器有邻域均值滤波器、中值滤波器、高斯滤波器等。其中高斯滤波器相较于其他两种滤波器来说平滑效果更柔和，而且边缘保留的也更好。所谓高斯滤波器，就是利用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。常用的高斯分布一般有一维和二维两种。一维高斯分布为：二维高斯分布为：两种分布的图像

7、如图1-2所示。图 Error! No text of specified style in document.Error! Main Document Only. 一维高斯分布和二维高斯分布图像利用高斯分布就可以构造高斯模板，例如图1-3就是一个标准差为1.0的整数值高斯模板，高斯滤波就是用此模板为执行标准的卷积。图 13 标准差为1的5×5高斯模板本文就是使用高斯滤波来对灰度图像进行平滑处理。1.3 小结本章主要介绍了彩色图像的灰度转换处理，还介绍了对单幅灰度图像的图像预处理分析，对其进行图像平滑处理，并介绍了高斯平滑滤波器，为第三章的算法实现做好准备。2 SFS原理明暗恢复形状

8、（Shape from Shading, SFS）方法是计算机视觉学科领域里一个基本问题。SFS算法主要是根据数字图像的灰度明暗变化恢复物体的三维表面上各点的相对高度或表面法向量等参数值。具体来说是利用假设好的一个确定的光照反射模型来确立物体表面形状与图像亮度之间的函数关系，并依据对表面形状的先验模型构建对形状参数的约束条件，然后对在这些约束条件下联立方程求解，以得到物体表面的三维形状。这个过程相当于完成一个从二维空间到三维空间的拟映射，是成像的逆过程，目的是要完成物体高度信息的再恢复。2.1 辐射度学辐射度学就是对光学辐射进行定量评价的一门实验科学。光学辐射作用于物体和生物体，会产生各种物理

9、、化学和生物效应，这些效应的度量也属于辐射度学的内容。可见辐射作用于人眼所引起的“光”感觉，是一种生理效应，它与辐射的组成、强弱及人的视觉器官的生理特性和人的心理活动都有关系。辐射度学的规律适用于从紫外到红外波段，有些规律适用于整个电磁波谱。2.1.1 点辐射源如图2-1所示，S0为点辐射源。定义点辐射源的辐射强度 I 为点光源向单位立体角发射的能量流，单位为：瓦特/球面度。若dA为与S0距离为r的接收面的一个小面积元，则dA与S0组成的立体角等于dA与S0组成的锥面与面积球相交得到的面积元dA0，则有式2-1图 21 点光源与立体角单位时间内dA上接收到的S0的能量流为：式2-2定义物体表面

10、单位面积接收的能量流为福照度Li，则可得：式2-3由于点光源向四周发射能量，S0与整个单位球组成的立体角为，所以点光源向四周发射的总能量流为：式2-42.1.2 面辐射源如图2-2所示，定义面辐射源的微分辐射度（或简称面辐射度）Le为单位投影面积向单位立体角发射的能量流：式2-5其中为面积元向立体角发射的能量流，的单位为瓦特/米2·球面度（W/m2·sr）。图 22 面辐射度的定义若向各个方向发射能量的辐射源的与无关，即在各个方向上的值为常数，那么这种辐射源被称为朗伯辐射源。2.2 光度学光度学就是根据人类视觉器官的生理特性和某些约定的规范来评价辐射所产生的视觉效应。光度学

11、和辐射度学与照明工程、天文观测、光学仪器、光电子学、光谱学、遥感技术、生理光学、医学和材料科学等领域有着十分密切的关系。光度学规律仅适用于可见光范围，包含人眼特性。对于光源来说，一般不用辐射源发射的客观性的能量流来描述其发射强度，而用人眼对亮度的主观感受来描述。图 23 人眼主观感受亮度与辐射能量流功率谱的关系如图2-3所示，并不是辐射能量流功率越大，人眼感受到的亮度就越高，而是在某一功率时亮度达到一个高峰。物体表面在受到光源照射后，会发出反射光。现讨论用摄像机观察物体表面时，图像上的亮度与反射光的光辐射度Lr的关系。图 24 图像亮度与物体表面光辐射度的关系如图2-4所示，图像上某一像素的面

12、积为dAp，则物体平面上面积为dA0的面源向dAp发射的能量流为：式2-6由图2-4可知，由O点与dA0组成的立体角等于O点与dAp组成的立体角，因此：式2-7联立式2-6与式2-7可得： 式2-8将用透镜直径d表示，并将带入上式，可得dAp上辐照度为：一般情况下，摄像机的视角很小，即上式中的很小，dAp上的辐照度（与图像灰度值成正比）可近似写成： 式2-92.3 光照反射模型不同物体表面具有不同的光学物理特性，甚至同一物体的不同部分都会有不尽相同的光学物理特性，这些能够使得入射光源射在物体表面上后表现出不同的反射特性。因此，物体表面根据其反射特性可以划分为：完全漫反射模型、完全镜面反射模型、

13、同时存在漫反射和镜面反射的混合模型。其中，完全漫反射模型又称为散射模型，它的形成机理如图2-5所示。图 25 散射光形成机理物体内部不均匀颗粒引起的散射光与物体表面的辐照度Li成正比，与散射方向无关。物体辐射度Ld（下标d表示散射）为常数：式2-10其中，称为反射系数，与物体材料有关。在本文中，光源选为点光源，因此光源到物体的辐射度由式2-3得：由于物体表面的反射可以看做散射模型，因此物体表面的辐射度为：此时物体相当于一个面辐射源，因此摄像头接收到物体的辐照度为：式2-11当摄像机参数、摄像机与物体距离、光源等参数固定时，为一未知常量。也就是说，物体表面的图像亮度只与表面的辐射度有关。因此，如

14、果表面反射仅由散射光引起，物体表面点的图像亮度Ip等于：2.4 三维表面形状表示方式如图2-6所示，n为物体表面某点P的单位法向量，即，光源为点光源，光源方向向量为，所以P点的图像灰度I为：图 26 物体表面反射图其中法向量n的第三个分量nz可以归一化为1，即法向量中只有两个未知量，再加上Kd，因此求解这个方程组至少需要三个方程联立求解，因此至少需要拍摄三张图。2.5 小结本章介绍了SFS的原理，并且推导出了由物体灰度图像恢复物体表面形状所需要的条件，为接下来算法的实现打下了理论基础。3 算法实现3.1 实验装置本文所用的实验装置如图3-1所示，物体用点光源用去掉聚光罩的单LED手电来近似代替

15、，摄像头为分辨率为640×480的彩色摄像头，拍摄物体为一个乒乓球。图 31 实验装置图以摄像头为原点建立右手直角坐标系，指向乒乓球为z轴正方向，垂直向下为x轴正方向。若要满足第二章中Kd不变的条件，就需要光源距离乒乓球的距离相同，在此实验中选取为20cm。选取三个法向量线性无关的点放置光源，分别对其进行拍照。在拍摄过程中一定要注意不能改变摄像头与物体之间的相对位置。接下来的算法就是对这三张拍摄的图像进行处理。3.2 算法实现该算法实现了图像的读取、预处理、以及根据灰度值来恢复物体表面三维形状的功能。算法的总体流程图如图3-2所示。图 Error! No text of specif

16、ied style in document.Error! Main Document Only. 算法流程图读取图片图像预处理根据光源位置输入矩阵S求出对应图片像素灰度I求法向量n求出对应z并画图3.2.1 图像预处理图像预处理包括彩色图像转换为灰度图像和图像平滑处理两部分。彩色图像转换为灰度图像使用了matlab自带函数rgb2gray，得到的效果图如图3-3所示。图 Error! No text of specified style in document.Error! Main Document Only. 彩色图像和灰度图像图 Error! No text of specified s

17、tyle in document.Error! Main Document Only. 原图与高斯滤波后的图像图像平滑处理使用了5×5的高斯滤波器，标准差为5。处理结果如图3-4所示。由图3-4可以看出，经过高斯滤波之后的图像灰度变化的更为缓和，一些噪声被滤掉。3.2.2 求法向量n由第二章的分析可知，在已知三幅图像的光源方向S、对应的灰度值I时图像每一点的法向量n可用以下公式计算即式3-13.2.3 求坐标z在摄像机坐标系下，物体表面的函数为，在立体视觉中，假设物体表面各点Z的变化比起物体到摄像机的距离要小的多，近似认为Z为常数，即：所以。物体表面任意一点P(x,y,z)的单位法线

18、向量可表示为：用图像坐标(x,y)表示为： 式3-2假设之前求出的物体表面的单位法向量为，带入得令，且因为n为与(x,y)有关的函数，则记上式为：在实际情况中，图像是离散化的，因此式子中的微分可以用一次差分近似表达： 式3-3由任一点Z(x0,y0)出发，求与它相邻的两个点(x0,y0+1)，(x0+1,y0)的Z值，并进一步扩散，得到所有离散图像上的Z值。3.3 实验结果与分析在matlab平台上运行程序得到的结果如图3-5、图3-6所示图 35 实验结果图 36乒乓球表面形状恢复图图 Error! No text of specified style in document.Error! Main Document Only. 高斯滤波对三维物体表面恢复的影响由图3-6可以看出，实验基本上恢复了乒乓球的球型三维结构，但是在中部有一道凸起，经过分析应该是在拍摄图片时乒乓球中部的接缝出造成的高光部分造成的。此外，通过比较未经过图像平滑处理的结果图和经过平滑处理的结果图，可以更加直观地看出高斯滤波对噪音的滤过作用，如图3-7。3.4 小结本章介绍了该实验的实验装置、算法结构以及详细的算法思路，并且在matlab平台上成功实现了算法，得到了较好的结果。该算法的优点是，对于在三个不同光源照射下得到的三幅图像，摄像机和物体的相对位置没有变化，因此，图像中在同一个图像位置上的点都对应