本科毕业设计论文-半透明物体抠图技术的研究.doc

本科毕业设计论文题目： 半透明物体抠图技术的研究 院（系） 计算机科学与技术学院 专 业 计算机科学与技术 届 别 2008 学 号 姓 名 指导老师 2012年5 月 摘 要近年来数字处理技术在各个领域得到了深入的研究并得到广泛的应用。蓝屏抠图是一种背景颜色是单一的数字图像抠图技术，它是早期研究抠图技术时的一种方法。本课题研究的是自然图像中前景物体为半透明物体时的数字抠图算法。本文针对前景色与背景色过于重叠、极易混淆的情况，对一些常见数字抠图算法的应用、产生的问题及如何改进等进行讨论。本文着重解决的是半透明灰度物体在蓝屏情况下的抠图问题。关键字：数字图像 蓝屏抠图 阿尔法通道 灰度目标 ABSTRACTIn recent years the digital processing technology in various fields has been deeply researched and widely applied. Blue screen matting is a background color is a single digital image matting technique, it is an early study of matting technology method.The study of the subject is the natural image foreground objects translucent object digital matting. The foreground and background color to overlap, easily confused situation, to some of the common digital matting algorithm applications, the problems and how to improve such discussions. This paper is to solve the translucent gray object in the blue screen matting problem cases.Keywords: digital image，blue screen matting， Alpha channel ，gray object 21目 录摘 要2ABSTRACT3第一章：前言51.1数字图像处理简介51.2数字抠图技术51.2.1抠图技术的发展51.2.2数字抠图技术的基本模型71.2.3数字抠图技术的分类71.2.4数字抠图技术的研究目的和应用范围8第二章 半透明灰度物体的抠图112.1蓝屏抠图问题描述112.2 Vlahos抠图技术112.3 Bergh抠图技术122.4半透明灰度物体的抠图技术142.4.1基于半透明物体的抠图算法142.4.2 灰度物体的抠图算法142.4.3 背景的采集152.4.4 算法的详细流程和设计16第三章 抠图与合成的效果及比较193.1综述193.2 抠图与合成效果20第四章 总 结22参考文献23致 谢24 第一章：前言1.1数字图像处理简介图像处理技术基本可以分成两大类：模拟图像处理和数字图像处理。数字图像处理是指将图像信号转换成数字信号并利用计算机进行处理的过程。其优点是处理精度高，处理内容丰富，可进行复杂的非线性处理，有灵活的变通能力，一般来说只要改变软件就可以处理内容。困难主要在处理速度上，特别是进行复杂的处理。数字图像处理技术主要包括如下内容：几何处理、算术处理、图像增强、图像复原、图像重建、图像编码、图像识别、图像理解。数字图像处理技术的发展涉及信息科学、计算机科学、数学、物理学以及生物学等学科，因此数理及相关的边缘学科对图像处理科学的发展有越来越大的影响。近年来，数字图像处理技术日趋成熟，它广泛应用于空间探测、遥感、生物医学、人工智能以及工业检测等许多领域，并促使这些学科产生了新的发展。数字图像处理技术使20世纪60年代随着计算机技术的发展而产生、发展和不断成熟起来的一个新兴技术领域，它在理论上和实际应用中都取得了很大的成就。进入21世纪，随着计算机技术的迅猛发展和相关理论的不断完善，数字图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就。属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等。该技术成为一门引人注目、前景远大的新型学科。1.2数字抠图技术1.2.1抠图技术的发展历程图像抠图的发展最初源自于电影制作，图像抠图是计算机视觉处理应用于电影创作中的主要问题之一利用图像抠图技术，电影导演可以在演员所在的场景中加入新的元素，使得场景效果得到极大的提升：还可以把演员从一个场景中移到另一个新的环境中，使得在最大限度的降低成本悄况下获得最佳效果大多数现代电影的制作都用到了计算机数字图像抠图技术，最有名的电形包括“阿凡达”等这些电影的成功，很大一部分因素在于计算机技术制作的宏伟壮观的场景，而图像抠图技术是计算机制作场景的重要技术之一.20世纪50年代，就出现图像处理技术了，当时的计算机水平己经发展到一定的捏度，人们逐渐开始利用计算机来处理图像信息20世纪60年代初期，数字图像处理逐渐形成了一门学科早期的图像处理的目的是提高图像的质量，它以人为对象，以改善人的视觉效果为标准在图像处理中，输入的是低质量的图像，输出的是经过处理的、高质量的图像，常用的图像处理方法有图像复原、增强、压缩、编码等数字抠图技术的发展分为两大阶段：光学图像处理和数字图像处理在当今信息技术快速发展情况下，光学场景图像处理己不能适应当今杜会的快速发展，取而代之的是数字图像处理技术的的广泛应用，该技术使得图像处理更加精准和高效 (1）光学抠图时代 图像的抠图与图像合成最早产生于电影胶片的制作过程中在电影胶带的制作过程中，根据电影剧情的发展、场景的需要，往往把同个人物置于不同的胶带场景中，这就需要图像合成技术那个时代的的图像合成技巧一般是连续两次使用吸光技术，第一次曝光时，迪住胶片不需要曝光的地方，第二次曝光时遮住上次踢光剩下的部分与此同时，人们发明了光学硒片机，带动了相关技术的产生，使得图像的合成比较容易 光学抠图技术当时一般都是面对物体在单一背景中，这样比较容易从背景中提取出来当面对背景颜色比较复杂的情况，需要人工来取得剪影，这项工作需要在转描机上进行，这项工作称为转描，转描需要比较长的时间和很大的耐心。 （2）数字抠图时代 自20世纪80年代以来，随着计算机的广泛应用，硒片机等光学设备逐渐被淘汰，随之而来的是数字技术的兴起数字抠图技术可以对蓝屏抠图进行精确地调整，相比光学设各对背景要求比较高，数字化的计算机可以自动的识别背景点，用抠图软件将前景图像提取出来差分抠图是数字技术发展的一个缩影，这不同于光学抠图时代的技术，不需要在蓝色背景或其他单色背景下获取物休差分抠图的一般流程是：在同一背景下连续拍摄两次物体第一次在有前景物体时拍摄第二次在没有前最物体时拍摄差分抠图根据拍摄的这两幅图片的差异来完成抠图1.2.2数字抠图技术的基本模型抠图技术，简单的说，就是把一幅目标图像中感兴趣的部分捉取出来，允许用户指定该图像中的部分前景区城和背景区域，算法根据指定前景和背景信息填充未知区域，最终将感兴趣图像提取出来。抠图的关健一步是把目标物体从原图像的背景中提取出来1984年哈弗商学院教授Porter和Duff首先提出了著名的图像抠图公式： C=F+(1-）B （1）公式引入人Alpha通道的概念，其中，对于处于未知区城的某一像素点，C表示未知区域的某个像度点在该通道上颜色值，包括R, G, B三个通道F, B分别表示这个像素点在各自通道上的物体的前景颜色值和背景颜色值，表示要处理像素在该通道上的Alpha值通过公式(1).我们可以得出结论，未知区域的每一个像素点的颜色值C是由F,B,三个参数决定的，也就是由前景颜色、背景颜色和三者的值所共同决定的。1.2.3数字抠图技术的分类目前，数字图像抠图技术一般分为两种：蓝屏抠图和自然图像抠图.蓝屏枢图就是背景颜色是单一的数字图像抠图技术，自然圈像抠图就是背景颜色是复杂的数字图像抠图技术如图1.1所示，a, b分别表示蓝屏抠图、自然背景抠图。 b.自然图像抠图a.蓝屏抠图图1.1下面介绍蓝屏抠图和自然图像抠图：（1） 蓝屏抠图蓝屏抠图，就是把需要抠出的物体置于蓝色背景下进行抠图。蓝屏抠图是一种习惯的叫法，在抠图早期，一般把物体置于蓝色背景下进行抠图，这主要是通过固定背景的颜色值，对前景的颜色进行估值，然而估值需要人工来完成，所以受人的经验影响很大。蓝屏抠图的具体操作步骤如下所述：首先，将需要抠图物体置于蓝屏下，进行多次拍摄，然后对得到的图片进行抠图处理，由于背景是蓝色的，所以背景的颜色值相当于是已知的，因为得到多张图片，相当于建立了多个方程，这样我们可以将图片的前景颜色值求出来，实现抠图操作。(2) 自然图像抠图随着社会的发展及人们对图像要求的提高，蓝色抠图的局限性不能满足电影制作等需要，因为电影制作往往需要从复杂的背景中提取图像，所以出现了自然抠图技术，相比蓝屏抠图，自然抠图是一种难度比较大的抠图技术。1.2.4数字抠图技术的研究目的和应用范围在现实生活的一些图像中，这些图像中的物体有可能含有比较细微的部分，如含有毛发的图像，其边缘所占的空间往往不到一个像素点，如图11所示这样会使致字图像出现这种情况：在交界处上的像素点所获得的颜色值往往由前景和背景的颜色值所共同决定的传统的图像分割技术不能解决这种含有细微物体的图像分割问题对于上述问题，学者提出了数字枢图技术来解决上述问题，该方法是基于透明度的。该方法能够把该像素点的前景颜色值和背景颜色值区分开来，从而将该像素点的颜色值计算出来，从而将边界区域的图像点的颜色值求出来，解决了上述问题。 （a）原图像 （b）Trimap图 图1.2 毛发等细微物体示例随着人类社会的不断进步和发展，各种各样的信息进入人们日常生活的各个方面由于计算机科学的不断发展、计算机硬件的更新换代、数学以及相关学科取得突破，计算机科学特别是图像处理技术得到了迅猛发展。借助计算机相关技术，人们可以营造出五彩缤纷、多姿多彩的视觉效果来丰富我们的生活近年来数字处理技术在各个领域得到了深入的研究井得到广泛应用图像抠图技术不仅应用于电影制作中，还广泛应用于包括农业生产、医疗等领域在内的许多行业例如，在卫星拍摄获得的图片中，运用图像处理技术将农田中的农作物做抠图处理，用于估计农产品的产量在医学中将核磁共振图像中特定的器官做拒图处理，用于疾病的诊断等。从抠图的发展历史来看，电影特效制作以及在其他领域的应用是推动抠圈技术持续发展的重要力。近年来，图像处理技术在现代社会中应用越来越广泛，已经深入到生活中的各个方面在空间探测、遥感、医疗图像、三维场景重建、视频图像压缩、电影特效制作、数字电视、电脑电子游戏等方面，都需要数字图像的支持，井推动了数字图像处理技术的发展。所以，致字图像拒图技术在电影制作、农业、医疗等方面有着潜在的、巨大的科研价值和商业价值，是未来数字图像处理的一个重要方面。不同的抠图方法有其自身的优缺点以及适用的场合,没有哪一种通用的方法可以解决所有的问题,研究人员只能对出现的每一种困难找出其对应的解决方法。人们总是希望计算机能够既快又好地对任意复杂的图像进行抠图,但目前离这个目标还相差很远，导致这个问题的原因一方面是由于计算机的计算能力有限,另一方面是由于人工智能还远未达到可以解决这个问题的程度，复杂图像抠图技术及其在真实感图形绘制技术、视频编辑处理以及多媒体制作等领域中的应用,将是今后一段时间内的研究热点。第二章 半透明灰度物体的抠图2.1蓝屏抠图问题描述首先，我们考虑背景为最简单的情况单一背景。而在蓝色背景采集前景的方法下采集，称作蓝屏抠图。根据图像抠图公式 C=F+(1-）B （1）我们可以初步得出：在蓝屏抠图中，和已知，待求量和未知，于是我们有RGB空间的三个分量上的方程，未知量包括前景的三个分量以及，共四个，因此在理论上和一般背景下的抠图问题一样，仍然不可解。因此，需要附加额外的约束条件来解决蓝屏抠图问题。在RGB颜色空间中,理想抠图问题的,和三点共线,在这种情况下,可以准确地计算出值，在式(1) 中,由于在R,G,B 3 个通道上可以建立3 个方程,共有10 个未知量,因此有方程组 (2) (3) (4)我们称之为图像合成公式。2.2 Vlahos抠图技术一种被广泛应用的蓝屏抠图技术，是Vlahos所开发的Ultimatte抠图设备所采用的方法。该设备所集成的算法采用Vlahos假设作为约束条件，前景物体的值和值满足关系：，其中，为可调参数，其值为 ，为可调参数。Smith和Blinn详细总结了Vlahos的抠图技术，并列举了三种附加约束条件的例子，它们均存在唯一的抠图结果。他们进而证明，如果能在两张任意对应像素点都不同的背景屏幕下拍摄前景物体，则可以得到关于前景物体抠图的唯一结果。但是，这种方法仅仅在能够两次拍摄同一个不动物体的条件下才有效，对场景要求较高，不适合于实时性抠图以及视频抠图。Mishima首先用手工方法，对前景和背景样本点划定大致的范围，然后采用统计方法对透明度值进行估计。该方法同样不适合于适时性抠图。Vlahos抠图算法基本步骤如下：Step1：假设已知前景中R,G,B分量大小的相对比例；Step2：结合图像合成公式（方程组（2）（3）（4）可以推出每一点的计算公式为 (5)其中, 和为输入图像的蓝色和绿色分量；Step3：前景物体的值和值满足关系：，其中，为可调参数；Step4：用户通过调节参数和可获得一个满意的抠图结果。2.3 Bergh抠图技术Bergh等人对实验条件要求较低，而且实现速度很快。他们采用了两种近似的方法，对实际蓝屏中图像的每一点，将其由RGB空间变换到HLS空间，对各个点计算其(色调)分量，并对其设定两个阈值，通过对阈值大小的比较来判断出蓝屏图像中的点是背景点还是前景点。为解决前景物体边缘的问题，Bergh等人又对该方法进行了改进，对实际蓝屏中图像的每一点计算蓝色分量与另外两个分量的距离，并设定两个阈值和，若，则判断该点为背景点()，若，则为前景点()，若，则判定该点为前景物体边界线上的点，具有一定的透明度值，即，由此再根据合成公式进行合成，可得到较好的效果。此方法的缺陷是无法解决前景物体为透明物体的问题，而且需要手工设定参数和。下面是bergh抠图的两种算法步骤：（1） Bergh抠图基本算法步骤如下：Step1：对实际蓝屏中图像的每一点，将其由RGB空间变换到HLS空间；Step2：对图像中每个点计算其分量；Step3：对各个点设定两个阈值及，若某点的，则判该点为背景点()，否则判为不透明前景点()。（2） Bergh抠图改进算法步骤如下：Step1：对实际蓝屏中图像的每一点计算蓝色分量与另外两个分量的距离 (6)Step2：设定两个阈值和；Step3：将d与设定的阈值进行比较，若，则判断该点为背景点()，若，则为前景点()，若，则判定该点为前景物体边界线上的点，具有一定的透明度值，即；Step4：根据合成公式合成图像。（3） Bergh抠图算法中的函数图上述Bergh抠图算法中的函数图如图2.1所示： 图2.1 Bergh等人算法的函数图2.4半透明灰度物体的抠图技术2.4.1基于半透明物体的抠图算法对图像合成公式（方程组（2）（3）（4）进行处理，（4）2（2）（3）得： (7)称(7)式为蓝屏抠图的蓝色分量与红色、绿色分量间的距离合成方程，简称距离合成方程，其中，和分别代表图像上点的合成色、前景色和背景色按照公式(6)计算的值。对于，可对背景采取单独采样，再对采样图像所有点的作加权平均，我们在下一节详细介绍。而对，即前景物体的值未知，因此对一般物体没有精确解。2.4.2 灰度物体的抠图算法设定两个阈值和，若，则判断该点为背景点()，若，则为前景点()。对于的点，我们采取如下处理方式：假设前景是灰度的物体，即，可得 (8)此时值存在精确解，其值为 (9)可根据此公式对灰度透明物体求解。由 （10）式可以得出该方法的函数，如图2.2。与Bergh方法中和之间的函数相比，本方法所得到的函数更准确，抠图效果也更好。图2.2 灰度物体的函数图2.4.3 背景的采集在该算法中，我们需要对蓝色背景采集一幅画面，因为在计算透明度过程中，需要用到背景的距离及蓝色分量的值。对于背景区域，我们需要将颜色的亮度和色度分开处理，以消除背景由于亮度差异过大而带来的影响。颜色的色度信息相当于RGB颜色空间中颜色矢量的方向，亮度信息为其颜色矢量的长度。给定一个特定的背景区域，对于该区域中的一个任意点，在RGB颜色空间中的坐标为，首先将其颜色坐标归一化到之内，然后将其转化到一个感知颜色空间中，其中表示颜色的亮度信息，是的颜色矢量长度，易知；，表示颜色的色度信息，其中。令，表示颜色的色度矢量方向。对所采集背景中的每个点，计算其色度矢量，总体色度矢量即为各点色度矢量总和的平均值。对采集背景中每个点的亮度值的计算，我们首先将整个采样区域分为若干个子区域，按照采光强度的不同，我们可以将其分为三个子区域：最外，中间，最内。最外区域表示光照强度最弱的区域，最内区域表示光照强度最强的区域，中间区域则为光照较均匀的区域。将该三个区域赋予不同的权重。一般来说，最内和最外区域的权重相对较小，而中间区域的权重最大。令，分别为这三个区域的权重，于是总体亮度即为各点亮度值的加权平均值。综合以上两点我们有 （11） (12)其中是背景样本点的集合，而，分别为最外，中间，最内区域样本点的集合。最后，总体背景颜色值取色度和亮度平均值的乘积值 (13)于是，值即为的蓝色分量值。2.4.4 算法的详细流程和设计算法的详细设计步骤如下：Step1： 采集背景信息。 给定一个特定的背景区域，对于该区域中的一个任意点，在RGB颜色空间中的坐标为（1） 将其颜色坐标归一化到之内；（2） 将其转化到一个感知颜色空间中；（3） 对所采集背景中的每个点，计算其色度矢量，总体色度矢量即为各点色度矢量总和的平均值；（4）将整个采样区域分为三个子区域：最外，中间，最内，。令，分别为这三个区域的权重，于是总体亮度即为各点亮度值的加权平均值。我们有 (1) (2)其中是背景样本点的集合，而，分别为最外，中间，最内区域样本点的集合；（5）总体背景颜色值取色度和亮度平均值的乘积值 (3)这样可以求出背景的距离及蓝色分量的值。Step2： 建立图像合成公式 （4） （5） （6）据此建立距离合成方程：（6）*2-（4）-（5）得出 （7）Step3： 计算实际蓝屏中图像的每一点的蓝色分量与另外两个分量的距离d （8）并设定两个阈值和Step4： 将d与阈值和作比较，（1） 若，则判断该点为背景点()，（2） 若，则为前景点()，（3） 若，则 假设前景是灰度的物体，即，计算得， 此时值存在精确解，其值为。可根据此公式对灰度透明物体求解；Step5： 结束。至此，本文的半透明灰度物体算法已描述完毕。第三章 抠图与合成的效果及比较3.1综述经过对本文的三种基于蓝屏情况下的半透明物体抠图方法的研究和对比，本文得出以下结论：（1） Vlahos抠图技术是Vlahos所开发的Ultimatte抠图设备所采用的方法。该算法是采用Vlahos假设作为约束条件，通过对参数的调节来得到关于前景抠图的结果。这种方法简单、易于实现,但需要一个有经验的专家来调整参数,要求有很高的调试技巧。（2） Bergh抠图技术对实验条件要求较低，而且实现速度很快。此方法通过对阈值的设定来判断蓝屏图像上的每一个点，从而通过图像合成公式合成图像的结果。此方法可以得到较好的效果，它的缺陷是无法解决前景物体为透明物体的问题，而且需要手工设定参数和。（3） 本文所描述的半透明灰度物体抠图技术是通过对图像合成公式进行处理，得到距离合成公式，从而设定阈值，对图像进行处理。与Bergh方法中和之间的函数相比，本方法所得到的函数更准确，抠图效果也更好。 表3.1 三种半透明物体抠图技术的对比 算法名称 优点 缺点Vlahos抠图技术简单、易于实现，之前已被广泛应用于Ultimatte抠图设备需要一个有经验的专家来调整参数,要求有很高的调试技巧Bergh抠图技术对实验条件要求较低，实现速度很快，抠图效果较前者更好无法解决前景物体为透明物体的问题，需要手工设定参数和本文所述抠图技术易于实施，且实验得到的函数更准确，抠图效果较前者更好抠图效果还有待加强和改善 表3.2本文算法和Bergh抠图算法函数的对比 算法名称函数图 对比结果 Bergh抠图算法与Bergh抠图方法中和之间的函数相比，本文所述抠图方法所得到的函数更准确，抠图效果也更好。 本文算法3.2 抠图与合成效果 表3.1，表3.2为本算法和Bergh抠图算法对前景物体为灰度物体时的抠图与合成效果。这里，我们利用计算机合成了2幅灰度图像，背景为单一的蓝色。 表3.1算法名称原图像图像合成图像Bergh抠图算法 本文算法表3.2算法名称原图像图像合成图像 Bergh抠图算法 本文算法显然，Bergh抠图算法在某些地方的值没有算准，并且在合成图像中产生了一些误差。而本文的算法值非常平滑，没有明显的突变，并且最后合成出来的图像也比较完美。第四章 总 结 本文对蓝屏情况下的半透明灰度物体抠图算法进行了研究，主要研究了Vlahos抠图技术，Bergh抠图技术并在此基础上进行了改进，实现了一种抠图效果更好的算法。通过对算法性能，算法函数和抠图结果的比较可以发现，本文算法操作简单，对实验要求较低，并且不需要什么调试技巧，在使用上和抠图效果上整体要优于Vlahos和Bergh的抠图技术。但该算法有待于进一步改进，以便实现更优的抠图效果。参考文献1 T Porter and T Duff. Compositing digital images. In Computer Graphics (Proceedings of ACM SIGGRAPH 1984), 1984, pages 253.2592 A. Smith and J. Blinn. Blue screen matting. In SIGGRAPH96, pages 259268, Aug. 1996.3 Y. Mishima. A software chromakeyer using polyhydric slice. In Proceedings of NICOGRAPH 92, 1992, pages 44524 F.V.D Bergh, V. Lalioti. Software Chroma Keying in an Immersive Virtual Environment, Durban, South Africa, Sept. 1999, pages 42-455 M.A.Ruzon and C.Tomasi. Alpha estimation in natural images. In CVPR 2000, pages 18-25, June 2000.6 P.Hillman, J.Hannah and D.Renshaw. Alpha channel estimation in high resolution images and image sequences.