毕业设计（论文）-交互式前景提取的MATLAB实现.doc

毕毕 业业 论论 文文 题 目 交互式前景提取的 MATLAB 实现 院 电气信息学院 专业 电子信息工程 班级 0702 学号 10 学生姓名 导师姓名 完成日期 2011 年 6 月 2 诚 信 声 明 本人声明 1 本人所呈交的毕业设计 论文 是在老师指导下进行的研究 工作及取得的研究成果 2 据查证 除了文中特别加以标注和致谢的地方外 毕业设计 论文 中不包含其他人已经公开发表过的研究成果 也不包含为获 得其他教育机构的学位而使用过的材料 3 我承诺 本人提交的毕业设计 论文 中的所有内容均真实 可信 作者签名 杨 文 日期 2011 年 6 月 10 日 3 毕毕业业 设设计计 论论文文 任任务务书书 题目 交互式前景提取的 MATLAB 实现 姓名 杨文 学院 电气信息学院 专业 电子信息 班级 0601 学号 25 指导老师 张可为 职称 讲师 教研室主任 刘望军 陈爱萍 一 基本任务及要求 前景提取是将图像前景与背景分离 从而为图像合成等提供预处理 而软边界图 像边缘提取是个难题 通过少量的人工交互达到满意的提取结果 设计要求 1 介绍前景提取知识 包括内涵与方法 2 建立提取模型 通过少量的人工涂抹 完成提取 3 提供流程图 用 matlab 编程实现 4 完成毕业论文 二 进度安排及完成时间 1 第第 1 1 2 2 周周 课题调研 文献检索 2 第第 3 3 6 6 周周 毕业设计开题报告 文献综述 3 第第 7 7 周周 总体设计 完成方案的选择 4 第第 8 8 9 9 周周 确定数据模型 算法实现 5 第第 1010 1111 周周 基本算法验证 编程实现 6 第第 1212 1313 周周 论文撰写 论文初审 定稿 7 第第 1414 周周 答辩 I 交互式前景提取的 MATLAB 实现 摘要 前景提取 Foreground Extraction 与图像合成 Image Composition 是图像处理 中的基本操作 也是视觉特效制作中是最重要和最常用的操作 在杂志 二维图形艺术 电视 广告等领域也有广泛的应用 前景提取根据图像中是否有半透明像素 可分为前景分割 Foreground Segmentation 与前景抠图 Foreground Matting 两类 图像前景提取是图像处理的一个重要的组成部分 它的应用很广泛 一直是图像处理研究的热点 在数字图像的研究过程中 往往我们 只对图像的目标区域感兴趣 为了辨识和分析目标 需要将图像中的有关区域提取出 来 在次基础上才能对目标进一步的处理 图像前景提取就是把一幅给定的图像进行 处理 同时将其感兴趣的目标提前出来的过程 交互式前景提取就是在用户参与的情况下实现前景提取的一种方法 本文研究并 实现了鲁棒抠图算法 Robust Matting 它估算出掩膜值并进行优化 试验结果表明了 该算法的一些长处 关键词 前景提取 图像合成 前景分割 前景抠图 计算机视觉 交互式前景提取 鲁棒抠图 II Interactive foreground extraction implementation of MATLAB Abstract Foreground extraction and image compositing are fundamental operation in image processing and they have become crucial and frequently used operations in visual effects production In addition matting and compositing are used in much of today s media including magazines 2D arts and graphics television and advertising etc According to assumption of whether there are semi transparent pixels foreground extraction can be divided into two categories Foreground Segmentation and Foreground Matting Image Foreground Extraction segmentation is an important part of its application is very extensive has been a hot spot image processing Digital Image Segmentation in the process often we are only interested in the image of the target area To identify and analyze the target image needs to be extracted from the relevant region In the second to the target on the basis of further processing Prospects for extraction of the image is to a given image processing while the target of interest in advance out of the process Interactive foreground extraction is the case of user participation to achieve a method of extracting prospects In this paper we achieve a Robust Matting estimated to optimize the mask value The results showed that some of the strengths Keywords Foreground extraction Image Composition Foreground segmentation Foreground matting Computer vision Interactive foreground extraction Robust Matting III 目录 摘要摘要 I ABSTRACTABSTRACT II 第一章第一章 绪论绪论 1 1 1 研究背景 1 1 2 交互式图像的前景提取技术综述 3 1 3 交互式前景提取研究现状及展望 4 第第 2 2 章章 交互式前景提取的算法交互式前景提取的算法 6 3 1 GRAPH CUT算法 6 2 2 GRAB CUT算法 7 2 3 蓝屏抠图技术 8 2 4 自然抠图技术 9 2 5 前景分割 10 2 6 鲁棒抠图 10 第第 3 3 章章 MATLABMATLAB 的简介的简介 12 3 1 MATLAB 基本介绍 12 3 2 MATLAB 的特点 13 第第 4 4 章章 交互式前景提取的交互式前景提取的 MATLABMATLAB 实现实现 15 4 1 交互式前景提取鲁棒算法 15 4 1 1 优化颜色采样 16 4 1 2 掩膜值的优化 19 4 2 MATLLAB 运行结果 22 结束语结束语 27 参考文献参考文献 28 致谢致谢 30 1 第一章第一章 绪论绪论 1 1 研究背景 数字图像处理在近年来越来越被重视 图像的前景提取 Foreground Extraction 与图像合成 Image Composition 是计算机图像处理和视觉特效制作中的基本操作 前景提前是指从一幅图像中提取出任意形状的前景对象 而图像合成是将提取出的前 景对象放置在一个新的背景对象上合成一幅新的图像 前景提取与图像合成技术最早 是从电影制作中发展起来的 而今 前景提取与图像合成是视觉特效制作中最重要也 是最常用的操作 通过前景提取与图像合成操作 我们可以将新物体无缝地插入到一 个场景中 也可以将演员放在一个全新的位置上 另外 前景提取与图像合成技术也 在其他领域有广泛的应用 比如杂志 二维图形艺术 电视 广告等传媒制作业 根 据图像的合成公式 BFC 1 1 1 1 一幅输入图像可以表示为一幅前景图像与一幅背景图像的凸组合 即CFB 因此只要确定了与 我们就可以用新的背景图像来取代 BFC 1 F BB 得到新的合成图像 一般将求解口和的问题称为前景提取问题 前景提取问题是一F 个欠约束问题 因此 许多前景提取算法都需要用户首先大致将输入图像分割成包含 已知前景区域 已知背景区域和未知区域的提示图像 Trimap 然后算法根据己知前景 区域和己知背景区域的信息来计算未知区域像素的掩膜值 Matte Alpha 我们可以进一步的将前景提取问题分为两类 前景分割 Foreground Segmentation 与前景抠图 Foreground Matting 前者认为图像中没有半透明像素 即或 0 1 后者认为图像中存在半透明像素 即 1 0 在前景分割技术方面 主要有基于像素 Pixel based 的方法 基于边界 Edge based 的方法和基于区域 Region based 的方法 基于像素的方法要求用户在单个像素级 来指定前景或者背景 因此工作量非常庞大 基于边界的方法允许用户围绕前景对象 的边界绘制曲线 然后对该曲线进行分段优化 但是用户必须谨慎的绘制曲线 仍然 需要大量的用户交互 基于区域的方法允许用户指定一些松散的提示信息 并使用优 2 化算法来提取实际的前景对象边界 因此具有简单快速的特点 但是基于区域的方法 也具有缺陷 如区域检测算法可能失效 图像中某些区域可能很难给出合适的提示信 息等 在前景提取技术方面 主要有基于采样 Sampling based 的算法和基于传播 Propagation based 的算法 基于采样的前景提取法的基本思想是 首先进行采样如最 近邻采样等 然后利用样本点来估计未知区域像素点的前景颜色和背景颜色 算法的 主要局限性在于不能精确的计算未知像素的掩膜值 基于传播的前景提取算法的基本 思想是 根据图像的统计特性做出假设 如邻域不变性等 然后使用不需要进行颜色采 样的基于传播的算法 如置信度传播等 来求解前景颜色和背景颜色 但基于传播的算法 的前提假设条件不一定能得到满足 这两类算法一般都需要用户首先指定一幅提示图 像 用户需要细致地构画出前景边界和背景边界 因此需要较多的用户交互 效率较 低 综上所述 对前景提取技术的研究有非常重要的现实意义 图像合成与前景提取 其中 和分别表示合成图像 前BFC 1 CFB 景图像和背景图像 称为掩膜值 Matte Alpha 并且 掩膜值表示了每 1 0 个像素的不透明性 用来将前景色和背景色进行线性混合 如果则表示前景色完0 全透明 即完全不会遮挡背景色 表示前景色完全不透明 它会完全遮挡住背景1 色 而则表示前景色半透明 它会部分遮挡住背景色 10 Porter 和 Duff 图像合成进行了代数分析 提出了用于图像合成的 12 种合成算子 其中 1 1 的合成公式叫做 over 算子 F Over B 这也是最常见的一种算子 他们还 提出了预乘积 Pre multiplication 的概念 用 g b 四元组来表示图像中的一 个像素 其中的称为 alpha 通道 而该像素的颜色为 称该像素 bg 被覆盖 这样可以经过预乘积的通道和 alpha 通道进行相同的操作 如果两幅 gb 图像 A B 合成得到图像 O 用 分别表示图像 A B 的 alpha 通道 用 A B O 分别表示图像 A B O 的某个颜色通道 即 R G B 通道 图像合 A c B c O c 成问题就转化为下面两个方程 1 2 BBAAO FF 3 1 3 BBAAO FcFcc 根据所使用的合成算子可以很容易的确定系数 A F B F 前景提取可以看作是图像合成的逆过程 即从已知合成图像出发 求解出前景C 图 背景图像和掩膜值 即从已知合成图像出发 求解出前景图像 背景FB CF 图像和淹没值 如果假设 中每个像素各有 3 个颜色通道 那么实际上B FBC 有 3 个方程和 7 个未知量 因此 前景提取问题本身就是个约束不足 Under Constrainted 问题 现有的方法大多通过对 或者 的颜色进行一定的假设 从而减FB 少未知数的个数来求解前景提取问题 比如假设 或者 的颜色为已知 或者根据颜FB 色连续性假设对它们建立统计模型等 1 2 交互式图像的前景提取技术综述 按照在提取过程中是否需要用户的参与 我们可以将图像分割分成交互式的图像 提取和非交互式的图像提取两种类型 交互式图像前景提取的过程需要用户的参与 在前景提取之初 用户的交互操作 是指定一些限制条件 以指导提取进行的方向 在提取完成之后也可以添加新的限制 条件得到需要的结果 交互的方式有很多种 指定部分前景或背景是在前景提取中最 常用的交互方式 交互式图像前景主要应用在医学图像处理和图像编辑领域 图像前景提取是一种重要的图像技术 在理论研究和实际应用中都得到了人们的 广泛重视 图像前景提取是一个照片编辑内在组成部分和重要的分析应用 如自动图 像处理医学图像 另外 视力问题反问光分的计算可受益于技术存在的可靠和有效率 的图像分割 举例来说 如形状从剪影中间层的视野问题 形状和对象从立体声食品 跟踪可以是现场使用更可靠的其余部分分割了从对象的利益 识别和图像索引更高水 平的问题 如配套使用也可以使结果的分割 前景提取技术主要有前景分割 蓝屏抠图 自然抠图技术等这些技术将在第三章 详细介绍 4 1 3 交互式前景提取研究现状及展望 前景提取 Foreground Extraction 与图像合成 Image Composition 是图像处理中的基 本操作 也是视觉特效制作中是最重要和最常用的操作 在杂志 二维图形艺术 电视 广告等领域也有广泛的应用 前景提取根据图像中是否有半透明像素 可分为前景分割 Foreground Segmentation 与前景抠图 Foreground Matting 两类 前景提取 Foreground Extraction 与图像合成 Image Composition 是计算机图像处理 和视觉特效制作中的基本操作 前景提取是指从一幅图像中提取出任意形状的前景对 象 而图像合成是将提取出的前景对象放置在一个新的背景对象上合成一幅新的图像 前景提取与图像合成技术最早是从电影制作中发展起来的 而今 前景提取与图像合 成是视觉特效制作中最重要的也是最常用的操作 通过前景提取与图像合成操作 我 们可以将新物体无缝地插入到一个场景中 也可以将演员放在一个全新的位置上 另 外 前景提取与图像合成技术也在其他领域有广泛的应用 比如杂志 二维图形艺术 电视 广告等传媒制作业 前景提取技术是基于图像分割的一种最主要的应用 我们可以把一幅图像看作是 背景和前景的组合 图像分割一直是模糊识别和计算机视觉的研究问题 将图像按特 定的同质属性分块 是图像分割技术的主要任务 从大的方面来说 图像分割可大致 分为基于区域的方法 基于边缘的方法 区域和边缘相结合的方法 以及在次基础 上的 采用多分辨率图像处理理论的尺度分割方法 而通过图像分割 我们就可以提 取出我们最关心的前景信息 而交互式前景提取 是一种在用户给出的简单的标记信 息的基础上进行前景提取的技术 相对于普通的前景提取方法 它能够更有效更快的 提取前景 交互式的图像前景提取算法主要应用在医学图像处理和图像编辑领域 交互式和非交互式的方法并没有本质的区别 二者在很多情况下使用相同的方法 而区别在于交互式的操作由人工决定一些参数或者条件 而非交互式的算法自己决定 这些 我们总可以在非交互式的算法中引入交互操作得到更好的效果 交互式图像前 景提取算法正对的是一般的图像下的前景和背景分割 交互操作带给它们欠缺的先验 5 信息 基于图的交互式前景提取算法的实现及改进图像分割是图像处理的一个重要的组 成部分 在模式识别 医学图像处理 图像编辑等领域有着广泛的应用 一直是图像 处理研究的热点 随着数码技术的发展人们需要处理的图像越来越大 因此进一步的 提高该算法的执行效率变得非常有意义 近年来 随着数码技术的发展 数码摄影设备所产生的图像分辨率不断增大 现 有的基金全局优化的图像分割工具虽然仍拥有对用户友好的界面 却逐渐失去了为用 户提供实时而又精确分割结果的能力 未来对于交互式图像处理任务 用户都是以渐 进的方式进行操作 因此应该将渐进式分割算法的思路推广到这类应用里 一方面沿 用二维图像前景提取中的交互方式 并将用户标记的笔画利用帧间图像像素相似性进 行传播 通过传播到每帧图像上的种子点进行渐进式优化 另一方面 我们也可以考 虑通过简明的界面设计 使用户能够在图像体中直接对多帧进行标记 进而直接进行 三维图像前景提取 交互式前景提取的目的是将图像处理简单化 客户交互的目的是能达到在客户简 单的操作后即能实现前景提取 图像前景提取可以有效的将感兴趣的目标从复杂的背 景中分割出来 具有十分重要的意义 而目前交互式前景提取 是一种在用户给出简 单的标记信息的基础上进行前景提取的技术 交互式前景提取到目前为止已经是一门很成熟的技术 已经有很多的算法可以实 现 如何对这些算法进行评估和改进以及创新是研究交互式前景提取在今后很长一段 时间的主要工作 目前的鲁棒抠图算法需要首先提供一副提示图像 如何解除这一限 制是一个研究方向 另外 我们也可以将算法扩展到视频抠图的应用中去 让前景提 取的应用更加广泛 6 第 2 章 交互式前景提取的算法 图像提取是从图像处理到图像分析的关键技术 图像提取的种类和方法很多 有 些提取算法可直接用于任何图像 而另一些算法只能适用于分割特殊类别的图像 有 些算法需要先对图像进行粗分割 因为它们需要从图像中提取出来的信息 没有唯一 的标准的方法 前景提取结果的好坏需要根据具体的场合要求衡量 按照在前景提取 过程中是否需要用户的参与 我们可以将图像前景提取分成交互式的像分割和非交互 式的图像前景提取两种类型 交互式图像前景提取的过程需要用户的参与 在提取之初 用户的交互操作指定 些限制条件 以指导提取进行的方向 在提取完成之后也可以添加新的限制条件得到 需要的结果 交互的方式有很多种 指定部分前景或背景是在前背景的提取中最常用 的交互方式 交互式图像前景提取的研究在最近几年发展得也很快 涌现出了许多方法 根据其利用像素间的相关性的方式 大体可以分为基于采样的前景提取算法和基 于模型的前景提取算法两类 前者认为待求点的前景色和背景色能够显示地通过从图 像中选取的前景和背景样本进行估计 进而求解出透明度值 后者并不显示地估计待 求点的前景和背景色 而是假设图像的前景色和背景色符合某种低阶数学模型 如局 部平滑型 从而将前景色和背景色未知量从求解过程中消去 使前景提取问题确定 3 1 Graph Cut 算法 图像被看成一个图 是所有的节点 是连接相邻节点的边 图像分 VG V 割可以当作一个二元标记问题 每一个 有唯一的一个与Vi 01 背景为前景为 i x 之对应 所有的集合 X 可以通过最小化 Gibbs 能量获得 如公式 2 1 1 所示 XE 7 ji ji Vi i xxEx 21 EXE 2 1 1 同样的 根据用户曲线 我们有前景节点集 F 和背景节点 B 未知节点集 U 首 先用 K Mean 方法将 F B 的节点聚类 计算每一个类的平均颜色 代表所有前景 F n K 类的平均颜色集合 背景类是 计算每一个节点 到每一个前景类的最小距离 B n Ki 和相应的背景距离 如下列公式所示 F n F i KiCd min B n B i KiCd min 01 1 i xE 0 1i xE Fi 1 1i xE 00 1 i xE Bi B i F i F i i dd d xE 1 1 B i F i B i i dd d xE 1 1 Ui ijjiji CgxxxxE 2 1 1 g 2 jCiCCij 前两组等式保证定义与用户输入一致 第三组等式意味着与前 背景颜色相近度 决定着未知点的标记 公式中定义为与梯度相关的一个函数 的作用是减 ijjiji CgxxxxE 22 E 2 E 少在颜色近的像素之间 存在标记变化的可能 即使其只发生在边界上 最后 以和作为图的权值 对图进行分割 把未知区域的节点划分到前景集 1 E 2 E 合或后景集合中 便得到了前景提取的结果 2 2 Grab Cut 算法 Grab Cut 的硬分割算法在 Graph Cuts 的基础上做了三方面的改进 第一 利用高 斯混和模型 Gaussian Mixture 8 Model GMM 取代直方图 将灰度图像扩展到彩色图像 第二 用在估计和参数学习 过程中可进化的迭代算法来代替一次最小估计来完成能量最小化 第三 通过非完全 编号降低了对交互工作的要求 首先 采用分水岭分割方法对图像进行前处理 其基本思想是其把图像看作是测 地学上的拓扑地貌 图像中每一点像素的灰度值表示该点的海拔高度 每一个局部极 小值及其影响区域称为集水盆 而集水盆的边界则形成分水岭 分水岭的概念和形成 可以通过模拟浸入过程来说明 在每一个局部极小值表面 刺穿一个小孔 然后把整 个模犁慢慢投入水中 随着浸入的加深 每一个局部极小值的影响域慢慢向外扩展 在两个集水盆汇合处构筑大坝 即形成分水岭 分水岭的计算过程实质就是一个迭代 标注过程 其次 在算法迭代过程中 需要对每次划分的结果进行重新建模 算法采用的是 办法是 把新产生的前景集合和背景集合作为新的输入 对新的集合重新调用高斯聚 类算法 这样就完成了对新的分割结果的高斯聚类过程 最后 由于交互式前景提取算法町以获得用户给出的一些先验知识 所以其分割 效果往往比直接提取的算法好很多 比较常用的用于用户交互的方式是标记法 即让 用户大致标记出前景区域和背景区域 比如用户可以用一个比较粗的画刷 在原圈上 大致涂一笔前景或背景的区域 算法会把用户涂抹的区域作为初始化数据模型 在此 基础上对未知的点集进行划分 这种标记方法的好处是 可以比较详细的对样本进行 统计和分析 并建模 所以分割效果通常令人满意 Grab Cut 算法是基于用户交互的前景提取算法 相比于 Graph Cut 算法而言 此算 法最大的好处在于 算法可以将用户提供的输入作为分割的先验知识 来指导后续的 分割过程 这也是交互式前景提取算法比一般的图像提取算法更优的原因 2 3 蓝屏抠图技术 Smith 和 Blinn 对蓝屏抠图 Blue Screen Matting 问题做了如下定义 输入 o C 其中为纯前景色与特殊的背景色合成后的图像 而的像素颜色几乎为 k C o C f C k C k C 常量 并且 和满足合成方程 输出 称为蓝 o C k C f C kffo CCC 1 f C f 屏抠图问题的解 如果给定新的背景色 可以通过合成公式计算 b C bff CCC 1 9 得到新的合成图像 Smith 和 Blinn 总结了蓝屏抠图技术 通过下式来求解掩模值 1 21kh CC 其中和分别是输入图像的蓝色通道和绿色通道 调节和可以得到满意 h C k C 1 2 的掩模值 尽管这种方法简单 但是它缺乏数学上的可行性 需要专业人员来调节控 制参数 而且有时在前景对象相对简单时也会失效 Mishima 通过对具有代表性的前 景和背景样本进行分析 对蓝屏抠图算法进行了改进 算法首先以背景样本点的平均 值为中心构造两个相同的类球形多面体 即前景多面体和背景多面体 然后沿着中B 心放射线移动背景多面体的顶点 使得该多面体尽可能的小 并且仍然能够包含所有 的背景样本点 前景多面体的顶点用类似的方法进行调整使得该多面体尽可能的大并 且不包含任何前景样本点 给定合成色 C 从画出一条通过 C 的直线 分别与背景B 多面体和前景多面体相交于 B 和 F 则 C 分割线段 BF 上的比例就是 尽管 Mishima 的方法需要用户手工指定背景样本点 但是放松了对背景色和光照条件的要求 Smith 和 Blinn 同时还提出了三角测量方法 Triangulatiaon 来解决抠图问题固有的约束不足 性 通过将相同的前景放在多个已知的背景前拍照 得到多幅图像 从而得到一个过 约束 Over constrained 的系统 然后通过最小二乘法来求解 与单一背景的蓝屏抠 图相比 该方法虽然对实验室条件的要求更加苛刻 但是它却能够获得高精确度的前 景和掩模值 综上所述 蓝屏抠图技术的主要缺陷在于它们依赖于一种可控制的环境 即具有 背景色已知或为常量的成像环境 但是这样的环境很难达到 2 4 自然抠图技术 当可控制的环境不容易得到的时 我们可以直接从一幅具有自然背景的图像中抠 取前景对象 我们称这样一类方法为自然图像抠图 Natrual Image Matting 技术 Mitsunaga 等人设计了 Autokey 系统 它是一种经过改进的 Rotoscoping 过程 可 以用于视频抠图 在这个系统中 通过不断的跟踪视频关键帧的轮转曲线 Roto curve 使 得曲线紧贴着前景轮廓 跟踪得到的结果要比插值得到的结果 但是为了得到高质量 的掩模 仍然需要手工对每帧进行调整 为了避免在将廓转换为不透明剖面时使用特 10 殊的羽化操作 他们提出一种自适应的羽化方 对合成公式 1 1 1 两边同时取偏导 如果假设 F 和 B 大致为常量 即是平滑的 则有 C BF 1 这里 是梯度的算子 把上述方程称为 AutoKey 约束 AutoKey 约 yx 束表明掩模的梯度场依赖于图像的梯度场 这种方法假设前景和背景是光滑的 只能 用于前景向背景过渡的硬性边界 也就是说 它不适合用于透明的或者发丝之类的轮 廓 2 5 前景分割 在过去的 20 多年中 人们对从图像中提取前景的问题进行了广泛的研究 简单的 方法是 通过选取满足用户指定的图像特征 如颜色 的所有像素来对图像 Photoshop 的智能剪刀 Intelligent scissors 和魔杖 Magic Wand 工就是采用这种方法 但是这种方 法需要大量的用户交互 近年来 研究者提出许多系统 在精确地提取前景区域的同时使得用户的交 互 尽可能的少 比如智能画布 Intelligent Paint 和基于对象的图像编辑系统 Object based Image Editing 首先将图像分割成区域 然后用户可以选取一些区域产生最后的前景对 象 Grab cut 系统采用一种基于图像分割的交互式图像分割方法 在这两个系统中 用户使用鼠标画一些线条来粗略地指定前景区域和背景区域 系统自动计算出图像分 割的最优边界 2 6 鲁棒抠图 前景抠图问题本身是一个欠约束的问题 我们可以利用图像中相邻像素之间的强 相关性来近似求解前景抠图问题 此前研究者们提出过很多前景抠图算法 根据这些 算法利用图像统计特性的方法 我们可以将它们大致分为两类 基于采样的方法 11 Sampling based 和基于传播的方法 Propagation based 基于采样的算法认为利用用户 指定的已知前景或者已知背景与未知像素之间的相关性 在采样到足够多的己知前景 和已知背景样本点后 可以经由计算直接得到未知像素的前景色和背景色的估计值 并且直接利用这些样本点来计算掩膜值 基于传播的算法则不需要对已知前景或者已 知背景进行采样 它们假设图像中前景色和背景色是局部平滑的 如常量变化或者线性 变化 根据这个假设 在计算掩膜值的优化过程中 可以消除前景色和背景色分量 从而得到掩膜值的种闭合形式解 鲁棒抠图算法的核心是一种称为优化颜色采样 Optimized Color Sampling 的鲁棒采样算法 该算法在采集前景和背景样本的同时 还 计算每个样本对的信度 Confidence 只有那些具有较高信度的样本对才用来估计掩膜 值 并且用在后面的掩膜值优化过程中 鲁棒抠图算法主要是有优化颜色采样 掩膜 值的优化 重建前景三大步 鲁棒抠图的本质上是一种基于采样的抠图算法 鲁棒抠图算法提出了一种样本评 估机制对样本的优劣进行刷选 主要依据以下两条规则 对于待求点 C 设点为 C i F 点的第 个前景样本点 为第个背景样本点 i j Bj 1 在颜色空间中 如果点 C 与直线之间的距离越近 则点和越有可能 jiB F i F j B 是 C 较优的前背景样本对 2 在颜色空间中 如果点 C 离点或者的距离越近 点 C 越有可能是为标记 i F j B 的前景点或背景点 因此倾向于选择在颜色空间中距离 C 点较近的和为前背景 i F j B 样本对 由此可见 鲁棒抠图算法能够更加合理地选取颜色样本对待求点进行估计 此外 鲁棒抠图算法无须迭代求解透明度分布 因而运行速度较快 12 第 3 章 MATLAB 的简介 因为本课题的结果主要是通过 MATLAB 软件编程实现的 在此简单的介绍一下 MATLAB 及其操作方法 MATLAB 是矩阵实验室 Matrix Laboratory 的简称 是美国 MathWorks 公司出 品的商业数学软件 用于算法开发 数据可视化 数据分析以及数值计算的高级技术 计算语言和交互式环境 主要包括 MATLAB 和 Simulink 两大部分 在科学研究和工 程应用中 往往要进行大量的数学计算 其中包括矩阵运算等 这些运算一般来说都 难以用手工精确 快捷地完成 而通常是借助特定的计算机程序来完成相应的计算功 能 目前流行的编程语言有 Basic Fortran 和 C 语言等 对于大多数科学工作者来说 既需要掌握本专业的相关知识 还需要熟练地掌握编程语言 这无疑具有一定的难度 编制程序也是繁杂的工作 不仅消耗人力与物力 而且影响工作进程和效率 MATLAB 就是为解决上述矛盾而产生的 MATLAB 是数学建模必备工具 3 1 MATLAB 基本介绍 MATLAB 和 Mathematica Maple 并称为三大数学软件 它在数学类科技应用软件 中在数值计算方面首屈一指 MATLAB 可以进行矩阵运算 绘制函数和数据 实现算 法 创建用户界面 连接其他编程语言的程序等 主要应用于工程计算 控制设计 信号处理与通讯 图像处理 信号检测 金融建模设计与分析等领域 MATLAB 的基本数据单位是矩阵 它的指令表达式与数学 工程中常用的形式十 分相似 故用 MATLAB 来解算问题要比用 C FORTRAN 等语言完成相同的事情简捷 13 得多 并且 Mathwork 也吸收了像 Maple 等软件的优点 使 MATLAB 成为一个强大的数 学软件 在新的版本中也加入了对 C FORTRAN C JAVA 的支持 可以直接调 用 用户也可以将自己编写的实用程序导入到 MATLAB 函数库中方便自己以后调用 MATLAB 的应用范围非常广 包括信号和图像处理 通讯 控制系统设计 测试 和测量 财务建模和分析以及计算生物学等众多应用领域 附加的工具箱 单独提供 的专用 MATLAB 函数集 扩展了 MATLAB 环境 以解决这些应用领域内特定类型 的问题 MATLAB 在数学计算以外的其他科学与工程领域的应用也是越来越广 并且 有着更广阔的应用前景和无穷无尽的潜能 它可以将使用者从烦琐 无谓的底层编程 中解放出来 把有限的宝贵时间更多地花在解决问题中 这样无疑会提高工作效率 目前 MATLAB 已经成为国际上最流行的苦学与工程计算的软件工具 现在的 MATLAB 已经不仅仅是一个 矩阵实验室 了 它已经成为了一种具有广泛应用前景 的计算机高级编程语言了 有人称它为 第四代 计算机语言 它在国内外高校和研 究部门正扮演着重要的角色 MATLAB 语言的功能也越来越强大 不断使用的要求提 出新的解决方法 可以预见 在科学运算 自动控制 科学绘图 通信仿真等领域 MATLAB 语言将长期保持其独一无二的地位 3 2 MATLAB 的特点 MATLAB 语言的特点 一种语言之所以能如此迅速地普及 显示出如此旺盛的生命力 是由于它有着不 同于其他语言的特点 正如同 FORTRAN 和 C 等高级语言使人们摆脱了需要直接对计 算机硬件资源进行操作一样 被称作为第四代计算机语言的 MATLAB 利用其丰富的 函数资源 使编程人员从繁琐的程序代码中解放出来 MATLAB 最突出的特点就是简 洁 MATLAB 用更直观的 符合人们思维习惯的代码 代替了 C 和 FORTRAN 语言 的冗长代码 MATLAB 给用户带来的是最直观 最简洁的程序开发环境 以下简单介 绍一下 MATLAB 的主要特点 1 语言简洁紧凑 使用方便灵活 库函数极其丰富 MATLAB 程序书写形式自 由 利用起丰富的库函数避开繁杂的子程序编程任务 压缩了一切不必要的编程工作 由于库函数都由本领域的专家编写 用户不必担心函数的可靠性 可以说 用 MATLAB 进行科技开发是站在专家的肩膀上 MATLAB 求解下列方程 并求解矩阵 A 的特征值 14 其中 bAx A 32 13 45 67 23 79 85 12 43 23 54 65 98 34 71 35 b 1 2 3 4 解为 设 A 的特征值组成的向量 bAx e Aeige 可见 MATLAB 的程序极其简短 更为难能可贵的是 MATLAB 甚至具有一定 的智能水平 比如上面的解方程 MATLAB 会根据矩阵的特性选择方程的求解方法 所以用户根本不用怀疑 MATLAB 的准确性 2 运算符丰富 由于 MATLAB 是用 C 语言编写的 MATLAB 提供了和 C 语言 几乎一样多的运算符 灵活使用 MATLAB 的运算符将使程序变得极为简短 3 MATLAB 既具有结构化的控制语句 如 for 循环 while 循环 break 语句和 if 语句 又有面向对象编程的特性 4 程序限制不严格 程序设计自由度大 例如 在 MATLAB 里 用户无需对矩 阵预定义就可使用 5 程序的可移植性很好 基本上不做修改就可以在各种型号的计算机和操作系统 上运行 6 MATLAB 的图形功能强大 在 FORTRAN 和 C C 语言里 绘图都很不容易 但在 MATLAB 里 数据的可视化非常简单 MATLAB 还具有较强的编辑图形界面的 能力 7 MATLAB 的缺点是 它和其他高级程序相比 程序的执行速度较慢 由于 MATLAB 的程序不用编译等预处理 也不生成可执行文件 程序为解释执行 所以速 度较慢 8 功能强大的工具箱是 MATLAB 的另一特色 MATLAB 包含两个部分 核心部 分和各种可选的工具箱 核心部分中有数百个核心内部函数 其工具箱又分为两类 功能性工具箱和学科性工具箱 功能性工具箱主要用来扩充其符号计算功能 图示建 15 模仿真功能 文字处理功能以及与硬件实时交互功能 功能性工具箱用于多种学科 而学科性工具箱是专业性比较强的 如 control toolbox signl processing toolbox commumnication toolbox 等 这些工具箱都是由该领域内学术水平很高的专 家编写的 所以用户无需编写自己学科范围内的基础程序 而直接进行高 精 尖的 研究 9 源程序的开放性 开放性也许是 MATLAB 最受人们欢迎的特点 除内部函数 以外 所有 MATLAB 的核心文件和工具箱文件都是可读可改的源文件 用户可通过对 源文件的修改以及加入自己的文件构成新的工具箱 第 4 章 交互式前景提取的 MATLAB 实现 交互式前景提取的实现用图像合成与前景提取的方法实现 用图像合成公式 的逆过程去实现 前景提取可以看作是图像合成的逆过程 即从已知BFC 1 合成图像 C 出发 求解出前景图像 F 背景图像 B 和淹没值 如果假设 F B C 中 每个像素各有 3 个颜色通道 那么实际上有 3 个方程和 7 个未知量 因此 前景提取 问题本身就是个约束不足 Under Constrainted 问题 现有的方法大多通过对 F 或者 B 的颜色进行一定的假设 从而减少未知数的个数来求解前景提取问题 比如假设 F 或 者 B 的颜色为已知 或者根据颜色连续性假设对它们建立统计模型等 4 1 交互式前景提取鲁棒算法 如前文所述 前景提取问题本身是一个欠约束的问题 我们可以利用图像中相邻 像素之前的强相关性来近似求解前景提取问题 此前研究者们提出过很多前景提取算 法 根据这些算法利用图像统计特性的方法 我们可以将它们大致分为两类 基于采 样的方法 Sampling based 和基于传播的方法 Propagation based 基于采样的算法认为 利用用户指定的已知前景或者已知背景与未知像素之间的相关性 在采样到足够多的 己知前景和已知背景样本点后 可以经由计算直接得到未知像素的前景色和背景色的 估计值 并且直接利用这些样本点来计算掩膜值 基于传播的算法则不需要对已知前 景或者已知背景进行采样 它们假设图像 16 中前景色和背景色是局部平滑的 如常量变化或者线性变化 根据这个假设 在计算掩 膜值的优化过程中 可以消除前景色和背景色分量 从而得到掩膜值的种闭合形式解 鲁棒抠图算法的核心是一种称为优化颜色采样 Optimized Color Sampling 的鲁棒采样算 法 该算法在采集前景和背景样本的同时 还计算每个样本对的信度 Confidence 只 有那些具有较高信度的样本对才用来估计掩膜值 并且用在后面的掩膜值优化过程中 鲁棒抠图是针对 Trimap 的抠图 首先是优化颜色采样法 通过距离比率定义和权 重 选择更适当的前景背景点 再将掩膜值优化 最后求解出掩膜值 鲁棒抠图的本质上是一种基于采样的抠图算法 鲁棒抠图算法提出了一种样本评 估机制对样本的优劣进行刷选 主要依据以下两条规则 对于待求点 C 设点为 C i F 点的第 个前景样本点 为第个背景样本点 i j Bj 1 在颜色空间中 如果点 C 与直线之间的距离越近 则点和越有可能 jiB F i F j B 是 C 较优的前背景样本对 2 在颜色空间中 如果点 C 离点或者的距离越近 点 C 越有可能是为标记 i F j B 的前景点或背景点 因此倾向于选择在颜色空间中距离 C 点较近的和为前背景 i F j B 样本对 由此可见 鲁棒抠图算法能够更加合理地选取颜色样本对待求点进行估计 此外 鲁棒抠图算法无须迭代求解透明度分布 因而运行速度较快 4 1 1 优化颜色采样 优化颜色采样流程图如图 4 1 1 所示 用户提供的图像 采集样本点 前景和背景样本点 选择最佳样本对 得到掩膜估计值 17 图 4 1 1 优化颜色采样流程图 鲁棒抠图算法需要用户提供两幅图像 即输入图像 Input Image 和提示图像 Trimap 对于未知区域内的每个像素 z 首先采集大量的己知前景样本点和已知背景 样本点 利用这两个样本集合来估计未知像素的真实前景色和真实背景色 因此 这 里假设 对于任意未知像素 z 在颜色空间中 它的真实前景色和真实背景色总RGB 是与该样本集合中的某些样本点邻近 以前的算法 如贝叶斯抠图算法和置信度传播 算法习在采集样本点的时候 采用的都是最近邻采样 Nearest Neighborhood Sampling 即从已知前景区域和已知背景区域中选择与未知像素具有最短空间距离的像素点 这 种方法存在缺陷 如果图像中前景区域或者背景区域具有复杂结构 这种空域最近邻 采样所采集的样本点并不能够真实反应前景色和背景色的真实分布 因此 在鲁棒抠 图算法中 我们采用的是稀疏采样方法 Sparse Sampling 我们沿着已知前景区域和已 知背景区域的边界稀疏地采集像素点 这样采集得到的样本集合能够较好地捕捉到前 景色或背景色的变化 图 4 1 2 优化颜色采样 在采集了大量的样本点后 我们需要从这个很大的样本集合中选出 较好 样本 对 这里的 较好 的样本对是指 对于任何混合像素 该样本对都能够建立满足合 成方程的线性模型 如图 4 1 2 所示 在颜色空间中 两个样BFC 1 RGB 本点可确定一条直线 如果该直线经过或者邻近某未知像素 我们就可以认为该未知 B d A d A P A P B P B P 背景样本点前景样本点 18 像素的颜色可以由这个前景 背景样本对 Foreground Background Pair 经过凸组合得到 如果和表示这样的两个样本点的颜色 C 表示某个未知像素的颜色 则该未知像 i F j B 素的掩膜值的估计值可以这样计算 4 1 1 我们定义一个距离比率 distance ratio ji d BFR ji ji ji d BF BFC BFR 1 4 1 2 它的分子表示未知像素的颜色值 C 与根据公式计算得到该像素的BFC 1 颜色估计值之间的欧式距离 它的分母是两个样本点之间的欧式距离如果根据 4 1 2 C 式来计算未知像素和的距离比率 可以发现要比高得多 这表明和这 A P B P B P A P i F j B 个样本对不适合用来估计的掩膜值 B P 式 4 1 2 定义的距离比率实际上偏向于选择在颜色空间中距离较远的样本对 因为此时作为分母的会很大 这会带来问题 我们认为图像中大部分的像素 ji BF 都是完全前景像素或者完全背景像素 只有小部分的半透明像素 因此在颜色空间中 与前景样本点或者背景样本点邻近的未知像素很有可能本身就是一个完全前景像素或 者完全背景像素 如图 4 1 2 所示 对于未知像素 C 如果按照距离比率来选择样本 对 我们应该选择 但是因为在颜色空间中 C 与样本点的距离很近 基于上 1 BF 2 F 述分析 2 ji jij BF BFBC B C 2 F 1 F 19 图 4 1 3 优化颜色采样 仅依靠距离比率 我们认为是比更好的前景样本点 因此仅仅依靠距离比率来选择最合适的样本对 2 F 1 F 是不够的 于是我们为每个样本对定义如下的两个权重 和 i Fw j Bw exp 2 2 CFDFw i F i 4 1 3 exp 2 2 CBDBw j B j 其中和分别是前景样本点和背景样本点与当前未知像素之间的最短欧式距 F D B D 离 即 根据两个权重可以看出 如果在颜 min CFD i F min CBD j B 色空间中 某个前景 或背景 样本点与未知像素的距离近 则该样本点具有较高的 或 i Fw j Bw 综合距离比率和权重的定义 我们为每个前景背景样本对计算一个信度 ji BFf 4 1 4 exp 2 2 jiji d ji BwFwBFR BFf 其中为误差的标准差 设为 0 1 对于由前景样本集合和背景样本集合所形成的所有前景 背景样本对 我们首