基于Criminisi算法的图像修复顺序的研究

1、第3期 2016年2月 No.3February, 2016无线互联科技Wireless Internet Technology数字图像修复技术对信息和网络安全有着非常重要的意 义:随着互联网的高速发展, 信息在网络中的传输尤其是图 像信息和视频信息在网络中的传输越来越频繁, 然而在有限 带宽的情况下 , 压缩的图像信息和视频信息受到信道干扰等 影响, 经常会出现丢包、 数据块损失等现象, 然而常规的重 传机制很难满足实时性要求, 图像和视频的修复技术就可以 在接收端对传输过程中发生的错误进行处理。 出于政治和军 事目的, 有时会在图像信息的安全显示和图像信息的网络安 全传输时把图像中的某个对

2、象或者文字进行移除, 这正是图 像修复技术所擅长的。 另外, 图像修复技术在保护文物、 制 作影视特效、 修补陈旧照片 、 抠出图像中的文字和物体等领 域也都有着十分重要的理论价值和应用意义。数字图像修复技术是利用图像中的已知信息对图像中的 受损区域进行信息的填充或是移除图像中的多余物体, 从而 使观察者觉察不出图像曾经破损或是感觉不到有多余物体 存在的一种技术。 图像修复的目的并非是要 “恢复” 图像的 原来信息, 而是最大限度地使得修复后的图像看不出破损的 痕迹。 数字图像修复的算法主要分为2类:基于偏微分方程的 数字图像修复和基于纹理合成的数字图像修复。 前者主要用 于修复图像中的小尺度

3、破损问题, 后者主要用于图像中的较 大面积破损区域的修复。 而基于纹理合成的图像修复算法主 要分为2类:基于图像分解的修复算法和基于样本块的图像 修复算法, 前者的修复过程是基于分解的思想, 首先将待修 复图像的纹理和结构分离, 然后以单个像素点为对象分别对 纹理和结构进行修复, 最后再把修复结果进行合并; 后者的 修复原理是首先人为地确定待修复区域的边缘, 以边缘上 优先权最高的像素点为中心构成的9×9的像素块为对象, 在 完好区域进行匹配, 然后用匹配得到的误差最小的像素块填 充模板块的待修复部分 , 最后更新已修复像素点的优先权并 开始下一次迭代修复。 基于样本块的图像修复算法

4、最初是由Criminisi 1等人于2003年提出的, 是迄今为止最为经典的 基于纹理合成的图像修复算法。 由于该算法优先权中的置信 度会随着图像的不断修复迅速变为零, 并且数据项也有为零的可能, 这些都会导致优先权的计算出现错误, 从而导致修复顺序出现错误, 引起修复误差的累积, 最终影响修复的效 果。 后来国内外的很多学者都在该算法上进行不同程度的改 进。 李爱菊 2、 吴亚东 3通过直接增大数据项在优先权公式 计算中的权重, 使得纹理较为丰富的区域优先修复, 在一定 程度上增强了 修复后的视觉效果; 韩明珠 4则通过减小置信 度对优先权的影响, 间接增大数据项对优先权的作用; 刘业 妃

5、5引入了自然指数, 平缓了置信度的急剧变化; 李尊 6-7则通过引入正规化函数, 通过减小噪声的影响, 以达到较好 的修复效果。 1 Criminisi算法 1. 1 算法基本原理Criminisi算法通过在待修复区域边缘上选取优先权最 高的像素点p, 然后以p为中心构造一个n×n大小的像素块, 然后在完好区域寻找与该模板块最相似的样本块, 并用找 到的样本块更新模板块中的待修复信息, 最后更新已修复块 块中像素点的置信度, 并开始下一次迭代修复, 直至修复完 成。图1是Criminisi算法的修复原理, 其中 是完好区域, 是待修复区域, 是待修复区域的边界, 是以像素点 p为中心

6、构造的像素块, 是边缘上像素点p的法线方向,是边缘上点p的等照度方向。图1 Criminisi算法修复原理基金项目:中国地质调查局地质调查基金项目; 项目名称:适用于矿产和能源探测应用的遥感传感器优化设计技术; 项目编号:科 201201-049-004。 作者简介:亓卓亚 (1984- , 男 , 河南开封, 硕士研究生; 研究方向:数字图像处理。基于Criminisi算法的图像修复顺序的研究亓卓亚, 苏红旗(中国矿业大学 (北京 机电与信息工程学院, 北京 100083摘 要:Criminisi算法是用于修复大尺度破损图像的经典算法。 由于该算法中像素块的置信度会随着修复的进行迅速降为零,

7、 并且也存在数据项为零的可能, 而置信度项和数据项中任一项为零都会导致错误的修复顺序, 造成错误信息的累积, 最 终影响图像的修复效果。 因此, 文章改进了 优先权的计算公式, 并用实验验证了 改进后优先权计算公式的优越性, 从而在一 定程度上提高了 图像修复后的视觉效果。 关键词:数字图像修复; Criminisi; 优先权; 置信度; 数据项第3期 2016年2月No.3February, 20161. 2 算法的运行步骤Criminisi算法的运行步骤如图2所示。 图2 Criminisi算法修复步骤1. 3 算法中的优先权Criminisi算法中计算优先权的公式如 (1 所示:(1 在

8、公式 (1 中, C (p 为置信度项, 表示的含义是样本块 中包含的已知像素点的多少 。 C (p 越大, 说明 中包含 的已知信息所占有的比例越大, 即置信度越大, 应优先修复 。 D (p 是数据项, 表示结构信息量。 D (p 越大, 说明表面线 性结构越复杂, 应优先修复 。 其中, C (p 和D (p 的计算公式 如 (2 (3 所示:(2(3 其中, |表示样本块 的面积或者说是样本块 中像素点数, 初始时C (p 的计算公式如公式 (4 所示。是修复边缘 上p点的法向量; 为点p的等照度线方向, 表 示p点梯度方向的垂直方向。 对于灰度图像, 归一化因子 =225。 (4 2

9、 优先权的改进2. 1 Criminisi算法存在的问题问题1:在Criminisi算法中, 优先权的计算公式是像素 块的置信度和像素点的数据项的乘积的形式。 然而在修复的 过程中, 置信度值C (p 会随着迭代的进行迅速下降为零, 导 致P (p 为零, 从而即使线性结构复制的区域也不能被优先 修复; 当等照度的方向和像素点p的法线方向垂直时 , 会出现 D (p 为零的情况, 并且就某块单一颜色的区域而言D (p 的 值总是零, 导致P (p 为零, 从而置信度很高的区域不能被优 先修复。 这些都会使优先权的计算变得不可靠, 进而导致错误的修复顺序, 最终影响修复的效果。问题2:在Crim

10、inisi算法中, 使用的是固定大小的9×9的像素块。 然而无法预料到图像待修复区域中纹理和结构的 情况, 针对待修复区域是纹理比较单一的, 使用的像素块的 大小有可能使用大于9×9的像素块, 使用9×9的像素块有可 能就会造成过长的修复时间, 增加算法的时间复杂度; 而对 于结构性比较复杂的待修复区域, 使用9×9的像素块可能显 得过大, 而像素块太大会导致检索到的不是最佳匹配块, 从 而导致错误信息的累积, 最终影响修复效果。问题3:Criminisi算法采用的是基于像素差值的平方和 SSD (Sum of Squared Difference 的全

11、局搜索, 对于较大 的待修复图像, 使用全局搜索就会导致搜索匹配占用更多的 时间, 增加算法的时间复杂度。 2. 2 算法的改进方向基于Criminisi算法, 现有的很多改进算法主要从3个方 面进行某种程度的改进:第1个方面是待修复边缘上像素点 优先权的确定, 因为优先权的计算直接影响到修复顺序的确 定, 而不好的修复顺序将导致修复错误的累积, 最终影响修 复效果; 第2个方面是像素块的大小的选择, 针对结构复杂性 差异较大的像素块, 应该考虑使用不同大小的像素块进行修复, 孟春芝等 8-11在此方面进行了研究;第3个方面是搜索时 所用的匹配算法和搜索范围的改进, 戚曹等 12-16在此方面

12、进 行了相关的探索研究。 2. 3 本文的改进思路本文主要研究待修复像素块优先权的确定。 由于在修复 的过程中, 置信度值C (p 会随着迭代的进行迅速下降为零, 导致P (p 为零, 从而即使线性结构复制的区域也不能被优 先修复; 当等照度的方向和像素点p的法线方向垂直时 , 会出 现D (p 为零的情况, 并且就某块单一颜色的区域而言D (p 的值总是零, 导致P (p 为零, 从而置信度很高的区域不能被 优先修复。 这些都会引起优先权的计算变得不可靠, 进而导 致错误的修复顺序, 最终影响修复的效果。本文提出的优先权的改进公式为:(5其中,(6其中, C (p D(p与公式 (1 中的相

13、同; 由于随着修复的 不断迭代, 置信度会骤降, 使用指数形式使置信度的变化更 加平缓; 由于图像在一个像素点梯度值较大时, 该点附近图 像的纹理较为丰富, 通过优先修复纹理较为丰富的像素点, 使得图像的边缘结构更加平滑, 故结构性较为复杂的边界点 应该优先修复; 是非负常数, 分别决定着优先权中占 已知区域的比例、 结构信息量的权重, 。 当图像平滑, 纹理简单时, 使 增大, 减小;当图像纹理结构比较 复杂, 边缘信息比较突出时, 使 增大, 减小。 对于 (6 式, 引入正规化函数, 平滑数据项D (p , 从而增强图像边缘 修复的鲁棒性, 其中, 取0. 7。 同时将P (p 的表达式

14、由乘改 为相加, 避免了 由于C (p 和D (p 突然减小为零所引起的优 先权的不可靠所导致的错误修复顺序 。无线互联科技 ·实验研究第3期 2016年2月No.3February, 20163 实验结果分析比较 本文在Intel Core (TM 2Duo CPU T6400, RAM 4GB, Windows7的测试机上, 采用Matlab7. 10编程测试改进后算法 的修复效果, 并和标准的Criminisi算法进行对比, 测试图 像分别为:bungee1. png, seaside. png。 实验结果如图3-4所 示。 图中 (a 表示待修复图像, (b 表示Crimin

15、isi修复后的 图像, (c 表示文献5的修复结果, (d 表示文献6的修复 结果, (e表示本文算法修复后的图像。 图3 bungeer1图像修复结果由图3可以看出, 仿真实验是为 了移除背景中跳水的人和跳板, 得到所需的前景图像。 经过对比可以看出:(b 图中 Criminisi算法的修复结果效果不够好, 水泥墙壁的裂缝太 大; (c 图是文献 5的修复结果, 边缘平滑性不够好; (d 图是文献 6的修复结果, 由于置信度的骤减引起的修复顺序不当, 导致水泥墙的修复后中间出现裂缝; (e 图是优先权改进后的修复结果, 可以看出不会出现置信度骤减的情况, 线 性结构的平滑性较好,基本满足人眼

16、的视觉效果。图4 seaside图像修复结果图4是seaside图像的修复结果, 其中, 图 (a 是待修复图像; 图 (b 是算法Criminisi的图像修复结果, 修复结果中 有黑色小点存在; 图 (c 是文献5的修复结果, 可以明显看 出图像修复结果不够好; 图 (d 是文献6的修复结果, 图 (e 是优先权改进后图像的修复结果, 可以看出, 即使对于结构 性比较单一的待修复区域, 图 (e 也能具有相对较好的修复 效果。 4 结语针对Criminisi算法中优先权计算公式中存在的缺陷, 提出 了新的优先权计算公式, 并通过仿真实验和现有典型的 改进算法的修复结果进行对比。 仿真实验表明

17、, 改进的优先 权计算公式具有较好的修复结果, 在一定程度上提高了 人眼 的视觉效果。参考文献1CRIMINISI A, PEREZ P, TOYAMA K.Region Filling and Object Removal by Exemplar-Based Image InpaintingJ.IEEE Trans.Image Process, 2004(9 :1200-1212. 2李爱菊, 钮文良.基于改进Criminisi算法的图像修复J.计算机工程与应用, 2014(18 :167-170. 3吴亚东, 张红英, 吴斌. 数字图像修复技术M.北京:科学出版社, 2010. 4韩明珠,

18、 郭树旭, 臧玲玲, 等 .基于样本块的图像修复改进算法J.计算机工程与应用, 2015(16 :192-194. 5刘业妃, 王福龙, 奚祥艳, 等 . 改进的Criminisi图像修复算法J.小型微型计算机系统, 2014(12 :2754-2758. 6李尊, 吴谨, 刘劲.基于边缘结构的Criminisi图像修复J.液晶与显示, 2014(5 :756-760. 7李尊, 吴谨, 刘劲, 等 .FA-Criminisi快速图像修复J.液晶与显示, 201(2 :353-358. 8孟春芝, 何凯, 焦青兰. 自适应样本块大小的图像修复方法J.中国图象图形学报, 2012(3 :337-

19、341.无线互联科技 ·实验研究第3期 2016年2月No.3February, 2016Intelligent Technology of Electrical Engineering and AutomationZhang Lei(Hohhot Power Supply Section, Baotou Railway Bureau, Baotou 014000, ChinaAbstract: With the development of modern society, science and technology, intelligent technology used mor

20、e and more widely, mainly is because intelligent technology can effectively improve the working environment, reduce the working intensity of workers and improve the work efficiency of the industrial. Therefore, intelligent in some important construction using widely. Intelligent technology, because

21、of its automation and intelligent performance, can reduce the maintenance cost of equipment, improve the level of fault diagnosis. The construction of electrical engineering plays a decisive role in the quality of power system operation in a certain extent. The article briefly analyzes and discusses

22、 the practical application of intelligent technology in electrical engineering automation.Key words: electrical engineering; automation; intelligent technology参考文献1闫书畅.基于电气工程自动化的智能化技术应用探讨J.科技创新导报, 2013(27 :96.2莫家宁 . 智能化技术在电气工程自动化控制中的应用探讨J.机电信息, 2013(6 :102-103. 3谷颂. 智能化技术在电气工程自动化中的应用价值研究J.硅谷, 2014(1

23、4 :75, 81. 4梁小全. 智能化技术在企业电气工程自动化中的发展与应用 J.中国高新技术企业 (中 旬刊 , 2014(6 :39-40, 20. 5李鸣. 刍议 电气工程自动化中智能化技术的应用 J.科技展望, 2015(28 :93. 6万志成. 探究电气工程自动化中智能化技术的运用 J.通讯世界, 2014(20 :144-145. 7魏亚东. 智能化技术在电气工程自动化控制中的应用研究J.电子制作, 2014(9 :128-129. 8刘璐.基于电气工程自动化的智能化技术应用分析J.科技资讯, 2013(21 :119. 9李晓东.基于智能化技术在电气工程自动化的运用 J.科技

24、展望, 2014(14 :26-26.无线互联科技 ·技术应用Research on Image Inpainting Order Based on Criminisi AlgorithmQi Zhuoya, Su Hongqi(School of Mechanical Electronic & Information Engineering,China University of Mining and Technoligy,Beijing, Beijing 100083, ChinaAbstract: The Criminisi algorithm is used to r

25、epair the large scale damage image, it is a classic algorithm.However, the confidence term of the algorithm will be reduced to zero with being repaired, and the data item may be zero. The confidence level and data items in any one of zero will result in an error of repair order, causing cumulative error messages, and ultimately affecting the repair e