基于VC++数字图像修复设计

1、LOGO指指导教师导教师：基于基于VC+数数字字图图像修像修复复的的设计设计班班级级：11111111学号学号：11111111学学生生：某某某某论文的主要内容论文的主要内容u第一部分第一部分：绪论绪论u第二部分第二部分：图像修复原理及系统流程设计图像修复原理及系统流程设计u第三部分第三部分：基于样本的纹理合成修复算法基于样本的纹理合成修复算法u第四部分第四部分：基于基于TVTV模型的图像修复算法模型的图像修复算法u第第五五部分部分：展望展望u 背景背景：随着科学技术日新月异的发展，采集数随着科学技术日新月异的发展，采集数字图像的设备也在不断更新，手机、数码电子产品字图像的设备也在不断更新，手

2、机、数码电子产品在人们的生活中得到了广泛的应用，数字图像与人在人们的生活中得到了广泛的应用，数字图像与人的生活紧密联系在一起。的生活紧密联系在一起。u 意义：意义：1 1）对美术作品或者珍贵文档、图片等进行修复。）对美术作品或者珍贵文档、图片等进行修复。例如：对一些古老而又有价值的油画进行修复。例如：对一些古老而又有价值的油画进行修复。2 2）移除图像中的固定目标。）移除图像中的固定目标。例如：由于军事或者政治原因，隐藏对外公布资料中的某些目标。例如：由于军事或者政治原因，隐藏对外公布资料中的某些目标。绪论绪论绪论绪论3 3）去除图像中的文字或者修复图像中的划痕。去除图像中的文字或者修复图像中

3、的划痕。例如：某些图片上有很多文字或者划痕，修复后图像欣赏效果好。例如：某些图片上有很多文字或者划痕，修复后图像欣赏效果好。绪论绪论u国内外研究现状：国内外研究现状：目前，数字图像修复技术的发展主要集中目前，数字图像修复技术的发展主要集中在两个领域：基于偏微分方程的图像修复算法和基于纹理合成的在两个领域：基于偏微分方程的图像修复算法和基于纹理合成的图像修复算法。图像修复算法。 基于偏微分方程的图像修复算法：基于偏微分方程的图像修复算法： Bertalmio Bertalmio等人在等人在20002000年首次提出了通过将带修补区域的邻近区域的图像信息沿着等光照度方年首次提出了通过将带修补区域的

4、邻近区域的图像信息沿着等光照度方向扩散来修复图像。向扩散来修复图像。 Chan Chan等人在研究等人在研究RudinRudin提出的整体变分方法去除图像噪声算法对该算法进行了发展，将该算法提出的整体变分方法去除图像噪声算法对该算法进行了发展，将该算法引入到图像修复领域。引入到图像修复领域。 基于图像纹理合成的图像修复算法：基于图像纹理合成的图像修复算法： Leung Leung等人在等人在19991999年的年的ICCVICCV会议上，首次提出了像素纹理合成技术。会议上，首次提出了像素纹理合成技术。 之后之后LevoyLevoy等人在研究像素纹理合成技术的基础上，对算法中的概率函数进行了修改

5、，直接把等人在研究像素纹理合成技术的基础上，对算法中的概率函数进行了修改，直接把邻域中最优的匹配的样本纹理的像素值填充到待合成的像素中。邻域中最优的匹配的样本纹理的像素值填充到待合成的像素中。 Ashikhminlls Ashikhminlls在研究在研究LevoyLevoy等人改进算法的基础上，提出了一种比等人改进算法的基础上，提出了一种比LevoyLevoy算法更加快速而且有算法更加快速而且有效的方法。效的方法。 CriminisiCriminisi等人在等人在20032003年提出了基于样本块的纹理合成修复算法，该算法在对具有一定纹理年提出了基于样本块的纹理合成修复算法，该算法在对具有一

6、定纹理结构的自然图像进行修复时，取得了很好的效果。结构的自然图像进行修复时，取得了很好的效果。 从从20042004年至今主要有微软亚洲研究院改进的结构传播算法，国内浙江大学的唐峰提出的最优年至今主要有微软亚洲研究院改进的结构传播算法，国内浙江大学的唐峰提出的最优误差匹配方法等改进算法等算法。误差匹配方法等改进算法等算法。图像修复原理及系统流程设计图像修复原理及系统流程设计u1基本原理：基本原理： 数字图像修复技术的原理就是通过对整幅图像数字图像修复技术的原理就是通过对整幅图像进行判断，进行判断，寻找寻找图中的需要修复的区域，然后对图中的需要修复的区域，然后对D D区域周围区域区域周围区域I

7、I中像素点中像素点的颜色值进行一定判断，通过算法将的颜色值进行一定判断，通过算法将I I中的像素信息填充到待修中的像素信息填充到待修复区域复区域D D中。中。 图像修复原理及系统流程设计图像修复原理及系统流程设计u2图像修复流程设计：图像修复流程设计： 图像修复可能出现的五中情况：图像修复可能出现的五中情况：划痕修复、文字去除、破损修复划痕修复、文字去除、破损修复 、污染修复以及大面积修复。污染修复以及大面积修复。基于样本的纹理合成修复算法基于样本的纹理合成修复算法u基本原理：基本原理：在修复的过程中先在带修复图像的修复区域的边界在修复的过程中先在带修复图像的修复区域的边界上任意选取一个像素点

8、，取以选取像素点为中心的一个固定像素上任意选取一个像素点，取以选取像素点为中心的一个固定像素块作为匹配样本块，该样本块的大小可以任意的选取如可以选取块作为匹配样本块，该样本块的大小可以任意的选取如可以选取9x9大小等，然后在去除带修复区域的整幅图像区域进行搜索匹大小等，然后在去除带修复区域的整幅图像区域进行搜索匹配，找出与该样本块最为相似的纹理块做为最优匹配块，最后，配，找出与该样本块最为相似的纹理块做为最优匹配块，最后，将最优匹配块的中心像素点填充到样本块区域。这样算是完成了将最优匹配块的中心像素点填充到样本块区域。这样算是完成了一个指定像素点的修复。一个指定像素点的修复。 该类方法的基本修

9、复示意图如图所示，该类方法的基本修复示意图如图所示，图中模板样本块是以处于带修复区域边图中模板样本块是以处于带修复区域边界上的一个像素点为中心的大小固定的界上的一个像素点为中心的大小固定的纹理块，在对模板样本块进行匹配时，纹理块，在对模板样本块进行匹配时，通过对图中白色区域进行搜索匹配，寻通过对图中白色区域进行搜索匹配，寻找最优匹配块。匹配完成后，将最优匹找最优匹配块。匹配完成后，将最优匹配块的中心像素点值跟新到模板中心像配块的中心像素点值跟新到模板中心像素点中。素点中。基于样本的纹理合成修复算法基于样本的纹理合成修复算法u算法选取：算法选取： 在基于样本的纹理合成修复算法中，在基于样本的纹理

10、合成修复算法中，本文选取本文选取CriminisiCriminisi算法及在该法的基础上改进的算法进行研究，该算法具算法及在该法的基础上改进的算法进行研究，该算法具有实现过程比较简单、修复速度快而且修复效果好等优点。有实现过程比较简单、修复速度快而且修复效果好等优点。 CriminisiCriminisi算法：算法： 该算法的主要思想是通过计算带修复像素的该算法的主要思想是通过计算带修复像素的优先权、匹配纹理块和像素点值的更新三个步骤来进行纹理合成优先权、匹配纹理块和像素点值的更新三个步骤来进行纹理合成，从而修复图像中的待修复区域。在，从而修复图像中的待修复区域。在CriminisiCrimi

11、nisi算法进行图像修复算法进行图像修复时，图像待修复区域的大小一般比较大，这样可以取得不错的效时，图像待修复区域的大小一般比较大，这样可以取得不错的效果。果。基于样本的纹理合成修复算法基于样本的纹理合成修复算法 算法中三个步骤的具体含义：算法中三个步骤的具体含义： 为了能够保证图像的修复填充是按照图像的线性结构传播的，为了能够保证图像的修复填充是按照图像的线性结构传播的，Criminisi算法首先需要计算待修复区域像素点的优先权。优先算法首先需要计算待修复区域像素点的优先权。优先权直接决定了算法对待修复区域像素进行填充的顺序，从而来保权直接决定了算法对待修复区域像素进行填充的顺序，从而来保证

12、待修复区域与周围像素的连通性；证待修复区域与周围像素的连通性； 根据图像中像素块与周围像素块具有一定的相似性，来对除去待根据图像中像素块与周围像素块具有一定的相似性，来对除去待修复区域以外的图像区域进行搜索匹配，找出最优匹配块；修复区域以外的图像区域进行搜索匹配，找出最优匹配块； 将找出的最优匹配像素块，复制到样本块区域，从而来完成带将找出的最优匹配像素块，复制到样本块区域，从而来完成带修复区域像素值的更新。完成像素填充后，更新待修复区域的置修复区域像素值的更新。完成像素填充后，更新待修复区域的置信度。信度。基于样本的纹理合成修复算法基于样本的纹理合成修复算法uCriminisi算法的实验结果

13、算法的实验结果:从人物取出实验中，可以发现从人物取出实验中，可以发现CriminisiCriminisi算法算法在对大面积的目标进行移除修复时，算法的整在对大面积的目标进行移除修复时，算法的整体修复效果比较明显。人物已经被完全的移除体修复效果比较明显。人物已经被完全的移除掉了，算法在对待修复区域的颜色填充比较协掉了，算法在对待修复区域的颜色填充比较协调，整个待修复区域的自然纹理结构与周边的调，整个待修复区域的自然纹理结构与周边的纹理保持了一致。纹理保持了一致。从大面积修复实验中可以看从大面积修复实验中可以看出，当待修复区域的纹理结出，当待修复区域的纹理结构 信 息 比 较 复 杂 时 ，构 信

14、 息 比 较 复 杂 时 ，CriminisiCriminisi算法修复效果不太算法修复效果不太理想。理想。基于样本的纹理合成修复算法基于样本的纹理合成修复算法u实验结果分析：实验结果分析：在算法填充的过程中，整个破损区域周围的在算法填充的过程中，整个破损区域周围的结构信息并没有比较理想的延伸到待修复区域，图中破损区域周结构信息并没有比较理想的延伸到待修复区域，图中破损区域周围的山石结构和松树结构并没有填充，而且在破损区域出现了很围的山石结构和松树结构并没有填充，而且在破损区域出现了很明显的错误匹配情况，在松树区域填充了山石结构信息，明显的错误匹配情况，在松树区域填充了山石结构信息，Crimi

15、nisiCriminisi算法在这种纹理结构比较复杂的图像进行修复时修复效算法在这种纹理结构比较复杂的图像进行修复时修复效果不太理想。这主要是果不太理想。这主要是CriminisiCriminisi算法对于待修复区域像素块进行算法对于待修复区域像素块进行搜索匹配时是采用全图像区域搜索的方式来进行的。搜索匹配时是采用全图像区域搜索的方式来进行的。 可以发现在可以发现在随着图像待修复区域中的像素点不断填充的过程中，图像待修复随着图像待修复区域中的像素点不断填充的过程中，图像待修复区域中的已知信息像素点会不断的增加。图像待修复区域像素点区域中的已知信息像素点会不断的增加。图像待修复区域像素点的置信度

16、值会迅速下降到零，从而导致算法计算出的优先权不可的置信度值会迅速下降到零，从而导致算法计算出的优先权不可靠。因此，会导致出现错误的颜色填充，从而影响到整幅图像的靠。因此，会导致出现错误的颜色填充，从而影响到整幅图像的修复效果修复效果。基于基于TVTV模型的图像修复算法模型的图像修复算法u基本原理：基本原理：TV(Total Variation)TV(Total Variation)模型图像修复的基本求原理模型图像修复的基本求原理是求解能量泛函的极大值、极小值，得出修复后的图像，其中该是求解能量泛函的极大值、极小值，得出修复后的图像，其中该能量泛函是根据带修复图像的先验知识和数据模型建立起来的。

17、能量泛函是根据带修复图像的先验知识和数据模型建立起来的。TVTV模型图像修复在对图像修复时，对图像的边缘信息保持的比较模型图像修复在对图像修复时，对图像的边缘信息保持的比较好，数值实现比较简单。好，数值实现比较简单。 如右图所示，图像的如右图所示，图像的D D区域表示区域表示为图像的待修补区域，而为图像的待修补区域，而E E则是待修则是待修复区域复区域D D的邻域。的邻域。TVTV模型图像修复算模型图像修复算法就是通过对图像区域法就是通过对图像区域E E和待修复区和待修复区域域D D进行整体的变分，从而以实现对进行整体的变分，从而以实现对待修复区域待修复区域D D 的修复。的修复。 TVTV模

18、型图像修复算法可以分为如下模型图像修复算法可以分为如下3 3步：步： 建立图像的能量泛函函数，并提出其约束条件；建立图像的能量泛函函数，并提出其约束条件； 变分求取泛函的拉格朗日方程；变分求取泛函的拉格朗日方程； 在已知限定的条件下求解微分方程；在已知限定的条件下求解微分方程；基于基于TVTV模型的图像修复算法模型的图像修复算法uTVTV模型文字移除实验：模型文字移除实验： 在本次文字移除实验中，通过选取不同的迭代次数对图像进行修复处理。通过在本次文字移除实验中，通过选取不同的迭代次数对图像进行修复处理。通过对比图对比图4-5(a)4-5(a)、图、图4-5(b)4-5(b)和图和图4-5(c

19、)4-5(c)可以很明显的发现，当迭代次数选择可以很明显的发现，当迭代次数选择100 100 次和次和200 200 次时图像中的文字并没有明显的去除，而当采用次时图像中的文字并没有明显的去除，而当采用400 400 次迭代次数的时候，次迭代次数的时候， 文文字被很明显的去除。字被很明显的去除。基于基于TVTV模型的图像修复算法模型的图像修复算法uTVTV模型划痕修复实验：模型划痕修复实验： 在本次实验中选取迭代次数在本次实验中选取迭代次数300300次通过对图次通过对图4-6 4-6 中的中的(b)(b)、(c)(c)和和(d)(d)三幅相比图三幅相比图(a)(a)进行进行PSNRPSNR测

20、试值分别为测试值分别为36.213236.2132、36.4731 36.4731 和和36.751436.7514，可以发现在，可以发现在TVTV模型中影响图像修复效果主要是迭代模型中影响图像修复效果主要是迭代参数。参数。基于基于TVTV模型的图像修复算法模型的图像修复算法通过对比图通过对比图(a)(a)和图和图(b)(b)可以很明显可以很明显的发现的发现CriminisiCriminisi算法在图像细节修复算法在图像细节修复方面效果没有方面效果没有TVTV模型的效果好，图模型的效果好，图(a)(a)中的文字并没有被很明显的去掉。中的文字并没有被很明显的去掉。TVTV模型在对修复区域比较小的区域进行模型在对修复区域比较小的区域进行修复效果比较好。修复效果比较好。通过对图通过对图(a)(a)和图和图(b)(b)进行对比可以很进行对比可以很明显的看出，明显的看出，TVTV模型修复算法在对人物模型修复算法在对人物区域进行修复时，出现了模糊效果，而区域进行修复时，出现了模糊效果，而CriminisiCriminisi算法修复的效果较好。算法修复的效果较好。基于基于TVTV模型的图像修复算法模型的图像修复算法u实验结果分析：实验结果分析：