第七章运动图像复原

运动模糊图像复原技术及其应用，赵丹培航天研究所图像处理中心，2009年6月，目录，7.1运动图像复原技术概述7.2图像退化模型的建立7.3运动模糊图像复原的基本原理7.4典型运动模糊图像复原方法7.5几种复原方法的性能比较7.6图像复原质量的评价7.7运动图像复原方法的应用，什么是图像复原技术？图像复原技术也常被称为图像复原技术，是图像处理研究领域的一个重要分支。图像恢复技术可以消除或减少获取数字图像过程中出现的图像质量下降(退化)的问题，使图像尽可能接近真实场景。这些退化包括由光学系统、相对运动等引起的图像模糊。在图像形成、传输和记录过程中，以及电路噪声和光度因素对图像质量的影响。7.1运动图像恢复技术概述，图像恢复和图像增强之间的关系：图像恢复和图像增强之间有着密切的关系。他们都需要在某种意义上改善图像，也就是说，他们想要改善输入图像的视觉质量。图像增强技术：突出相关信息，以良好的视觉效果满足人类视觉系统。图像恢复技术：恢复退化图像的原始特征，忠实于原始图像，即根据相应的退化模型和知识，将退化图像重建或恢复为原始图像。因此，图像恢复必须基于一定的图像退化模型。图像复原方法的分类：图像复原大致可以分为两种方法：一种方法适用于缺乏图像先验知识的情况，这时，可以建立一个模型来描述退化过程，然后可以找到一个过程来消除或削弱其影响，这是一种估计方法；另一种方法是对原始图像建立数学模型，在原始图像具有足够先验知识的情况下，对退化图像进行拟合，以获得更好的恢复效果。这两种方法各有优缺点。第一种方法不需要先验知识，但它的缺点是速度慢，不如第二种方法有效。然而，第二种方法可以在相对短的时间内获得更好的结果，只要有一个正确的模型。它的缺点是通常很难建立一个精确的模型。从方法和应用角度分类：频域图像复原方法：逆滤波、维纳滤波等。线性代数恢复方法：线性代数滤波方法、空间域滤波方法等。非线性代数复原方法：投影法、最大熵法、正约束法、贝叶斯法、蒙特卡罗法等。光谱外推：哈里斯外推和长球波函数外推；反卷积复原法：盲复原法应用：大气湍流退化图像复原：散焦衍射图像的恢复：高速运动模糊图像的恢复：几种消除运动模糊的补偿方法。运动模糊的本质是相机和场景之间的相对运动导致曝光时刻感光介质相对于物体图像的相对运动，即存在图像运动。如果可以减少或消除这种图像偏移，则可以抑制运动模糊的产生。目前，有几种常用的消除像移的方法：机械像移补偿法、光学像移补偿法、电子像移补偿法、像移补偿法和机械补偿法：机械结构及其部件用于在曝光期间移动感光介质，使得残留像移量尽可能小，从而达到抑制运动模糊的目的。这种补偿方法适用于由飞机滚转、俯仰和相机扫描引起的运动模糊。它主要用于胶片式垂直照相机。当实现时，通过拉式胶片测量机构移动胶片，并精确控制胶片卷绕机构，以确保必要的补偿精度。美国KA-112A航空侦察相机采用移动胶片法消除扫描和滚动引起的图像偏移。优势缺点：它要求结构操作和制造的高精度，并且需要高功率的传输装置，这限制了它在航空相机，尤其是广角镜头相机中的应用。感光材料正从胶片逐渐向CCD转变，相应的像移补偿方法也在改变。光学图像运动补偿方法的原理是根据摄像机焦平面上图像运动速度相同的原理，旋转或移动光路元件，改变光的方向，达到抑制运动模糊的目的。目前，旋转物镜前面的旋转镜通常用于补偿前向像移。优点：光学像移补偿法的反射镜体积小、重量轻、易于控制。除了补偿前向图像运动，它还可以补偿俯仰和偏航引起的图像运动。它主要用于长焦距全景相机。这种补偿方法已应用于80年代初芝加哥航空工业公司研制的KA-112A相机和KS-146航空侦察相机。目前它被广泛使用。电子图像运动补偿方法电子图像运动补偿方法主要是针对CCD摄像机，利用一系列CCD电荷转移驱动技术来控制CCD曝光同步图像运动速度的补偿方法。目前，国内外采用的电子像移补偿方法包括TDI CCD的真角像移补偿方法和面阵CCD的阶梯像移补偿方法。它已应用于美国的光电分幅空中侦察相机，如CA-260、CA-270、CA-290等。采用这种步进图像运动补偿技术的面阵CCD器件目前禁止军售。图像型图像运动补偿方法，图像型图像运动补偿也称为软件补偿方法。模糊图像是由清晰图像和点扩散函数卷积得到的。根据这一原理，对退化的图像执行图像恢复以完成图像运动补偿。基于图像的图像运动补偿方法是对现有数字图像的后处理，是一种被动补偿方法，必须用于CCD摄像机，通常用于图像后恢复和分析。优点：图像运动补偿的成本低、软件算法相对成熟、应用灵活等特点引起了广泛关注。随着DSP等快速高效器件的推广应用，这种方法将很快用于准实时图像运动补偿。在实际退化过程中，退化的另一个复杂因素是随机噪声。考虑到噪声图像的恢复，了解噪声的统计特性以及噪声与图像信号之间的相关性是非常复杂的。在实践中，假设是白噪声频谱密度是恒定的，并且与图像无关(只要噪声带宽比图像带宽大得多，这个假设通常成立)，从而获得图像退化模型。图像退化过程可以被描述为退化系统，其中原始图像通过系统退化成图像，并且添加有附加噪声。过程如下图所示：7.2建立了图像退化模型、图像退化过程模型和图像退化公式，在下面的讨论中，退化模型H假设为：H是线性的，H在空间(或位移)上是不变的，并且具有任何常数：即图像中任意点的运算结果仅取决于该点的输入值，与坐标位置无关。如果考虑噪声的影响，运动模糊图像的退化模型可以描述为退化函数和加性噪声项。如果设置了输入图像，则产生的退化图像可以由以下公式表示：由于空间域的卷积等于频域的乘积，所以上述公式的频域被描述为：讨论恢复问题：如果噪声n被省略，则：可以获得逆变换，如果h具有零点，则Ff，g也具有零点，并且0/0不是固定的。这个模型不能保证所有的逆过程都有解？由于造成降解的因素很多，而且性质不同，目前还没有统一的回收方法，很多人根据不同的物理模型采用不同的降解模型、处理技术和估算标准，从而衍生出多种回收方法。有效方法：处理这样，图像退化过程的数学表达式可以写成如下：一般来说，在不考虑加性噪声的情况下，上述表达式可以简化如下：它将被理解为一种运算，并且模糊恢复的过程是恢复的过程，即寻求逆变换，因此我们可以使用卷积方法来模拟运动模糊的过程，表示为：称为模糊算子或点扩散函数，并且“*”表示卷积，表示原始(清晰)图像，并且表示观察到的退化图像。7.3运动模糊图像复原的基本原理，运动模糊图像的生成，运动模糊图像形成过程的描述，点扩散函数的确定，运动模糊点扩散函数的离散化，均匀线性运动模糊的退化模型，均匀线性运动点扩散函数参数的确定。当使用照相机获取场景图像时，如果在照相机曝光期间场景和照相机之间存在相对运动，例如，照相机用于拍摄快速移动的物体，或者当从移动的汽车拍摄静止的场景时，所拍摄的照片可能会模糊。这种由相对运动引起的模糊就是运动模糊。下图是实验室实际拍摄的带有噪声干扰的运动模糊图像。7.3.1运动模糊图像，由于高速运动产生的运动模糊图像，这种图像模糊被称为运动模糊。通常，有两种方法来解决运动模糊：一是减少曝光时间。然而，照相机的曝光时间不能无限期地缩短。随着曝光时间的减少，图像的信噪比降低，图像质量也降低，因此这种方法的应用极其有限。二是建立运动图像复原模型，通过数学模型解决图像复原问题。该方法具有通用性，也是解决运动模糊的主要方法。7.3.2对运动模糊图像形成过程的描述，假设在适当曝光和正确聚焦的条件下快门的打开和关闭是瞬间完成的，可以表示为实际场景图像的积分：如果场景是静止的，即上述积分只是时间的乘积，曝光时间的变化只影响成像的对比度。然而，如果场景是移动的，曝光的重叠图像作为运动中的一个整体，肯定会随着增加而模糊。事实上，通过代入上述公式，可以得到描述上述匀速直线运动模糊图像形成过程的表达式：即匀速直线运动模糊的成像表达式。上述公式表明，运动模糊图像是通过在不同时间叠加无限数量的场景图像而形成的。场景和摄像机之间的相对运动有不同的方向和速度。因此，无论用什么方法恢复运动模糊图像，在确定图像的恢复模型之前，都必须确定场景和摄像机之间相对运动的方向和速度。这是确定运动参数的问题。以航空侦察相机为例，说明运动模糊的基本原理。如图所示，当飞机以速度v在空中飞行时，地面场景的A点相对于飞机向后移动到A。图像通过光学系统成像在一个点上，图像在CCD目标面上的运动速度如下：V:飞机飞行速度；h:飞行高度；光学系统的最大焦距。在CCD摄像机的每个场积分时间中，图像偏移量是：t是CCD摄像机的场积分时间，图像偏移量模型，概述：图像偏移量的存在会使图像模糊，为了获得清晰的图像，必须控制图像偏移量。在实际工程中，CCD的积分时间不可能无限减少，高帧频CCD的价格非常昂贵。在缩短积分时间之后，为了确保图像质量，所需的地面照明越大，这限制了照相机的工作条件，并且在许多情况下是不可接受的。目前，解决运动模糊的主要方法是通过了解图像的退化过程来建立运动图像的复原模型，通过数学模型来解决图像的复原问题。不同的PSF会产生不同的模糊图像。清楚地知道退化函数是非常有用的。关于它的知识越准确，赌注就越大即，确定：先验知识方法与图像无关；后验方法与图像相关；7.3.3点扩散函数的经验确定；几种典型的点扩散函数：大气湍流引起的传递函数高斯退化函数高斯退化函数是许多光学成像系统中最常见的退化函数；它是光学系统的衍射和像差等因素综合作用的结果；它的表达式是：其中k是归一化常数，a是表示模糊程度的正常数字，c是支持域。由于高斯函数的傅立叶变换仍然是高斯函数，并且不存在过零点，因此不能使用频域过零点来进行高斯退化函数的识别。(3)光学系统散焦退化函数散焦模糊是由成像区域中不同深度的物体引起的图像退化。几何光学分析表明，光学系统散焦引起的图像退化对应的点扩散函数是一个均匀分布的圆形光斑，其表达式为：其中R是散焦光斑的半径。如果退化图像的信噪比较高，则r可以由频域图上通过傅立叶变换生成的圆形轨迹来确定。(4)二维模糊也是散焦引起的图像退化的近似模型。与散焦模型相比，2D模糊代表了一种更严重的退化形式。它的点扩散函数可以表示为：其中L被假定为奇数。(5)运动模糊的退化功能：在曝光过程中，当相机和被摄体之间有相对运动时拍摄的照片是模糊的。这种图像退化的过程称为运动模糊。它不仅与运动速度有关，而且与运动方向有关。众所周知，如果照相机不移动，则物体移动，并且运动分量分别是，照相机快门速度是理想的，并且快门打开时间(曝光)t。如果在单个方向上仅在x方向上移动，则移动像素的数量是a，并且曝光时间是t，也就是说，此时，可以获得水平方向上的运动模糊的数学退化模型。对于运动模糊，可以根据摄像机和目标之间的相对运动速度、摄像机的焦距以及摄像机和目标之间的距离来计算PSF。例如，通过计算，模糊图像的模糊方向是x=6，y=4，并且连续的PSF在图中示出。(a)连续PSF(b)离散PSF，其中m是水平方向上的模糊长度，n是垂直方向上的模糊标度。当时，公式(1)用于计算，然后公式(2)用于计算。因此，图像模糊的方向和尺度是图像复原的两个主要参数。在获得模糊尺度和角度两个参数后，点扩散函数的离散化矩阵建立如下。如果模糊的方向是，模糊的尺度是L，则PSF的宽度是，高度是。点扩散函数可以通过以下两个公式计算。由于离散化，它不是一条直线。7.3.5均匀线性运动模糊的退化模型，在所有运动模糊中，由均匀线性运动引起的图像模糊的恢复问题具有更普遍和普遍的意义。由于变速，非线性运动在一定条件下可以分解成分段匀速直线运动。本节仅讨论由均匀线性运动引起的运动模糊。假设图像是二维平面运动，和分别是x和y方向上运动的变化分量，t代表运动时间。记录介质的总曝光是从快门打开时到快门关闭时的积分，那么模糊图像是：其中模糊图像是由目标和照相机的相对运动引起的图像模糊的连续函数模型。如果模糊图像是由场景在x方向上匀速直线运动引起的，那么模糊图像中任何一点的值是：场景在x方向上的运动分量在哪里；如果图像的总位移是a，总时间是t，那么运动速率是，那么上述公式变成：对于离散图像，离散上述公式，然后：其中l是照片中场景移动的像素数的整数近似值，并且是每个像素影响模糊的时间因子。因此，运动模糊图像的像素值是如果要使用清晰图像来模拟由水平均匀运动产生的模糊图像，可以使用以下公式：因此，可以理解，该运动模糊与时间无关，而仅与运动模糊的距离有关。在这种情况下，实验就简化了。因为对于实际的运动模糊图像，由于相机不同，很难知道其曝光时间和场景运动速度。如果用卷积的方法来模拟水平方向匀速运动产生的模糊图像，这个过程可以表示为：称为模糊算子或点扩散函数，“表示卷积”，表示原始清晰图像，表示观察到的退化图像。确定了匀速直线运动的点扩散函数的参数。如果导致图像退化的点扩展函数具有零点，这些零点将迫使退化图像的频谱在特定频率下变为零。导致运动模糊的点扩散函数的表达式具有零点，因此模糊图像的光谱在某些频率下也将具有零点，并且光谱上将出现一