数字图像处理论文翻译.doc

数字图像处理 11视频中可逆的运动模糊李* 通信*班 S*（湖南大学信息科学与工程学院， 湖南 长沙 410012）摘要：我们认为，即使单个图像中的点扩散函数（PSF）是不可逆的，但是连续视频图像中的运动模糊是可逆的。模糊图像在点扩散函数的频域变换中显示出多个空值（零值），从而导致不良解卷积。硬件解决方案虽然可以避免运动模糊，但是它要求很专业的设备比如编码曝光摄影机或者加速传感器运动。我们使用普通的摄影机并且引入多个模糊函数的联合可逆性的空值填充概念。其关键思想就是记录下某个目标的不同PSF，以便于该帧图像的频率成分中的空值能被其他帧中的频率填充。这样联合频域变换中就不会出现空值，去模糊效果就很会很好了。我们简单的通过改变连续图像的曝光时间来获得联合可逆性的模糊。我们解决了匀速移动目标的自动去模糊的问题，通过解决以下四个关键问题：保留了所有空间频率，移动目标的分割，移动目标的运动估计，保持静态背景的保真度。我们演示了在几个具有挑战性的包括特征显著的背景以及局部封闭的目标运动模糊情况下的去模糊效果。关键词：计算摄影术；运动去模糊；PSF可逆性；PSF估计Invertible Motion Blur in VideoAmit Agrawal* , Yi Xu+, Ramesh Raskar(Mitsubishi Electric Research Labs (MERL), Cambridge, MA ;MIT Media Lab, Cambridge, MA)Abstract: We show that motion blur in successive video frames is invertible even if the point-spread function (PSF) due to motion smear in a single photo is non-invertible. Blurred photos exhibit nulls (zeros) in the frequency transform of the PSF, leading to an ill-posed deconvolution. Hardware solutions to avoid this require specialized devices such as the coded exposure camera or accelerating sensor motion. We employ ordinary video cameras and introduce the notion of null-filling along with joint-invertibility of multiple blurfunctions. The key idea is to record the same object with varying PSFs, so that the nulls in the frequency component of one frame can be filled by other frames. The combined frequency transform becomes null-free, making deblurring well-posed. We achieve jointly-invertible blur simply by changing the exposure time of successive frames. We address the problem of automatic deblurring of objects moving with constant velocity by solving the four critical components: preservation of all spatial frequencies, segmentation of moving parts, motion estimation of moving parts, and non-degradation of the static parts of the scene. We demonstrate several challenging cases of object motion blur including textured backgrounds and partial occluders.Keywords: Computational Photography; Motion Deblurring; PSF Invertibility; PSF Estimation1. 介绍在摄影中，快速运动中的物体模糊不清，这是一个很普遍的问题。因此考虑对静态背景前面快速移动的目标进行去模糊处理。自动去模糊包含三个关键因素：(a)保持可逆的PSF；(b)移动物体的运动估计；(c)移动物体与静态背景的分割。另外，要能保证图中其他静态部分的保真度。之前的方法已经单独地尝试解决了其中一个或几个问题，但是没有一种方法能解决以上所有问题。对于单幅图像，要解决他们显然是具有挑战性的，但是我们认为解决视频的去模糊问题还是很有希望的。本文基于普通摄影机提出了一个很独特的方法，通过频域中空值填充的概念显示出视频模糊具有联合可逆性。在普通摄影机中保证可逆运动PSF是不可能的。由于有限的曝光时间，框函数就等同于与一个低通滤波器进行卷积，因此PSF的频域中包含了多个空值。由于所捕获图像的空间频率有所丢失，因此去模糊处理效果不理想。之前的方法使用了很专业的设备来处理运动PSF。Raskar et al. 2006提出了使用宽频带的二进制编码在有限时间内开闭快门的方法。在频域中编码没有空值，因此使PSF可图1：通过简单的改变视频各帧的曝光时间，多图去模糊可以变得可逆。（左）为一辆运动的小汽车的不同曝光图像。注意捕获的图像中光照和模糊大小的改变。（右）近景目标被自动矫正，分割，去模糊，然后使用不同曝光视频组成背景。新颖的渲染，比如运动条纹效果可以通过去模糊图像和模糊图像的线性组合产生。逆。然而，他们假设了背景固定不变，并要求人工PSF估计和目标分割。运动不变摄影术(MIP) Levin et al.2008b要求在捕获图像时摄影机等加速移动。其思想是为了使运动PSF不变量在一定范围内跟上移动目标的速度。这使得不在需要进行分割和PSF估计。但是，它需要运动方向的先验知识以及在使场景中的静态部分引起模糊。 本文中，我们通过使用多帧图像的信息认为自动去模糊是可能的。关键思想就是记录具有不同PSF的同一个目标，以便于该帧图像的频率成分中的空值能被其他帧填充。这样联合频域变换中就不会出现空值，去模糊效果就很理想。我们简单的通过改变连续图像的曝光时间来获得联合可逆性的模糊。我们的技术不要求摄像机在曝光时间内运动或者任何编码。它可以在带有自动曝光功能的标准摄像机上实现，该功能典型地改变着曝光时间以用来补偿场景的亮度。:1.1 贡献我们通过解决去模糊过程中的关键性问题以及利用模糊可逆性的瞬时变化提出了一种自动去模糊的方法。我们的论文贡献有如下几方面：(a) 我们提出了PSF空值填充，它结合多个不可逆的PSF来组成一个运动模糊的联合可逆的PSF。(b) 我们认为通过改变某个视频中的每帧图像的曝光时间，目标运动的PSF空值填充就能得到。(c) 我们演示了针对匀速运动的自动PSF估计以及目标分割。1.2 优势与不足 我们的技术可以与现成的机器视觉摄像机一起使用，并且不要求很专业的硬件设备比如Raskar et al. 2006中提到的。它也可以在带有自动曝光功能或在突发模式下曝光的传统相机上实现。多帧图像简化了过程中关键性的组成成分，用以提高自动去模糊。场景中的静态部分没有退化，同时也不需要目标运动的先验知识，这与MIPLevin et al. 2008b中提到的截然相反。我们的方法与典型的去模糊技术有着共同的不足之处。我们假设目标作线性匀速运动，这样就导致照片中产生的是空间不变量的模糊。非匀速运动（比如加速运动）就打破了空间不变量PSF的假设。但是，我们在图像纠正后仍然可以处理空间变速运动，它产生空间不变量模糊。我们无法处理看得见的依赖效应比如平面旋转，高光和非散射双向反射分布函数，以及透明盒半透明物体。我们假设运动目标是关注的焦点并且允许背景也当做焦点。多个运动的目标在图像中只要彼此没有封闭也是可以作去模糊处理的。另外，依附的阴影被考虑成背景的一部分，由于低信噪比因而在去模糊输出中成为了噪声。1.3 相关研究PSF处理：专业摄影设备对于处理PSF使用了两个重要的技术类别：使PSF可逆或者不变。为了使PSF散焦，波前编码Dowski and Cathey 1995在棱镜前使用立方相位板以使PSF不变量场景深度化。也可以通过横向传感器运动来达到目的Nagahara et al. 2008。但是这些方法导致产生了在初始聚焦的场景部分物体散焦模糊。编码曝光Raskar et al. 2006使用宽带二进制编码来颤振快门以便使PSF图2：人们可以容易的使用单反相机的自动包围曝光（AEB）模式来实现PSF空值填充。最上面一排照片显示的是一辆快速运动的卡车的三幅图像，是用佳能数码相机的AEB模式（曝光：1/50,1/80,1/30sec）拍摄的。下面一排图像显示的是手动纠正模糊区域和去模糊后的图像。注意清晰的特征比如文字在去模糊图像中被恢复出来了。可逆。加速照相机运动Levin et al. 2008b针对目标运动的速度使PSF不变（需要知道运动方向的先验知识），并以模糊静态部分为代价。我们的方法没有更改摄像机，而是通过认真地选择曝光时间结合各帧直接处理联合PSF。PSF估计与去模糊：运动去模糊一直是一个超过过去几十年的很活跃的研究领域。盲卷积Jansson 1997尝试从给定的图像本身去估计PSF。由于去模糊效果不是很好，正规化算法Richardson 1972; Lucy 1974被用于除噪。最近对计算机图形学很感兴趣，已经激起了对PSF估计的重大研究以及去模糊算法研究。Fergus et al. 2006根据单幅模糊图像使用自然图像统计来估计PSF。最近的论文Jia 2007; Joshi et al. 2008; Dai and Wu 2008; Yuan et al. 2008; Shan et al. 2008对PSF估计和去模糊的研究显示出了优秀的成绩。然而这些技术对于单图像的PSF估计和去模糊使用了自然图像统计和图像先验知识，而在单图像中这些信息由于不可逆PSF出现了丢失。我们的方法使用多幅图像来进行运动模糊估计和可逆的去模糊处理。Chen et al. 1996; Sellent et al. 2008已经使用具有不同PSF的两幅图像来进行PSF估计的研究了。Rav-Acha和Peleg 2005以及Cho et al. 2007提出了使用不同方向上的两种模糊来进行去模糊处理。相反，我们的方法利用同一个方向上的具有不同大小的模糊。Yuan et al. 2007使用了一幅少量曝光的图像来估计运动PSF并使用它对一幅长时间曝光的图像进行去模糊处理用于处理相机抖动。Chen et al. 2008完成了迭代模糊核估计以及从由相机抖动引起的复杂运动模糊中推断出清晰图像的双图去模糊。合成快门速度成像Telleenet al. 2007捕获了一系列清晰图像通过使用短的曝光时间并混合噪声图像一起估计相对的相机运动。这些方法没有分析像PSF空值填充的问题。另外，他们针对静态摄像机观察到的目标运动去模糊是不切实际的。准确解卷积：Berenstein and Patrick 1990已经研究使用复试滤波器用于精确解卷积，找到一套卷积滤波器，结果是有限冲击响应(FIR)解卷积滤波器。然而，他们为了得到FIR解卷积滤波器的动机是在DSP芯片上有更快的处理。强迫解卷积滤波器是FIR是有限制的以及不必须的。人们可以使用无限冲击响应(IIR)卷积滤波器，它可以在选择卷积滤波器上提供更多灵活性（相当于选择每帧运动模糊曝光时间）。硬件技术：惯性传感器用于消费者相机来实现图像的稳定性。Ben-Ezra and Nayar 2004和Tai et al. 2008提出了混合图像系统，使用一个辅助的低分辨率高帧频摄像机估计PSF来对高分辨率的主传感器图像进行去模糊处理。相反，我们的技术估计PSF使用的高分辨率图像本身并不要求辅助相机来进行PSF估计。视频分析：Schultz and Stevenson 1996; Bascle et al. 1996中，运动PSF已经通过结合一部摄像机的连续视频的局部信息估计出来。带有重叠曝光时间的多幅相机Shechtman et al. 2002和可重构的多幅相机阵列Wilburn et al. 2005也被应用于增加捕获视频流的瞬时分辨率。我们的技术使用了一个具有不同曝光时间的普通摄像机来使得PSF可逆。使用各帧图像曝光时间都相同的视频序列作背景差集和分割Piccardi 2004在计算机视觉领域是很受欢迎的。不同的摄像曝光：几种计算机图形学技术结合了具有可变参数的图像。高动态深度图像(HDRI)可以通过结合不同曝光图像Mann and Picard 1995; Debevec and Malik 1997来得到。图3：（左）通过联合不可逆且没有公共零值的PSF，我们可以得到可逆的PSF。虽然每个有零值，但是联合运算符由于空值填充没有零值。（中左）每个噪声协方差矩阵有大的对角线，相比于协方差矩阵联合去模糊,子对角线元素导致产生振铃和噪声增强。（中右）运动模糊矩阵的奇异值显示，联合系统有更好的适应性。（右）与编码曝光比较。即使编码曝光对于高空间频率有更好的表现，但是它不利于PSF估计和目标分割。2. 不可逆的PSF的联合可逆性我们首先解释一下PSF空值填充背后的关键思想。如果目标是静态的话，令表示目标的清晰图像。假设我们捕获了N张模糊图像，其中同一个目标物体具有不同的点扩散函数 ， (1) 是卷积运算，代表均值为0，方差为的加性高斯白噪声。表示第K帧的曝光时间。2.1 频域分析我们使用大写字母来表示傅里叶变换量。捕获图像的傅里叶变换为： (2)假设1D目标平行于传感器平面作匀速运动，每个PSF相当于一个箱式滤波器，并且它们的宽度与曝光时间成比例。设为第帧的模糊大小。于是 (3)任一图像的单图像去模糊（single image deblurring，简称SID）可如下公式表示：, (4)其中表示去模糊后图像的傅里叶变换，是相应解卷积滤波器的傅里叶变换。因此，如果PSF的频率变换包含许多零值，那么解卷积滤波器就会变得很不稳定，同时噪声会增强。箱式滤波器的傅里叶变换是一个辛克函数，它包含许多零值，因此去模糊效果不理想。 现在我们可以利用所有N帧图像，考虑使用多图像去模糊（multi-image deblurring，简称 MID）, 最优解卷积滤波器通过最小化噪声功率求得，去模糊图像通过每一个频率的给出，注意到就能恢复出清晰图像。使用拉格朗日乘子可得价值函数为： (5)令关于的派生公式等于零，解得， (6) 如果某个确定的频率对应的所有PSF当中有共同零值，那么对于所有的在这个频率上并且变得不稳定。因此，如果PSF没有共同的零值，即使每个PSF不可逆，联合解卷积也能有很好的表现。直观地，如果在频域中没有共同的零值，那么每帧图像所丢失的信息就会被其他图像所替换。单个PSF的空值能被其他PSF所填充。对于运动PSF,要求曝光时间不能是彼此的整数倍。相比之下，编码曝光Raskar et al. 2006修改了单幅图像的PSF，如此以致相当于没有任何零值。令表示（6）式分母。为了简便起见，我们假设对于每帧图像的噪声功率对于所有的都为。因此，。图3（左）作出了时PSF的曲线，假设模糊大小分别为20，24，29个像素，线性运动长度为300个像素。虽然每个PSF在频域中都有零值，但是这些零值没有重合。的曲线显示虽然单个PSF在频域中含有零值，但是没有多个零值。注意到，如果所有的PSF都是相同的那么。2.2 离散域解决方案在离散域，对于每一个线性运动，其卷积方程可以写成，其中代表第帧的模糊矩阵，、分别代表每一个线性运动的模糊目标矢量、清晰物体矢量、噪声强度矢量Raskar et al. 2006。对于SID，去模糊矢量可以通过解方程求得。其中 (7)为了减少SID的振铃现象，需要使用自然图像先验知识，比如高斯先验知识Levin et al. 2007，那么可得： (8)其中，是衍生滤波器的卷积矩阵,是权衡系数。该系统在空间域中可以通过共轭梯度算法求解。同样的，对于MID，联合线性系统可以表示为 (9)去模糊矢量的估计可以通过解方程求得。其中 同样，我们也可以通过共轭梯度算法求解这个系统。2.3 噪声分析对于SID，使用公式(8)，噪声的协方差矩阵可以通过估计出来，等于 (10)如果不使用高斯先验知识的话，上式就可以简化为 (11) 对于MID，协方差矩阵为 (12)均方误差（MSE）等于，其中表示线性运动位移量的大小。去模糊目标的信噪比SNR由下式给出 (13)对捕获的N帧图像求平均，可得捕获图像的信噪比SNR为 (14)因此，由于反卷积，信噪比SNR通过因子降低了，其中 (15)对于SID，假设无先验知识可供使用，那么(13)式就可以化简为 (16)如果各帧图像有相同的曝光时间，那么对于每个的和是相同的。(13)式可以化简为 (17)因此，使用具有相同曝光时间的各帧图像（传统视频）就等于平均化了去模糊图像，因此SNR就通过增大了。相反，不同曝光时间就能最大化降低噪声。如图3（中）所示。2.4 曝光顺序最佳化最佳曝光顺序可以通过(15)式降低SNR求得。由于光子与被测信号的差异产生的电子线性增加（因此曝光时间），通过给出，其中是相机的一个依赖常量，是曝光时间。可以进一步从(15)式中除去。我们使用了一种随机搜索方法相似于Raskar et al. 2006中所提到。对于许多随机曝光的设置，我们计算出了信噪比的下降量并且记录了最好的曝光顺序。注意到编码曝光，搜索空间大约是，其中是编码长度（比如52）。相比而言，对于MID未知的数目等于不同曝光的数目。代表性的，3-4种不同的曝光在计算代价和去模糊性能之间得到了一个很好的平衡；并且搜索空间很小。我们首先选择和找出最好的曝光顺序。3. 用不同曝光视频进行去模糊PSF的可逆性是一个成功的去模糊方法的条件之一。在实际情况中，一个移动的目标在一个非平滑的背景前面，这样PSF估计和目标分割就显得相当的重要。现在我们描述一下步骤包括使用具有不同曝光时间的多帧图像进行运动去模糊。令表示第帧中目标的二进制掩码。如果表示除掉目标的背景图像，捕获的运动模糊图像可以通过Raskar et al. 2006给出 (18)需要解释的是，让我们假设目标的移动垂直于光轴，且对于每一幅图像的PSF是空间不变的。我们第一次使用中值滤波沿着瞬时方向来估计背景b。我们还假设在实际情况中典型的背景差集Piccardi 2004能得出背景b。余下的算法部分如图4所示。图4：自动PSF估计，分割，去模糊算法框图3.1 PSF估计 对于空间不变线性模糊，PSF可以根据多个图像空间目标的速度（像素/毫秒），当然带有一定的曝光时间（毫秒）。目标的速度是指帧间运动矢量与帧间时间推移的比率。对于空间不变模糊，在不同帧中，帧间运动矢量可以通过匹配相关图像子块计算出来。然而，不同的曝光时间导致了不同的模糊大小。为了便于匹配和PSF估计，我们对抓拍的视频重复曝光顺序。每个第帧都有相同的曝光时间，其中是不同曝光时间的数目（大概在3-4之间）。因此，运动矢量能够通过匹配抓捕的曝光时间相同的图像求得。对曝光时间不同的运动矢量求平均，就能求出目标速度和PSF的估计。3.2 近景初始化一幅模糊图像，归因于其近景图像和静态背景图像的模糊。图像模糊方程(18)也可以按照Alpha matting方程写为Jia 2007; Dai and Wu 2008 (19)其中，。理想情况下，alpha图去模糊应该能够恢复出二元分割掩码。虽然掩码典型地用于透明的静态目标，我们假设近景运动模糊目标是不透明的而且是锐聚焦。因此，Alpha图仅仅依赖于运动模糊以及交错的前景，实际上相当于模糊物体（而不是清晰物体）。图5：去模糊途径。输入的帧（1）被自动处理。中间结果（2-10）显示第一次迭代之后是怎样改善alpha图去模糊和分割的。（11）显示的是仅使用一幅图像的SID结果和近景目标提取。为了能够计算出首张alpha图，我们首先需要根据输入图像和背景图像（图5（2）的不同对每一帧通过阈值法产生一个粗糙的三重图。三重图中，移动目标的内部赋1值，背景和未知区域为0值。形态学处理，比如腐蚀、空值填充等方法来进行降噪处理。利用三重图，分别对每一帧图像（图5（3）进行全局运动补偿与估计处理Levin et al. 2008a。模糊近景可以通过输入的图像减去背景得到，如 (20)如图5（4）所示。由于使用的是普通的抠图算法，而其没有利用运动模糊的性质，所以说首个Alpha图很粗糙。3.3 多图去模糊（MID）由于连续帧中的目标移动，所以模糊近景在解卷积之前需要校准。对于线性匀速运动，校准就是在图像平面中的移动。由于我们已经计算出了目标速度，那么第帧和第帧之间的位移就可以通过求得，其中是指帧间的时间间隔，可以通过摄像机帧率计算出来。校准之后，就使用共轭梯度算法解得线性系统（10）式，进行去模糊处理。由于首个Alpha图不是很精确，这样去模糊效果就不是很理想，如图5（5）所示。3.4 校准精细化由于在实际情况中，不能满足匀速运动的假设，在之前的步骤中近景层的校准会有稍微的偏差。如果不校准，解卷积就会出现错误。所以我们要对前面所得到的去模糊近景进行校准精细化处理。特别的，我们通过使用模糊核并且找出合成模糊近景与模糊近景之间的位移，重新模糊清晰背景。这样，通过对清晰近景去模糊所，有的模糊近景能关联起来并且能够得到更好的校准。3.5. 分割精细化给定首个alpha图，清晰目标的二元分割可以计算出来了。由于线性系统很理想，那么使用MID算法来进行去模糊然后又对结果进行阈值，得到一个近似于目标的二元分割。然后继续分割精化。通过使用保守阈值（我们例子中使用0.65），我们得到首个分割掩码，它小于目标尺寸。对于每个线性运动，我们对像素逐个进行标记，找出最好的估计（最小化alpha值与由对清晰掩码模糊化计算出来的值之间的差值）。典型地，我们在每个侧面中的10个像素进行搜索并且我们的实验在30秒内要完成所有步骤。图5（步骤6）显示了精细化后的掩码。精化分割使我们得到一个精细的Alpha图（图5（步骤7），这用于计算出新的模糊近景（图5（步骤8）。接着使用MID对近景进行去模糊处理（图5（步骤9）。仅迭代一次分割和去模糊的效果明显提高了，最后的结果迭代1-2次就可以了。4. 实现与结果我们使用的是具有最大帧率为15fps的PointG-rey Flea2摄像机。使用软件工具开发包装备摄像机，使得每帧的曝光时间很容易改变。对于室内场景，我们将一个变速运动的玩具火车作为目标物体来进行图像采集。为了能找出最佳的曝光时间，我们限制每次曝光都在和之间，以避免出现色度饱，而无法使用图像。为了数值的稳定性，我们设定任何两次曝光时间之间的差值要大于阈值。对，我们的最佳曝光是30，35和42。我们捕获了至少幅图像用于PSF估计。图6：户外轿车序列图。通过估计运动方向对输入的模糊图像进行自动纠正。去模糊图像恢复出了轿车上的清晰特征。图6捕获的是户外一辆快速运动的出租车图像。由于出租车比较远，我们假设它的运动平行于图像平面。我们使用自己的技术来进行运动方向和大小的自动估计。图6也显示了三重图的估计、首个alpha图、首次去模糊、精细化分割以及最终去模糊后的出租车图像。图1也显示了类似车辆的去模糊效果。计算机视觉应用在分割和背景减少中，阴影产生了一个普遍的问题。由于连带的阴影跟目标一起移动，它们被认为是近景的同一个部分，并因图7：多目标。使用聚类算法（在这个例子中），在产生三重图的时能单独分割出形状复杂的目标。然后，每个目标和所依附的背景的去模糊也能单独进行。注意最终结果会因视觉相关影响（比如高光位）引起伪迹。图8：局部遮挡。我们的方法允许去模糊处理的目标部分遮蔽。使用者在指定的输入图像中的一幅图像上（上左）乱涂处理。这些像素在去模糊期间被忽略，使得目标得到很好的恢复。为低信噪而二增加了噪声。多个目标也能够被同时处理，只要它们没有彼此封闭（图7）。PSF空值填充也能够通过使用具有自动包围曝光（AEB）功能的单反相机来实现。图2就是一个例子。由于AEB模式仅仅允许3帧并且相机不提供精确的时间标记信息，在这个例子中，我们还需手动的分割模糊区域并且判断运动PSF。对于AEB模式，曝光的变换限制在需是f-stops的倍数。及时这个选择不是最佳的，可见的去模糊效果却很理想，如图2中恢复后的图像所示。在我们的试验中，曝光值的选择对于去模糊不是极其重要的只要它们彼此不接近于整数倍。局部封闭：使用单一图像对局部封闭去模糊的效果已经在Raskar et al. 2006中得到了证明，其中假设遮蔽区域小于模糊区域大小。有趣的是，它对于多图像去模糊变得越来越容易。在我们的系统中，使用者简单的对模糊图像进行涂鸦式的标记遮蔽处理如图8所示。在去模糊同时，加权最小二乘法系统中会忽略遮蔽的像素。每帧中封闭的近景区域在去模糊图像中都会得到很精确的恢复。比较：在我们的技术中，令表示最大曝光。我们将我们的技术和编码曝光以及传统视频进行了比较，当然它们有着同样的帧数并且亮度级都等于。由于编码曝光丢失了一般的亮度，因此对于同样的亮度级它需要两倍曝光（2）。图9比较了三种技术对一个移动的分辨率表图像进行解卷积的结果。注意，相比于传统视频，使用不同曝光去模糊恢复出分辨率表非常高的空间频率。看得见的去模糊效果相似于编码曝光输出的图像。编码曝光在处理PSF中允许更多的自由度（等于编码长度），但是我们的方法结合了不同宽度的箱式滤波器因而更少的自由度。图3（右）显示当处理高空间频率图像时，编码曝光的表现要优于不同曝光技术。总之，不同曝光比编码曝光在解卷积上要多4-5dB的噪声。5. 讨论虽然我们的技术联合了箱式滤波器来实现PSF空值填充，有几个变化是可能的。对于运动模糊，在硬件改造的代价上，为了提高去模糊图像的信噪比，编码曝光可以结合我们的方法。在一些成像应用中，拍摄的照片在捕获过程中丢失了高空间频率内容。没有任何硬件的改进，它可能改变拍摄参数来保存不同不图像的不同频率，从而结合它们形成可逆的解卷积。例如，编码孔径技术可以使用不同尺寸的孔来实现去模糊的空值填充。我们希望摄像机可以默认地包括这些功能。对于感兴趣的消费者，照片的简单标准化将会显示出每帧在强度上的流畅变化。但是后面如果需要的话，可以处理运动模糊图像。由于编码曝光可以用来实现超分辨率Agrawal and Raskar 2007，因此它可以使用不同的曝光视频来解决多幅图像的高分辨率目标。结论：我们认为通过联合那些不可逆的没有公共零值的PSF，视频运动模糊可以是可逆的。PSF空值填充可以容易的通过机器视觉摄像机和现成的包围曝光的单镜头反射技术来实现，而不需要额外的硬件或者相机运动。对于一个完整的去模糊方法、分割以及PSF估计与PSF可逆性一样重要。我们证明了，在有复杂的目标运动模糊场景中，重复的不同曝光时间的帧图可以用于自动PSF估计和割。感谢：我们要感谢匿名评审员以及三菱电机研究实验室的几位成员提出的宝贵建议。我们也要感谢Jay Thornton，Keisuke Kojima，Joseph Katz，Ashok Veeraraghavan，Haruhisa Okuda，Kazuhiko Sumi以及日本三菱电机对他们的帮助和支持。图9：不同曝光，传统视频（相同帧数）和编码曝光（亮度级等于）之间的比较。通过增加高速摄影机产生一个运动的分辨率表的模糊图像。注意，我们的技术去模糊效果相似于编码曝光并且要明显优于传统视频。参考文献：AGRAWAL, A., AND RASKAR, R. 2007. Resolving Objects at Higher Resolution from a Single Motion-blurred Image. In Proc.Conf. Comp. Vision and Pattern Recognition, 18.BASCLE, B., BLAKE, A., AND ZISSERMAN, A. 1996. Motion Deblurring and Super-resolution from an Image Sequence. In Proc. European Conf. Computer Vision, vol. 2, 573582.BEN-EZRA, M., AND NAYAR, S. 2004. Motion-based Motion Deblurring. IEEE Trans. Pattern Anal. Machine Intell. 26, 6 (Jun),689698.BERENSTEIN, C., AND PATRICK, E. 1990. Exact Deconvolution for Multiple Convolution Operators-an Overview, plus Performance Characterizations for Imaging Sensors. Proc. of the IEEE 78 (Apr.), 723734.CHEN, W.-G., NANDHAKUMAR, N., AND MARTIN, W. N. 1996.Image Motion Estimation from Motion Smear-A New Computational Model. IEEE Trans. Pattern Anal. Mach. Intell. 18, 4(Apr.), 412425.CHEN, J., YUAN, L., TANG, C.-K., AND QUAN, L. 2008. Robust Dual Motion Deblurring. In Proc. Conf. Comp. Vision and Pattern Recognition, 18.CHO, S., MATSUSHITA, Y., AND LEE, S. 2007. Removing Non-Uniform Motion Blur from Images. In Proc. Intl Conf. Computer Vision, 18.DAI, S., AND WU, Y. 2008. Motion from Blur. In Proc. Conf.Comp. Vision and Pattern Recognition, 18.DEBEVEC, P. E., AND MALIK, J. 1997. Recovering High Dynamic Range Radiance Maps from Photographs. In Proc. SIGGRAPH 97, 369378.DOWSKI, E. R., AND CATHEY, W. 1995. Extended Depth of Field through Wavefront Coding. Appl. Optics 34, 11 (Apr.), 18591866.FERGUS, R., SINGH, B., HERTZMANN, A., ROWEIS, S. T., AND FREEMAN, W. T. 2006. Removing Camera Shake from a Single Photograph. ACM Trans. Graph. 25, 3 (jul), 787794.GROSSBERG, M., AND NAYAR, S. 2003. High Dynamic Range from Multiple Images: Which Exposures to Combine? In ICCV Workshop on Color and Photometric Methods in Computer Vision (CPMCV).JANSSON, P. 1997. Deconvolution of Image and Spectra, 2nd ed.Academic Press.JIA, J. 2007. Single Image Motion Deblurring using Transparency.In Proc. Conf. Comp. Vision and Pattern Recognition, 18.JOSHI, N., SZELISKI, R., AND KRIEGMAN, D. 2008. PSF Estimation using Sharp Edge Prediction. In Proc. Conf. Comp. Vision and Pattern Recognition, 18.LEVIN, A., FERGUS, R., DURAND, F., AND FREEMAN, W. T.2007. Image and Depth from a Conventional Camera with a Coded Aperture. ACM Trans. Graph. 26, 3 (Jul.), 70.LEVIN, A., LISCHINSKI, D., AND WEISS, Y. 2008. A Closed-Form Solution to Natural Image Matting. IEEE Trans. Pattern Anal. Mach. Intell. 30, 2, 228242.LEVIN, A., SAND, P., CHO, T. S., DURAND, F., AND FREEMAN,W. T. 2008. Motion-Invariant Photography. ACM Trans. Graph. 27, 3 (Aug.), 71.LUCY, L. 1974. An iterative technique for the rectification of observed distributions. J. Astronomy 79, 745754.MANN, S., AND PICARD, R. W. 1995. Being Undigital with Digital Cameras: Extending Dynamic Range by Combining Differently Exposed Pictures. In Proc. of IS&T 48th Annual Confer-ence, 422428.NAGAHARA, H., KUTHIRUMMAL, S., ZHOU, C., AND NAYAR,S. 2008. Flexible Depth of Field Photography. In Proc. European Conf. Computer Vision, 60 73.PICCARDI, M. 2004. Background Subtraction Techniques: a Review.In Proc. IEEE SMC Intl. Conf. Systems, Man and Cyber-netics.RASKAR, R., AGRAWAL, A., AND TUMBLIN, J. 2006. Coded Rxposure Photography: Motion Deblurring using Fluttered Shutter.ACM Trans. Graph. 25,