计算摄像学专题第12讲.ppt

计算摄像学专题第十二讲DepthofField(DoF),戴琼海王雁刚清华大学自动化系,第十二讲提纲,2.1多张图像拍摄,2.2单张图像拍摄,什么是DepthofField,什么是DepthofField反映透镜或相机的属性物平面的共轭像平面上呈清晰像的轴向深度思考DepthofField与上节课所讲TimeofFilght(ToF)获取的深度有何异同？,DepthofField的推导,主平面,主平面,物平面,象平面,DepthofField的推导,DepthofField的推导,当极限分辨角确定后，允许的弥散斑大小还与眼睛到图像的距离有关为了获得正确的空间感觉，不发生景象的歪曲，必须要以适当的距离观察图像思考如何才能获得正确的空间感觉？观察距离到底如何确定？,DepthofField的推导,我们说要获得正确的空间感觉，应当使得成像平面上个点对眼睛的张角与直接观察空间时，各对应点对眼睛的张角是相同的,入射光瞳,出射光瞳,A,B,B,A,E,DepthofField的推导,DepthofField的推导,什么会影响DepthofField,什么会影响DepthofField,F数与DepthofField,此式说明：光圈的F数与景深呈线性关系。实际上，F数越小，表明光圈越大,F数与DepthofField,F/2.8,F/32,思考：1）F/2.8与F/32对应的光圈分别在何种情况下使用？2）如果迫不得已必须采用F/2.8的光圈，如何才能增大DepthofField？3）若我们可使用F/32的光圈采集，如何才能获得F/2.8“突出重点”的效果？,DepthofField的深入思考,光场的相关理论,光场采样与图像获取,光场采样与图像获取,三维空间的光场到二维平面光场的简化处理与直观感觉,光场采样与图像获取,DepthofField的深入思考,DepthofField的问题及小结,DepthofField与Defocus的关系存在的原因是：sensor、人眼等感光器都存在极限分辨率DepthofField造成的blur，本质上是因为outoffocusDepthofField涉及的两个重要问题增大DepthofField针对必须使用大光圈的拍摄情形获得DepthofField“突出重点”的效果美学设计检测、识别等领域,DepthofField的问题及小结,DepthofField的正问题与逆问题,增大,减小,V.S.,第十二讲提纲,2.1多张图像拍摄,2.2单张图像拍摄,DepthofField问题的解决思路,重新阐述DepthofField的两大类问题“增大”DepthofField“减小”DepthofField增大DepthofField降低感光器的极限分辨率选取更小的光圈在不改变极限分辨率、不使用小光圈的情形下，通过计算摄像的技术手段来获得更大的景深思考：如何“减小”DepthofField？,DepthofField问题的解决思路,在前面的讨论中，我们已经知道DepthofField存在的根本原因是：传感器、人眼等感光器存在极限分辨率一些有意思的题外话眼大无珠贼眉鼠眼闪烁着智慧光芒的小眼睛,DepthofField问题的解决思路,由于极限分辨率的存在，原本清晰成像的焦平面可以扩展到成空间的深度范围增大DepthofField的技术手段是否可以按照如下思考的方式多张图像拍摄：相机分别聚焦于不同平面，然后融合拍摄的多组图像?单张图像拍摄：捕获光场，重新积分不同角度的光线，得到图像?想办法使得单张图像的整体模糊与深度关系可控?如，模糊核一致或模糊核清楚地知道,第十二讲提纲,2.1多张图像拍摄,2.2单张图像拍摄,多张图像拍摄相关文献,USPatent1987DepthoffocusImagingprocessmethodIEEEConferenceonComputerVision1993EnhancedImageCaptureThroughFusion,多张图像拍摄的关键技术,融合多幅图像信息，以期望获得更大景深的效果是一种很直观的想法这里仅做简要介绍，感兴趣的同学可翻阅相关的视觉文章牺牲时间，换取景深。该想法关键问题是,如何融合不同焦距平面上的图像？,多张图像拍摄的关键技术,SIGGRAPH2004InteractiveDigitalPhotomontage,多张图像拍摄的关键技术,此方法分为两个步骤分割Graph-cut融合梯度融合方案Graph-cut可以用户指定，也可全自动计算梯度融合则是保证图像的视觉效果,第十二讲提纲,2.1多张图像拍摄,2.2单张图像拍摄,单张图像的DepthofField增强,多张图像拍摄增加DepthofField，只能针对静态场景如何实时地增加动态场景的DepthofField成为一个棘手的问题问题是：能否利用单张图像增加DepthofField？答案是：这是可以做到的，我们将重点介绍几类单张图像DepthofField增强的方案,单张图像的DepthofField增强,LightFieldCamera2005.Lightfieldphotographywithahand-heldplenopticcamera2010.FocusedplenopticcameraandrenderingDepth-InvariantBlur1995.Extendeddepthoffieldthroughwave-frontcoding2010.Flexibledepthoffieldphotography2010.DiffusioncodedphotographyforextendeddepthoffieldDepth-VaryingBlur2007.Imageanddepthfromaconventionalcamerawithacodedaperture,单张图像的DepthofField增强,光场相机,Version2.0Georgievetal.10,Version1.0N.g.Renetal.05,单张图像的DepthofField增强,LightFieldCamera2005.Lightfieldphotographywithahand-heldplenopticcamera2010.FocusedplenopticcameraandrenderingDepth-InvariantBlur1995.Extendeddepthoffieldthroughwave-frontcoding2010.Flexibledepthoffieldphotography2010.DiffusioncodedphotographyforextendeddepthoffieldDepth-VaryingBlur2007.Imageanddepthfromaconventionalcamerawithacodedaperture,光场相机与DepthofField,光场相机的目的是为了记录光场的角度信息与位置信息传统相机将所有的角度信息积分到固定位置处，前面我们已经讲到这个知识点。请同学们特别注意这个重要的观点与思想光场相机需要牺牲空间分辨率来获得角度分辨率因此，使用光场相机来获得DepthofField可以说是将多张图的技术移植到了单张图像上,光场相机拍摄出的图片,传统相机与光场相机,光场相机原理,传感器单元上，微透镜阵列对应位的像素值等效于主透镜上同一位置的光线主透镜平面可以用来刻画不同角度的光线我们称主透镜平面为角度平面，传感器平面为位置平面,思考：若把不同微透镜阵列后的像素组合起来构成一幅新的图像，该图像反映了什么？,光场相机原理,Sub-apertureImage这是一个很重要的成像观点也就是说，图像的形成过程可以如此思考假设我们所拥有的主透镜可以任意地开不同位置的小孔显然，每个小孔都会有成像视差效应对这些小孔所成的图像进行叠加，构成主透镜的图像？,光场相机原理,网络学堂，我给出一些Raw-data，感兴趣的同学可以用Matlab尝试一下,光场相机的几项关键技术,如何保证不发生混叠？,光场相机的几项关键技术,数字重聚焦(DigitalRefocusing),数字重聚焦,单张图像的DepthofField增强,LightFieldCamera2005.Lightfieldphotographywithahand-heldplenopticcamera2010.FocusedplenopticcameraandrenderingDepth-InvariantBlur1995.Extendeddepthoffieldthroughwave-frontcoding2010.Flexibledepthoffieldphotography2010.DiffusioncodedphotographyforextendeddepthoffieldDepth-VaryingBlur2007.Imageanddepthfromaconventionalcamerawithacodedaperture,Depth-InvariantBlur,波前编码技术(Wave-frontCoding)设计合理的相位板灵活的景深采集技术不同深度的积分拍摄漫反射体编码技术(DiffusionCoding)设计有效的漫反射体使用一些传统的去模糊方法来处理拍摄得到的图像,波前编码技术,技术难题在于如何设计合理的相位板使得拍摄的图像与focus的敏感程度降低?两个假设长方形的Aperture是可分离的拍摄到的图像不是最终生成的图像，而只是中间结果图像，需要后续处理理论基础AmbiguityfunctionWignerdistributionfunction,波前编码的数学基础,波前编码的数学基础,波前编码的数学基础,长方形Aperture的Ambiguity变换,波前编码的数学基础,波前编码的数学基础,波前编码的数学基础,Depth-InvariantBlur,波前编码技术(Wave-frontCoding)设计合理的相位板灵活的景深采集技术不同深度的积分拍摄漫反射体编码技术(DiffusionCoding)设计有效的漫反射体使用一些传统的去模糊方法来处理拍摄得到的图像,灵活的景深采集技术,采集的图像,去除blur后的结果,Depth-InvariantBlur,波前编码技术(Wave-frontCoding)设计合理的相位板灵活的景深采集技术不同深度的积分拍摄扩散编码技术(DiffusionCoding)设计有效的扩散板使用一些传统的去模糊方法来处理拍摄得到的图像,扩散编码技术,扩散编码技术,单张图像的DepthofField增强,LightFieldCamera2005.Lightfieldphotographywithahand-heldplenopticcamera2010.FocusedplenopticcameraandrenderingDepth-InvariantBlur1995.Extendeddepthoffieldthroughwave-frontcoding2010.Flexibledepthoffieldphotography2010.DiffusioncodedphotographyforextendeddepthoffieldDepth-VaryingBlur2007.Imageanddepthfromaconventionalcamerawithacodedaperture,Depth-VaryingBlur,此类方法不像Depth-Invariant方法，要求图像具有整体一致的模糊核图像的模糊核可变保证选择最优的可变模糊核问题在于：如何选择最优的可变模糊核？,透镜以及离焦面的形成,透镜,点扩散函数,点光源形成的图像,焦平面,光圈,传感器平面,透镜以及离焦面的形成,透镜,点光源形成的图像,焦平面,光圈,传感器平面,点扩散函数,透镜以及离焦面的形成,透镜,点光源形成的图像,焦平面,光圈,传感器平面,点扩散函数,透镜以及离焦面的形成,透镜,点光源形成的图像,焦平面,光圈,传感器平面,点扩散函数,透镜以及离焦面的形成,透镜,点光源形成的图像,焦平面,光圈,传感器平面,点扩散函数,局部去模糊处理,不同深度上已经校准的模糊核,输入待去模糊的图像,局部去模糊处理,深度k=1:,深度k=2:,深度k=3:,输入待去模糊的图像,局部子区域图像,锐化的子区域图像,深度校准后的模糊核,方法总述,大点的尺度,用不同尺度大小的滤波器处理,不管怎样，选择最合适的尺度,?,?,?,试,正确的尺度,小点的尺度,存在的问题,很难辨别正确的尺度,输入,Richardson-Lucy反卷积算法,即使模糊核已知，结果也不尽如人意,编码光圈,光圈平面添加掩膜（Mask）使得不同深度的模糊核可以很好地进行区分,传统光圈,编码光圈,掩膜的设计,掩膜的设计,通过最大化不同尺度下的KL距离来选择合理的掩膜,Sampledapertu