计算摄像学专题第12讲.ppt

计算摄像学专题第十二讲 DepthofField DoF 戴琼海王雁刚清华大学自动化系 第十二讲提纲 2 1多张图像拍摄 2 2单张图像拍摄 什么是DepthofField 什么是DepthofField反映透镜或相机的属性物平面的共轭像平面上呈清晰像的轴向深度思考DepthofField与上节课所讲TimeofFilght ToF 获取的深度有何异同 DepthofField的推导 主平面 主平面 物平面 象平面 DepthofField的推导 DepthofField的推导 当极限分辨角确定后 允许的弥散斑大小还与眼睛到图像的距离有关为了获得正确的空间感觉 不发生景象的歪曲 必须要以适当的距离观察图像思考如何才能获得正确的空间感觉 观察距离到底如何确定 DepthofField的推导 我们说要获得正确的空间感觉 应当使得成像平面上个点对眼睛的张角与直接观察空间时 各对应点对眼睛的张角是相同的 入射光瞳 出射光瞳 A B B A E DepthofField的推导 DepthofField的推导 什么会影响DepthofField 什么会影响DepthofField F数与DepthofField 此式说明 光圈的F数与景深呈线性关系 实际上 F数越小 表明光圈越大 F数与DepthofField F 2 8 F 32 思考 1 F 2 8与F 32对应的光圈分别在何种情况下使用 2 如果迫不得已必须采用F 2 8的光圈 如何才能增大DepthofField 3 若我们可使用F 32的光圈采集 如何才能获得F 2 8 突出重点 的效果 DepthofField的深入思考 光场的相关理论 光场采样与图像获取 光场采样与图像获取 三维空间的光场到二维平面光场的简化处理与直观感觉 光场采样与图像获取 DepthofField的深入思考 DepthofField的问题及小结 DepthofField与Defocus的关系存在的原因是 sensor 人眼等感光器都存在极限分辨率DepthofField造成的blur 本质上是因为outoffocusDepthofField涉及的两个重要问题增大DepthofField针对必须使用大光圈的拍摄情形获得DepthofField 突出重点 的效果美学设计检测 识别等领域 DepthofField的问题及小结 DepthofField的正问题与逆问题 增大 减小 V S 第十二讲提纲 2 1多张图像拍摄 2 2单张图像拍摄 DepthofField问题的解决思路 重新阐述DepthofField的两大类问题 增大 DepthofField 减小 DepthofField增大DepthofField降低感光器的极限分辨率选取更小的光圈在不改变极限分辨率 不使用小光圈的情形下 通过计算摄像的技术手段来获得更大的景深思考 如何 减小 DepthofField DepthofField问题的解决思路 在前面的讨论中 我们已经知道DepthofField存在的根本原因是 传感器 人眼等感光器存在极限分辨率一些有意思的题外话眼大无珠贼眉鼠眼闪烁着智慧光芒的小眼睛 DepthofField问题的解决思路 由于极限分辨率的存在 原本清晰成像的焦平面可以扩展到成空间的深度范围增大DepthofField的技术手段是否可以按照如下思考的方式多张图像拍摄 相机分别聚焦于不同平面 然后融合拍摄的多组图像 单张图像拍摄 捕获光场 重新积分不同角度的光线 得到图像 想办法使得单张图像的整体模糊与深度关系可控 如 模糊核一致或模糊核清楚地知道 第十二讲提纲 2 1多张图像拍摄 2 2单张图像拍摄 多张图像拍摄相关文献 USPatent1987DepthoffocusImagingprocessmethodIEEEConferenceonComputerVision1993EnhancedImageCaptureThroughFusion 多张图像拍摄的关键技术 融合多幅图像信息 以期望获得更大景深的效果是一种很直观的想法这里仅做简要介绍 感兴趣的同学可翻阅相关的视觉文章牺牲时间 换取景深 该想法关键问题是 如何融合不同焦距平面上的图像 多张图像拍摄的关键技术 SIGGRAPH2004InteractiveDigitalPhotomontage 多张图像拍摄的关键技术 此方法分为两个步骤分割 Graph cut融合 梯度融合方案Graph cut可以用户指定 也可全自动计算梯度融合则是保证图像的视觉效果 第十二讲提纲 2 1多张图像拍摄 2 2单张图像拍摄 单张图像的DepthofField增强 多张图像拍摄增加DepthofField 只能针对静态场景如何实时地增加动态场景的DepthofField成为一个棘手的问题问题是 能否利用单张图像增加DepthofField 答案是 这是可以做到的 我们将重点介绍几类单张图像DepthofField增强的方案 单张图像的DepthofField增强 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture 单张图像的DepthofField增强 光场相机 Version2 0Georgievetal 10 Version1 0N g Renetal 05 单张图像的DepthofField增强 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture 光场相机与DepthofField 光场相机的目的是为了记录光场的角度信息与位置信息传统相机将所有的角度信息积分到固定位置处 前面我们已经讲到这个知识点 请同学们特别注意这个重要的观点与思想光场相机需要牺牲空间分辨率来获得角度分辨率因此 使用光场相机来获得DepthofField可以说是将多张图的技术移植到了单张图像上 光场相机拍摄出的图片 传统相机与光场相机 光场相机原理 传感器单元上 微透镜阵列对应位的像素值等效于主透镜上同一位置的光线主透镜平面可以用来刻画不同角度的光线我们称主透镜平面为角度平面 传感器平面为位置平面 思考 若把不同微透镜阵列后的像素组合起来构成一幅新的图像 该图像反映了什么 光场相机原理 Sub apertureImage这是一个很重要的成像观点也就是说 图像的形成过程可以如此思考假设我们所拥有的主透镜可以任意地开不同位置的小孔显然 每个小孔都会有成像 视差效应对这些小孔所成的图像进行叠加 构成主透镜的图像 光场相机原理 网络学堂 我给出一些Raw data 感兴趣的同学可以用Matlab尝试一下 光场相机的几项关键技术 如何保证不发生混叠 光场相机的几项关键技术 数字重聚焦 DigitalRefocusing 数字重聚焦 单张图像的DepthofField增强 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture Depth InvariantBlur 波前编码技术 Wave frontCoding 设计合理的相位板灵活的景深采集技术不同深度的积分拍摄漫反射体编码技术 DiffusionCoding 设计有效的漫反射体使用一些传统的去模糊方法来处理拍摄得到的图像 波前编码技术 技术难题在于如何设计合理的相位板使得拍摄的图像与focus的敏感程度降低 两个假设长方形的Aperture是可分离的拍摄到的图像不是最终生成的图像 而只是中间结果图像 需要后续处理理论基础AmbiguityfunctionWignerdistributionfunction 波前编码的数学基础 波前编码的数学基础 波前编码的数学基础 长方形Aperture的Ambiguity变换 波前编码的数学基础 波前编码的数学基础 波前编码的数学基础 Depth InvariantBlur 波前编码技术 Wave frontCoding 设计合理的相位板灵活的景深采集技术不同深度的积分拍摄漫反射体编码技术 DiffusionCoding 设计有效的漫反射体使用一些传统的去模糊方法来处理拍摄得到的图像 灵活的景深采集技术 采集的图像 去除blur后的结果 Depth InvariantBlur 波前编码技术 Wave frontCoding 设计合理的相位板灵活的景深采集技术不同深度的积分拍摄扩散编码技术 DiffusionCoding 设计有效的扩散板使用一些传统的去模糊方法来处理拍摄得到的图像 扩散编码技术 扩散编码技术 单张图像的DepthofField增强 LightFieldCamera2005 Lightfieldphotographywithahand heldplenopticcamera2010 FocusedplenopticcameraandrenderingDepth InvariantBlur1995 Extendeddepthoffieldthroughwave frontcoding2010 Flexibledepthoffieldphotography2010 DiffusioncodedphotographyforextendeddepthoffieldDepth VaryingBlur2007 Imageanddepthfromaconventionalcamerawithacodedaperture Depth VaryingBlur 此类方法不像Depth Invariant方法 要求图像具有整体一致的模糊核图像的模糊核可变保证选择最优的可变模糊核问题在于 如何选择最优的可变模糊核 透镜以及离焦面的形成 透镜 点扩散函数 点光源形成的图像 焦平面 光圈 传感器平面 透镜以及离焦面的形成 透镜 点光源形成的图像 焦平面 光圈 传感器平面 点扩散函数 透镜以及离焦面的形成 透镜 点光源形成的图像 焦平面 光圈 传感器平面 点扩散函数 透镜以及离焦面的形成 透镜 点光源形成的图像 焦平面 光圈 传感器平面 点扩散函数 透镜以及离焦面的形成 透镜 点光源形成的图像 焦平面 光圈 传感器平面 点扩散函数 局部去模糊处理 不同深度上已经校准的模糊核 输入待去模糊的图像 局部去模糊处理 深度k 1 深度k 2 深度k 3 输入待去模糊的图像 局部子区域图像 锐化的子区域图像 深度校准后的模糊核 方法总述 大点的尺度 用不同尺度大小的滤波器处理 不管怎样 选择最合适的尺度 试 正确的尺度 小点的尺度 存在的问题 很难辨别正确的尺度 输入 Richardson Lucy反卷积算法 即使模糊核已知 结果也不尽如人意 编码光圈 光圈平面添加掩膜 Mask 使得不同深度的模糊核可以很好地进行区分 传统光圈 编码光圈 掩膜的设计 掩膜的设计 通过最大化不同尺度下的KL距离来选择合理的掩膜 Sampledaperturepatterns Morediscriminat