计算摄像学专题第3讲.ppt

计算摄像学专题第三讲,戴琼海清华大学自动化系,第三讲提纲,第三讲提纲,视觉场景信息,视觉在人类对世界的感知、理解、交互中的重要意义视觉信息的采集(采样)、表示（数学定义）、重建（恢复）、感知(理解)、渲染(显示)、编辑（交互）、通讯(编码与传输)涉及学科领域：计算视觉、计算机图形学、图像信号处理、(计算摄像学)如何表示视觉信息是研究视觉信息的基础与核心,全光函数,plenoptic(拉丁plenus:full，optic:vision)plenopticfunctionAdelson91空间中的某个位置(3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函数涵盖动态场景中的任意光线集,单通道图像,为光线的强度也可记为P(x,y)从单一位置点看见的光线固定某一时刻对可见光各波长分量作平均,颜色图像,为光线的强度从单一位置点看固定某一时刻以波长为变量,视频,为光线的强度从单一位置点看以时间为变量以波长为变量,全息视频,为光线的强度以视点位置为变量以时间为变量以波长为变量,全光函数,描述了物理存在的任何视觉信息包含了不可见光等电磁辐射信息没有经过任何物理处理涵盖时变及波长变化情况（如磷光）波长分量一般离散化为R,G,B通道实际系统的辐射度范围受限LDR与HDR全光函数虽然不可能获得，但其作用：为视觉信息的研究提供了基础理论工具,全光函数,基于全光函数子集的图像采集系统传统图像(和的2D子集)全景图Chen95(和的2D全集)视频序列(,的3D子集)光场Levoy96,Gortler96(,的4D子集)动态光场Wilburn05(,的5D子集),第三讲提纲,光场,Thelightfieldisafunctionthatdescribestheamountoflighttravelingineverydirectionthrougheverypointinspace.MichaelFaradaywasthefirsttopropose(inan1846lectureentitledThoughtsonRayVibrations)thatlightshouldbeinterpretedasafield,muchlikethemagneticfieldsonwhichhehadbeenworkingforseveralyears.ThephraselightfieldwascoinedbyAlexanderGershuninaclassicpaperontheradiometricpropertiesoflightinthree-dimensionalspace(1936).Thephrasehasbeenredefinedbyresearchersincomputergraphicstomeansomethingslightlydifferentcitationneeded.,Levoy96,LightField(光场),McMillan95在3D空间，使用规则的离散采样(,)生成连续空间的新视角图像维度仍然过高如何简化？4D光场光线沿着光轴方向辐射度不变自由空间假设,光场,空间含遮挡物(5D),自由空间，辐射度恒定(4D),由内向外,由外向内,自由空间,自由空间,自由空间,自由空间,4D光场-绘制,对目标光线进行参数定位,以下将Levoy96提出的4D光场简称为光场,光场参数化,L(x,y,),光场参数化,双平面参数法Levoy96最常用的参数化方法检索简单（图像阵列）绘制简单（投影几何）缺陷：只覆盖了一个方向覆盖360度视角需要至少6套光板光板之间的切换引入artifacts,光场参数化,基于双平面参数法的新视角绘制视角汇聚与视角平行？规则的4D图像集,光场2D绘制,绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表获得每个像素值，复杂度低,光场2D绘制,加权样本,最近邻,U,V加权,U,V,S,T加权,光场绘制示例,光场优缺点,优点绘制速度快绘制复杂度与场景复杂度无关绘制真实感较强缺点数据量大（虽然压缩率高120:1Levoy96）不可编辑（无模型）,深度辅助光场绘制,无深度信息,深度信息辅助,需对多个像素进行加权,动态可调光场绘制,假想对象平面st可变的情况,动态可调光场绘制,光场的进一步思考,4D光场还能简化吗？简化带来采集的便利、重建质量的下降如何在降低维度的过程中尽可能地保留重要的全光信息第三部分将介绍光场的扩展(维度的增加),基于图像绘制vs.基于模型绘制,基于图像绘制与基于模型绘制的折中如何分析？数据采样密度对绘制的影响,图像信号处理,算法优化,需求数据量高,需求数据量低,复杂度高,复杂度低,全光采样理论PlenopticSampling,PlenopticSamplingChai00使用傅里叶信号分析研究光场绘制获得光场采样与光场绘制的关系简化假设无遮挡朗泊漫反射表面将4维简化为2维进行信号分析STSUVU,采样率分析,图像采集数量与深度层数量的不同组合可获得相同的虚拟视角绘制质量,采样率分析,3个深度层，3232图像集，过采样,采样率分析,3个深度层，1616图像集，采样,采样率分析,3个深度层，88图像集，最优采样,采样率分析,3个深度层，44图像集，欠采样,采样率分析,3个深度层，22图像集，欠采样,采样率分析,几何信息与采样率的折中，由最小采样曲线决定目标图像的分辨率影响最小采样曲线的偏移,光场采集与应用,SphericalgantryLevoy96相机自由度：2光照自由度：2360度的光场及反射场捕获应用：文物记录与保护,光场采集与应用,多相机阵列128相机系统(Stanford05)64相机系统(Tsinghua07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像,光场采集与应用,光场采集与应用,全光函数,plenoptic(拉丁plenus:full，optic:vision)plenopticfunctionAdelson91空间中的某个位置(3D)沿着某个方向(2D)在某个具体的时间(1D)具有某个波长(1D)为7维函数涵盖动态场景中的任意光线集,光场,空间含遮挡物(5D),自由空间，辐射度恒定(4D),由内向外,由外向内,自由空间,自由空间,自由空间,自由空间,光场2D绘制,绘制步骤：对于给定的视角，将st和uv平面分别投影到虚拟视角xy上对于目标图像上的每个像素，将投影得到的(u,v,s,t)进行查表获得光强L(u,v,s,t)2*投影+查表获得每个像素值，复杂度低,平面摄像机阵列,高分辨率或动态范围图像,高速视频,虚拟光圈成像,光场采集与应用,多相机阵列128相机系统(Stanford05)64相机系统(Tsinghua07)应用动态光场捕获虚拟光圈成像时空高分辨率插值HDR光场成像,光场相机,40004000像素292292透镜=1414像素/透镜,Contax中档相机,Kodak1600万像素底片,光学微透镜阵列,125微米微透镜,传统相机与光场相机,传统相机与光场相机,uv-plane,st-plane,光场图像,视角截取,截取=对每个微透镜中央像素求和,数字重聚焦,重聚焦=从不同的微透镜提取像素求和,数字重聚焦,数字视角调整,视角调整=移动所有微透镜的截取窗,数字视角调整,数字视角调整,光场采集与应用,重聚焦、视角调整、光照处理只采集一张图像解决所有处理都基于数字处理牺牲空间分辨率，换取光线角度信息,光场显微镜,传统显微镜为看到对象切片，调节载物台，手动聚焦光场显微镜Levoy06与光场相机类似，捕捉光场，计算聚焦特点：多视角及三维重建牺牲空间分辨率,第三讲提纲,光场,4D光场：捕捉从对象发出的4D光线集合,光照变化下的场景采集,入射光场：进入对象的光线集,反射场,入射光场：进入对象的光线集，属全光函数的采样4D光场：Lo(o,o,x,y)4D(入射)光场：Li(i,i,x,y),:采集视点或光照视点的二维坐标x,y：对象的二维参数化反射场：对象表面对光线进行传递变换所构成的场R(Lo;Li)=R(o,o,xo,yo;i,i,xi,yi)LoLiR(Lo;Li)输出光线只与作用到该点的入射光线有关，6D反射场：R(o,o,x,y；i,i)4D反射场：R(x,y；i,i),4D反射场,每个光源对应采集一张图像,4D反射场,2D,光照具有可加性,重光照,2D,图像2D+光照2D,重光照：根据对象在一个或多个光照下的外观，就算目标光照下的对象外观,LightStage,Debevec2000,LightStage,采集图像,OriginalResolution:6432,反射函数,6432,反射函数,环境光照图,反射函数,光照积,绘制像素,1,Demo,TheLightStage:60-secondexposure,反射场,远距离环境光照,反射场,有近距离遮挡物，该重光照框架是否成立？,LightStage,单视角多光照只适用于远距离光照框架假设物体上每个点具有相同的环境光照图近距离光照或遮挡物使得每个物体点的环境光照图不一需要维度更高的反射场函数及其图形学方法,8D反射场,8D反射场函数,8D反射场处理互遮挡的重光照问题,反射场,8D反射场函数Masselus2003,6D反射场,6D,图像2D+视角2D+光照2D,光场采集与应用,SphericalgantryLevoy96相机自由度：2光照自由度：2360度的光场及反射场捕获应用：文物记录与保护,多视点多光照采集,对静态对象,数据维度6DMatusik2002,多视点多光照采集,VisualHull,SurfaceLightfie