计算机视觉17-9.1-单幅图像深度重建

第九章单幅图像深度重建,DepthmapReconstructionBasedonMonocularcues,深度图,章节安排,基于单眼线索的深度重建ShapeFromShadingShapeFromVanishingPointShapeFromDefocusShapeFromTexture,基于单眼线索的深度重建,除了双眼视差提供的双眼对深度的信息外，还有许多单眼的信息也有利于深度的分辨.人类即使在头部固定且只使用单目来观测外部世界时，也可以得到比较准确的深度知觉（DepthPerception）。此时，人类的主要依据是外界环境及观察对象的物理特性或现象。这些仅凭一只眼睛的视觉即可提供的线索就是单眼线索。单眼线索在绘画及摄影中发挥着重要的作用，也被称之为图形线索。,1ShapeFromShading,基于明暗的深度重建Horn早在1977年就提出了ShapeFromShading-SFS的方法，并且在1989年出版了专著1。1999年，RuoZhang等人在文献2中对SFS方法作了较全面的综述。,1BKPHorn,MJBrooks.Shapefromshading.Cambridge:MITPress,19892RZhang,PSTsai,JECryer,etc.Shapefromshading:Asurvey.IEEETransactionsonPatternAnalysisandMachineIntellicence(PAMI),1999,1.1成像物理学,描述光在物体表面的反射物理特性，即光从光源到达物体表面，再从物体表面反射到图象平面，形成图像的过程和行为.成像几何确定场景点在图像平面上的位置，成像物理学确定场景点在图象平面上的亮度.,成像物理学,成像三要素：光源、物体、图像平面两个过程：照明-光源发射光到物体表面反射-物体表面反射光到图象平面,（1）表面方向半球(HemisphereofDirections),物体表面接受(反射)光线的全部方向.其接受(反射)的总能量等于半球上各个小片的能量之和.,立体角(solidangle)单位半球上小片的面积，也表示接受(反射)能量的方向.,（2）透视缩小效应(foreshortening),表面片接受（反射）光能的有效面积与该表面片和光源（图象平面）的角度有关.倾斜于光线传播方向的表面片“看起来”比实际小.发生透视缩小效应的大表面片与小表面片接受的光能是相同的.,透视缩小因子,（3）辐照度与辐射度,辐射度(radiance)：单位面积辐射表面在单位时间内向某一方向辐射的能量辐照度(irradiance)：到达单位面积表面的辐射能量光源只有辐射，图像平面只有辐照，物体既有辐照，也有辐射.,（4）双向反射分布函数,中心问题物体表面接受光能（辐照度）和反射光能（辐射度）的关系.与接受和反射光能的角度，以及表面材料有关.用双向反射分布函数(bidirectionalreflectancedistributionfunction,BRDF)建模.,双向反射分布函数,到达表面的辐照度与所引起的辐射度的比例,辐射度,BRDF,辐照度,（5）表面的辐射度与辐照度,表面片接受的总辐照度：表面片的辐射度：所有辐照在相应方向上形成的辐射度之和,（6）反射率(reflectance),从某一方向上接受的辐照度与该辐照度引起的总辐射度的比例，反映了表面的光学特性，包括反射特性和吸光特性.,（7）图象平面的辐照度,图像平面上一点处的辐照度(亮度，intensity)等于场景对应点在相应方向上的辐射度，或与之成比例.,知道了光源、双向反射分布函数以及图像平面点与物体点的对应关系，就可以确定图象平面上点的亮度.,1.2表面模型（SurfaceModels）,Lambertian表面(漫反射表面，diffusesurface)镜面(SpecularSurfaces)Lambertian表面+镜面,1.Lambertian表面,表面反射与反射角度无关，从物体的各个方向看同一个表面点，都感觉具有同样的亮度.双向反射分布函数是一个常数.,例：棉衣、地毯、无光泽的纸和涂料等等,Lambertian表面的反照率(Albedo),Lambertian表面的反射率与入射角度无关，称为漫反射率(diffusereflectance)或反照率：,Lambertian表面的辐射度,Lambertian表面上一点处向各个方向产生的辐射度：,2.镜面,理想镜面像理想的镜子一样，按一定方向反射入射光.反射角与入射角相等，但分别位于表面片法线的两侧.,3Lamertian表面+镜面,完美的Lamertian表面或镜面都是很少见的，通常将两种表面的特性组合在一起来构成用于近似物体表面反射特性的模型.,常量控制两种反射特性的混合程度.,常用的光照模型,Phong镜面模型：,辐射度与成比例,Torrance-Sparrow镜面模型：假设表面是由方向随机分布的镜面小面(facets)组成.,D代表任意一种分布函数,G是几何衰减系数，F是菲涅尔Fresnel衰减系数。,DavidK.McAllister的博士论文AGENERALIZEDSURFACEAPPEARANCEREPRESENTATIONFORCOMPUTERGRAPHICS,1.3光源(LightSources),1.点光源(pointsources)2.线光源(linesources)3.面光源(areasources),（1）点光源,点光源是一种最常用的光源，可以用一个球面来建模.,Lambertian余弦定律,由点光源照射的Lambertian表面的感觉亮度随表面法线与光源的夹角发生变化.,表面法线与光源的夹角,想象一个房间，其中只有一个打开的灯泡和一个白色球体，则球体中法线指向灯泡的地方将是最亮的。,（2）线光源,线光源具有直线的几何形态，比如一根荧光灯管.可以用细圆柱体来建模.,（3）面光源,面光源可以建模为平面片.面光源在Lambertian表面上引起的辐射度可以变换为在光源平面上的积分：,光源,表面片,1.4明暗模型(ShadingModels),局部(local)明暗模型仅考虑光源的照射效果全局(global)明暗模型考虑场景内物体反射光所造成的影响（1）环境光照（ambientillumination）同一物体不同表面片之间的相互影响（2）互反射(interreflection)不同表面片，不同物体之间的相互影响,1环境光照,同一表面上一个表面片所产生的辐射度受其他表面片辐射度的影响.当表面片从其他表面片所接受的辐照度近似恒定或均匀分布时，可以考虑在每个表面片所产生的辐射度上增加一个环境光照项(ambientilluminationterm).两种增加方法1.常量项（表面片可见范围一致）2.可变项（表面片可见范围不同）,常量项,可变项,2互反射,表面片的辐射度受场景中所有该表面片可见的其他表面片辐射度的影响.,光源引起的辐射,其他表面片引起的辐射,可将其他表面片看作一个面光源,变换为面光源上的积分,互反射,互反射核函数(interreflectionkernel)：,互反射模型：,Lambertian表面的有效模型，在计算机图形学中广泛应用.,互反射模型,表面辐射度的计算1.将场景中的所有表面划分为许多小的平面片，假设平面片上各点的辐射度是恒定的.,第j平面片在第i平面片上引起的辐射度：,互反射模型,2.计算第i表面片上的总辐射度：,3.获得以,为未知量的线性方程组，求解得各表面片上的辐射度,1.5反射图(ReflectanceMap),场景照明（光源）、表面反射特性和表面方向（梯度表示）共同确定表面一点的亮度，三者的组合形成反射图.假设图象平面上的辐照度（亮度）等于物体表面对应点的辐射度，则已知反射图和以上三个因素，就可以确定图象上一点的亮度.反之同样成立.,灰度图象,轮廓图象,点光源照射的Lambertian表面典型反射图,1.6从明暗恢复形状,问题：已知光源亮度和反射图，求解图象上每一点对应的三维信息基本假设光源为无限远处点光源;反射模型为朗伯体表面反射模型(LambertianSurfaceModel);成象几何关系为正交投影,这样物体表面点图象亮度E仅由该点光源入射角的余弦决定.,从明暗恢复形状,若以摄像机坐标系为参照系,并将物体表面高度表示为z=z(x,y),则物体表面法方向可由其表面各点法向量n=(n1,n2,n3)、表面梯度(p,q)或表面倾角(slant)和偏角(tilt)表示.,l为表面点法向量的模,从明暗恢复形状,朗伯体表面反射模型就可以表示为:,或者:,E(x,y)为归一化的图象亮度,R(p,q)为反射函数.,n0=(n01,n02,n03)或(-p0,-q0,1)表示光源方向,从明暗恢复形状,一般情况下,仅由该模型所确定的SFS问题是病态的(没有唯一解),因此为消除其病态性,并建立相应的正则化模型,必须对其表面形状进行约束.现有的SFS算法基本上都假设所研究的对象均为光滑表面物体,即认为物体表面高度函数C2(或至少是C1)是连续的,实际上,通过建立物体的光滑表面模型这种假设,已对其表面形状进行了约束.将上述物体表面反射模型与物体的光滑表面模型相结合,再利用一些已知约束,就构成了SFS问题的正则化模型.,从明暗恢复形状,约束1.亮度约束,2.光滑性约束,或者，,从明暗恢复形状,3.可积性约束,4.亮度梯度约束,或者，,从明暗恢复形状,5.单位法向量约束,6.局部形状约束假设表面片的形状是球面.7.线性约束假设反射图的低阶分量是其主要成分.,从明暗恢复形状,具体方法1.能量最小化方法2.约束传播方法3.局部方法4.线性方法,（1）能量最小化方法,将约束表示为能量函数，通过在整幅图像上最小化能量函数求解.,例(ZhengandChellappa,1991)：亮度约束、亮度梯度约束和可积性约束,用变分微分法求解,（2）约束传播方法,从形状已知或可以确定其形状的表面点（如奇异点(singularpoints)）开始，逐渐将形状信息传播到整个图象.例(BichselandPentland,1992)：设定初始值，然后采用最小下山策略更新形状信息.在每一次迭代中，只有当点与周围邻接点相比，距离光源较远时才需要改变其深度（下山），而在传播路径上选择可以使该点到光源距离最近的路径（最小）.,（3）局部方法,假设表面片的形状在局部上是球形，根据图象亮度以及亮度梯度信息求解.例(LeeandRosenfeld,1985)：,首先计算在光源坐标系中表面的倾斜角和偏转角，然后变换到摄像机坐标系.,表面偏转角,光源倾斜角,光源偏转角,（4）线性方法,假设反射图主要由其低阶分量确定，实现反射图的线性化，将非线性问题转化为线性问题求解.例(Pentland,1988)：,1.对反射函数作Taylor展开，并取低阶项，得：,线性方法,2.对两边作Fourier变换，得：,求,，然后作Fourier反变换，得深度图,合成图象,实际深度图,ZhengandChellapa,BichselandPentland,LeeandRosenfeld,Pentland,1.7光度立体,根据在不同光照条件下