计算机视觉19 9.3 单幅图像深度重建3 SFT.ppt

1、9.4 基于纹理的深度图重建,包含多个纹理区域的图象,beeren,flower,food,water,彩色纹理图像,1 纹理（Texture）,目前对于纹理的精确定义还未形成统一认识，多根据应用需要做出不同定义 两种较常采用的定义： 定义1 按一定规则对元素（elements）或基元（primitives）进行排列所形成的重复模式. 定义2 如果图像函数的一组局部属性是恒定的，或者是缓变的，或者是近似周期性的，则图象中的对应区域具有恒定的纹理,纹理,纹理的基本特征 纹理是区域属性，并且与图像分辨率（或称尺度，resolution or scale）密切相关,重复性,规则性,周期性,方向性,纹

2、理分析与合成,纹理分析(analysis): 纹理分类(classification)、纹理分割(segmentation)、从纹理恢复形状(shape from texture). 纹理合成(synthesis): 由基元合成纹理图像. 图形绘制(graph rendering)、图像压缩(image compression)、纹理分析.,纹理分割与分类,纹理分割 确定图像中纹理的边界。 纹理分类 确定纹理区域或图像的类别.,2 纹理分析的方法,统计方法（statistical methods） 利用纹理在空间上的灰度分布特性： 灰度级同现矩阵，自相关函数 结构方法（structural m

3、ethods） 利用基元排列成纹理的规则性： 基元特征，基元组合规则,纹理分析的方法,基于模型的方法(modal based methods) 一幅纹理图像是一类参数模型的实例： Markov (Gibbs) 随机场，分形(fractal) 信号处理方法(signal processing methods) 根据纹理的周期性，采用滤波方法处理： 空域滤波、频域滤波（Fourier变换，Gabor变换，小波变换）,3 统计方法,研究纹理在空间上的灰度分布特征 灰度级同现矩阵（grey level co-occurrence matrices，GLCM） 自相关性函数（autocorrelatio

4、n function） 用下式表示一幅 图像,3.1 灰度级同现矩阵,对于具有G个灰度级的图像，受位移矢量 控制的灰度级同现矩阵 是一个 的矩阵，矩阵行列表示各个灰度级，矩阵元素反映两种灰度在相距一定距离的位置上同时出现的次数，具体按下式计算：,(Haralick, 1979),灰度级同现矩阵,例1,左边为一幅55的图象，具有三个灰度级，右边为灰度级同现矩阵，位移矢量d=(1,1),0,1,2,0,1,2,灰度级同现矩阵,例2,左边为棋格图像，中间为位移矢量为d=(1,1)的灰度级同现矩阵，右边为位移矢量为d=(1,0)的灰度级同现矩阵。,灰度级同现矩阵,请计算,位移矢量d=(1,1),灰度级

5、同现矩阵？,基于灰度级同现矩阵的纹理特征,灰度级同现矩阵在一定程度上反映了纹理图像中各灰度级在空间上的分布特性 如果灰度级同现矩阵集中于对角线上，则对应位移矢量接近于该纹理中基元的排列规则 在灰度级同现矩阵的基础上，可定义多种纹理特征. 纹理分析领域中广为人知和最经常采用的特征之一.,灰度级同现矩阵的问题与发展,问题 缺乏选择位移矢量的有效方法. 发展 自适应多尺度灰度级同现矩阵 (adaptive multi-scale GLCM)：种子区域增长 基于遗传算法的GLC特征提取 (genetic algorithm based GLC feature extraction): 用遗传算法实现高

6、斯加权优化,3.2 自相关函数,图像自相关(autocorrelation)函数 ：,自相关函数的周期性反映纹理基元重复出现的周期性；其下降速度反映纹理基元的粗细度(coarseness)：纹理粗，则缓降；纹理细，则速降. 规则纹理的自相关函数具有峰值和谷值，可用于检测纹理基元的排列情况.,纹理粗细度与自相关函数的关系示意图,自相关函数,自相关函数与Fourier变换存在联系 自相关函数可在频域中计算，而且效率更高.,规则纹理的Fourier对数谱,同一纹理的自相关函数,4 结构方法,认为纹理基元的规则排列构成纹理，根据基元来分析与合成纹理 三个步骤： 图像增强 多尺度LoG滤波 计算各个基元

7、的统计特征，作为纹理特征，如平均强度、面积、周长、方向、离心率 基于基元组合规则分析与合成纹理：图模型、树文法等等,5 基于模型的方法,建立纹理图像的参数模型，用于表示与合成纹理 纹理合成主要采用基于模型的方法 主要问题是估计模型参数，使根据模型合成的纹理图像逼近原纹理图像. 两种模型 Markov随机场（Markov random field, or Gibbs random field ） 分形（fractal）,6.1 空域滤波,局部模板法 设计一组具有频率选择性的模板，与图像做卷积. 局部矩法 以每一个像素为中心，计算局部窗口内的矩特征值，形成特征图象. 相当于用一组模板对图像进行滤波

8、.,空域滤波,The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filters and 4 low-pass Gaussian filters.,6.2 Fourier变换特征,对图像做Fourier变换，根据能量谱和相位谱定义纹理特征.,纹理图像及其Fourier变换,各个环(ring)区域和劈(wedge)区域内的总能量 组成纹

9、理特征矢量.,反映纹理方向,反映纹理尺寸,6.3 Gabor变换与小波变换,Gabor变换（高斯窗口）,小波变换： 窗口宽度随频率变化而变化,(D. Gabor, 1946),Gabor变换纹理特征,二维Gabor滤波器具有频率和方向选择性 Gabor纹理特征提取的一般步骤： 1. 用不同尺度和方向的Gabor滤波器对图像进行滤波，得到一组子图象； 2. 对各个子图象做一定处理； 3. 根据子图象计算相应特征，形成特征矢量或特征图象，比如子图象窗口内的标准差.,Gabor变换纹理特征示例： (a) 纹理图象 (b) 滤波图象 (16,135度) (c) 滤波图象 (32,0度) (d) 特征图

10、象(b) (e) 特征图象(c),小波变换纹理特征,对图像作小波变换， 分别得到水平和垂直方向上的高频和低频子图象，可以对低频子图象或每个子图象再作同样的变换. 根据最后得到的每个子图象计算一个特征，如能量，墒等，形成纹理特征矢量.,7 从纹理恢复形状,根据纹理属性变化与表面形状的关系恢复表面形状.,三种效应： 透视缩小(与表面方向有关) 缩放和密度变化(与观察者 和纹理基元的距离有关) 基准维(characteristic dimension)： 没有发生透视缩小的方向,从纹理恢复形状,几种方法 Bajcsy-Lieberman方法：利用基元尺寸梯度，求相对深度; Witken方法：利用边缘

11、方向分布，估计表面方向; Blostein-Ahuja方法：利用基元面积梯度，估计表面方向.,椭圆长短轴在缩小（缩放效应） 缩小速度长轴为线性，短轴为二次（透视缩小效应，长轴方向为基准维）,Blostein-Ahuja方法,假设表面为平面，纹理基元单一且无深度差 恢复公式（依据）的推导 1. 为简化推导，将坐标系统转换到tilt方向 2. 根据透视投影模型，建立任意基元长短轴与中心基元长短轴的长度关系； 3. 将上述关系转化为任意基元与中心基元的面积关系.,坐标系统变换,透视投影模型,Blostein-Ahuja方法,形成表面方向估计依据,为未知参数空间，根据纹理图象从中搜索最佳结果： 将该空

12、间离散化，对于每组值，计算图象中各个位置上的纹理基元面积，与实际面积比较，获得拟合度，取最佳拟合度对应的结果. (表面拟合),Blostein-Ahuja方法结果示例,基于3D纹理信息的深度估计算法,SFT的传统方法是通过建立一个随机场模型描述图像中纹理信息，通过学习得到模型参数，实现场景深度重建，但由于此类方法使用的是局部的、二维纹理信息，因此所建立的模型中无法完全反映出场景中各目标间的空间关系。近几年来，针对此类问题的研究逐渐向使用全局的、多尺度的、分层次的纹理信息方向发展，并已经开始应用于实际系统中。 2006年，斯坦福大学的Andrew教授等人应用机器学习的方法，采用分层的多尺度马尔科

13、夫随机场模型，通过对大量的训练集数据的学习，建立室外场景图像中各目标间的空间关系模型，并将取得的结果应用在无人汽车的自主导航中。 这种利用全局的三维几何纹理信息的方法，实际上就是在利用了图像“质地变化率”的同时也利用了图像中的遮挡信息（空间关系）。,3-D Depth Reconstruction from a Single Still Image Ashutosh Saxena, Sung H. Chung, Andrew Y. Ng ,2007,1.Visual Cues for Depth Perception,Monocular Cues texture variations, tex

14、ture gradients, interposition, occlusion, known object sizes, light and shading, haze, defocus, etc. global information, local information. Stereo Cues Motion Parallax and Focus Cues,2.Feature Vector,The image is divided into small rectangular patches, and estimate a single depth value for each patc

15、h. Two types of features: absolute depth featuresused to estimate the absolute depth at a particular patchand relative features, used to estimate relative depths.,Feature Vector,three types of local cues: texture variations, texture gradients, color. Capture cues Laws masks(3*3)- texture variations

16、Oriented edge filters(6)- texture variations Color channel(2)- color,2.1 Features for absolute depth,Features for absolute depth,initial feature vector-sum absolute energy and sum squared energy, multiple spatial scales-capture more global properties of the image, immediate neighbors-capture occlusi

17、on relationships, vertically column-show vertical structure. absolute depth feature vector x is 19 34 = 646 dimensional.,2.2 Features for relative depth,A different feature vector is used to learn the dependencies between two neighboring patches. a 10-bin histogram of each of the 17 filter outputs |

18、I Fn|, giving us a total of 170 features yis for each patch i at scale s. relative depth features yijs for two neighboring patches i and j at scale s will be the differences between their histograms.,3. Probabilistic Model,Hierarchical Multi-scale MRF Model,Probabilistic Model,Gaussian Model Laplaci

19、an model,Gaussian Model,di(s) depths for multiple scales s = 1, 2, 3. enforce a hard constraint that depths at a higher scale are the average of the depths at the lower scale. Ns(i) are the 4 neighbors of patch i at scale s. M is the total number of patches in the image (at the lowest scale); Z is the n