图像理解 课件 10-摄像机成象与深度信息采集

摄像机成象与深度信息采集图像理解之十2采集表达包括摄象机成象深度信息采集3-D景物表达对图象的理解主要是从数字图象出发，依靠计算机来帮助观察和认识世界采集能反映场景内容和本质的图象需要全面把握场景自身的各种信息，所以采集含有立体信息的图象非常关键需要有对3-D空间景物的3-D表达方法3摄像机成象成象：场景⇒图象，f(x,y)几何学：从图象中的什么地方可找到场景中物体的投影位置(x,y)辐射度学：图象中物体的投影位置有多“亮”，以及亮度与物体光学性质和成象系统特性的联系，这确定了在(x,y)处的

f4视觉过程光学过程光学过程基本确定了成象的尺寸5视觉过程化学过程化学过程基本确定了成象的亮度或颜色视网膜上的锥细胞和柱细胞锥细胞：数量少，对颜色很敏感（有3种）锥细胞视觉：明视觉或亮光视觉柱细胞：数量多，分辨率比较低不感受颜色并对低照度较敏感柱细胞视觉：暗视觉或微光视觉锥细胞和柱细胞均由色素分子组成，其中可吸收光的视紫红质吸收光后通过化学反应分解成另两种物质当光通量增加时，化学反应也增强，产生的神经元信号变得更强视网膜可看作是一个化学实验室，将光学图象通过化学反应转换成其它形式的信息6视觉过程神经处理过程每个视网膜接收单元都与一个神经元细胞借助突触相连。每个神经元细胞借助其他的突触与其他细胞连接，从而构成光神经网络光神经进一步与大脑中的侧区域连接，并到达大脑中的纹状皮层对光刺激产生的响应经过一系列处理最终形成关于场景的表象，从而将对光的感觉转化为对景物的知觉光学化学神经处理7摄像机成象模型图象采集：场景投影转换到图象四个坐标系统(1)世界（world）坐标系统：XYZ(2)摄象机坐标系统：xyz(3)象平面坐标系统：x´y´(4)计算机图象坐标系统：MN8基本摄像机模型世界坐标系统与摄象机坐标系统重合，且摄象机坐标系统与象平面坐标系统也重合9基本摄像机模型透视变换透视变换也称为4-点映射3-D空间的矩形投影到图象平面后可能为任意四边形，由4个顶点所确定10基本摄像机模型透视变换光束会聚带来的问题（尺寸随位置变化）远心成象：将光圈的位置移到平行光的会聚点超心成象：将光圈放得比平行光会聚点更接近图象平面表面11基本摄像机模型透视变换远心成象：需要镜头直径足够大超心成象：可看到与光轴平行的表面三种成象的对比标准成象：截面和内壁远心成象：仅看到截面超心成象：截面和外壁12基本摄像机模型齐次坐标13基本摄像机模型逆透视变换由图象点(x',y')并不能唯一确定3-D空间点的Z坐标（因为它对任何一个点都给出Z=0）14近似投影模式正交投影反映了景物截面的真正尺度焦距无穷时的透视投影，不考虑世界点的Z坐标

15近似投影模式弱透视投影不考虑世界点的Z坐标，采用正交投影和图象平面内的等比例缩放缩放系数s=λ/d当物距是景物尺度的20倍时，用弱透视投影去近似透视投影的效果比较好

16近似投影模式平行透视投影介于正交投影和透视投影(1)将S正交投影到投影平面(2)将投影平面上的投影再次透视投影到象平面上17一般摄象机模型摄象机坐标系统与世界坐标系统分开，但摄象机坐标系统与象平面坐标系统重合时的情况18一般摄象机模型用以下步骤从世界坐标系统与摄象机坐标系统重合时的摄象机模型转换来：①将象平面原点按D移出世界坐标系统的原点②以某个γ角（绕z轴）水平扫视x轴③以某个α角将z轴垂直倾斜（绕x轴旋转）19一般摄象机模型一系列变换级联Ch=PRTWh用Ch的第四项去除它的第一和第二项20通用成象模型四个系统全分开（+镜头失真，+坐标取整）21通用成象模型(1)从(X,Y,Z)到(x,y,z)(2)从(x,y,z)到(x',y')22通用成象模型(3)从(x',y')到(x*,y*)(4)从(x*,y*)到(M,N)23摄象机标定也称为摄象机定标、校准或校正，目的是确定摄象机（内外）参数标定程序和参数考虑通用成象模型外部

1：需校准的参数是旋转矩阵R和平移矢量T，共6个内部2：需校准的参数是焦距λ3：需校准的参数是镜头径向失真系数k4：需校准的参数是不确定性图象尺度因子μ24高维图象种类一般图象表达函数应是一个具有5个变量的矢量函数f(x,y,z,t,λ)其中x，y，z是空间变量，t代表时间变量，λ是频谱变量（波长）实际图象是时空有限的，各种辐射的波长也有一定范围，所以图象表达函数是一个5-D有限函数从f(x,y)到f(x,y,z,t,λ)25高维图象种类(1)从f(x,y)到f(x,y,z)景物表面⇒将景物沿采集方向分成多片，对每片成象，结合起来就可获得景物完整的3-D信息（包括物体内部）(2)从f(x,y)到f(x,y,t)某个给定时刻⇒沿时间轴连续采集多幅图象可获得一段时间内的完整信息（包括动态信息）(3)从f(x,y)到f(x,y,l)对应某个波长⇒利用不同的波长辐射获得反映场景不同性质（对应景物表面对不同波长l的反射和吸收特性）的图象(4)从f(x,y)到f(x,y)给定空间位置的某一个性质⇒场景可有多种性质，图象在点(x,y)处也可有多个值，f(x,y)=[fr(x,y),fg(x,y),fb(x,y)]26高维图象种类(5)f(x,y)和z=f(x,y)一般将f(x,y)看作是将3-D场景进行投影而采集到的图象。在这个过程中，丢失了深度（或距离）信息性质为深度的图象：z=f(x,y)，由深度图可进一步获得3-D图象f(x,y,z)如果结合对同一个场景在不同视点采集到的多个图象可获得该场景的深度信息27本征图象和非本征图象图象是场景的（映）象场景和场景中的物体具有一些与观察者和采集器性质无关的、本身客观存在的特性，称为（场景的）本征特性。表示本征特性的图象称为本征图象非本征图象所表示的物理量不仅与场景有关，而且与观察者或采集器的性质或图象采集的条件或周围环境等有关。28本征图象和非本征图象许多图象理解问题可归结为由非本征图象去恢复本征特性，即获得本征图象从图象采集的角度说，要获得本征图象有两种方法：一种是直接采集本征图象，一种是采集含有本征信息的非本征图象再通过图象技术恢复本征特性29本征图象和非本征图象例：深度图象与灰度图象深度值随物体形状和朝向变化，但与外部光照条件无关灰度值既取决于表面的照度（既与物体形状和朝向有关，还与外部光照条件有关），也取决于表面的反射系数灰度：阶跃边缘深度：+屋脊边缘30深度成象方式客观世界在空间上是3-D的，而现有大多数图象采集装置所获取的图象本身是在2-D平面上的（丢失了采集装置与景物的距离信息）从2-D图象中恢复3-D空间信息立体视觉：从两个或多个视点去观察同一场景，获得在不同视角下的一组图象进一步通过三角测量原理获得不同图象中对应象素间的视差，从中获得深度信息31深度成象方式成象的方式主要由光源、采集器和景物三者的相互位置和变化情况所决定32双目横向模式摄象机坐标系统和世界坐标系统重合象平面与世界坐标系统的XY平面也平行两个镜头中心间的连线称为系统的基线B33双目横向模式视差和深度34深度图象直接采集从深度图象可方便地得到景物的几何形状和相互的空间关系借助一些特殊的设备可直接采集深度图象35飞行时间法采用雷达测距的原理，测量光波从光源发出经被测物反射后回到传感器所需的时间基于飞行时间（timeofflight）的深度图获取，一般使用点源，所以也称飞点法传播时间t与被测距离d的关系d=ct