图像测量系统

1、,中国科学技术大学自动化系,汪 增 福,图像测量技术,第三章 图像测量系统,第三章 图像测量系统,图像测量系统概述 图像传感器 相机的几何标定 相机的光学标定,图像测量系统概述,照明,图像采集,图像处理,结果输出,强度, 构造等,图 像 处 理,图像传感器的组成,采样孔：使数字化器能够单独观测特定的图像元素而不受图像其它部分的影响。,图像扫描机构：使采样孔按照选定的方式在图像上移动，从而按照一定的顺序对图像的像素进行观测。,光传感器：将被观测像素处的光强转换为电压或电流信号，完成光电转换功能。,量化器：将传感器输出的连续电量转化为整数值。,图像帧存储器：将量化器产生的灰度值按照一定的格式存储起

2、来，以用于后续的处理。,图像传感器的性能,像素大小,图像大小,被测的局部特征,线性度,噪声,像素的物理尺寸 相邻像素的间距,允许输入的范围 输出的像素数,物理参数 反射率 透射率,图像灰度和辐射照度,读出噪声 光子噪声,图像传感器的类型,并入串出,并入并出,串入串出,串入并出,图像传感器的基本组件,光源,白炽灯 激光器 荧光物质 发光二极管,图像传感器的基本组件,光传感器,光传感器的工作基础是光电效应,光电效应 一些金属、金属氧化物、半导体材料在光的照射下释放电子的现象。,外光电效应（光电发射效应）：物体在光的作用下，其中的电子从物体表面逸出的现象。,内光电效应：当物体在光的作用下所释放的电子

3、不逸出物体表面，而只是在物体的内部运动并使其电特性发生变化的现象。,光电导效应 光生伏特效应,图像传感器的基本组件,光传感器,光电导效应：当半导体材料受到光照时，如果入射光子的能量大于其禁止带宽，则半导体内载流子数目增多，这将导致半导体电导率的改变，从而使半导体的电阻减小。,光生伏特效应：当半导体的PN结受到光照时，如果入射光子的能量大于其禁止带宽，则在PN结两侧会产生光生电动势。,图像传感器的成像单元,光传感器,光电管,光电倍增管,光敏二极管,无光照射时，反向饱和漏电流小；有光照射时，反向饱和漏电流大大增加，形成光电流。该光电流随入射光强度的变化而相应变化。,硅传感器,图像传感器的成像单元,

4、P型硅衬底,金属电极,二氧化硅,沟阻,势阱,信号电荷,光传感器：硅传感器,图像传感器的扫描机制,扫描机制：机械扫描,图像传感器的扫描机制,扫描机制：电子束扫描,图像传感器,电视摄像机,电视摄像机是一种被广泛使用的图像输入设备。它能将景物的光学图像转换成全电视信号。根据所使用的光谱波段的不同可有不同种类的摄像机。,在可见光范围内，主要有: 黑白摄像机 彩色摄像机,图像传感器,电视摄像机,电视摄像机的关键部件是电视摄像管。所谓的电视摄像管是一种能将景物的光学图像转换成电视图像信号的器件。该器件对整个摄像机系统的性能起着确定性的作用。它能将器件成像面上的空间景物的二维图像转变成时间轴上的一维图像信号

5、。,光电转换功能,空时转换功能,图像传感器,黑白电视摄像机,光电像管 析像管 超光电管 超正析像管 光电导管 硅靶管,硫化锑摄像管（Vidicon） 氧化铅摄像管（Plumbicon） 硒靶管（Saticon） 硒化镉摄像管（Channicon） 新视像管（Newvicon）,黑白电视摄像管,图像传感器,光电导摄像管,工作原理,来自被摄景物的光线经摄像机的光学系统在光电靶表面成像。靶面不同位置处的点，由于所受到的照度不同将激励出数目不等的光电子，从而产生数值不等的光电导效应，引起高低不同的电位起伏，最终形成与输入光学图像相对应的电位图像。,图像传感器,光电导摄像管,工作原理,为了将电位图像转变

6、成相应的时间信号，通常采用电子扫描的方法。如图所示，电子枪的作用是产生一条极细的电子束。由阴极所发出的电子束在加速电极A1和聚焦电极A2、A3的作用下，将以均匀的速度准确地落到靶面上。图中的校正线圈的作用是把出射的电子束的方向校正到和管轴的方向保持准确一致以提高管子的空间分辨率，而偏转线圈则被用来控制电子束在空间的运动以实现电子束对靶面的扫描。,图像传感器,光电导摄像管的等效电路,根据设计要求，整个扫描将按从左到右、自上而下的顺序进行以完成相应的空时转换功能。 电子束的作用如同一个电子开关。随着电子束连续地扫过整个靶面，在每一个瞬时，光电导层上被电子束所击中的微小单元（即像素单元）将和负载电阻

7、一起组成一个电子回路。,图像传感器,光电导摄像管,结论：来自被摄景物的光线落到靶面上，照度越高，光电导材料激励出的光电子越多，导电率越高，R值越小，流过负载的电流越大；而照度越低，则光电导材料激励出的光电子越少，导电率越低，R值越大，流过负载的电流越小。因此，通过记录扫描过程中加在负载电阻上的电位（或者等价地，流过负载电阻的电流）就可以得到关于输入光学图像的明暗变化的信息。,图像传感器,电视扫描方式,逐行扫描（Progressive Scanning） 对一幅完整图像的扫描在每一个规定的时间间隔内一次完成。这样得到的一幅完整图像称为帧（Frame）。,隔行扫描（Interlaced Scann

8、ing） 对一幅完整图像（即一帧）的扫描则被分成两次进行。其中的一次扫描只针对图像中的奇数行进行，而另一次扫描则只针对图像中的偶数行进行。由一幅图像中所有的奇数行和偶数行所形成的子图像分别被称为该图像的奇数场和偶数场。,图像传感器,电视信号简介,扫描规程简介,EIA RS170扫描规程（黑白电视时序标准，美国） 其它扫描规程（彩色电视时序标准）： （1）PAL(Phase Alternation Line) 隔行扫描，25帧/每秒， 625行/每帧。 （2）NTSC（National Television Systems Committee) RS170 A 隔行扫描，30帧/每秒， 525行

9、/每帧。,图像传感器,全电视信号,A,B,C,D,水平扫描从左到右的扫描 垂直扫描自上而下的扫描 扫描线用实线表示 回扫线用虚线表示 奇数行水平扫描中对应奇数场的扫描线，蓝绿色实线表示 偶数行水平扫描中对应偶数场的扫描线，黄色实线表示。 水平消隐线用细虚线表示。 垂直消隐线用粗虚线表示。,全电视信号,(b) 偶数场信号,图像传感器,(a) 奇数场信号,图像传感器,彩色电视摄像机,色彩的三色理论（tri-stimulus theory） 几乎所有的色彩都可以用三种基色：红（Red）、绿（Green）和蓝（Blue）进行混合来再现。,图像传感器,彩色电视摄像机,三管式彩色电视摄像机工作原理,三管式

10、彩色电视摄像机采用分色棱镜将入射光分解成红、绿、蓝三基色光，并使之分别在摄像管R、G、B的靶面上成像。然后，经光电转换将在各自的靶面上形成的光学图像转换成与之对应的电荷图像。这些电荷图像在聚焦和偏转系统的作用下被转换成按照一定的电视扫描标准的随时间变化的三基色图像信号。,（1）,（2）,R,G,B,去摄像管R,去摄像管B,去摄像管G,图像传感器,彩色电视摄像机,分色棱镜由(A)、(B)、(C)三部分组成。其中，Mr和Mb面上分别蒸镀有不同厚度的干涉薄膜。各薄膜的厚度恰到好处，使得：当入射光投射到Mr面上时能将红光分量反射回来，而让其它的光通过；而当入射光投射到Mb面上时能将蓝光分量反射回来，而

11、让其它的光通过。,分色棱镜的工作原理,图像传感器,彩色电视摄像机,彩色电视摄像机输出信号的种类,（1）分量模拟视频 （Component analog video）,（2）S-Video（Y/C Video）,（3）复合视频（Composite Video）,图像传感器,彩色电视摄像机,亮度信号和色差信号 ：,图像传感器,彩色电视摄像机,彩色全电视信号,图像传感器,固态摄像机：CCD像感器,图像传感器,CCD像感器是由MOS电容器组成的一个阵列。当把光学图像聚焦到该阵列时，可以得到正比于景物光辐射强度的电荷分布。,固态摄像机：CCD像感器,图像传感器,固态摄像机：CCD像感器,工作原理：电荷定

12、向转移的机制,f1,f2,f3,t0,t1,t2,t3,t,t,t,三相控制方式下CCD中的电荷转移过程,图像传感器,固态摄像机：CCD像感器,工作原理：电荷定向转移的机制,f1,f2,f3,t0,t1,t2,t3,t,t,t,t = t4,三相控制方式下CCD中的电荷转移过程,经过一个时钟周期后，相应的电荷将从前一像素的一个电极下转移到下一个像素的同号电极下。这样，随着时钟脉冲有规则的变化，电荷将从线阵的一端转移到另一端。如果在线阵的另一端对电荷进行收集，并进行放大处理，则可以得到相应的反映图像灰度变化的电信号输出。,t4,图像传感器,固态摄像机：CCD像感器,工作原理：电荷定向转移的机制,

13、图像传感器,CCD像感器：线阵CCD像感器,图像传感器,CCD像感器：面阵CCD像感器,图像传感器,CCD摄像机,除了CCD像感器之外，CCD摄像机还包括光学系统、定时系统、CCD激励器、信号处理和校正器等部分。其输出信号一般也为标准的全电视信号。,图像传感器,CID摄像机,图像传感器,CID摄像机,读出方式： （1）非破坏性读出 一个电极被驱动至0伏或更低电位 迁移时，在外电路中产生一电流脉冲 （2）破坏性读出 两个电极均被驱动至0伏或更低电位 像素处积累的光电子被冲洗入下面的基片,图像传感器,CID摄像机,性能： （1）对扩散模糊和辐射危害不敏感 （2）不存在电荷转移效率的问题 （3）晶格

14、点阵的缺陷只影响单个像素,摄像机的几何标定,标定，有时也称为校准（Calibration）。,何谓摄像机的几何标定？,确立摄像机内部参数以及摄像机与外部参考坐标系之间的空间变换关系的过程。,内部参数 外部参数,确定系统的内部参数,确定系统相对于参考坐标系的位置和姿态,摄像机的几何标定,需要进行摄像机几何标定的几种情形,固定的内部参数需重新标定,内部参数有标称值，但其实际值和标称值之间存在偏差。,内部参数变化后需重新标定,内部参数可调，而难于做到精确控制。,情形1,系统内部参数的标定,摄像机的几何标定,需要进行摄像机几何标定的几种情形,不同摄像机之间相对空间变换关系的确定,情形2,系统外部参数的

15、标定,摄像机的几何标定,需要进行摄像机几何标定的几种情形,摄像机和世界坐标系之间空间变换关系的确定,情形2,系统外部参数的标定（续）,摄像机的几何标定,对摄像机标定的一般要求,（5）可实现性 不应对实验条件提出过于苛刻的假设，也不应该要求 使用特别的实验装置。,（4）通用性 要求校准算法能适用于各种不同种类的图像传感器。,（3）有效性 要求校准算法简洁、快速。,（2）精密性 具有满足使用要求的精度。,（1）自治性 尽量减少人工干预，提高校准的自动化程度。,摄像机的几何标定,进行摄像机几何标定的一般方法,基准物体标定法,先由摄像机获取基准物体的图像，然后运用图像处理技术抽取基准物体上特征点的图像

16、位置信息。由于这些特征点在世界坐标系中的位置信息是已知的，因此可利用摄像机几何模型的知识，根据特征点所提供的信息计算摄像机的内部参数和摄像机相对于世界坐标系的空间变换关系（即外部参数）。,特征点,摄像机的几何标定,内/外部分离参数法,P (X,Y,Z),Pu(Xu,Yu),Pd(Xd,Yd),f,世界坐标系,摄像机坐标系,(Xu,Yu) 理想成像情况下像点的图像坐标 (Xd,Yd) 实际成像情况下像点的图像坐标 (Xf,Yf) (Xd,Yd)的计算机像素坐标表示,Oi,摄像机的几何标定,step1. 从世界坐标系到摄像机坐标系的刚体变换,step2.从摄像机坐标系到理想的图像坐标系的透视变换,

17、step3.从理想的图像坐标到实际的图像坐标的变换,建立(x,y,z)和(xf,yf)映射关系,step4.从实际的图像坐标到计算机图像坐标的变换,内/外部分离参数法,摄像机的几何标定,从世界坐标系到计算机图像坐标系的变换,step1. 从世界坐标系到摄像机坐标系的刚体变换：,其中，R为旋转变换矩阵，它是一个单位正交矩阵，而T则为平移向量，分别由下面定义：,为了完全描述上述刚体变换，总共需要六个系统参数：三个旋转参数和三个平移参数。,摄像机的几何标定,step2. 从摄像机坐标系到理想的图像坐标系的透视变换：,从世界坐标系到计算机图像坐标系的变换,摄像机的几何标定,step3. 从理想的图像坐

18、标到实际的图像坐标的变换：,失真系数,若失真主要由径向畸变引起，则,这里，,从世界坐标系到计算机图像坐标系的变换,摄像机的几何标定,step4. 从实际的图像坐标到计算机图像坐标的变换：,Cx,Cy . 图像中心的行/列指标 dx . X方向上相邻像素间距 dy . Y方向相邻像素点间距 Ncx . X方向上的像素数 Nfx . X方向上采样的像素数 sx . 模糊度因子,从世界坐标系到计算机图像坐标系的变换,摄像机的几何标定,从世界坐标系到计算机图像坐标系的变换,Xi,Yi,摄像机的几何标定,Xi,Yi,Oi,实际图像的左上角,顺时针转0,Pd(Xd,Yd),数字化,摄像机的几何标定,dx

19、. X方向上相邻像素间距 . X方向上实际的像素间距Ncx . X方向上的像素数 Nfx . X方向上采样的像素数,sx . 模糊度因子 (x向尺度补偿因子),dx,考虑sx,摄像机的几何标定,需要标定的参数,外部参数,内部参数,内/外部分离参数法,摄像机的几何标定,需要标定的两组参数（一） 外部参数,个旋转参数 个平移参数,共六个,内/外部分离参数法,摄像机的几何标定,需要标定的两组参数（二） 内部参数,f 有效焦长 k1 镜头的失真系数 sx 图像X坐标的模糊度因子 Cx 图像平面原点在计算机图像坐标系中的X坐标 Cy 图像平面原点在计算机图像坐标系中的Y坐标,内/外部分离参数法,摄像机的

20、几何标定,Cx、 Cy的确定（1）：变焦法,位置固定时间可控点状光源,内/外部分离参数的个别标定,摄像机的几何标定,Cx、 Cy的确定（2）：激光光束法,成像面,外置屏幕,位置可控激光发射装置,内/外部分离参数的个别标定,摄像机的几何标定,Cx、 Cy的确定（3）：辐射度学模型法,成像面,外置屏幕,均匀光照,2次多项式近似,内/外部分离参数的个别标定,摄像机的几何标定,Cx、 Cy的确定（4）：辐射度学模型法（续）,内/外部分离参数的个别标定,摄像机的几何标定,sx的确定,成像面,外置屏幕,内/外部分离参数的个别标定,摄像机的几何标定,其它参数的确定,内/外部分离参数法,摄像机的几何标定,确定

21、其它参数的基本关系式,内/外部分离参数法,其它参数的确定,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,使用共平面基准参考点集来完成标定任务。如图所示：选择世界坐标系使得基准参考点集位于平面 zw = 0 上，并使世界坐标系原点不在Y轴上，即使Ty 0成立。,基准参考点集,其它参数的确定,摄像机的几何标定,（一）模糊度因子sx已知,分子分母同除以,代入 的已知条件,摄像机的几何标定,（一）模糊度因子sx已知,结论：若有 个基准参考点，则可得到 个方程。,摄像机的几何标定,其它参数的确定,内/外部分离参数法,（一）模糊度因子sx已知,确定摄像机其余各参数的具体步骤： （1）计算

22、R和Tx，Ty （1-1）从计算机图像坐标计算失真图像坐标 （1-1-1）输入一帧图像到计算机帧存储器。对每一个校准用参考点， 确定其相应的计算机坐标(Xfi,Yfi)，i = 1,2,.N。 这里，N为所用基准参考点的数目。 （1-1-2）根据厂家提供的Ncx、Nfx等有关数据，得到d x和d y的数值。 （1-1-3）取(Cx,Cy)为帧存储器的中心像素。 （1-1-4）计算Xdi,Ydi ，i = 1,2,.N:,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,从 个基准参考点，确定如下所示 个方程：,其它参数的确定,（1-2）计算5个未知参数： Ty-1r1，Ty-1r

23、2，Ty-1Tx，Ty-1r4，Ty-1r5,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,将 个方程联立，有：,其它参数的确定,（1-2）计算5个未知参数： Ty-1r1，Ty-1r2，Ty-1Tx，Ty-1r4，Ty-1r5,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,5个未知数， 个方程,当 时，上述线性方程组超定。,可用最小二乘法解得： B = (ATA)-1ATC,其它参数的确定,（1-2）计算5个未知参数： Ty-1r1，Ty-1r2，Ty-1Tx，Ty-1r4，Ty-1r5,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,（1

24、-3）从B计算R和Tx，Ty （1-3-1）从B计算|Ty|。步骤如下： 令 如果S没有1行或1列全为0，则Ty2可根据R的正交性得到： 这里， 。 否则，根据下式计算： 这里， 、 为S中不为0 的行或列的相应元素。,其它参数的确定,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,其它参数的确定,摄像机的几何标定,内/外部分离参数法,其它参数的确定,P (X,Y,Z),Pu(Xu,Yu),Pd(Xd,Yd),f,世界坐标系,摄像机坐标系,(Xu,Yu) 理想成像情况下像点的图像坐标 (Xd,Yd) 实际成像情况下像点的图像坐标 (Xf,Yf) (Xd,Yd)的计算机像素坐标表

25、示,Oi,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,（1-3）从B计算R和Tx，Ty （1-3-3）确定旋转矩阵R,其它参数的确定,这里， 。 注意：如果R在后续处理中产生负的f， 则需对R作如下修正：,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx已知,其它参数的确定,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx未知,其它参数的确定,此时，使用非共平面基准参考点集来完成校准任务。 具体步骤：,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx未知,其它参数的确定,（1）计算R，Tx，Ty和sx （1-2）计算,摄像机的几何标定,内/外部

26、分离参数法,（一）模糊度因子sx未知,其它参数的确定,（1）计算R，Tx，Ty和sx （1-2）计算,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx未知,其它参数的确定,（1）计算R，Tx，Ty和sx （1-2）计算,B = (ATA)-1ATC,从N个非共面的基准参考点，可确定如下的联立方程：,摄像机的几何标定,内/外部分离参数法,（一）模糊度因子sx未知,其它参数的确定,（1）计算R，Tx，Ty和sx,（1-3）从B向量计算R和Tx，Ty。 具体步骤类似于模糊度因子sx已知时的情形，不作详述。 （2）计算确切的f和Tz 具体步骤类似于模糊度因子sx已知时的情形，不作详述。,摄像机的几何标定,综合参数法,在内、外部参数分离法中，被校准的的摄像机参数按其特点被分为内部参数和外部参数两大类。这样做的好处是不言而喻的。此时，所给出的各个参数都具有明确的物理意义。但是，正如我们已经看到的那样，这种方法所涉及的整个校准过程是十分繁杂的。在有些应用中，我们并不需要知道参数所具有的物理意义，只要能通过所选定的摄像机的系统参数在世界坐标系和摄像机的图像坐标系之间建立起相应的变换关系即可。,摄像机的几何标定,综合参数法,如图所示，设世界坐标系和摄像机坐标系分别用OwXwYwZw和OXYZ表示。其中，世界坐标系被置于具有立方体形状的基准物体上。立方体上互相垂直的三条棱分别与世界