《图像检测与处理技术》课件第2章

第2章图像检测系统硬件组成2.1成像器件2.2图像采集系统2.3实时图像处理系统2.4序列图像的获取2.5特殊成像方式图像处理工作是借助于图像检测处理系统来完成的。图像检测与处理系统由硬件和软件两大部分组成。硬件部分主要包括主机、输入设备和输出设备。输入设备包括键盘、鼠标、数字化仪、扫描仪、数码相机等设备；输出设备包括打印机、显示器、绘图仪等。

计算机及其必要的外围设备是进行图像检测与处理的物质基础。

早期的计算机图像处理硬件均以大型计算机系统为主，配置字符终端、图像终端、绘图仪等外围设备，构成主从式系统。从20世纪80年代以后，以工程工作站加网络构成分布式系统成为主流。近年来，特别是随着中央处理器性能的飞速提高，个人计算机逐渐成为一般图像检测与处理的主流，其硬件系统结构如图2-1所示。图2-1图像检测与处理系统的硬件系统示意图

2.1成像器件

2.1.1CCD的工作原理和种类

CCD(ChargeCoupledDevice，电荷耦合器件)自1970年问世以来，以其低噪声等特点而被广泛地应用在微光电视摄像、信息存储和信息处理等方面。

1.CCD成像器件的工作原理

CCD的突出特点是以电荷作为信号，而不同于其它大多数器件是以电流或者电压为信号。CCD的基本功能是电荷的存储和电荷的转移，它存储由光或电激励产生的信号电荷，当对CCD施加特定时序的脉冲时，其存储的信号电荷便开始定向传输。CCD的工作过程主要包括信号电荷的产生、存储、传输和检测。CCD分为表面沟道和埋沟道两类，首先介绍表面沟道类型。

CCD是在MOS晶体管基础上发展起来的。其基本结构是在P型或N型硅单晶衬底上生成一层二氧化硅(SiO2)，然后顺序沉积n个金属电极或多晶硅电极作为栅极，于是每个电极与其下方的二氧化硅和半导体间构成金属氧化物半导体结构，即MOS结构，这种结构再加上输入输出就成为n位CCD。当电极上加有适当的正偏压(或负偏压)时，该电压形成的电场穿过二氧化硅薄层，并排斥P型(或N型)硅中的多数载流子，在二氧化硅和硅的界面的电极下，产生一个只含有少数载流子的势阱，所加的偏压越大，该势阱就越深。如果在栅极上施加按一定规律变化、超过阈值的电压，则在P型硅表面形成不同深浅的势阱，一方面可以存储信号电荷，另一方面可以把信号电荷沿半导体表面传递出去。按脉冲电压相数的不同，可把电极结构分为二相、三相和四相，下面以三相为例进行说明。图2-2是三相CCD时钟电压与电荷传输关系图。图2-2三相CCD时钟电压与电荷传输关系为了读出存放于CCD中的电子图像，在顺序排列的电极上加入交替升降的三相驱动时钟脉冲信号，该信号又称为寻址转移信号。三相驱动电压每作用一个周期，信号电荷就移动一位，不断重复此过程，这样可把信号电荷移出器件，这就是自扫描。依次类推，每经过一个时钟脉冲周期，电荷就完成转移一个像素的全过程。因此，三相时钟脉冲保证了电荷作定向转移，也可以认为CCD同时具有移位寄存器的功能。在CCD的末端连接反向偏置的PN结(二极管)来收集电荷，并经放大器放大后输出，就可获得图像信号。当CCD用于摄像时，光学图像通过光电变换变成电荷分布。这时，只有φ1是高电平，因此只有在φ1栅极下才形成深势阱，光电子才能注入到势阱中。这样，光学图像变成了电荷图像，并通过上述自扫描过程输出电信号。

在表面沟道器件中，信号电荷的存储和传输都在氧化层和P型半导体界面处进行，受表面态影响，转移速度和效率均比较低。埋沟道器件的特殊结构能够保证信号电荷在半导体内部传输，避免了表面态对信号的影响，并提高了转移效率，脉冲驱动频率可达100MHz，从而降低了噪声。图2-3是一种二维CCD传输结构图，它由光敏区、暂存区和水平移位寄存器组成。光敏区由并行排列的m个电荷耦合沟道组成，各个沟道间用沟阻隔开，使沟道内的电荷不能横向移动。水平驱动电极横贯各个沟道，每个沟道内有n个光敏元，因此整个光敏区有m×n个光敏元。暂存区的结构和单元数与光敏区相同，不过，暂存区和水平移位寄存器是避光的。当光敏区接收图像时，经一定时间，光敏区势阱内就积累了一定数量的信号电荷，在光敏区和暂存区各自的转移栅脉冲的作用下，电荷图像完整快速地移动到暂存区；紧接着，光敏区开始积累第二帧图像信号电荷，与此同时，暂存区的信号电荷在移位脉冲的作用下，一行一行地移至水平移位寄存器，并向外输出。第一帧信号输出完毕后，接着输出下一帧信号。图2-3二维CCD传输结构图

2.CCD的种类

CCD按结构分为面阵(AreaArrays)型CCD和线阵(LinearArrays)型CCD两类，两者的工作原理基本相同。

1)面阵型CCD

面阵型CCD可以在一次曝光中以任意的快门速度来捕捉动态对象，创建二维的影像，其主要应用在高阶数码相机、保安监视器和摄录像机等方面。

面阵型CCD图像传感器由感光区、信号存储区和输出转移部分组成。目前存在三种典型结构形式，如图2-4所示。图2-4面阵型CCD图像传感器结构

2)线型CCD

线型CCD是由排成一排的像素构成，并以扫描方式来获取图像。为了分别得到红、绿、蓝三种颜色的信息，需要扫描三次，每次对应一种颜色。线型CCD被广泛应用于扫描仪及复印机之类的处理静态图像的场合。线型CCD图像传感器由一列光敏元件与一列CCD并行且对应地构成一个主体，在它们之间设有一个转移控制栅，如图2-5(a)所示。在每一个光敏元件上都有一个梳状公共电极，并由一个P型沟阻实现绝缘。当入射光照射在光敏元件阵列上且梳状电极施加高电压时，光敏元件聚集光电荷，进行光积分。光电荷与光照强度及光积分时间成正比，当光积分时间结束时，转移控制栅上的电压升高(平时为低电压)，与CCD对应的电极也同时处于高电压状态。然后，降低梳状电极电压，各光敏元件中所积累的光电电荷并行地转移到移位寄存器中。转移完毕后，转移控制栅上的电压降低，梳状电极电压恢复到原来的高电压状态，准备下一次光积分周期。同时，在电荷耦合移位寄存器上加上时钟脉冲，将存储的电荷从CCD中转移并由输出端输出。这个过程重复进行就可得到相继的行输出，从而读出电荷图像。目前，实用的线型CCD图像传感器为双行结构，如图2-5(b)所示。单、双数光敏元件中的信号电荷分别转移到上、下方的移位寄存器中，然后，在控制脉冲的作用下，自左向右移动，在输出端交替合并输出，这样就形成了原来光敏信号电荷的顺序。

此外，还有一种线型CCD为三线结构，其成像敏感元排成三排，每一排对应一种颜色(红、绿、蓝)，当获取三基色信息时，不用扫描三次。这种CCD图像传感器还可以用在高端的数码相机上、影棚里那些商业静物广告的片子上等。这种CCD传感器具有很高的分辨率和色域。图2-5线型CCD图像传感器

3.CCD技术的发展及其应用

随着CCD技术的不断发展，相应的产品得到了广泛应用。例如，市面上大部分消费级别的数码相机都采用隔行输出CCD，其构造如图2-6所示。每行感光元件之间还设计了一行移位寄存器(ShiftRegister)，感光元件感光后将产生的电荷转移到移位寄存器中，然后逐次逐行读出，再将电荷转换成电压信号，经过放大和数模转换，最后成为数字信息。这种感光元件的优点在于感光和数据的读取可以同时进行，因而反应速度较快，连拍能力强，同时这种结构可以方便地采用由软件控制的电子快门方式来工作，而不需要机械快门。但是由于移位寄存器不能感光，也就减少了整个感光元件的有效感光面积(大概每个像素实际的感光面积只有该像素总面积的30%左右)，因而导致此类感光元件动态范围的减小。图2-6隔行输出CCD构造图

PSID是一种既具有较小像素面积又能获得高灵敏度和宽动态范围的高清晰固体摄像机。目前，200万像素1英寸光面制式的PSID已经研制成功，其器件总像素为1920(H)×1036(V)，像素尺寸为14.0(H)×7.8(V)mm，单元像素尺寸小，可达7.3(H)×7.6(V)μm，在整个可见光波长范围内的离子效率高达0.6×0.8，动态范围高达72dB。它完全适用于HDTV制式高分辨率的摄像。

CCD传感器具有高量子效应、优良的电荷传递性能、高占空因数、低噪声、小像素等优点，使其成为目前图像传感器采用的主要技术。迄今为止，CCD技术也是主要的实用化的固体图像传感技术，如数码相机中的图像传感器大多数以CCD为主。

CCD的最大问题是其经济性。CCD是采用特殊工艺生产的，其制造成本是相同功能的CMOS片的3倍。CCD的另一个问题是它不能和图像采集系统的其它功能部件，如时钟驱动、定时逻辑及信号处理等集成在一起，故难以实现单片一体化。2.1.2CMOS的工作原理和像素结构

CMOS(ComplementaryMetalOxideSemiconductor)中文译为互补金属氧化物半导体，它是计算机系统内一种重要的芯片，用于保存系统引导最基本的资料。有研究者发现，将CMOS加工后也可作为数码相机中的图像传感器，紧跟着就由XirLink公司于1999年首次推向市场，2000年5月，美国Omnivision公司又推出了新一代的CMOS芯片。CMOS传感器也可细分为被动式像素传感器(PassivePixelSensorCMOS)与主动式像素传感器(ActivePixelSensorCMOS)。

CMOS曾经被使用在数码相机上，但是与CCD相比信噪比较差，敏感度不够，因此没能占据主流位置。当然，CMOS也具备多种优点，普通CCD必须使用三个以上的电源电压，而CMOS在单一电源下就可以运作，而且耗电量小，与CCD产品相比，CMOS是标准工艺制作，可利用现有的半导体制造流水线，不需额外投资设备，且品质可随半导体技术的提升而进步，CMOS传感器的最大优势是售价比CCD便宜近1/3。

典型的CMOS图像传感器包括图像传感器核心、时序逻辑、单一时钟、芯片内的可编程功能、集成时间控制、A/D转换器。与CCD相比，CMOS图像传感器具有低功耗、空间占用少、总体价格低的优点，并且随着CMOS图像传感技术的发展，单芯片固态集成成像系统将成为可能。虽然在高档成像系统方面，CCD尚未受到CMOS的任何挑战，但目前，CMOS图像传感器可以在低档和中档成像系统方面与CCD相媲美。

1)工作原理

从技术角度分析成像原理，CMOS感受到的光线经光电转换后使电极带上负电和正电，这两个互补效应所产生的电信号(电流或者电压)被CMOS从一个个像素当中顺次提取至外部的A/D转换器上，最后再被处理芯片记录解读成影像。CMOS色彩还原原理与CCD有类似之处，也是通过彩色滤镜来实现的。

2)CMOS像素结构

COMS成像器件的像素电路分为无源像素型(PPS)和有源像素型(APS)。COMS像素结构主要有光电二极管型无源像素结构、光电二极管型有源像素结构和光栅型有源像素结构。

①光电二极管型无源像素结构。

②光电二极管型有源像素结构。

③光栅型有源像素结构。2.1.3PSD半导体位置敏感检出器

半导体位置敏感检出器(PositionSensitiveDetector，简称PSD)是一种对其感光面上入射光点位置敏感的光电器件，即当入射光点落在器件感光面的不同位置时，将对应输出不同的电信号，通过对此输出电信号的处理，可确定入射光点在器件感光面上的位置。

PSD为PIN三层结构。表面P层为感光面，两边各有一信号输出电极。底层的公共电极是用来加反偏电压的。PSD的基本结构仍为PN结结构，如图2-7所示，其工作原理基于横向光电效应。图2-7PSD传感器原理当入射光点照射到PSD光敏面上的某一点时，会在PN结建立一个横向电场。假设产生的总的光生电流为I0，由于在入射光点到信号电极间存在横向电势，若在两个信号电极处接上负载电阻，则光电流将分别流向两个信号电极，即可从信号电极上分别得到光电流I1和I2。显然，I1和I2之和等于总的光生电流I0，而I1和I2的分流关系取决于入射光点位置与两个信号电极之间的等效电阻R1和R2，R1和R2的值又取决于入射光点的位置。假设负载电阻R的值相对于R1和R2可以忽略，L为PSD中点到信号电极间的距离，x为入射光点距PSD中点的距离，则

(2.1.1)(2.1.2)因此，我们可以用数字存储示波器直接对PSD的电流差信号进行测量。根据PSD的工作原理，PSD的电流差信号是随着被测单位移动的幅度而变化的。数字存储示波器能够实时读取驱动信号的频率和PSD信号的幅值，并能对PSD的输出信号进行实时频谱分析。另外，我们若将两个信号电极的输出电流检出后作如下处理：(2.1.3)则得到的结果只与入射光点的位置坐标x有关，而与入射光强度无关，此时，PSD就成为仅对入射光点位置敏感的器件。PSD提供给我们的是电流信号，为了得到只和幅值相关的信号，可以使用前置放大(光电流/电压转换)、加法器、减法器及除法器等环节来实现，然后使用A/D卡进行采样。和CCD等非连续(分割式)探测器相比，PSD的位置分辨率较高。PSD器件有一维和二维之分，一维PSD用于一维位置检测，二维PSD用于二维位置检测。二维PSD的原理如图2-8所示，a，b极用于检测x方向，a′，b′极用于检测y方向。二维PSD还分为表面分割型和两面分割型，后者的分辨率更高。

PSD主要用在相机的自动对焦及光学测量等领域，可以用在机械加工的定位装置，还可作为机器人的眼睛等。图2-8二维PSD传感器2.1.4摄像管

摄像管主要利用了光电靶的作用和电子束的扫描来实现光电转换。光电靶的作用是将光学图像变成电子图像，然后通过电子束的扫描变成电信号。图2-9光电靶结构光电靶的结构如图2-9所示。摄像管的种类很多，应用较广的是光电导管。摄像管是一种电真空器件，在其圆柱形玻璃外壳内主要包含了光电靶和电子枪两个部分；在玻璃外壳外有偏转线圈、聚焦线圈和校正线圈。电子枪的作用是产生一束聚焦很细的电子束，射向光电靶，在外加偏转磁场的作用下扫描光电靶上的电图像，形成图像信号电流输出。电子枪由罩在真空玻璃管内的灯丝、阴极、控制栅极、加速极、聚焦极、网电极等组成，如图2-10所示。图2-10摄像管结构原理图光电靶中的光敏材料在无光照时具有极高的电阻率，受光照以后电阻率会下降，而且电阻率的变化与光通量成正比。于是，当被摄的光学景物成像于光电靶上时，由于光学图像各部分的亮度不同，靶面上各处的电阻率也不同，图像亮处电阻小，图像暗处电阻大，这样就在靶面上形成了一幅与被摄光学图像明暗分布相对应的电阻大小的分布图案，即电子图像。

管外的聚焦线圈用来对电子束进行聚焦，使电子束不致沿径向分散，从而保证摄像管有较高的分解力。偏转线圈有两对，分别用来产生水平偏转磁场和垂直偏转磁场，使管内的电子束在前进过程中实现水平和垂直方向的扫描。校正线圈的作用是将电子束校正到沿管轴方向运动。摄像管进行光电转换的基本工作原理如图2-11所示。当电子束沿水平方向在靶上一行一行地扫描时，相当于将靶面分解成许许多多彼此独立的靶单元，也就是像素单元。每个靶单元等效于一个光敏电阻R和一个电容C的并联。当电子束扫描到一个靶单元时，相当于将这一单元与电子枪的阴极接通，于是，信号板、靶单元、阴极、靶电源及负载电阻就构成了一个闭合回路。摄像时，外界的光学景物通过摄像机的光学镜头成像于光电靶上，形成一幅电子图像。当电子束按一定顺序在靶面上扫描时，就会轮流接通各个靶单元，形成闭合回路。于是，对应于图像上的亮点，靶单元的等效电阻小，电子束扫描此单元时，在回路中产生的电流大，在负载RL上产生的压降就大，输出电压就小；反之，对应于图像上的暗点，靶单元的等效电阻大，电子束扫描此单元时，在回路中产生的电流小，在负载RL上产生的压降就小，输出电压就大。这样一来，输出信号电压的变化完全反映了图像亮暗的变化，这一信号就称为图像信号。于是就完成了将电子图像转换成电信号的过程。图2-11摄像管光电转换基本工作原理图2.1.5自扫描光电二极管阵列

自扫描光电二极管阵列(SelfScannedPhotodiodeArray，SSPA)又被称为MOS型图像探测器，它的自扫描电路由MOS移动寄存器构成。根据像元的排列形状不同，SSPA又分为线阵列和面阵列。线阵列如不另加扫描机构，则只能对一维的光强分布进行光电转换。但由于其成本低，且许多被测对象本身就在运动之中，自然形成了一维扫描，故在机器视觉检测方面被大量采用。面阵列则可以直接对二维图像进行光电转换。光电二极管光敏面积较小时，在一般强度的光照射下，产生的光电流很微弱，要读取图像信号，就要求光电流放大器的倍率很高；此外，把光电二极管做成阵列形式时，布线也比较困难。在自扫描光电二极管阵列中，采用电荷存储方式可以获得较高的增益，并能克服布线困难的问题。

与CCD相比，SSPA的量子效率高，每位信号独立输出，相互干扰小。但这种图像传感器存在开关噪声大、视频线输出电容大、信号衰减大及成本较高等缺点。

2.2图像采集系统

2.2.1系统的基本组成

建立一套图像采集系统必备的设备有：图像采集硬件、驱动软件和应用软件。硬件可提供图像捕获、定时和控制功能；驱动软件通过一个标准的API接口对硬件进行控制；应用软件可以将硬件和驱动软件结合到特定应用的解决方案中，并大大缩短开发时间。

从硬件上讲，图像采集系统的原理如图2-12所示，它可以分成照明系统、同步系统、扫描系统、光电转换系统、A/D转换系统五个部分。图2-12图像采集系统原理框图同步系统提供整个图像采集系统的时钟同步信号，以使系统中的所有部件同步动作。照明系统提供光源照射被采集对象(景物)，为光电转换系统提供足够亮度的光强度信号。扫描系统是图像采集系统的固有部分，它通过对整幅图像的扫描实现被采样图像空间坐标的离散化，并获得每一个采样点的光强度值。扫描系统采用机械手段、电子束或者集成电路来完成。光电转换系统负责把扫描系统输出的与采样点属性对应的光信号转换为电信号，并提供必要的放大处理以与A/D转换系统相匹配。从光电转换系统输出的电信号进入A/D转换系统，经过采样/保持、A/D转换后，以数字信号形式输出，供存储、显示、传输和其它处理。2.2.2光源及照明系统

光源是影响机器视觉系统输入的重要因素，因为它直接影响输入数据的质量和至少30%的应用效果。由于没有通用的机器视觉照明设备，因而针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。许多工业用的机器视觉系统以可见光作为光源，这主要是因为可见光容易获得，价格低，并且便于操作。常用的几种可见光源是白炽灯、日光灯、水银灯和钠光灯。但是，这些光源的最大缺点是光能不能保持稳定。以日光灯为例，在使用的第一个100小时内，光能将下降15%，随着使用时间的增加，光能将不断下降。因此，如何使光能在一定程度上保持稳定，是实用化过程中亟需解决的问题。另一个方面，环境光将改变这些光源照射到物体上的总光能，使输出的图像数据存在噪声，一般采用加防护屏的方法来减少环境光的影响。由于存在上述问题，在现今的工业应用中，对于某些要求高的检测任务，常采用X射线、超声波等不可见光作为光源。由光源构成的照明系统按其照射方法可分为背面照明、正面照明、结构光和频闪光照明等。其中，背面照明是将被测物放在光源和相机之间，它的优点是能获得高对比度的图像，如图2-13(a)所示；正面照明是将光源和相机位于被测物的同侧，如图2-13(b)所示，这种方式便于安装；结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息；频闪光照明是将高频率的光脉冲照射到物体上，要求相机的扫描速度与光源的频闪速度同步。图2-13照明方式示意图2.2.3光学系统

对于机器视觉系统来说，图像是惟一的信息来源，而图像的质量是由光学系统的恰当选择来决定的。通常，由于图像质量差引起的误差不能直接用软件来纠正，因而采用机器视觉技术，把光学部件和成像电子系统结合在一起，并通过计算机控制系统来对正在通过自动处理系统的对象进行分辨、测量、分类和探测，以即时修正偏差，改善图像质量。机器视觉系统的速度通常能快到100%地探测所处理的对象而不会降低生产线的速度。由于越来越多的制造商需要“6Sigma”(小于百万分之三的有效单位)结果，以便能够在当今质量意识很强的市场中更有竞争力，这种能力显得非常重要。另外，这些系统能够与满意过程控制非常理想地配合。图2-14为三CCD彩色摄像光学系统组成示意图，对象物反射的光通过透镜和光学低通滤波器之后由棱镜把光分为RGB三原色，再由三个CCD图像传感器把红、绿、蓝的光学信号变换为相应的电信号。光学系统的主要参数与图像传感器的光敏面的光学格式有关，一般包括：光圈、视场、焦距、F数(光圈系数)等。图2-14三CCD彩色摄像光学系统组成2.2.4A/D转换、存储和显示

模/数转换器(AnalogDigitalConverter，ADC，A/D转换器)是将模拟电信号转换为数字电信号的器件。A/D转换器的主要指标是转换速度和量化精度。

转换速度是指将模拟信号转换为数字信号所用的时间，由于高分辨率图像的像素数量庞大，因此对转换速度要求很高，当然高速芯片的价格也相应较高。量化精度是指可以将模拟信号分成多少个等级。如果说CCD是将实际景物在X和Y的方向上量化为若干像素，那么A/D转换器则是将每一个像素的亮度或色彩值量化为若干个等级。这个等级在数码相机中叫做色彩深度。数码相机的技术指标中无一例外地给出了色彩深度值，那么色彩深度对拍摄的效果有怎样的影响呢？其实色彩深度就是色彩位数，它以二进制的位(bit)为单位，用位的多少表示色彩数的多少。常见的有24位、30位和36位。具体来说，一般中低档数码相机中每种基色采用8位或10位表示，高档相机采用12位。三种基色红、绿、蓝总的色彩深度为基色位数乘以3，即8×3=24位、10×3=30位或12×3=36位。数码相机色彩深度反映了数码相机能正确表示色彩的多少。以24位为例，三基色(红、绿、蓝)各占8位二进制数，也就是说红色可以分为28=256个不同的等级，绿色和蓝色也是一样，那么它们的组合为256×256×256=16777216，即1600万种颜色，而30位可以表示10亿种颜色，36位可以表示680亿种颜色。色彩深度值越高，就越能真实地还原色彩。2.2.5机械扫描装置

图2-15显示了用于图像扫描的机械方法，这里的关键机械部件是滚筒和丝杠。一张照片(图像)被部分或全部地卷曲在滚筒表面，滚筒旋转以使图像经过一个固定的孔，形成一个方向上的扫描。扫描孔可以被固定在丝杠上，滚筒与丝杠被组合形成一个二维图像扫描器。如果丝杠连续转动而不是采用步进方式，那么扫描将是螺线型的，但通常可作为直线型扫描的适当近似。

诸如此类的机械扫描装置，其工作速度容易受到限制，但用于大幅图像时，能以相对较低的成本提供良好的几何稳定性。图2-15机械扫描装置2.2.6实际的图像输入设备

1)数码相机

数码相机是由镜头、CCD、ADC(模数转换器)、MPU(微处理器)、内置存储器、LCD(液晶显示器)、PC卡(可移动存储器)和接口(计算机接口、电视机接口)等部分组成的。它是一种能够进行拍摄，并通过内部处理把拍摄到的景物转换成以数字格式存放图像的特殊照相机。与普通相机不同，传统相机是利用胶片，而数码相机主要是靠感光芯片及记忆卡。而且，数码相机可以直接连接到计算机、电视机或者打印机上。相对于传统相机而言，数码相机具有许多优点：数码相机不需要用化学药品冲洗胶卷，对环境无污染；不需要在暗室中进行加工处理；拍摄后可直接连接到计算机上观看检查，图像与文字可联机编辑，图文并茂，形式多样；拍摄图像可随时处理，多样、快捷、精确，按需复印，可保存性好；拍摄图像可通过数字电路直接进行远距离传输，省时快速；形像呈现方式多种多样，得到照片的方式也多种多样。但是，数码相机的缺点主要表现在拍摄过程中感光延迟时间比传统相机要长，数字摄影价格高，数码相机质量良莠不齐等。分辨率是数码相机最重要的性能指标之一，它的高低决定了相机扫描精度。数码相机的分辨率用PPI(PixelPerInch)表示，它表示每英寸所具有的采集像素的数目。PPI的值越大，扫描精度就越高。数码相机的另一种最高像素量的表示方法是756×504像素、2036×3060像素等。就同类数码相机而言，分辨率越高，相机档次越高，产生图像的数据量就越大，所需的存储空间也越大。

2)摄像机

摄像机是一种常用的图像、视频输入设备，具有输入速度快、灵敏度高、图像质量高、价格适中和使用方便等优点，并且可以面向照片、胶片、场景等多种对象，因而倍受广大用户的青睐。

摄像机通常由镜头、摄像器件、同步信号发生电路、偏转电路、放大电路、电源等部分组成，如图2-16所示。来自被摄物体的光通过光学系统经由摄像器件形成光学图像，放大后变成视频信号进行记录或输出。图2-16摄像机逻辑结构图按照摄像机记录信号的类型，可以把摄像机分为模拟摄像机和数字摄像机两大类。模拟摄像机以模拟信号的形式把图像和视频信号记录在底片、胶片、干板等介质上，要对它们进行数字处理，必须先通过图像和视频采集系统转换成数字信号再输入到计算机中；数字摄像机直接以数字信号的形式记录和存储图像和视频信号，可以直接通过与计算机的接口输入计算机中进行处理，而无需其它的转换。

从摄像器件的组成出发，可以将摄像机分成电子管摄像机和固体器件摄像机两类。电子管摄像机可以进一步细分为外光电效应摄像机和内光电效应摄像机。固体器件摄像机根据器件的不同分为CCD固体器件摄像机和BBD(BucketBrigadeDevice)固体器件摄像机。外光电效应摄像机目前几乎己不再使用，内光电效应摄像机应用则比较广泛，CCD固体器件摄像机由于耗电低、使用寿命长、可靠性高而得到了充分的重视。随着通信技术及数字化的进展，数字摄像机已经出现并迅速发展，数字摄像机正在逐步取代模拟摄像机。数字摄像机的种类较多，常见的有三类。第一类是输出ITU-R601标准数字视频的数字摄像机，这类摄像机输出的数字视频质量很高，但其价格昂贵，一般用于新闻宣传、电视演播室等；第二类数字摄像机输出的是经压缩的数字视频，通常它们体积较小，价格便宜，这类数字摄像机应用较为广泛；第三类是简易型的数字摄像头，主要用于要求不高的办公室环境等。最具代表性的数字摄像机是DV标准的数字摄像机(简称DV)。DV摄像机通过CCD转换光信号得到视频信号，然后进行A/D转换变成数字视频信号，再经过数字信号处理、数据压缩，最终输出经压缩的数字视频信号。DV输出的图像质量较高，水平清晰度可达500线。DV摄像机具有DV/IEEE1394输出接口，这是一种和PC相连的接口协议。在PC上加入DV输入/输出接口卡，就可以和DV摄像机方便地进行信息交互。

简易的数字摄像头也可以直接输出数字视频信号，并且具有USB接口，可以方便地和PC相连，直接为计算机提供实时的图像信号，而且其成本低，使用方便，不需要采集卡，非常适合于办公室场合使用。最新的数字摄像机还可以直接将视频信号压缩成MPEG-1，MPEG-2，H263等视频格式，并且可以封装成符合TCP/IP协议的数据流。从本质上讲，这类摄像机本身就是一台图像通信设备，更加方便了用户对图像信息的传输。

3)扫描仪

扫描仪诞生于20世纪80年代中期，是计算机系统中一种较为流行的静态图形、图像输入设备。扫描仪内部具有一套光电转换系统，可以把各种图片信息转换成图像数据，并传送给计算机，再由计算机进行图像处理、编辑、存储、打印输出或传送给其它设备。其工作过程如下：①扫描仪的光源发出均匀光线照射到图像表面；②经过A/D转换，把当前“扫描线”的图像转换成电平信号；③步进电机驱动扫描头移动，读取下一次图像数据；④经过扫描仪CPU处理后，图像数据暂存在缓冲器中，为输入计算机做好准备工作；⑤按照先后顺序把图像数据传输至计算机并储存起来。按扫描原理可将扫描仪分为以CCD(电荷耦合器件)为核心的平板式扫描仪、手持式扫描仪和以光电倍增管为核心的滚筒式扫描仪；按色彩方式分为灰度扫描仪和彩色扫描仪；按扫描图稿的介质分为反射式(纸质材料)扫描仪、透射式(胶片)扫描仪以及既可扫描反射稿又可扫描透射稿的多用途扫描仪。

手持式扫描仪体积较小、重量轻、携带方便，但扫描精度较低，扫描质量较差。平板式扫描仪是市场上的主力军，主要产品为A3和A4幅面扫描仪，其中又以A4幅面的扫描仪用途最广、功能最强、种类最多，分辨率通常为600~1200dpi，高的可达2400dpi，色彩数一般为30位，高的可达36位。其扫描过程是将原图放置在一块干净的有机玻璃平板上，原图不动，而光源系统(CCD)通过一个传动机构水平移动，发射出的光线照射在原图上，经反射或透射后，由接收系统接收并生成模拟信号，通过ADC转换成数字信号后，直接传送至计算机，由后者进行相应的处理，完成扫描过程。平板扫描仪的优点是占地面积小及售价低廉。滚筒式扫描仪一般用于大幅面图像扫描，如大幅面工程图纸的输入，它通过滚筒带动图像旋转和扫描头产生相对位移来实现扫描。工作过程是把原图贴放在一个干净的有机玻璃滚筒上，让滚筒以一定的速率(通常是300～1500r/min)围绕一个光电系统(常称为“探头”)旋转。探头中有一个亮光源，发射出的光线通过细小的锥形光圈照射在原图上，逐个像素进行采样。如果原图采用的是反射型介质(如不透明的纸张等)，那么探头从滚筒的外面照射，反射回来的光线通过一套分光滤色系统将其分成RGB三束光，再由接收系统接收并生成模拟信号。如果原图是透射型介质(如幻灯片、投影用的胶片等)，那么探头是从滚筒的内部照射，接收系统接收的是透射光。生成的模拟信号由A/D转换器将该模拟信号转换成数字信号，通过滚筒式扫描仪内的单板机处理后，将信号传送给计算机，完成扫描过程。由于滚筒式扫描仪的结构特殊，其优点非常明显：光学分辨率很高(2500～8000dpi)、高色深(30～48bit)、很宽的动态范围、能处理大幅面的图像、速度快、生产率高。滚筒式扫描仪输出的图像普遍具有色彩还原逼真、阴影区细节丰富及放大效果优秀等特点。当然，它的缺点也显而易见：占地面积大、造价非常昂贵(是平板扫描仪的5～50倍)、市场上很少见到。

扫描仪一般都配有相应的软件，这些软件可用来选择扫描时的工作参数。如扫描区域、对比度、分辨率、图像深度等。此外，有些扫描仪的配套软件还具有平滑、放大、缩小、旋转、编辑等功能。

4)电脑眼

电脑眼主要用于家庭娱乐。由于它摄像质量差，摄入的画面距离近，加之经它采集到的图像信息信号弱、衰减大，因此它的传输能力很差，通常传输距离不超过15米，此种摄像头不能用于工业现场。2.2.7计算机图像采集系统

图像处理的最基本工作是图像采集完成信号的A/D转换，并进行计算机图像存储。图像采集一般由图像采集卡完成，图像采集卡要求衰减低、噪声小、精度高(≥512×512)，尽可能降低A/D转换过程中噪声信号的干扰和有用信息的丢失。这里所讲的图像采集卡，专指那些将已生成的模拟图像信号转换成数字图像信号后输入计算机的设备，也称做图像捕获卡。数字图像信号在输入计算机时不需要使用图像采集卡来进行转换。图像采集卡一般以计算机中一块插卡的形式出现，通常插于计算机的PCI插槽或ISA插槽中。图像采集卡加上配套的软件，就构成一个视频信号处理平台，它可以对输入的模拟图像信号进行捕捉、数字化、定格、存储、输出等多种操作。图像采集卡有多种类型，从图像的活动性来分，可以分为静止图像采集卡和活动图像采集卡；从转换的数字图像质量来分，可以分为普通质量的图像采集卡和高质量的图像采集卡，普通质量的图像采集卡一般每通道颜色深度不超过8bit，而高质量的图像采集卡一般每通道颜色深度达到10bit以上；从应用场合来分，可以分为采集普通场景的通用采集卡和应用于专用领域的专用采集卡，如用于显微图像的采集卡、医学图像采集卡、遥感图像采集卡、天体图像采集卡等。个人应用最多的是通用活动图像采集卡，也称做视频采集卡(VideoCaptureCard)。它的主要功能是从输入的活动图像中实时捕捉一段时间的动态图像，将其转换成数字信号，并以文件的形式存储于硬盘中，以便进行后期的处理。一般来说，视频采集卡捕捉外部输入的连续图像，但不做其它处理。它可以将摄像机、录像机或影碟机中的模拟视频信号录入到计算机内部，也可以通过摄像机将现场实时录像录入到计算机中。

部分视频采集卡还带有用于视频处理的专用芯片，可以进行视频信号的实时压缩等处理，如VideoBlasterFS200视频采集卡等，这些专用芯片的核心部分是高速DSP芯片。视频采集卡采集的图像，PAL制式为每秒25帧，NTSC制式为每秒30帧。视频采集以后以AVI、MPEG或非压缩视频的格式存储在硬盘中。一般的视频采集卡都支持NTSC、PAL视频标准，并可以同时输入2~4个标准的视频以便切换选择。部分视频采集卡还可以提供S-Video信号输入，以提高输入图像的质量。视频采集卡往往提供单幅图像文件的读/写，支持的图像文件格式包括BMP、GIF、JPEG、PCX、MPEG-1等。

视频采集卡的性能优劣直接影响图像处理的质量，衡量一块视频采集卡的性能，可以从数字化速度、采样分辨率、数字化精度、视频制式、查找表及帧存储容量等几个方面进行比较。

2.3实时图像处理系统

2.3.1传统图像处理系统存在的问题

传统图像处理算法主要是应用传统的图像增强、图像分割、特征提取等技术，但识别效果是有限的，对于图像背景比较复杂的情况就很难正确识别，无法提供线性相位，从而不可避免图像的边缘变形和重影问题，并且产生了由于块传输错误导致的图像倾斜及方块效应。因此，必须采取有效的技术手段来克服这一系列问题。2.3.2图像并行处理的原理和实现方法

图像处理正日益成为一门应用广泛、内容丰富的综合性学科。就目前的实际应用情况而言，它在很大程度上主要依赖于两个性质不同但又自成体系的研究领域，即算法和处理器结构，特别是超大规模集成电路(VLSI)技术来实现的处理器结构。未来的图像处理，尤其在高度并行处理方面的进展，将更依赖于在这两个重要领域之间建立富有成效的联系。在图像处理和数值计算领域，许多任务要求有非常高的指令吞吐率。低层次的图像处理一般要求每秒108~1010条指令的计算吞吐量。如此高的速率在常规的计算机(冯·诺依曼结构)上是无法实现的。仔细分析一些图像处理算法后发现，同一指令序列实质上以一种可分解的方式，对整幅图像的各个像素逐个地、有规律地重复使用。这种固有的并行度对于极大地提高计算吞吐率十分有效。单指令多数据流(SIMD)结构已经取得了很大成功，但必须采用新兴的VLSI技术，才能使它成为既廉价又紧凑的实用系统。矩形图像和数据处理机(GRID)就是这样一种VLSI系统。2.3.3基于DSP的图像处理系统

实时图像处理技术在目标跟踪、机器人导航、辅助驾驶、智能交通监控中都得到越来越多的应用。由于图像处理的数据量大，数据处理相关性高，实时的应用环境决定严格的帧、场时间限制，因此实时图像处理系统必须具有强大的运算能力。各种高性能DSP不仅可以满足在运算性能方面的需要，而且由于DSP的可编程性，还可以在硬件一级获得系统设计的极大灵活性。例如，为了获得足够的计算能力，采用两片或多片DSP芯片作为系统的运算中心来构筑实时图像处理系统；为了获取最大的灵活性，在系统体系机构上采用一种可重构的FPGA计算系统模型来提高计算机的处理能力。其中，TMS320C6x系列芯片就是目前使用较多的一种芯片。

1.功能强大的TMS320C6x

TMS320C6x系列DSP是TI公司TMS320家族中最新推出的产品之一。由于采用一种高性能的先进VLIW(VeryLongInstructionWord，超长指令字)的VelociTITM体系结构，因此可以更好地应用在一些多通道多功能的系统中。

TMS320C6x系列的DSP芯片结构不同于一般的DSP，属于类RISC结构，从而使它的C编译器具有很高的效率，因此称之为面向C语言结构的DSP芯片。这使得其在绝大多数应用中，可以采用C语言来编写TMS320C6x程序，从而充分利用了大量用C语言描述的算法程序，并获得远胜于传统DSP程序的可维护性、可移植性及可继承性，有效地缩短了开发周期。

2.FPGA计算系统模型

FPGA是20世纪80年代后期出现的新型的大规模可编程器件，由逻辑单元和互连线网络两部分组成，两者均可编程。逻辑单元能完成一些基本操作。逻辑单元经互连线网络互连，通过对基本逻辑块和互连线网络编程，可以实现非常复杂的逻辑功能。由于FPGA是基于SRAM结构的器件，所有的可编程逻辑加载在芯片内部的SRAM上，因此可以通过一定的步骤在系统运行时进行编程来改变该器件的功能，从而实现更大的灵活性。在通常的并行系统设计中，微处理器在空间维上是固定的，在时间维上是可变的；而连接的专用芯片在空间维和时间维上都是固定的。这样的系统往往只能适用于特定应用场合下的特定算法。为了使系统具有更加优良的性能和灵活性，随着可编程器件FPGA应用的深入，出现了一种新的通用处理模块结构的FPGA计算系统结构。

图2-17给出了抽象的FPGA计算系统模型，该模型由微处理器、FPGA以及存储器三部分来构成系统的核心。FPGA计算系统就是充分利用FPGA的高集成度和硬件可编程性，在系统中用FPGA实现必要模块(如微处理器和存储器等)之外的其它逻辑和硬件互连，从而使系统具有空间上的可编程性。系统的空间可编程性是FPGA计算系统引入的新特征。图2-17FPGA系统模型

3.基于FPGA计算系统模型的双DSP实时图像处理系统

为了尽可能地获得高性能，有研究者提出以两个TMS320C62x为中央处理核心构成双DSP处理系统，由FPGA实现系统互连。双TMS320C62x系统分为处理器模块、FPGA组模块和各总线接口模块等，如图2-18所示。图2-18双TMS320C62x系统结构2.3.4基于计算机的图像并行处理系统

数字图像处理分为两个层次：低层处理和高层处理。低层处理也称为图像预处理；高层处理则称为图像识别、图像理解或计算机视觉，属于人工智能(AI)领域。图像预处理和图像识别之间的界限是不明显的，然而，组合的数据结构可作为一个标准对它们进行区分。低层图像处理通常把一种图像数据转换成另外一种图像数据(如对比度增强、噪声缩减)或者计算输入图像的简单特征(如轮廓、直方图和变换等)。在低层处理中，图像内容的理解是不相关的。仅仅在图像识别中，才试图将预处理图像的数据解释为目标识别。因为在所有层次的图像处理中都有大量的数据要处理，所以对计算能力和处理时间要求很高。一幅具有1024×1024像素且每种颜色(即红、绿、蓝)用8位颜色分辨率表示的彩色图像需要3MB存储空间。然而，当多个处理器能够有效利用，即图像数据进行并行处理时，能够大大减少处理时间，对于低层图像处理更是如此。例如，当基于像素级处理时，理想的情况是每一个像素与某一个处理器相对应；又如，简单的图像运算一般是高度重复且仅局部相关，滤波运算常常对所有像素进行相同运算，而且处理的顺序是任意的。这样的处理实际上可以通过对每个像素执行相同的指令来并行实现，即通过每个处理器执行相同的指令来并行实现。由于每一个元素运算在每个处理器上并行执行，不需要对处理器间的任务进行同步，因此这种处理称为同步并行。并行图像处理一般分成三种模型：流水线处理、异步并行处理和同步或数据并行处理。异步并行处理计算机称为MIMD(MultipleInstructionMultipleData，多指令流、多数据流)系统，而同步并行处理计算机被称为系统或数据并行系统。在异步并行系统中，每个处理器有自己的控制流，执行自己的程序。在数据并行系统中，所有处理器或都从中央控制处理机接收命令，所有处理器在相同时间对可能是不同的局部数据执行相同的命令，或处于停止状态。因此，在数据并行系统中，只有一个连续的控制流而没有独立的异步处理，这就使编程简化了许多。因为所有PEs是同步运行的，即所有的PEs在每一步或多或少被同步，所以对于信导监视器或消息传送等过程来说，无需进行大量的、易出错的同步处理。此外，一个SIMD系统的PEs比一台MIMD计算机的处理器设计要简单。MIMD计算机的每个处理器需要完整的命令-译码逻辑电路，这就意味着一个SIMD系统的处理元(SIMD-PEs)比MIMD处理器占用的芯片空间少得多，而且能以非常高的集成度集成。同样地，设计SIMD系统可能要用大量的(低档)处理器，比MIMD系统使用的处理器多得多。

大规模并行性的表示方式与一台并行计算机中使用的处理器的数量有关，可以把一个大规模并行系统理解为一个具有1000个或更多处理器的并行系统。目前这样的集成化程度仅能在数据并行系统中实现。与经典的异步并行处理相比，这样的大规模并行性需要新的程序设计技术和不同的算法。大规模并行性在图像处理中具有特别的优势——一个处理器可被每个像素所用。如果像素的数目超过了现有的实际处理器数目，就可以用虚拟处理元，虚拟处理元的概念与虚拟存储器的概念类似。这种新观点开辟了许多新的可能性，并在许多情况下简化了图像处理算法。一个(局部的)图像运算可以通过每个处理元的并行计算来实现，且每一个处理元独立于其它处理元，所需的数据来自于它自身的像素值及与它相邻的那些像素(也即相邻PEs)的值。所有PEs执行相同的运算，而没必要使各处理器同步。这种方法显然比用异步并行计算机系统的类似方法要容易。在异步并行计算机系统中，图像必须被分成几个块(Sections，或称为数据片Tiles)并由各个单独的异步处理器来处理，接着每一个处理器对其数据片中的每一个像素按序循环处理。然而，问题出现在所处理的每个数据片的边缘处，相邻数据片的图像数据要求存储在局部邻域内不同的处理器上。为了解决这个问题，必须适当地重叠相邻的数据片，或者必须通过处理器之间的数据交换来实现复杂的同步过程。当所有被处理的图像块必须重新组合成一个新图像时，在图像运算的最后阶段显然需要这样的同步过程。由于异步并行系统数据交换比算术运算(如加法运算)费时数万倍，所以应当在程序中尽可能少使用。而在数据并行系统中情况就不同了，一次局部数据交换运算(在一个快速网格网络上)与一个单独的算术运算所需的时间相同，因此这样的运算可以频繁使用。数据并行系统与同步并行模型相对应，如图2-19所示。中央控制器是一个连接有外部设备的标准的顺序型计算机(SISD，SingleInstructionSingleData，单指令流、单数据流)。PEs不执行自身的程序，而是接受来自控制器的指令。由于PEs自身不包含指令译码器，因此它们不是完整的处理器，它们依赖于带有局部存储器和通信通道的ALUs(算术逻辑单元)。数据并行模型的限制带来了这种简化，即在任何时候，PEs只能执行相同的命令，它们要么根据由控制器发送的命令来处理其局部数据，要么处于暂停状态，因此每一个并行选择必须分成两步。图2-19数据并行系统模型

1.并行处理器阵列的实现

GRID处理机系统的结构是一个并行处理器阵列。处理单元(PEs)组成的矩形阵列处于公共的控制状态下，所有的PEs对存储在各存储器中的不同数据项同时执行同一种运算，每个处理器与其最邻近的处理器互相连接，因此，每个PEs能从其附近的处理器中存取数据。微程序阵列控制器向处理器阵列传送输入/输出数据及指令，并进行排序。整个并行处理系统由两个不同的处理机组成，一个是微计算机，另一个是由处理器芯片阵列构成的GRID处理机。无论是否需要并行结构，微计算机总是通过执行高级语言向GRID传送控制命令，把阵列机作为它的协处理机来使用。系统硬件主要集中在处理机阵列，专用的VSLI的GRID处理机芯片可以经济而紧凑地实现这种阵列。采用双层金属2.5μm的COMS工艺，每个处理机芯片可以容纳5万多个晶体管，最高时钟频率为10MHz。如果将它们排列成由64个位串行处理单元构成的矩形阵列，那么在GRID的64个处理器芯片中，每个PEs能包括64个寄存器，并且具有一个必要的与各个芯片互连的电路系统，因此可以形成一个紧凑的、高性能的阵列处理机。

2.数据总线结构

GRID处理机芯片与阵列控制器之间最直接的数据传送通道是“X总线”和“Y总线”，它们沿着阵列的两个轴线方向，与各个PEs的每行(X)和每列(Y)都有线路相连。行和列分别由启动X总线和Y总线的PEs寻址线路来选择。总线由阵列控制器通过启动整个芯片来向芯片上各行和各列传送数据，而不是一行一列地传送。这种能力对于矩阵转置及矩阵乘法都非常有用。

3.图像并行处理方式

图像并行处理的方式有直方图法、窗口映射法及棱锥型映射法等。

①直方图法：该方法是一个频繁使用的图像处理算子，它常用于灰度级统计或者计算周边像素的数量。

②窗口映射法：用这种方法，阵列可以逐步扫描整个图像，图像的窗口区域(大小与阵列相同)存储在外部存储器中。

③棱锥型映射法：此法把一个p×p的图像窗口存放在每个PEs的外存储器中，从而克服了窗口法的缺陷。

2.4序列图像的获取

2.4.1多路视频的采集与监控

多路视频的采集是指用一块视频采集卡来采集多个摄像头摄入的图像信号。在这种工作方式下，需要用到多频卡这种硬件设备，该设备分为内置式和外置式。内置式可以插入到计算机主板的插槽中进行工作；而外置式则是一个独立的硬件设备。不论是内置式还是外置式，它们完成的功能都一样，即对多个摄像头摄入的图像信号进行多路分时选通，即在某一时刻只能从多路输入中选择一路图像信号进行输出。在使用“组态王”的视频控件时，可以使用该控件对多频卡的选通进行直接控制；而对于外置式，则需要用计算机的串口和多频卡进行通讯(前提是该多频卡支持串口通信)控制，在这种情况下需要为它的选通控制开发相应的驱动程序。

视频分割器是一个外置的独立性视频设备，主要用于多路视频的矩阵排列和视频合成。视频监控系统的作用是将多个摄像头处理的图像信号转化为一路图像信号后送给视频采集卡进行处理，从而实现在计算机的一幅画面上同时监控多个场景。视频分割器也分为内置式和外置式，内置式在市面上很少见，市面上多为外置式。视频分割器有4画面、9画面、16画面之分。云台是一种可以全方位转动的电动设备，多用在视频监控工程中。摄像头可以固定在云台上，实现全视角和多角度的摄像。云台的控制是由云台控制器来实现的，一个云台控制器可以同时控制多个云台。云台控制器也分为内置式和外置式，内置式可以插到计算机主板的插槽中工作。当使用“组态王”的视频控件时，可以通过该控件向云台控制器发送控制码以实现对云台的控制。而外置式的云台控制器，则需要用计算机的串口和云台控制器进行通信(前提是该云台控制器支持串口通行)控制，在这种情况下需要为云台的控制开发相应的驱动程序。2.4.2运动物体跟踪拍摄

运动物体跟踪拍摄即运动捕捉(MotionCapture)，该技术已经开始应用于数码电影的制作领域。目前，运动捕捉主要包括机械运动捕捉、磁场运动捕捉和光学运动捕捉。光学运动捕捉以其灵活、高效等优点，成为目前应用最广泛的运动捕捉系统。光学运动捕捉系统中需要利用多个摄像机来采集图像信息，然后跟踪图像信息中预先标出的标记点的运动，利用这些标记点的运动信息来实现三维重建，最后把获得的这些数据输入建立的人体模型，就可以得到满意的动画效果。光学运动捕捉系统的关键技术包括标记点跟踪(MarkerTracking)、摄像机标定(CameraCalibration)和三维重建(3DReconstruction)等。要组成一个完整的运动捕捉系统，三者缺一不可，除此之外还有很多细节问题需要研究。

追随拍摄又被称为追踪拍摄，是拍摄运动物体尤其是横向直线运动物体所常用的拍摄方法。由于在曝光瞬间，运动物体相对于运动的相机是静止的，而静止的背景相对于运动的相机却是移动的，这样就使得画面上的运动物体比较清晰而背景则是强烈的线状模糊，因而画面的冲击力和动感效果也格外强烈。运动捕捉的任务是检测、记录运动对象在三维空间的运动轨迹，并将其转化为数字化的“抽象运动”。到目前为止，常用的运动捕捉技术从原理上可分为机械式、声学式、电磁式和光学式。同时，一般可从以下几个方面进行评价：定位精度，实时性，使用方便程度，可捕捉运动范围的大小，成本，抗干扰性，多目标捕捉能力等。

从技术的角度来说，运动捕捉的实质就是要测量、跟踪、记录物体在三维空间中的运动轨迹。

视频图像检测功能是数字图像监控系统所特有的，通过设定待检测区域和灵敏度，一定意义下可以起到探测器的作用。检测视频图像中运动的目标，提取运动目标信息，可以按照摄像机的状态分为固定的背景和变化的背景两种情况进行讨论。

1)固定的背景(静止摄像机)

摄像机处于静止状态时背景相对固定，但会受到光照变化及噪声的影响。这种情况下，运动检测可用两种绝对差进行处理，一种是当前图像与参考图像(静止的背景图像)的绝对差，这种方式允许检测与背景景物不相关的对象；第二种是连续两帧图像的绝对差，这种方式允许检测景物中相对运动的对象。在实际应用中，视频图像每秒约为25帧左右，不需要对每一帧都做处理，只需按固定的间隔采样并进行检测即可。

2)变化的背景(运动摄像机)

摄像机也处于运动状态，例如航拍的道路交通状况，或对目标进行跟踪拍摄，背景不可避免地处于剧烈变化中，此时基于差值的方法就失去了检测运动目标的能力，为了消除背景运动的影响，人们提出了各种方法，其中常见的有相机运动参数估计、光流法和几何转换法。相机运动参数估计是消除明显背景运动的最佳方法，但是在许多应用中无法直接估计出相机的运动参数；光流法建立在光流方程的基础上，其庞大的计算量使之无法做到实时；几何转换方法计算开销低，基本能够满足实时处理的要求。这些方法的前提都是假定背景的运动均衡统一。仿射运动模型是常用的运动模型，估计出背景明显运动后，就可用来定位运动物体；或者通过二维参数运动模型及多次求解估计出的参数值来进行建模，运用多级马尔可夫随机场(MRF)来检测视频运动。使用运动检测算法不但可以检测出运动物体的位置，而且能够获取运动的方向和速度信息。进行运动分析时采用较多的是运动估计，有基于平移的块运动估计算法，或通过图像的光流场来估算图像运动场的算法。运动估计的匹配准则有最大互相关函数、最小均方误差函数、最小平均绝对差值函数、最大匹配像素统计、最小平均熵等方法。除了通过运动分析对目标进行预测跟踪外，还可以通过目标与背景的对比度差别来识别提取目标并实现跟踪，或者通过提取图像中待跟踪物体的特征，并据此建立物体的模型作为识别和测定目标的依据，通过模板匹配或者特征点匹配方式来实现跟踪。以上方式都是通过分析像素的特征来进行跟踪的。基于不同特征的跟踪算法主要有区域跟踪、轮廓跟踪和子特征跟踪；还可以通过统计学方法，计算能量最小化，采用等高线进行区域划分及分割运动物体，从分割处理的水平集结果进行运动估计，并可将这种运动估计用于跟踪形变物体。2.4.3立体成像

立体成像技术的原理是使用具有微型凸透镜的简单光学系统，再现物体发出的散射光。为了能够顺利再现散射光，用由背照灯、记录立体图像的胶片以及用排列确定光线方向的微型凸透镜阵列组成的立体显示器，在凸透镜背面的记录胶片中，记录不同视点位置产生的不同图像，因此，即便移动视点，也能够表现出来自于显示器前不远处的立体散射光，而物体看起来就好像在眼前一样。双目成像在工业测量领域应用比较多。双目成像结构可看做是由两个独立的成像单元组合，一般情况下为了模拟人的双眼位置而平行排列，两光轴的中心连线称为系统的基线。由于摄像点位置不同，所以对于同一场景，就会在左、右像面上形成有差异(双目视差)的图像对。采用补色、分时及偏振等方法，可以使观察者的左、右眼只能分别接受到对应的图像。由于左、右图像之间存在双目视差，所以经过大脑融合处理后，观察者就会产生立体感。多目成像是通过在多点摄像获取不同方位的图像(如绕中心旋转一周)，然后将多张图像拼接并投影在圆柱面或球面上，从而生成全景图。这样观察者就可以在虚拟环境中平移、旋转和俯仰观察全景图，但这种方法需要专业人员仔细地进行离线拼接，不适用于实时观测系统。另外，可以在双目成像基础上增加一个成像单元，形成三目视觉，从而解决双目成像匹配中的匹配歧义性问题。多目成像系统可分为平行成像系统和会聚成像系统。与人眼观看三维景物时的情况相同，两部用于形成立体图像的摄像机，其光轴通常会聚在所拍摄的物体上，这时称两部摄像机光轴的交点为会聚点，会聚点到两部摄像机透镜中心连线中点的距离为会聚距离。在数学上会聚距离可以是有限值，也可以是无限值。当会聚距离非常远时，两部摄像机的光轴近于平行，可认为会聚点在无穷远处，会聚距离为无穷大。会聚距离为无限远的立体成像系统被称为平行立体成像系统，而会聚距离为有限值的立体成像系统则被称为会聚立体成像系统。

基于图像的多摄像机追踪系统也是当前研究运动追踪的一个重要问题。由于多摄像机能够从多个角度进行工作，能够比较好地解决单摄像机中的遮挡问题(被追踪体上标记点的平面法向量必须要朝向摄像机)，同时由于多摄像机引入的约束，也使得标记点的数量得到简化。在多摄像机追踪系统中，每个摄像机在同一时刻各获得一帧场景图像，将在时刻t所有摄像机得到的图像叫做t时刻的图像集合{i1，i2，…，iN}，通过图像处理将特征提取出来并进行匹配，得到各个特征点在每台摄像机中的像平面坐标{(um,n，

vm,n)|m=1，2，…，M；n=1，2，…，N}，其中m为特征点序列标号，n为摄像机的标号，共有M个特征点，N台摄像机。多摄像机追踪系统就是利用坐标序列{(um,n，vm,n)|m=1，2，…，M；n=1，2，…，N}和各个摄像机的焦距等参数根据透视投影几何关系来建立约束关系，进行特征估计及姿态估计，从而达到追踪目的的。另外，多摄像机追踪也会碰到单摄像机追踪所遇到的帧内延时问题。2.4.4单摄像机扫描拍摄

单摄像机运动追踪系统就是利用一台摄像机连续捕捉被追踪物体的图像(在被追踪物体上固定一些特征，这些特征之间的几何关系设计已知)，通过对摄像机摄取的图像进行处理分析，解算出各个特征在图像上的坐标，通过深度估计与姿态估计解算出特征所构成的坐标系(被追踪体坐标系)相对于摄像机光心坐标系之间的运动矩阵，从而获得运动物体在摄像机光心坐标系下的运动矩阵。由于摄像机的安装位置与姿态相对于环境空间是可测的，因此也就获得了被追踪物体相对于环境空间的运动描述。

2.5特殊成像方式

2.5.1红外或热成像

红外线就是红外光，又称红外辐射，是指波长为0.78~1000μm的电磁波。其中，波长为0.78~2.0μm的部分称为近红外线，波长为2.0~1000μm的部分称为热红外线。红外光是太阳光谱的一部分，其最大特点就是具有光热效应，能够辐射热量，它是光谱中的最大光热效应区。红外光位于光谱中可见光之外，它是一种不可见光。红外光与所有电磁波一样，具有反射、折射、散射、干涉及吸收等性质。红外光在真空中的传播速度为3×108m/s。红外光在介质中传播会产生衰减，它在金属中传播衰减很大，但其辐射能够透过大部分半导体和一些塑料。大部分液体对红外辐射吸收非常强，气体对其吸收程度各不相同，大气层对不同波长的红外光存在不同的吸收带。根据研究分析证明，波长为1~5μm和8~140μm区域的红外光具有比较高的“透明度”，即这些波长的红外光能较好地穿透大气层。自然界中的任何物体，只要其温度在绝对零度之上，都能产生红外光辐射。红外光的光热效应对不同的物体是各不相同的，热能强度也不一样，例如，黑体(能全部吸收投射到其表面的红外辐射的物体)、镜体(能全部反射红外辐射的物体)、透明体(能被红外辐射全部穿透的物体)和灰体(能部分反射或吸收红外辐射的物体)将产生不同的光热效应。严格来讲，自然界并不存在黑体、镜体和透明体，而绝大部分物体都属于灰体。

照相机成像得到照片，电视摄像机成像得到电视图像，都是可见光成像。在自然界中，一切物体都可以辐射红外线，因此利用探测仪测定目标本身和背景之间的红外线差，就能得到不同目标的热图像。该热图像与目标的可见光图像不同，它不是人眼所能看到目标的可见光图像，而是目标表面的温度分布图像。2.5.2微波成像

微波辐射计可用于记录目标的亮度温度。将微波辐射计放在地面平台上时，它可以记录一个观测单元的亮度温度；如果将它安装在飞行器上，则可以记录沿飞行方向的一条亮度温度曲线；如果将辐射的天线设计成扫描方式，则可以获得一个扫描区域的亮度温度数据，或一条沿着飞行方向具有一定宽度的带状区域的亮度温度图。天线扫描有两种方式，一种是机械方式，譬如使天线摆动，或者使天线的反射器摆动；另一种是电控方式，它并不像散射计、高度计那样发射雷达波束，其工作方式如同红外扫描仪，仅接收地物目标发射的微波信号。微波辐射计天线的两种不同扫描方式中，天线在每一瞬间接收来自地面一个近乎圆形或椭圆形地块内地物的微波辐射信号，通过天线来回扫描，在飞行器的前进过程中获得扫描地带上各种地物的信号，并形成图像。可以认为，雷达成像的基本原理是采用各种方法来提高雷达的诸维分辨率，使其分辨单元的尺寸与被成像的目标尺寸相比小得多，从而可得到目标不同部位的信息，以构成雷达图像。一般情况下，成像雷达是利用发射宽带信号来获得高的径向(即距离向)分辨率，利用雷达的大直径天线或雷达与目标的相对运动等效的极大孔径来获得高的方位向(和/或仰俯向)分辨率，从而获得高分辨率的目标像。这时的成像雷达系统在径向上表现为带通特性，而在方位向(或高低向)上则表现为低通特性。由此造成雷达所成的目标像与普通的光学像有一定差别。成像雷达与常规雷达相比在系统构成上有其自身的特点。像常规雷达一样，成像雷达也有天线子系统、射频子系统(发、收和频综)、控制子系统、信号处理子系统、跟踪子系统(跟踪雷达)和显示子系统。除此之外，对于空载成像雷达，根据需要还会有数据管理子系统、数据下传子系统和地面站子系统等。成像雷达最大的特点是数据率高、数据量大、信号处理(含辅助数据处理和成像处理)复杂、处理的实时性很难保证。目前，随着大容量、高速并行计算机技术的迅速发展，对雷达信号处理实时性问题的研究获得了很大的进展。在一些技术先进的国家，已在某些成像雷达信号处理速度方面实现了实时性。辐射计天线接收的辐射能量来自地面物体的发射辐射和反射辐射。如果温度一定，物体发射功率的最大值等于相同温度下黑体所发射的功率。如果将天线放进一个由理想吸收材料制成的暗箱内，由于这种理想吸收材料几乎没有反射，是理想的发射材料，其绝对温度为Tb，因此被天线所接收的功率P为

P=kTbB(2.5.1)

其中k为玻耳兹曼常数，B为辐射计带宽。这里实际上将暗箱作为黑体，由式(2.5.1)引出了辐射测量温度的定义，它表征了从实际地物发射的功率。一般说来，物体的发射特性用辐射测量亮度温度TB来表征，即(2.5.2)

PB为物体在整个带宽B内发射的功率，TB通过测量PB而获得。如果与物体处于同一环境下的黑体具有恒定的温度Tb，则该物体的发射率为e=TB/Tb。e的变化范围在0~1之间，对于理想的无发射物体，e=0；对于理想的发射物体即黑体，e=1。

对于实际辐射计天线接收到的功率PA，同样可以定义天线的辐射测量温度TA。(2.5.3)在一般情况下，TA表示入射到天线的所有方向上按天线方向图加权的全部辐射的积分，它还包括大气的影响和天线自身发射的影响。2.5.3工业X射线、γ射线、CT等成像

成像的一个共同特点是需要有传递物特征量的信息载子。成像的信息载子有光子、各种频带的电磁波、能量波和粒子束等，如射频波、红外(微米波)、可见光、紫外光、X射线、γ射线、中子、电子、离子、质子及声子等。信息载子携带需要成像的景物特征量信息，通过成像系统成像。

X射线与微波或光束一样，是电磁辐射。该光谱上限包含γ射线，下限包含宇宙射线，这将使其常用的现代光谱置于约1022~1024Hz的范围。一般X射线透视成像系统都尽可能