国外CCD检测技术在工业中的应用与发展.doc

国外CCD检测技术在工业中的应用与发展刘征，彭小奇，丁剑，唐英 时间:2010年02月26日 字 体: 大 中 小关键词:CCD图像传感器 0引言电荷耦合器件(Charge Couple Device，CCD)是一种以电荷为信号载体的微型 图像传感器，具有光电转换和信号电荷存储、转移及读出的功能，其输出信号通常是符合电 视标准的视频信号，可存储于适当的介质或输入计算机，便于进行图像存储、增强、识别等处理1。自CCD于1970年在贝尔实验室诞生以来，CCD技术随着半导体微电子技术的发展而迅速发展，CCD传感器的像素集成度、分辨率、几何精度和灵敏度大大提高，工作频率范围显著增加，可高速成像以满足对高速运动物体的拍摄2，并以其光谱响应宽、动态范围大、灵敏度和几何精度高、噪声低、体积小、重量轻、低电压、低功耗、抗冲击、耐震动、抗电磁干扰能力强、坚固耐用、寿命长、图像畸变小、无残像、可以长时间工作于恶劣环境、便于进行数字化处理和与计算机连接等优点，在图像采集、非接触测量和实时监控方面得到了广泛应用，成为现代光电子学和测试技术中最活跃、最富有成果的研究领域之一1，3。1CCD传感器的检测原理CCD是由光敏单元、输入结构和输出结构等组成的一体化的光电转换器件，其突出特点是以电荷作为信号载体，其基本工作原理见文献4，5。当入射光照射到CC D光敏单元上时，光敏单元中将产生光电荷Q，Q与光子流速率n 0、光照时间TC、光敏单元面积A成正比，即：Qqn0ATc(1)其中为材料的量子效率；q为电子电荷量。CCD图像传感器的光电转换特性如图1 如示，其中横坐标为照度，lx.s；纵坐标为输出电压，V0在非饱和区满足：f(s)=d1sd2(2)式中，f(s)为输出信号电压(V)；s为曝光量(lx.s)；d1为直线段的斜率(Vlx.s)，表示CCD的光响应度；为光电转换系数，1；d2为无光照时CCD的输出电压，称为暗输出电压。特性曲线的拐点 G所对应的曝光量SE称为饱和曝光量，所对应的输出电压VSAT称为饱和输出电压。曝光量高于SE后，CCD输出信号不再增加，可见，CCD图像传感器在非饱和区的光电转换特性接近于线性，因此，应将CCD的工作状态控制在非饱和区。2CCD的应用状况CCD检测技术作为一种能有效实现动态跟踪的非接触检测技术，被广泛应用于尺寸、位移、表面形状检测和温度检测等领域。2.1尺寸测量由CCD传感器、光学成像系统、数据采集和处理系统构成的尺寸测量装置，具有测量精度高、速度快、应用方便灵活等特点，是现有机械式、光学式、电磁式测量仪器所无法比拟的。在尺寸测量中，通常采用合适的照明系统使被测物体通过物镜成像在CCD靶面上，通过对CCD输出的信号进行适当处理，提取测量对象的几何信息，结合光学系统的变换特性，可计算出被测尺寸2。2.1.1零件尺寸的精确测量1997年，J.B.Liao6等将CCD摄像系统应用在三维坐标测量机(Coordinate Meas uring Machine，CMM)上，实现了三维坐标的自动测量。他们将一个面阵CCD安装在与CMM的3个轴线都成45角的固定位置，通过计算机视觉系统与CMM原来的控制系统连接来控制探头和工件的移动，以此探测探头和工件的三维位置。该方法不需要对原CMM系统进行改变，只要将CCD视觉系统连入原有的测量机即可。由于测量系统中只用一个面阵CCD，从而简化了测量系统结构，降低了系统成本，减小了因手工操作引起的误差，提高了测量效率，并能避免单独使用CCD测量时，因光衍射而造成的边缘检测误差，可用于工件三维尺寸的精确测量。但该方法需要对工作环境和工件形状具有一定的先验知识，使其应用范围受到较大限制。为此，V.H.Chan和C.Bradley等人7提出了一种利用复合传感器的自动测量方法。该方法将黑白CCD和坐标探头一同安装在CMM的Z轴工作臂的末端，探测前先由C CD在工件的前后左右和上方对工件成像，并通过基于神经网络的立体配对算法确定工件表面位置和面积，从而决定探头的探测路径。该方法的智能程度较高，可高效测量形状复杂工件的三维尺寸，并可根据测量数据构造工件的CAD模型，但计算复杂，需要使用运算速度快、内存容量大的计算机，且算法立体匹配精度有待提高。以上测量系统虽然因引入CCD技术而得到明显改进，但仍属于接触式测量，无法准确测量某些弹性和软性工件。最近，P.F.Luo等人8用CCD摄像头代替CMM的探头，结合激光 测距技术实现了对一维尺寸的非接触精确测量。该方法采用了亚像素精度检测技术，利用激光测距器进行距离校正，有效地提高了检测精度，其精确测量范围为1300 mm，但这种方法只能测量一维尺寸。P.F.Luo等认为该系统经改进后可实现二维尺寸的精确测量，因工作台滑动引起振动而导致的数据波动也能被有效减小，但尚未见到成功的实例。2.1.2微小尺寸的测量为检测BGA(ball grid array，球珊阵列)芯片的管脚高度是否共面，美国RVSI公司研制出一种基于激光三角法的单点离线检测设备1。该设备每次只能测量1个管脚，测量速 度慢，无法实现在线测量。1999年，Kim,Pyunghyun9等人提出了一种新的立体测 量方法。该方法用激光线源照射到芯片管脚上，被照亮的管脚图像经由互成一定角度的两套CCD摄像系统采集后，输入计算机进行立体匹配，利用透视变换模型和坐标变换关系，计算 出管脚高度和纵向间距，再使被测芯片在步进电机的带动下做单向运动，从而实现三维尺寸测量，并引入电容测微仪实时监测工作台位置变动，进行动态误差补偿，有效减小了因振动造成的误差。2001年，C.J.Tay,X.He10等人利用图像识别和数字相关等技术简化了计算过程，使得只需几秒钟便可计算上百个管脚的高度，从而有效地提高了检测系统的实用性。最近，C.J.Tay11等根据被倾斜光照射的物体的像与影之间的固有关系，提出了一种基于光学阴影简便测量BGA管脚高度的方法。该方法利用激光对被测芯片的管脚进行倾斜照射以产生管脚阴影，管脚及其阴影由带远焦显微镜的CCD相机采集后，输入计算机，由计算机软件根据影和像的相互关系计算出管脚高度，笔者提出了两种简洁的计 算方法，可避免因光衍射而造成的边缘检测误差，计算简单快速，但要求高精度的机械定位装置，且每次只能检测几个管脚，而且对芯片平整度和检测环境要求很高，还需要进一步改进后才能实用化。近年来，将CCD技术和莫尔条纹、数字全息、电子斑点干涉等技术相结合以精确测量微小尺寸的技术正成为一种具有很大潜力的研究发展方向12。2.2形变测量尽管利用线阵CCD测量材料变形具有非接触、无磨损、精度高、不引入附加误差、能测量材 料拉伸的全过程，特别是测量材料在断裂前后的应力应变曲线，得到材料的各种极限特性 参数等优点，但只能测量材料拉伸时在轴线方向的均一形变。为此，Scheday,Miehe和Cheva lier等人13开展了采用面阵CCD测量材料形变的研究。在此基础上，Stefan Hart mann等人14借助面阵CCD研究了橡胶材料在拉伸和压缩时的形变情况。即在圆柱 形黑色测试样品的轴线方向等距标定几个白点，用CCD摄取相应图像并送入计算机进行处理，通过检测白点标记间的距离来计算样品受力时轴向的形变，并通过轮廓检测算法得到轴对 称的圆柱型样品的轮廓尺寸，经过数据校正，可计算出被测样品半径方向上的形变。这种方 法可同时获得两个方向上的形变量，并测量出材料被压缩时的非均一形变。S.Claudinon,P. Lamesle等人15采用类似方法研究了淬火钢铁样品在气冷时的形变，解决了高温 样品的尺寸测量问题，并能连续测量不同温度下的形变量，但在低温时，易产生测量误差。J.-M.Siguier等16为研究大型科学气球气囊表面材料的性质，利用两个CCD摄像 机摄取被测物体的表面图像，通过立体相关方法获取样品的三维形变。但这种测量方法技术复杂，且在与材料表面垂直的法线方向上获得的数据偏小。2.3机械磨损度测量虽然以上方法可以测量各种工件的尺寸或形变，但在测量某些特殊工件时却受到许多限制。例如，在检测高速切割机上的刀具磨损度时，需要将刀具卸下才能测量。为此，一些研究人 员致力于用机器视觉检测刀具磨损程度的研究。2000年，T.Pfeifer和L.Wiegers17通过比较各种测量方法，指出基于机器视觉的检测系统最具优势和潜力，并构建了一套由CCD摄像头、照明设备和夹具等组成的非接触检测系统，该系统在适当位置对刀口侧面成像 ，将采集的刀具图像信号输入计算机，计算出刀具磨损轮廓，以此判断刀具磨损级别，确定刀具更换时间。但该系统的图像处理过程复杂，适应范围窄，检测精度和效率也有待提高。2002年，JeonHa Kim等人18在此基础上，对误差因素逐一进行了实验分析，确定了最佳光线照射强度、角度、拍摄角度等，并将光源通过光纤插入镜头周围以减小因阴影 产生的误差，使夹具自由转动角度增大，成像设备尺寸缩小，提高了系统的使用范围。同时，通过采用磨损前后刀具横向尺寸差来计算磨损度，大大简化了图像处理过程。对4种不同刀具的实验测量表明，该系统的测量信噪比可达到46 dB，测量精度和速度显著提高，并可实现实时在线测量，但不适合测量几何形状太复杂的刀具。2.4三维表面测量由于CCD传感器能同时获取被测表面的亮度和相位信息，因此，将CCD和计算机图像处理技术 与传统的三维表面非接触光学测量方法相结合，可实时测量物体形变、振动和外形。上世纪 90年代初，Yamaguchi等人19在斑点干涉测量中使用线阵CCD测量不同材料的帕森比，但线阵CCD只能记录一维正交相关性信息。随着CCD工艺水平的提高，面阵CCD被广泛应 用于三维表面测量19。1996年，B.Skarman等20提出了相变数字全息 测量法。此后，F.Chesn21、C.Quan22、P.S.Huang23、G. Pedrini等人24分别在有关测量方法中应用了CCD技术，从CCD图像中获取相位图的新方法24，26，27也相继出现。在条纹图样投影法中采用相变技术时，只能检 测静物表面轮廓，不适用于实时检测振动和变化的表面形状。为此，C.J.Tay等人28建立了对低频振动的物体表面进行三维检测的系统，该系统由振荡发生系统、液晶显示 条纹发射器、特殊远心镜头、高速CCD、图像采集卡和计算机组成。系统所用的远心镜头可 以保持放大倍率为常数，使测量结果与被测物体和CCD之间的距离无关，从而减小了测量中 物体振动时因为景深改变而产生的测量误差。同时，采用相扫描方法逐点计算条纹图样相位，可以实时获取被测对象的振动频率和振幅，即时重建物体的表面轮廓，其测量精度可达振幅值的1500。但该系统只能测量阳纹平面，且要求有高质量的正弦发射条纹和CCD的图像采集频率大于被测物体的振动频率。随后，他们又在阴影莫尔条纹干涉法中应用类似方法 测量振动物体的三维表面，取得较好效果29。尽管该方法比数字全息法30简单实用，且对测量环境的要求相对较低，但测量范围受到CCD采集速度的限制，对高速振动和无规则形变的物体表面测量并不实用。2.5高温测量物体的辐射光波长和强度与物体温度有着特定的关系，因此CCD作为一种光电转换器件，可用于温度测量。1993年，Tenchov等人31采用CCD间接测量溶液表面温度；1995年，K.Y.Hsu和L.D.Chen32用可测量红外波段的加强型CCD测量液态金属的燃烧火焰温度，但其测量误差达到400200K，缺乏实用性。此后，利用红外CCD测量温度场成为CCD测温研究的主流。2001年，Takeshi Azami等人33利用CCD的亮度波动信息来研究 熔融硅桥表面的热流状况，获得了较好的结果。2002年，D.Manca等人34提出了一种利用红外CCD测控燃烧室火焰温度场的实用方法。2003年，G.Sutter35等人利用加强型CCD测量近似黑体的物体表面发出的某一波长的单色光，以此得到物体的辐射温度，所得测量结果与物体的真实温度之间的差别几乎可以忽略不计，并将其用于测量直角高 速切割机的刀具温度场，但作者未具体说明图像处理和温度计算方法，也未进行误差分析， 其实验误差达16 。这种方法测量不同范围的温度时，需要寻找不同的最佳波长，使用频带很窄的滤波片获取单一波长的光辐射信号。B.Skarman等人36，37于1996年提出 用CCD拍摄流体的全息图，通过图像处理技术重建流体的三维温度场，由于当时的CCD采集速度、图像处理速度和储存速度都比较低，激光干涉质量也不高，使该方法缺乏实用性；到19 98年，该方法进入实用阶段，能测量稳定透明液体的三维温度，并得到流速和流体密度等数 据。2002年，C.Hhmann等38利用高分辨率温度传感液晶颜色随温度变化的特性 对被测区域感温，然后用彩色CCD摄取液晶表面的颜色图像来间接测量液体蒸发时弯月面的 温度。此方法可实现小面积的温度测量，但需要进行精确的校正。还有学者提出利用CCD配 合激光感应磷光器测量温度39。事实上，由CCD的光谱响应特性、光电转换特性可知，利用RGB输出值可得到被测物体表面图像中的亮度和色度信息，并根据比色测温原理 计算出物体的表面温度场。虽然有人提出了基于CCD测温系统的三维温度场构建算法4 0，但直接利用彩色CCD测量温度的仪器还处在实验研发阶段。尽管如此，由于CCD技术能测量运动物体的温度，给出二维或三维温度场，实现非接触高温测量，因此，CCD测温技术有很大的发展潜力和应用前景。 3结论综上所述，CCD应用技术已成为集光学、电子学、精密机械与计算机技术为一体的综合性技术，并被广泛应用于现代光学和光电测试技术领域。事实上，凡可用胶卷和光电检测技术的地方几乎都可以应用CCD。随着半导体材料与技术的发展，特别是超大规模集成电路技术的不断进步，CCD图像传感器的性能也在迅速提高，将CCD技术、计算机图像处理技术与传统测量方法相结合，能获取被测对象的更多信息，实现快速、准确的无接触测量，显著提高测量技术水平和智能化水平，因此，CCD技术必将以其突出的优点而在工业测控、机器视觉、多媒体技术、虚拟现实技术及其他许多领域得到越来越广泛的应用。 参考文献1王庆有.CCD应用技术M.天津：天津大学出版社，20002王跃科，杨华勇.CCD图像传感技术的现状与应用前景J.光学仪器，199 6，18(5)：32363科学CCD的过去、现状和未来J.激光与光电子学进展，1995，(10)：8104晏磊，张伯旭，常炳国.CCD图像传感器及其数字相机技术J.信息记录材料，2002，3(1)：45495凌云光视数字图像公司CCD & CMOS图像和机器视觉产品手册M.6J.B.Liao,M.H.Wu.A coordinate measuring machine vision systemJ. Computers in Industry,1999,(38):2392487V.H.Chan,C.Bradley.A multisensor approach to automating coordi nate measuring machinebased reverse engineeringJ.Computers in Industry,200 1,(44):1051158P.F.Luo.Application of computer vision and laserinterferometer to the inspection of line scaleJ.Optics and Lasers in Engineering,2004,(42):563 5849Kim,Pyunghyun,Rhee,Sehun.Threedimensional inspection of ball gri d array using laser vision systemJ.IEEE Transactions on Electronics Packaging Manufacturing,1999,22(2):15115510C.J.Tay,He.X.,Kang.X.Coplanarity study on ball grid array packagi ng.Optics Communications,2001,40(8):1608161211C.J.Tay,S.H.Wang,C.Quan.Measurement of a microsolderball height using a laser projection methodJ.Optics Communications,2004,234(16)：77 8612Chang RongSeng,Shou JinYi.Analysis of CCD moire pattern for m icrorange measurements using the wavelet transformJ.Optics and Laser Techn ology,2003,35：434713Luc Chevalier,Sylvain Calloch,F.Hild.Digital image cor relation used to analyze the multiaxial behaviour of rubberlike materialsJ .European Journal of MechanicsASolids,2001,20(2):16918714Stefan Hartmann,Tobias Tschpe,Lothar Schreiber.Fini te deformations of a carbon blackfilled rubber.Experiment,optical measurement and material parameter identification using finite elementsJ.European Journa l of MechanicsASolids,2003,22(3):30932415S.Claudinon,P.Lamesle,J.J.Orteu.Continuous in situ me asurement of quenching distortions using computer visionJ.Journal of Materia ls Processing Technology,2002,(122):698116J.M.Siguier,P.Guigue,M.Karama.Num erical and experimental simulation of the mechanical behavior of superpressure balloon subsystemsJ.Advances in Space Research,2004,33(10):1711171617T.Pfeifer,L.Wiegers.Reliable tool wear monitoring by optimized im age and illumination control in machine visionJ.Measurement,2000,(28):2092 1818JeonHa Kim,DeokKyu Moon.Tool wear measuring techenique on the machine using CCD and exclusive jigJ.Journal of Materials Processing Techno logy,2002，66867419Ichirou Yamaguchi.Holography,speckle and computersJ.Optics an d Lasers in Engineering,2003,39:41142920B.Skarman,J.Becker,K.Wozniak.Simultaneous 3DPIV and tempera ture measurements using a new CCDbased holographic interferometerJ.Flow Me asurement and Instrumentation,2004,33(10)：1711171621F.Chen,G.M.Brown, M.Song.Overview of threedimensional shape m easurement using optical methodsJ.Optical Engineering,2000,39(1):102222C.Quan,X.Y.He,C.J.Tay.3D surface profile measurement using LCD fringe projectionJ.Proceedings of the SPIEThe International Soc iety for Optical Engineering,2001,43(17):51151623P.S.Huang,Q.Hu,F.Jin.Colorencoded digital fringe projection for highspeed threedimensional surface contouringJ.Optical E ngineering,1999,38(6):1065107124G.Pedrini,S.Schedin, H.J.Tiziani.Pulsed digital holography com bined with laser vibrometry for 3D measurements of vibrating objectsJ.Optics and Lasers in Engineering,2002,38(34):11712925C.J.Tay,C.Quan,H.M.Shang.New method for measuri ng dynamic response of small components by fringe projectionJ.Optical Engine ering,2003，42(6)：1715172026M.E.Pawlowski,M.Kujawinska, M.G.Wegiel.Shape and moti on measur ement of timevarying threedimensional objects based on spatiotemporal fringe pattren analysisJ.Optical Engineering,2002,41(2):45045927X.Li,G.Tao,Y.Yang,Continual deformation analysis with scannin g phase method and time sequence phase method in temporal speckle pattern interf erometryJ.Optics and Laser Technology,2001,33(1):535928C.J.Tay,C.Quan,Y.Fu.Surface profile measuremen t of lowfrequency vibrating objects using temporal analysis of fringe pattern J.Optics and Laser Technology,2004,36(6),47147629C.Quan,Y.Fu,C.J.Tay.Determination of surface contour by temporal analysis of shadow moire fringesJ.Optics Communications,2004,230(13):233 330Shoko Takao,Satoru Yoneyama,Masahisa Takashi.Minute displacement and strain analysis using lensless Fourier transformed holographic interferometr yJ.Optics and Lasers in Engineering,2002,38(5):23324431R.G.Keanini,C.A.Allgood.Measurement of time varying temperature f ields using visible imaging CCD Cameras.Int.CommJ.Heat Mass Transfer,1996,23 (3):30531432K.Y.Hsu,L.D.Chen.An experimental investigation of LI and SF6 wick combustionJ.Combustion and Flame,1995,102(12):738633Takeshi Azami,Shin Nakamura,Taketoshi Hibiya.Observation of perio dic thermocapillary flow in a molten silicon bridge by using noncontact temper ature measurementsJ.Journal of Crystal Growth,2001,231(12):828834D.Manca,M.Rovaglio.Infrared Thermographic Image Processing for th e Operation and Control of Heterogeneous Combustion ChambersJ.Combustion and Flame,2002