1-6 视觉传感器

1、第六章第六章 视觉传感器视觉传感器 山西工程职业技术学院 图像传感器（图像传感器（ image transducer ），是指能感），是指能感 受光学图像信息并转换成受光学图像信息并转换成 可用输出信号的传感器，可用输出信号的传感器， 也是组成数字摄像头的重也是组成数字摄像头的重 要组成部分。要组成部分。 根据元件的不同，可根据元件的不同，可 以分为以分为CCD (Charge- Coupled Devices)和和 CMOS （Complementary Metal Oxide Semiconductor）两大类）两大类 。 山西工程职业技术学院 6.1 电荷耦合器件 贝尔实验室的贝尔实验室

2、的George Smith和和 Willard Boyle将发明了的将发明了的CCD原型原型 现代现代CCD芯片外观芯片外观 电荷耦合器件电荷耦合器件(Charge-Coupled Devices)简称简称 CCD，是，是 1970年由美国贝尔实验室首先研制出来的新型固体器件。作年由美国贝尔实验室首先研制出来的新型固体器件。作 为为MOS技术的延伸而产生的一种半导体器件。技术的延伸而产生的一种半导体器件。 山西工程职业技术学院 基于CCD光电耦器件的输入 设备：数字摄像机、数字相 机、平板扫描仪、指纹机 山西工程职业技术学院 由于由于CCDCCD具有具有光电转换光电转换、信息存储信息存储、延时

3、延时和将和将 电信号按顺序传送电信号按顺序传送等功能等功能, ,且集成度高、功耗低且集成度高、功耗低, , 因此得到飞速发展因此得到飞速发展, ,是图像采集及数字化处理必不是图像采集及数字化处理必不 可少的关键器件可少的关键器件, ,广泛应用于科学、教育、医学、广泛应用于科学、教育、医学、 商业、工业、军事和消费领域。商业、工业、军事和消费领域。 山西工程职业技术学院 CCD结构示意图 显微镜下的MOS元表面6.1.1 CCD的结构和工作原理 1.基本结构 CCD基本结构分两部分： （1）MOS（金属氧化物半导体） 光敏元阵列； 电荷耦合器件是在半导体硅片上 制作成百上千（万）个光敏元， 一个

4、光敏元又称一个像素，在半 导体硅平面上光敏元按线阵或面 阵有规则地排列。 （2）读出移位寄存器。 山西工程职业技术学院 MOS电容 CCD 是由规则排列的金属氧化物半导体 （Metal Oxide Semiconductor,MOS）电容阵列组成。 Metal Oxide Semiconductor 山西工程职业技术学院 2. 电荷耦合器件的工作原理 CCD 光信息电脉冲 脉冲只反映一个光敏元的受光情况 脉冲幅度的高低反映该光敏元受光照的强弱 输出脉冲的顺序可以反映一个光敏元的位置 完成图像传感 山西工程职业技术学院 特点：以电荷作为信号 基本功能：电荷的存贮和转移 CCD基本工作原理 信号电

5、荷的信号电荷的产生产生 信号电荷的信号电荷的存贮存贮 信号电荷的信号电荷的传输传输 信号电荷的信号电荷的检测检测 山西工程职业技术学院 (1)信号电荷的产生 山西工程职业技术学院 v 当金属电极上加正电压时， 由于电场作用，电极下P型 硅区里空穴被排斥入耗尽区。 对电子而言，是一势能很低 的区域，称“势阱”。有光 线入射到硅片上时，光子作 用下产生电子空穴对，空 穴被电场作用排斥出耗尽区， 而电子被附近势阱（俘获）， 此时势阱内吸的光子数与光 强度成正比。 (2)信号电荷的存储 山西工程职业技术学院 一个MOS结构元为MOS光敏元或一个像素， 把一个势阱所收集的光生电子称为一个电荷包； CCD

6、器件内是在硅片上制作成百上千的MOS元， 每个金属电极加电压，就形成成百上千个势阱； 如果照射在这些光敏元上是一幅明暗起伏的图 象，那么这些光敏元就感生出一幅与光照度响应的 光生电荷图象。 这就是电荷耦合器件的光电物理效应基本原理。 电荷耦合器件的光电物理效应电荷耦合器件的光电物理效应 山西工程职业技术学院 v读出移位寄存器 a.CCD电荷耦合器件是以 电荷为信号。 b.读出移位寄存器也是 MOS结构。 c.由三个十分邻近的电极 组成一个耦合单元,在三 个电极上分别施加脉冲波 三相时钟脉冲123。 d.按照驱动脉冲时序，栅 极下电荷沿半导体表面按 一定方向逐个单元转移。 （3 3）电荷转移原理

7、）电荷转移原理 u CCD信号电荷 的输出的方式 主要有电流输 出、电压输出 两种,以电压 输出型为例： 有浮置扩散放 大器（FDA）、 浮置栅放大器 （FGA） (4)电荷耦合器信号输出 山西工程职业技术学院 CCD器件分为线阵CCD和面阵CCD。 结构上有多种不同形式： 单沟道CCD 双沟道CCD 帧转移结构CCD 行间转移结构CCD。 v 二、CCD器件 山西工程职业技术学院 v 线阵CCD结构 线阵CCD传感器是由一列MOS光敏元和一列移位寄存 器并行构成,光敏元和移位寄存器之间有一个转移控 制栅 。 1024位线阵，由1024个光敏元1024个读出移位寄存 器组成。读出移位寄存器的输

8、出端一位位输出信息， 这一过程是一个串行输出过程。 二、CCD器件 山西工程职业技术学院 二、CCD器件 电荷输出控制波形电荷输出控制波形 山西工程职业技术学院 二、CCD器件 6464位线阵位线阵CCDCCD结构结构 山西工程职业技术学院 图(a)所示结构由行扫描 电路、垂直输出寄存器、感 光区和输出二极管组成。 行扫描电路将光敏元件 内的信息转移到水平（行） 方向上，由垂直方向的寄存 器将信息转移到输出二极管， 输出信号由信号处理电路转 换为视频图像信号。 这种结构易于引起图像模糊。 b面型CCD图像传感器 面型CCD图像传感器由感光区、信号存储区和输出转移部分组成。 二相驱动二相驱动视频

9、输出视频输出 行 扫 描 发 生 器 输 出 寄 存 器 检波二极管 二相驱动 感光区 (a) 山西工程职业技术学院 图（b）所示结构增加了具有 公共水平方向电极的不透光的信息存 储区。在正常垂直回扫周期内，具有 公共水平方向电极的感光区所积累的 电荷同样迅速下移到信息存储区。 在垂直回扫结束后，感光区回复 到积光状态。在水平消隐周期内，存 储区的整个电荷图像向下移动，每次 总是将存储区最底部一行的电荷信号 移到水平读出器，该行电荷在读出移 位寄存器中向右移动以视频信号输出。 当整帧视频信号自存储移出后， 就开始下一帧信号的形成。该CCD结 构具有单元密度高、电极简单等优点， 但增加了存储器。

10、 沟阻 P1 P2 P3 P1 P2 P3 P1 P2 P3 感光区 存储区 析像单元 视频输出 输出栅 串行读出 (b) 山西工程职业技术学院 图(c)所示结构是用得最多的 一种结构形式。它将图(b)中感光 元件与存储元件相隔排列。即一列 感光单元，一列不透光的存储单元 交替排列。在感光区光敏元件积分 结束时，转移控制栅打开，电荷信 号进入存储区。 随后，在每个水平回扫周期内 ，存储区中整个电荷图像一次一行 地向上移到水平读出移位寄存器中 。接着这一行电荷信号在读出移位 寄存器中向右移位到输出器件，形 成视频信号输出。 这种结构的器件操作简单，但 单元设计复杂，感光单元面积减小 ，图像清晰。

11、 光栅报时钟光栅报时钟 二相驱动二相驱动 输出寄存器输出寄存器检波二极管检波二极管 视频输出视频输出 垂直转移垂直转移 寄存器寄存器 感光区感光区 二相驱动二相驱动 (c) 山西工程职业技术学院 二、CCD器件 对不同型号的CCD器件而言，其工作机理是相同 的。 不同型号的CCD器件具有完全不同的外型结构和 驱动时序，在实际使用时必须加以注意。 我们可以通过器件供货商或直接向生产厂家索 取相关资料，为CCD器件的应用提供技术支持。 山西工程职业技术学院 CCD器件的物理性能可以用特性参数来描述 内部参数描述的是CCD存储和转移信号电荷有 关的特性,是器件理论设计的重要依据； 外部参数描述的是与

12、CCD应用有关的性能指标 主要包括以下内容：电荷转移效率、转移损失 率、工作频率、电荷存储容量、灵敏度、分辨 率。 特性 山西工程职业技术学院 CCD传感器应用时是将不同光源与透镜、镜头、 光导纤维、滤光镜及反射镜等各种光学元件结合， 主要用来装配轻型摄像机、摄像头、工业监视器。 CCD应用技术是光、机、电和计算机相结合的高 新技术，作为一种非常有效的非接触检测方法， CCD被广泛用于在线检测尺寸、位移、速度、定 位和自动调焦等方面。 三、应用举例 山西工程职业技术学院 利用利用CCDCCD测量测量几何量。几何量。，CCDCCD诞生后，首先在工业诞生后，首先在工业 检测中制成测量长度的光电传感

13、器，物体通过物检测中制成测量长度的光电传感器，物体通过物 镜在镜在CCDCCD光敏元上造成影像，光敏元上造成影像，CCDCCD输出的脉冲表征输出的脉冲表征 测量工件的尺寸或缺陷；测量工件的尺寸或缺陷； 用于用于传真传真技术，技术，文字、图象识别文字、图象识别。例如用。例如用CCDCCD识识 别集别集成电路焊点图案，代替光点穿孔机的作用；成电路焊点图案，代替光点穿孔机的作用； 自动流水线装置，机床、自动售货机、自动监视自动流水线装置，机床、自动售货机、自动监视 装置、指纹机；装置、指纹机； 山西工程职业技术学院 CCDCCD固态图像传感器作为固态图像传感器作为摄像机或像敏器件摄像机或像敏器件，

14、取代摄像装置的光学扫描系统（电子束扫描），取代摄像装置的光学扫描系统（电子束扫描）， 与其它摄像器件相比，尺寸小、价廉、工作电与其它摄像器件相比，尺寸小、价廉、工作电 压低、功耗小，且不需要高压压低、功耗小，且不需要高压; ; 作为机器人视觉系统；作为机器人视觉系统； M2AM2A摄影胶囊摄影胶囊（Mouth anusMouth anus）, ,由发光二极管做由发光二极管做 光源，光源，CCDCCD做摄像机，每秒钟两次快门，信号做摄像机，每秒钟两次快门，信号 发射到存储器，存储器取下后接入计算机将图发射到存储器，存储器取下后接入计算机将图 像进行下载。像进行下载。 山西工程职业技术学院 实例1

15、： 测量拉丝过程中丝的线径、轧钢的直径、机械加工的轴类测量拉丝过程中丝的线径、轧钢的直径、机械加工的轴类 或杆类的直径等等，这里以玻璃管直径与壁厚的测量为例。或杆类的直径等等，这里以玻璃管直径与壁厚的测量为例。 玻璃管玻璃管CCD CCD视频信号 视频信号 山西工程职业技术学院 由于玻璃管的透射率分布的不同，玻璃管成像的两由于玻璃管的透射率分布的不同，玻璃管成像的两 条暗带最外边界距离为玻璃管外径大小，中间亮带条暗带最外边界距离为玻璃管外径大小，中间亮带 反映了玻璃管内径大小，而暗带则是玻璃管的壁厚反映了玻璃管内径大小，而暗带则是玻璃管的壁厚 像。像。 成像物镜的放大倍率为成像物镜的放大倍率为

16、，CCDCCD相元尺寸为相元尺寸为t t，上壁，上壁 厚、下壁厚分别为厚、下壁厚分别为n1n1、n2 n2 ，外径尺寸的脉冲数（即，外径尺寸的脉冲数（即 像元个数）为像元个数）为N N，测量结果有：测量结果有： 11 22 / / / dnt dn t DN t 分别为上壁厚、分别为上壁厚、 下壁厚，外径尺寸。下壁厚，外径尺寸。 1 d 2 dD 山西工程职业技术学院 实例2:线阵CCD进行工件尺寸测量 山西工程职业技术学院 实例实例3 3： M2AM2A胶囊胶囊 CCDCCD在医疗诊断中的应用在医疗诊断中的应用 山西工程职业技术学院 6.2 CMOS成像器件 CMOS（Complementa

17、ry Metal Oxide Semiconductor） ，互补金属氧化物半导体，电压控制的一种放大器件。是，互补金属氧化物半导体，电压控制的一种放大器件。是 组成组成CMOS数字集成电路的基本单元。数字集成电路的基本单元。 1970年，年，CMOS图像传图像传 感器在感器在NASA的喷气推的喷气推 进实验室制造成功。进实验室制造成功。 1997年，英国爱丁堡年，英国爱丁堡 VLSI Version公司首次公司首次 实现实现CMOS图像传感器图像传感器 的商品化。的商品化。 山西工程职业技术学院 它的主要组成部分是它的主要组成部分是像敏单元阵像敏单元阵 列列和和输出及信号处理电路输出及信号处

18、理电路，而且这，而且这 两部分是集成在同一硅片上的；两部分是集成在同一硅片上的； 像敏单元阵列由像敏单元阵列由光电二极管阵列光电二极管阵列 构成。构成。如图中所示的像敏单元阵列如图中所示的像敏单元阵列 按按X和和Y方向排列成方阵，方阵中的方向排列成方阵，方阵中的 每一个像敏单元都有它在每一个像敏单元都有它在X，Y各方各方 向上的地址，并可分别由两个方向向上的地址，并可分别由两个方向 的地址译码器进行选择；输出信号的地址译码器进行选择；输出信号 送送A/D转换器进行模数转换变成数转换器进行模数转换变成数 字信号输出。字信号输出。 1. CMOS成像器件的组成 6.1.2 CMOS成像器件的工作原

19、理 山西工程职业技术学院 图像信号的输出过程：图像信号的输出过程： 在在Y方向地址译码器（可以采用移方向地址译码器（可以采用移 位寄存器）的控制下，依次序接通每位寄存器）的控制下，依次序接通每 行像敏单元上的模拟开关（图中标志行像敏单元上的模拟开关（图中标志 的的Si,j），信号将通过行开关传送到列），信号将通过行开关传送到列 线上；线上； 通过通过X方向地址译码器（可以采用方向地址译码器（可以采用 移位寄存器）的控制，输送到放大器。移位寄存器）的控制，输送到放大器。 由于信号经行与列开关输出，因此，由于信号经行与列开关输出，因此， 可以实现逐行扫描或隔行扫描的输出可以实现逐行扫描或隔行扫描的

20、输出 方式。也可以只输出某一行或某一列方式。也可以只输出某一行或某一列 的信号。的信号。 1. CMOS成像器件的组成 山西工程职业技术学院 注意：在注意：在CMOSCMOS图像传感器图像传感器 的同一芯片中，还可以设的同一芯片中，还可以设 置其他数字处理电路。置其他数字处理电路。 例如，可以进行自动曝光例如，可以进行自动曝光 处理、非均匀性补偿、白处理、非均匀性补偿、白 平衡处理、平衡处理、校正、黑电校正、黑电 平控制等处理。甚至于将平控制等处理。甚至于将 具有运算和可编程功能的具有运算和可编程功能的 DSPDSP器件制作在一起形成多器件制作在一起形成多 种功能的器件。种功能的器件。 1.

21、CMOS成像器件的组成 山西工程职业技术学院 像敏单元结构指每个成像单元的电路结构，是像敏单元结构指每个成像单元的电路结构，是CMOS 图像传感器的核心组件。图像传感器的核心组件。 像敏单元结构有两种类型：像敏单元结构有两种类型： 被动像敏单元结构被动像敏单元结构 主动像敏单元结构主动像敏单元结构。 2. CMOS成像器件的像敏单元结构 山西工程职业技术学院 只包含光电二极管只包含光电二极管 和地址选通开关两和地址选通开关两 部分。部分。 2. CMOS成像器件的像敏单元结构 被动像敏单元结构被动像敏单元结构 被动像敏单元 结构的缺点是固 定图案噪声（FPN） 大、图像信号的 信噪比较低。 山

22、西工程职业技术学院 主动像敏单元结构是当前得主动像敏单元结构是当前得 到实际应用的结构。它与被到实际应用的结构。它与被 动像敏单元结构的最主要区动像敏单元结构的最主要区 别是，在别是，在每个像敏单元都经每个像敏单元都经 过放大后，才通过场效应管过放大后，才通过场效应管 模拟开关传输模拟开关传输，所以固定图，所以固定图 案噪声大为降低，图像信号案噪声大为降低，图像信号 的信噪比显著提高。的信噪比显著提高。 主动像敏单元结构主动像敏单元结构 2. CMOS成像器件的像敏单元结构 山西工程职业技术学院 场效应管场效应管T1T1构成光电二极管的负载，它构成光电二极管的负载，它 的栅极接在复位信号线上，

23、当复位脉冲到的栅极接在复位信号线上，当复位脉冲到 来时，来时，T1T1导通，光电二极管被瞬时复位；导通，光电二极管被瞬时复位； 当复位脉冲消失后，当复位脉冲消失后，T1T1截止，光电二极截止，光电二极 管开始积分光信号。管开始积分光信号。 T2T2为源极跟随器，它将光电二极管的高为源极跟随器，它将光电二极管的高 阻抗输出信号进行电流放大。阻抗输出信号进行电流放大。 T3T3用做选址模拟开关，当选通脉冲到来用做选址模拟开关，当选通脉冲到来 时，时，T3T3导通，使被放大的光电信号输送到导通，使被放大的光电信号输送到 列总线上。列总线上。 主动像敏单元结构主动像敏单元结构 2. CMOS成像器件的

24、像敏单元结构 山西工程职业技术学院 3. CMOS器件的工作流程 CMOS图像传感器的功能很多，组成也很复杂。由像图像传感器的功能很多，组成也很复杂。由像 敏单元，行列开关，地址译码器，敏单元，行列开关，地址译码器，A/D转换器等许多部转换器等许多部 分组成较为复杂的结构。分组成较为复杂的结构。 应使诸多的组成部分按一定的程序工作，以便协调各应使诸多的组成部分按一定的程序工作，以便协调各 组成部分的工作。为了实施工作流程，还要设置时序脉组成部分的工作。为了实施工作流程，还要设置时序脉 冲，利用它的时序关系去控制各部分的运行次序；并用冲，利用它的时序关系去控制各部分的运行次序；并用 它的电平或前

25、后沿去适应各组成部分的电气性能。它的电平或前后沿去适应各组成部分的电气性能。 山西工程职业技术学院 （1）初始化）初始化 初始化时要确定器件初始化时要确定器件 的工作模式，如：输的工作模式，如：输 出偏压、放大器的增出偏压、放大器的增 益、取景器是否开通，益、取景器是否开通， 并设定积分时间。并设定积分时间。 3. CMOS器件的工作流程 山西工程职业技术学院 （2 2）帧读出（）帧读出（YRYR）移位）移位 寄存器初始化寄存器初始化 利用同步脉冲利用同步脉冲SYNC-YRSYNC-YR， 可以使可以使YRYR移位寄存器初移位寄存器初 始化。始化。SYNC-YRSYNC-YR为行启动为行启动

26、脉冲序列，不过在它的脉冲序列，不过在它的 第一行启动脉冲到来之第一行启动脉冲到来之 前，有一消隐期间，在前，有一消隐期间，在 此期间内要发送一个帧此期间内要发送一个帧 启动脉冲。启动脉冲。 3. CMOS器件的工作流程 山西工程职业技术学院 （3 3）启动行读出）启动行读出 SYNC-YRSYNC-YR指令可以启动行读出，指令可以启动行读出， 从第一行（从第一行（Y Y0 0）开始，直至）开始，直至 Y YY Ymaxmax止；止；Y Ymaxmax等于行的像等于行的像 敏单元减去积分时间所占去的敏单元减去积分时间所占去的 像敏单元。像敏单元。 （4）启动）启动X移位寄存器移位寄存器 利用同步

27、信号利用同步信号SYNC-X，启，启 动动X移位寄存器开始读数，从移位寄存器开始读数，从 X0起，至起，至XXmax止；止；X 移位寄存器存一幅图像信号。移位寄存器存一幅图像信号。 3. CMOS器件的工作流程 山西工程职业技术学院 （5 5）信号采集）信号采集 A/DA/D转换器对一幅图像信号转换器对一幅图像信号 进行进行A/DA/D数据采集。数据采集。 （6 6）启动下行读数）启动下行读数 读完一行后，发出指令，读完一行后，发出指令， 接着进行下一行读数。接着进行下一行读数。 （7 7）复位）复位 帧复位是用同步信号帧复位是用同步信号SYNC-SYNC- YLYL控制的，从控制的，从SYN

28、C-YLSYNC-YL开始至开始至 SYNC-YRSYNC-YR出现的时间间隔便是出现的时间间隔便是 曝光时间。为了不引起混乱，曝光时间。为了不引起混乱， 在读出信号之前应当确定曝光在读出信号之前应当确定曝光 时间。时间。 3. CMOS器件的工作流程 山西工程职业技术学院 （8 8）输出放大器复位）输出放大器复位 用于消除前一个像敏单用于消除前一个像敏单 元信号的影响，由脉冲信号元信号的影响，由脉冲信号 SINSIN控制对输出放大器的复位。控制对输出放大器的复位。 （9 9）信号采样）信号采样/ /保持保持 为适应为适应A/DA/D转换器的工作，转换器的工作， 设置采样设置采样/ /保持脉冲，该脉冲保持脉冲，该脉冲 由脉