低成本CMOS阵列式高速成像系统

1、收稿日期 :2004-09-10. 光电技术应用低成本 CMOS 阵列式高速成像系统王可东 , 孙道虎 , 晏 磊 , 赵红颖(北京大学 遥感与地理信息系统研究所 , 北京 100871摘 要 : 高速摄像是研究瞬间发生的物理和化学现象的重要手段之一 。 针对碰撞过程 , 提出了应用低成本 CMOS 阵列式成像传感器构建高速摄像系统 。成像阵列由 16个可更换的 CMOS 单元组成 , 接在主板上 。 为了进行同步控制 , 实验研究了 CMOS 传感器的工作时序 ; 通过延时器 , 使阵列式火花源分时闪光 , 并在 CMOS 快门打开的时间段内完成 。实验表明 , 该系统可以实现对 碰撞等瞬间

2、发生过程的拍摄 , 为相关研究提供基础 。关键词 : 传感器阵列 ; CMOS ; 高速摄像 ; 同步控制 中图分类号 :TB872 文献标识码 :A 文章编号 :1001-5868(2005 02-0146-05High 2speed Imaging System with CMOS ArrayWAN G Ke 2dong , SUN Dao 2hu , YAN Lei , ZHAO Hong 2ying(Institute of R emote Sensing and G eographic I nform ation System , Peking U niversity , B eij

3、ing 100871,CHN Abstract : High 2speed imaging is one of t he important ways to st udy t he p hysical and chemical p henomena occurred instantaneously. A high 2speed imaging system is const ructed wit h a low 2cost array of 16CMOS imaging sensors t hat exist in a mainboard. Their control and processi

4、ng circuit s are independently in 16sub 2boards and are inserted in t he mainboard to form a uniform system. To make t he array grasp a sequence of images correctly ,sync control is used to t he working sequence of t he CMOS array experimentally. U nder t he cont rol of a delayer ,t he spark source

5、array gives off time 2sharing sparks during t he CMOS shutter opened. The experiment s indicate t hat an instantaneous p rocess like collision can successf ully be grasped by t he system.K ey w ords : sensor array ; CMOS ; high 2speed imaging ; sync cont rol1 引言在对燃烧 、 爆破 、 撞击和等离子体等持续时间非常短暂的物理现象的研究中

6、, 往往需要借助于高速 摄像设备实现对高速动态过程的记录 , 一般定义帧 率高于 1000fp s (f rame per second 的摄像为高速 摄像 13。 本文通过拍摄物体碰撞瞬态过程 , 研究 碰撞材料所发生的物理和化学变化 , 但研究成果也 可以应用于其他高速摄像的场合 。数字式成像源主要有 CCD 和 CMOS 两种 。到 20世纪 90年代初 ,CCD 技术已经比较成熟 。近年来 , 由于中低价位的 CMOS 图像传感器在功耗 、 集成度 、 信噪比和价格等方面已优于 CCD , 成为图像 传感器研究的热点 。而用于高速摄像的 CMOS 图 像 传 感 器 在 国 外 已 经

7、 见 到 报 道 , 例 如 瑞 士 的 PhotoBit (Micron 公司已经推出了帧率为 4000fp s 的高速 CMOS 。随着工艺的不断发展 ,CMOS 在高 端高速成像方面也有赶超 CCD 的趋势 411。本文针对高速材料碰撞试验过程中的瞬态过 程 , 提出了普通的低成本 CMOS 高速成像方案 。由 于单片 CMOS 图像传感器完成单幅图像拍摄后必 须延迟百毫秒量级才能进行下一幅图像的拍摄 , 且 需要从不同角度对物体碰撞进行拍摄 , 因此 , 必须采 用由多个 CMOS 图像传感器构成的阵列式结构 。 通过控制火花源点阵在不同时间闪光 , 对高速变化641的碰撞过程在时间上

8、进行分割 ,CMOS 阵列依次记 录不同时间点的碰撞过程的分解图像 , 就可以再现 高速碰撞过程 , 实现高速摄像 。2 摄像系统总体结构CMOS 阵列式高速摄像系统按照高时间分辨率 (短曝光 和空间分辨率要求而设计的 。 图 1是高速摄像系统的总体结构框图 , 由光源子系统 、 同步控制子系统 、 光学子系统和数字成像子 系统四部分组成 。图 1 系统总体结构框图2. 1 光源子系统高压放电电路采用脉冲式瞬间触发 , 产生火花 闪光 。 这种高能量瞬间闪光方式可以避免拍摄运动 物体的拖尾影像 , 这是一般照明光源或机械式快门 所不能比拟的 。试验中使用的火花源点阵为 4×4的方阵

9、。从 上到下 , 从左至右依次进行闪光 , 分别为对应的 CMOS 图像传感器曝光提供照明 。 2. 2 光学子系统光学子系统包括两面大的场镜和一组透镜阵 列 , 被拍摄物体处于两面场镜之间 。透镜阵列和火 花源点 阵一一 对应 。透镜将 被拍 摄物体 成像 在 CMOS 的感光区域内 。火花源的闪光经过两面场 镜的分光分别进入 16个透镜 , 各个火花闪光互相不 干扰 。 如图 2所示 , 左上端火花光源的闪光只能进 入右下角的 CMOS , 左下角火花光源的闪光只能进 入 右上端的 CMOS 。 图中为了作图方便 , 只画出了图 2 光学子系统示意图一列 4个单元的情形 。2. 3 数字成

10、像子系统成像触发电路在同步信号作用下控制 CMOS 的起始曝光时间 。每一个 CMOS 图像传感器都有 自己的图像处理电路和图像存储单元 , 可通过各自 的 U SB 接口传输图像到计算机中 。图像传感器阵 列通过单个电源统一控制 , 具有一致的水平同步信 号 HS 和垂直同步信号 VS 。整个系统以 VS 为基 准信号 , 使火花闪光和 CMOS 曝光保持同步 。 2. 4 同步控制子系统同步控制子系统由时序延时器和同步控制电路 组成 , 是整个系统的枢纽 , 保证整个系统的各个子系 统协同工作 , 使火花源点阵闪光和对应的 CMOS 成 像单元曝光保持同步 。同步控制电路控制落锤的下落 ,

11、 当落锤撞击被 拍摄物体的瞬间 , 给出一个信号使时序延时器开始 工作 。同时 , CMOS 图像传感器的电子快门打开 。 时序延时器通过高压放电电路控制 16路火花源点 阵依次闪光 。 通过延时器的控制 , 将高速运动过程 在时间上进行分割 , 实现对不同时间点的图像拍摄 。 另外 , 与同步控制电路相配合 , 使整个火花源均在 CMOS 传感器的快门打开时间范围内闪光 , 获得记 录碰撞过程的 16幅瞬间图像 。3 CMOS 成像子系统3. 1 单个成像单元的构成与实现 3. 1. 1 CMOS 成像单元单个 CMOS 成像单元如图 3所示 。 其中 , 单片机和外触发同步电路控制时序 ;

12、 SDRAM 是数据缓 存器 , 在不掉电的情况下可以暂时保存静态图像 ; CF 卡是可选器件 , 用来永久地保存图像 。图 3 单个 CMOS 单元构成框图CMOS 图像传感器由像素电路阵列组成 。在 拍摄高速运动物体时 , 为了避免拖尾现象而造成图 像模糊 , 必须让整个像素空间同时曝光 , 并且曝光时 间足够短 。 CMOS 图像传感器的拍摄分曝光拍摄741和逐行扫描输出两部分 。DSP 图像处理器通过 I 2C 总线对 CMOS 的寄 存器进行设置 ,CMOS 输出 YUV 信号给 DSP 图像 处理器进行处理 , 以标准的图像文件格式存储在数 据缓存器 SDRAM 中 。拍摄到的图片

13、可以通过标 准 U SB 接口传输到计算机中 。如果使用了 CF 卡 , 则计算机也可以从 CF 卡中读取图像 。成像单元需 要两种工作电压 , CMOS 图像传感器接入 5V 电 压 , 其他器件接入 3. 3V 电压 。本系统选用美国 Omnivision (以下简称 OV 公 司的单色 CMOS 图像传感器 OV7120作为图像获 取器件 , 分辨率 640×480, 由像素阵列 、 模拟信号处 理器 、 双通道的多路选择器和模数转换器 、 视频时钟 控制 、 曝光 /增益控制和白平衡控制模块等部分组 成 。 输出的模拟视频信号经过 2个片内 10位模数 转换器 , 通过视频接

14、口输出 YUV 信号 。 3. 1. 2 单元成像时序 如图 4所示 ,CMOS 图像传感器由内部曝光控 制信号进行自动曝光控制 。当 CMOS 工作在逐行 扫描模式下 , 内部曝光控制信号处于高电平 , 在水平 同步信号的上升沿 , 电源开始对 CMOS 像素阵列进 行预充电 , T pr 为充电时间 。随后电子快门打开 , 像 素阵列开始曝光 , T ex 为曝光时间 ; 当内部曝光控制 信号处于低电平 , 电子快门关闭 , 开始输出图像数 据。 图 4 外触发器曝光时序同步控制电路响应外部触发信号 , 使火花闪光 的时间刚好落在 CMOS 图像传感器曝光的时间之 内 。 由于曝光是对感光

15、的积分过程 , 只要火花闪光 的亮度足够强 , 就能使像素阵列充分曝光 , 实现对高 速运 动 物 体 瞬 间 图 像 的 记 录 。因 此 , 对 于 单 个 CMOS 成像单元能否完成摄像任务的关键在于外部火花闪光时间和 CMOS 快门打开曝光时间相协 调 。3. 2 成像阵列根据应用要求 , 每个成像单元的 DSP 图像控制 器 、 单片机和 SDRAM 等器件均设计在一个 PCB 板 卡上 , 相当于一个独立的子卡 。同时另外设计一个 带有 16个 CMOS 传感器和插槽的板卡 , 作为主板 。 各子卡通过插槽安装固定在主板上 , 形成成像阵列 。 这种设计方式可以使各 CMOS 传感

16、器与对应的火 花源精确对准 , 保证成像质量 。4 系统时序与同步控制设计高速拍摄 系统 要 控 制 火 花 源 点 阵 的 闪 光 和 CMOS 图像传感器阵列的曝光保持同步 , 前提是确 定成像单元的拍摄时间和曝光时间 。 4. 1 成像单元系统时序主模式下 , 成像单元 OV7120的输出水平同步 信号 HS 、 垂直同步信号 VS 和系统时钟信号 CL K 的关系如图 5所示 , 图中 , T clk =74ns , T hs =3. 5s , T vs =66. 7ms , T Hvs =400s。图 5 OV7120内部时序图通过设置 ,OV7120可以从默认的主模式转为 从模式

17、。此时 ,OV7120需要从外部得到 CL K 、 HS 和 VS 。为了便于同步控制 , 设定其中 1个 OV7120工 作在主模式下 , 另外 15个 OV7120工作在从模式 下 , 前 者 为 后 者 提 供 CL K 、 HS 和 VS 。即 16个 CMOS 传感器同时打开快门 , 通过控制火花源点阵分时闪光 , 以拍摄不同时刻的图像 。 因此 , 准确确定 CMOS 传感器的快门打开时间和曝光持续时间是 进行同步控制的前提条件 。 4. 2 成像单元拍摄时间的确定如图 6所 示 , 是 多 路 采 样 数 字 示 波 器 测 得 OV7120的 SNA P 、 VS 、 V IN

18、 T 、 YUV 和 B EEP5路 信号波形图 。 SNA P 为成像单元的触发信号 。 VS 为 CMOS 的场同步信号 , 周期为 66. 7ms 。 V IN T 为视频中断信号 , 在静态图像拍摄模式下 , 拍摄完一 幅图像 , 将给出最后一个中断脉冲信号 ; 在此之前 ,841V IN T 和 VS 保 持 同 步 , 并 有 关 系 T vint =5T vs 。 YUV 为 CMOS 输出的视频数据信息 , 也和 VS 完全保持同步 。 B EEP 为蜂鸣器信号 , 当拍摄到图像 并对图像完成处理和存储以后 , 蜂鸣器会鸣叫一声 (beep 。 最后一个 V IN T 信号到蜂

19、鸣器鸣叫的时 间是一固定值 , 为 58ms 。其中 , t 1为 OV7120快门 按下到第一个 VS 信号上升沿到来之间的时间 , t 2为快门按下到第一个 V IN T 下降沿到来之间的时 间 , t 3为 快门 按下到 B EEP 下降沿 到 来 的 时 间 。 表 1所示为实测的 t 1、 t 2和 t 3具体值 。由表中的数据可以发现 , t 1值在 066. 7ms 内 随机地变化 , t 1、 t 2和 t 3存在如下关系 :t 2=t 1+aT(1 t 3=t 2+5T +58(2 式中单位均为 ms , a 为 -1、 0、 1、 2或 3中的某一个整数 , 由具体情况确定

20、 。通过研究 t 2的实验数据可以发现 ,CMOS 是在 快门按下后第四个 VS 脉冲到来时开始曝光 , 并在 第五个 VS 脉 冲 到 来 之 前 已 经 完 成 曝 光 。因 为 OV7120的最大曝光时间为 32. 4ms , 而一个 VS 周期为 66. 7ms 。图 6 OV7120的测试波形表 1 拍摄时间测量值 (单位 :ms实验序号t 1t 2t 3t 1t 2t 3 4483329849013222241218844762054544464. 3 系统同步控制设计如图 7的系统同步控制示意图所示 , 落锤由电控阀门固定住 , 当电控阀门接受到触发控制信号后 , 将释放落锤 ,

21、 然后落锤将作自由下落运动 。当落锤 下落到滑杆底部 , 与被拍摄物体相碰撞的同时 , 也为 火花源点阵的延时器提供启动信号 , 使得火花源点 阵经过一段时间延时后点火 。同时 ,CMOS 阵列在 另一延时器的作用下 , 在一段时间后打开快门 。通 过对系统时序的精确控制 , 使得火花源点阵的点火 时间落在 CMOS 阵列的快门打开的时间范围内 , 实 现点火与拍摄的同步 。因此 , 同步控制的关键是调整好两延时器的工 作时序 , 在实验中需要根据具体应用情况进行现场 调整 。图 7 系统同步控制示意图5 实验实 验 中 , 16个 CMOS 图 像 传 感 器 均 采 用OV7120,DSP

22、 图像处理器采用由 Winbond 公司研 制 的 W9968CF 芯 片 , 控 制 用 单 片 机 采 用 由 Winbond 公司研制的 W78L E516芯片 ,SDRAM 选取 的 是 韩 国 现 代 半 导 体 公 司 1M ×16的 H Y57V1616。获取的图像可以保存在 SDRAM 中 , 通过 U SB 接口与计算机相连接 , 将成像单元中获取的图像传 输到计算机中保存 。另外 , 还可以通过 TWA IN 接口 , 利用 Imaging for Windows 、 Photoshop 等专用 图形 处 理 软 件 浏 览 或 处 理 图 像 。实 验 中 ,

23、通 过 TWA IN 接口 , 利用 Imaging for Windows 实时查看获取的图像 , 以便判断实验效果和确定是否需要重 新进行实验 。实验系统的主要技术指标如下 :数字图像传感器 :256灰度级的黑白 CMOS , 分 辨率为 640×480;电子曝光时间 :63.5s 32. 4ms ;最大视频帧率 :15fp s (V GA ,30fp s (QV GA ; 外触发曝光时间 :0.5s ;相邻 CMOS 曝光间隔 :09999s 连续可调 , 分度值为 1s ;941 半导体光电 2005年 4月第 26卷第 2期 王可东 等 : 低成本 CMOS 阵列式高速成像

24、系统图像格式 :BMP 或 J PEG;每个成像单元都能单独存储 11幅图像 ; 支持 U SB1. 1标准 ;支持 TWA IN 接口规范 。图 8所示为成像子系统的实物照片 , 图 9为利 用该系统获取的落锤与一环形被拍摄物体相碰撞瞬 间的图像 。 通过本系统 , 可以获取研究碰撞过程所 需要的相关资料 。图 8 成像子系统实物照片图 9 系统获取的落锤与一环形物碰撞瞬间的图像6 结语本文研制了一种低成本 CMOS 阵列式高速摄 像系统 。 采用主板和子板式结构 , 各成像单元相对 独立 , 通过插槽与主板相连接 。通过时序控制 , 使 16个 CMOS 传感器同时打开快门 , 并将其曝光

25、时间调整为最大值 32. 4ms 。针对同步控制 , 实验确 定了成像单元的工作时序 , 通过延时器调整火花源 点阵的闪光时间 , 使各火花源在不同时间点闪光 , 且 所有闪光均发生在 CMOS 阵列的快门打开曝光时 间段内 。实验完成了碰撞过程的高速拍摄任务 。 参考文献 :1 孙道虎 . 基于 CMOS 阵列的高速数字成像系统的研究与应用 D.北京 :北京大学 , 2003.2 王茂钧 , 张淑清 . 频闪多幅高速显微摄像设备 J.兵工学报 ,1997,18(2 :1822185.3 叶元法 , 王振林 , 王瑞龙 , 等 . 多火花高速摄像仪的电脑控制系统 J.浙江大学学报 (自然科学版

26、 ,1994,28(4 :4582461.4 景 涛 . 实验型 CMOS 数字成像系统软硬件研制及相关技术研究 D.北京 :北京大学 ,2002.5 赵文伯 , 刘俊刚 . CMOS 图像传感器发展现状 J.半导体光电 ,1999,20(1 :11214.6 晏 磊 , 周 雅 , 张飞舟 . 数字成像技术的历史 、 现状与发展 J.影像技术 ,2001, (3 :126.7 徐 华 , 周 雅 . 数字相机技术与发展 J.影像技术 ,2001, (4 :125.8 程开富 . 新颖有源像素图像传感器的新进展 J.半导体情报 ,1999,36(2 :26232.9 Trepanier J L , Sawan M , Audet Y , et al. A widedynamic ran