（信号与信息处理专业论文）pal一体化摄像机关键技术研究.pdf

太原理工大学硕士研究生学位论文 i pal 一体化摄像机关键技术研究 摘 要 一体化摄像机体积小巧、美观，功能扩展方便，有广泛的应用前景和 使用价值。目前，在安防监控领域，pal 一体化摄像机仍是主流产品。然 而，无论技术还是市场国外厂商都占据主流。经调查研究发现，技术和功 能上的差异是国内厂商在市场竞争中处于劣势的根本原因。本文针对这种 现状，以 pal 一体化摄像机为研究对象，为进一步提高国产一体机技术含 量和产品附加值，研究了一体机的部分关键技术并在给定的硬件平台上实 现。 论文研究了精确的自动曝光控制方法，该方法采用光圈控制和电子增 益补偿相结合的控制方式，充分利用模糊逻辑系统实现图像区域亮度的权 值动态分配获得更加精确的图像亮度均值，并且通过对大规模数据进行分 类总结得到光圈亮度对应表。实际应用表明，该表中数值可使图像画面亮 度均匀，符合人眼视觉要求，有利于快速调节光圈至合适位置；改进了自 动聚焦搜索策略，采用变焦曲线与渐进式搜索策略相结合的方式，大大提 高了一体机大幅离焦时的聚焦速度，提升了聚焦成功率，即便在高变倍区 域也能够较为快速的聚焦；实现多种云台控制协议的解析，包括常见的 pelco-d、pelco-p、phlips、samsung 等，能够自动识别协议并映射 为中间协议。 本论文设计的 pal 一体化摄像机系统与国内同类摄像机相比，自动曝 光快速精确，自动聚焦准确且在大幅离焦时也能够快速聚焦，性能与国外 太原理工大学硕士研究生学位论文 ii 同类产品相近。本项目已通过山西省科技厅组织的成果鉴定达到国际先进 水平。 关键词：一体化摄像机，镜头控制，变焦，自动曝光，自动聚焦 太原理工大学硕士研究生学位论文 iii pal integrative video camera key technology research abstract integrative cameras have a compact size, pleasant appearance，easy expansion of functions. therefore, integrative cameras have a wide application prospect. at present, pal integrative camera is still the mainstream product in the field of security monitoring. however, whether technical or market foreign manufacturers occupied a dominant position. after investigate carefully, we found that technical and functional differences are the root causes. in view of this status quo, this paper studied pal integrative camera and some of its key technologies as to further improve the level of china-made machine. this paper first studied precise automatic exposure control method. this method used aperture control and electron-gain compensation control means, obtained a more precise average brightness by using a fuzzy logic system. look-up table between pwm and aperture was obtained by summing up a large amount of experimental data. practical application shows that the value of the table screen allows the image brightness in line with the vision requirements of the human eye. then auto-focus search strategy was studied. we used the zoom curve and gradual zoom search strategy, greatly improved the success rate of focus and focusing speed when focus motor deviate from the right position 太原理工大学硕士研究生学位论文 iv seriously. even at high zoom region this method can focus more quickly. implementation of ptz control protocols analysis and automatic identification, including the common pelco-d, pelco-p, phlips, samsung, and so on. compared with similar cameras, the design of the pal integrative camera system in this paper has a more fast and accurate auto exposure, quick focus. this design has been identified as having reached the international advanced level by shanxi science and technology agency. key words: integrative camera, lens control, zoom control, auto-focus, auto-exposure 太原理工大学硕士研究生学位论文 1 第一章 绪 论 1.1 论文研究背景及意义 一体化摄像机一般指可自动聚焦、镜头内建的摄像机。与传统摄像机相比，一体化 摄像机最大的优点就是具有自动聚焦功能，并且它体积小巧、美观，安装方便，密闭性 较好质量容易控制。 随着世界经济水平和科学技术的飞速发展，人们对安全防范要求也越来越高。为了 对付各种各样的经济刑事犯罪，保护国家和人民群众的生命财产的安全，保证各行各业 和国家重点部门的正常运转，采用高科技手段预防和制止犯罪已成为保安领域里的共 识。社会公共安全防范工作中，图像信息是最能准确说明和反映现场情况的，视频监控 系统恰好满足这一需要，是安全防范系统的重要组成部分。渐渐地视频监控以其直观、 方便、信息内容丰富而广泛应用于几乎我们需要的各种场合。近年来，随着计算机、网 络以及图像处理、传输技术的迅猛发展，视频监控制技术及其应用也有长足的发展1。 一体化摄像机的关键技术比较集中， 世界上第一台实用性摄像机是由美国安培公司 于 40 多年前推出的。当时的摄像机采用摄像组件，寿命低、性能不稳定而且不能对强 光进行摄影。上个世纪 70 年代末期，jvc 推出了第一台家用型摄像机，jvc 的最大的 功劳在于将摄像机的操作简化，大幅降低价格。从此，摄像机开始从专业领域向普通家 庭进军。如今，随着数码技术的发展，家用摄像机已经被数码产品一统天下。而在视频 监控领域一体化摄像机也逐步走向主流，并且向着智能化和网络化发展。 一体化摄像机的发展同时也得益于自动聚焦技术的发展。 一开始的自动聚焦方法基 本属于测距法， 即利用红外线或者超声波测量出被摄物体与摄像机之间的距离从而调整 焦距实现自动聚焦的。随着现代计算技术的发展和数字图像处理理论的日益成熟，自动 聚焦技术进入一个新的数字时代，越来越多的自动聚焦算法是基于图像处理的理论，改 变以往通过测量相机与被摄主体之间的距离来进行聚焦的方法， 老的方法不仅使系统庞 大笨重，而且有时还不准确(因为红外射线必须准确地射向被摄体)。数字图像处理理论 认为，信号或图像的能量大部分集中在幅度谱的低频和中频段，但图像轮廓的锐度和细 节的丰富度取决于图像的高频成份。 因此各种检测图像的边缘信息或计算图像高频分量 太原理工大学硕士研究生学位论文 2 的自动聚焦方法应运而生。其中，通过对图像有关信息进行分析计算从而驱动电机使系 统正确聚焦的方法我们可以称之为半数字式的自动聚焦方法； 另一种方法完全建立在图 像信息的分析计算的基础上，用图像处理的方法对离焦的图像进行复原变换，使输出的 数字图像清晰，而不是调整聚焦镜头的位置，使系统处于准焦状态，我们可以称这种方 法为全数字式的自动聚焦方法2。 随着技术的不断发展，出现了各种新型的一体化摄像机，如具有夜视功能的摄像 机。夜视技术是指在夜间无可见光或只有很微弱可见光环境下的可视监视技术，因而它 可归纳为应用电视技术的一个分支。多年来，在直视夜视技术的基础上，借助高灵敏摄 像机进行夜间监视的电视夜视技术已得到迅速发展，并开始应用于现代电视监控系统 中。还有，为了适合在大气雾气环境中的电视监控应用，英国一家公司专门生产了一种 具有破雾功能的摄像机。从结构上说，该摄像机其实是在 ccd 传感器的前面加装了两 片并列的、可受微型电机控制而左右滑动并单独对 ccd 传感器进行遮挡的滤光片，其 中一片是在普通彩色摄像机中常用的红外切割滤光片， 另一片则是暗红近乎黑色的红外 滤光片，前者相当于光频高通滤波器，而后者相当于光频低通滤波器。两片滤色片可以 自动或手动受控切换3。 与普通摄像机一样，一体化摄像机在数字化及网络功能上也有新的进展，主要是数 字化处理技术，在一体机内部嵌入网络处理模块，具备网络功能;另外就是目标锁定、自 动跟踪功能。理论上来说自动跟踪功能可以很好地实现，可是实际应用中在多目标跟踪 时一体机只能自动选择最大的目标进行锁定。 网络功能与自动跟踪功能也是未来摄像机 (包括一体化摄像机和普通摄像机)发展的方向4。 1998 年，一体化摄像机正式出现在国内市场。目前，国内一体机市场上主流依然由 sony、hitachi、samsung、cnb、lg 等外国品牌所统领，国内厂商仅有少数低 端产品，无论技术还是市场都不占据优势。 正是基于国内一体化摄像机市场的现状和一体机广阔的应用前景， 本文将这种类型 的摄像机作为我们的研究对象，为进一步提高国产一体机技术含量和产品附加值，研究 了一体机的关键技术、对控制系统进行了设计，并在给定的硬件平台上实现。 1.2 论文完成的工作 本文以 pal 一体化摄像机为主要研究对象，研究了一体机的关键技术并对控制系 太原理工大学硕士研究生学位论文 3 统进行了设计实现。 为了满足对一体化摄像机光学系统、 视频系统以及通信系统的要求， 我们采用了 philips 公司生产的 lpc2132 单片机作为主控制器，xilinx 公司 fpga-x3s250e 实现 osd、聚焦分析以及冻结负片等特色功能。在控制程序设计中，成 功的驱动了步进电机对光学系统进行控制， 并对摄像机自动曝光和自动聚焦搜索进行了 快速精准的控制。 具体工作如下： ? 对一体化摄像机控制系统的关键性技术进行了研究， 提出了基于一种基于多区域的 快速自动曝光方法并对自动聚焦搜索方法进行了改进， 大大提高了大幅离焦时的聚 焦速度，实现了全区域的自动聚焦。 ? 研究一体化摄像机控制系统的整体结构，完成了整系统控制程序设计。实现了对光 学系统的精确控制， 并充分利用光学变焦曲线实现了对变焦过程的精确控制做到了 整个变焦过程不出现大幅离焦，对多种云台控制协议进行了解析。 ? 对dsp进行了深入研究调试， 实现了图像色彩的良好还原， 实现单片机与dsp通信， 实现负片、镜像等多种功能。 1.3 论文的组织和结构 论文具体分为五个章节，安排如下： 第一章为绪论，论述了一体化摄像机的优势及应用前景，明确了本课题的研究对象 及研究意义，进而阐述了一体化摄像机各项技术国内外发展的基本状况，最后对本课题 完成的工作和论文整体结构进行总结表述。 第二章为系统设计基础，对系统采用的主要部件、程序开发环境和算法的相关基础 进行了简单介绍。 第三章基于 mcu 的硬件控制系统设计。首先论述了一体化摄像机控制系统的框架 设计，对控制系统程序的总体框架进行了设计，然后对主要功能模块进行了详细的分析 和设计，包括镜头控制、通信控制、云台控制协议解析等。 第四章自动曝光和自动聚焦实现。 对一体化摄像机的核心技术自动曝光控制和自动 聚焦的搜索策略进行了设计实现。通过引入模糊逻辑系统、利用查找表，大大提高了同 等条件下摄像机曝光的速度和精准度；通过对聚焦曲线的充分利用，使得摄像机大幅离 太原理工大学硕士研究生学位论文 4 焦时自动聚焦速度大大提升。 第五章对自己论文期间的工作进行了总结， 指出了有待改善的几个方面并提出了一 些改进意见及展望。 太原理工大学硕士研究生学位论文 5 第二章 系统设计基础 2.1 sony 470k 套件 本设计采用的套件基于目前 sony 最新的 470k 摄像机解决方案(ss-11x)，与市场 上现有的 470k 摄像机解决方案 ss-hq1 相比具有极高的性价比，套件包括 ccd-icx229ak、dsp-cxd4103r 及一些辅助芯片。 ccd(charge coupled devices)，即电荷耦合器件，摄像机关键器件之一，是一种高 性能微型图像传感器。它具有灵敏度高、光谱响应宽、集成度高、维护方便、成本低廉 等优点，在国防、公安、医学、工业、医学、生物、天文、地质、宇航等科技领域有着 广泛的应用。ccd 工作原理简单地可以用一个比喻说明： “小桶”与“光滴” 。ccd 的 结构就像一排排输送带上并列放置的小桶，光线就像雨滴撒入各个小桶中，每个小桶代 表一个像素。 拍摄其实就是按一定的顺序测量某一短暂的时间中， 小桶中落进了多少 “光 滴” ，并形成相应的数据文件的过程。 目前主要有两种类型的 ccd 光敏组件，分别是线性 ccd 和矩阵性 ccd。摄像机、 数码相机用 ccd 多属于矩阵式 ccd。 本设计选用的 ccd 图像传感器是 sony 公司生产的补色 y-c-m-g 矩阵性 ccd - icx229ak (如图 2-1 所示)，它是一款隔行扫描 ccd，适用于 pal 制彩色摄像机，有效 像素分辨率 752(h)*582(v)。它采用 sony 公司 super had 技术，因而具有很高的灵敏 度并能获得高饱和度的视频信号5。 图 2-1 icx229ak fig. 2-1 icx229ak 太原理工大学硕士研究生学位论文 6 dsp（digital signal processing）是数字信号处理的缩写。dsp这个名词在cctv工 业中越来越被广泛使用。dsp芯片将输入信号转换成数字分量，通过编写程序以数字方 式对要处理的数据任意设置， 因其比普通的mcu有更高的运算速度， 大大提高了摄像机 的视频处理及操作性能 。另由于dsp芯片有很高的集成度，摄像机的体积大大缩小， 节省了零件及装配时间，从而降低了成本。dsp处理图像传感器原始数据采样、量化后 形成数字信号，主要包括cfa差值、自动曝光、自动白平衡、噪声滤波等等，少数dsp 还具有a/d转换、复合视频输出、osd等功能。 本设计选用的 dsp 处理芯片采用 sony 公司最新推出的 cxd4103r，它是一款适 用于ye, cy, mg and g单ccd彩色摄像机的数字信号处理芯片， 可支持510h/760h ccd 图像传感器，它除了一般的视频信号处理功能外，内部还具有 ae/awb 探测电路、同 步信号发生电路及外同步电路。可广泛用于工业 ccd 摄像机以及多媒体 ccd 摄像机。 其它主要功能有6： 1、内建时序发生器驱动单 ccd 图像传感器； 2、支持 ntsc/pal 模式； 3、内建 10 位 a/d 转换器； 4、内建 10 位 d/a 转换器、数字编码器，支持模拟复合视频信号、s 端子视频信号 以及符合 itu-rec 656 格式的数字信号三种模式； 5、内建微控制器可实现分块控制功能； 6、ccd 坏点探测与补偿功能； 7、支持符合 rs232c 串行通信功能 cxa2096n-cds/agc（相关双采样/自动增益控制）芯片，数字 ccd 摄像机前端 放大器，具有以下功能7：内建 cds(相关双采样)电路和自动增益控制电路；a/d 采样 和保持功能；消隐功能(校准 ccd 输出信号黑电平)；a/d 参考电压；输出驱动。 cxd1267an-ccd 图像传感器场时钟驱动芯片， 内建 ccd 场时钟驱动以及快门脉 冲驱动8。 2.2 lpc2132 及其开发环境 lpc2132是philips公司一款基于32/16 arm7tdmi-stm cpu的微控制器，并带有 64kb的嵌入的高速flash存储器。128位宽度的存储器接口和独特的加速结构使32位代码 太原理工大学硕士研究生学位论文 7 能够在最大时钟速率下运行。对代码规模有严格控制的应用可使用16位thumb模式将代 码规模降低超过30%，而性能的损失却很小。较小的封装和极低的功耗使lpc2132可以 理想地用于小型系统中。 多种串行通信接口和片内16kb的sram使lpc2132非常适用于 通信网关、协议转换器、软modem、低端成像等，为它们提供巨大的缓冲区空间和强大 的处理功能。多个32位定时器、1个10位8路adc、10位dac、pwm通道和47个gpio以 及多达9个边沿或电平触发的外部中断使它们特别适用于工业控制和医疗系统。 其主要特性有9： 1. 小型lqfp64封装的16/32位arm7tdmi-s微控制器； 多达47个 （可承受5v电压） 的通用i/o口；9个边沿或电平触发的外部中断引脚； 2. 片内boot装载软件实现在系统/在应用中编程（isp/iap）。扇区擦除或整片擦 除的时间为400ms，1ms可编程256字节； 3. embedded icert和嵌入式跟踪接口可实时调试（利用片内real monitor软件） 和高速跟踪执行代码； 4. 1个8路10位a/d转换器，通道的转换时间低至2.44us； 5. 1个10位 d/a转换器，可提供不同的模拟输出； 6. 2个32位定时器/计数器（带4路捕获和4路比较通道）、pwm单元（6路输出） 和看门狗； 7. 多个串行接口， 包括2个16c550工业标准 uart、 2个高速i2c接口 （400 kbit/s） 、 spitm和ssp（具有缓冲功能，数据长度可变）； 8. 向量中断控制器。可配置优先级和向量地址； 9. 通过片内 pll可实现最大为 60mhz的 cpu操作频率，pll的稳定时间为 100us； 10. 可通过个别使能/禁止外部功能和降低外部时钟来优化功耗； 11. 单个电源供电，含有上电复位（por）和掉电检测（bod）电路。 本设计中主要使用lpc2132给pw1226初始化，并且实现对dsp、fpga、pw1226 以及镜头电机的控制，我们使用ads1.2编译生成.hex文件，再使用配套软件lpc2000 使用串口将代码下到单片机片内的flash中。 一般嵌入式系统软件的开发可以选择汇编语言和 c 语言。 汇编语言是一种用文字助 记符来表示机器指令的符合语言，是最接近机器码的一种语言。其主要优点是占用资源 太原理工大学硕士研究生学位论文 8 少、程序执行效率高。但是其移植性和可读性差，开发的周期较长。而 c 语言则具有较 高的可读性和可移植性，并支持有顶向下的结构化程序设计技术，大大缩短程序开发周 期，便于改进和扩充，因此我们采用 c 语言作为主要的开发语言。 在软件开发环境方面，采用了 arm 公司推出的 arm 核微控制器集成开发工具， 英文全称为arm developer suite， 成熟版本为ads1.2。 它支持arm10之前的所有arm 系列微控制器，支持软件调试及 jtag 硬件仿真调试，支持汇编、c、c+源程序，具 有编译效率高、系统功能强等特点。ads1.2 开发环境界面如图 2-2 所示。 图 2-2 ads1.2 开发环境 fig. 2-2 development environment of ads1.2 在 ads1.2 中开发的过程并不复杂，首先建立一个工程，然后在工程中编译 c 语言 源代码或者汇编源代码，代码编译完成后，将源代码编译或会变成目标文件，然后通过 链接器将目标文件和库文件链接成可执行模块， 可执行模块就可以相爱在到用户系统中 进行调试了。软件开发流程如图 2-3 所示。 太原理工大学硕士研究生学位论文 9 工 程 建立工程 编译 编译 c源文件 汇编源文件 库文件连接 装配 目 标 文 件 图 2-3 软件开发流程图 fig. 2-3 software development flow 2.3 图像模糊信息处理中的数学基础 1961 年，美国控制论专家 l.a.zadeh 提出用模糊理论来研究不确定性和不精确性， 为智能信息处理提供了有效的处理技术。 人们发现模糊理论对于图像的这种不确定性有 很好的描述能力， 所以可以引入模糊集理论作为有效描述图像特点和人的视觉特性的模 型和方法，分析诸如人的判断、感知及辨识等行为。近年来一些学者致力于将模糊理论 引入到图像处理中，取得很好的效果。 （一） 、模糊集合的概念 正是考虑到现实世界中很多事物的分类边界是不分明的， 而这种不分明的划分在人 们的识别、判断和认知过程中起着重要的作用，为了用数学的方法来处理这种问题，扎 德（l.a.zadeh）于 1965 年提出了模糊集合的概念。他用隶属度函数（membership function）来刻画处于中介过度的事物对差异双方所具有的倾向性。可以认为隶属函数 是普通集合中特征函数的推广。当我们将特征函数的值域由0,1二值扩展到0,1区间 时，就描述了一个模糊集合。 定义 模糊集合：论域x上的模糊集合a 由隶属函数来表征，其中)(x a 在实轴的 闭区间0,1上取值，)(x a 的值反映了x中的元素x对a 的隶属程度10。 太原理工大学硕士研究生学位论文 10 模糊集合完全由隶属函数所刻画。)(x a 的值接近于1，表示x隶属a 的程度很高； )(x a 的值接近于0，表示x隶属a 的程度很低；当)(x a 的值域为0,1二值时，)(x a 演化为普通集合的特征函数)(x a ，a 便演化成一个普通集合a。我们可以认为模糊集 合是普通数学集合的一般化。 对于xx，都有唯一确定的隶属函数 1 , 0)(x a 与之对应。我们可以将a 表示 为 )(x a : 1 , 0x 即)(x a 是从x到0,1的一个映射，它唯一确定了模糊集合11。 值得注意的是，在讨论模糊集合的概念时，论域x所包含的元素的分明的，并不是 模糊的，而只有x上的模糊集合a 才是模糊的。从这个意义上说，模糊集合应该称为模 糊子集合（fuzzy subset） 。 （二） 、几种常见的隶属函数类型 一个论域上的模糊集的隶属函数是千差万别的。 下面给出实数集上很有用且又常见 的三类隶属度函数12： 1) 偏小型 + = cx cxcxa x b s 1 )(1 ( )( 1 (2-1) 式中，xc是任一点，a和b是两个大于零的参数，隶属函数如图2-4(a)所示。 2) 偏大型 + )(； 3) 若),(, 0)(+=axx g ，则axdf g )(； 4) 若), 0)(+=axx g ，则axdf g 0 x07(共八档速度) 下：0 x08-0 x0f 左：0 x10-0 x17 右：0 x18-0 xlf ? 预置点部分 调用预置点：0 x20-0 x27(调用1-8号预置点) 设置预置点：0 x28-0 x2f(调用1-8号预置点) 调用预置点(9-63)：0 x80-0 xbf 设置预置点(9-63)：0 xc0-0 xff 调用预置点(64-128)：0 x7f+(0 x80-0 xbf) 设置预置点(64-128) ：0 x7f+(0 xc0-0 xff) ? 镜头控制部分 快速翻转功能(180deg)：0 x36 close:0 x30 太原理工大学硕士研究生学位论文 40 open:0 x31 near:0 x32 far:0 x33 wide:0 x34 tele:0 x35 ? 辅助功能部分: auxl_ off:0 x38;/继电器断开 auxl_ on:0 x39;/继电器吸合 aux2_ on:0 x3a;/负片显示开 aux2_ off: 0 x3b;/负片显示关 aux3_on:0 x3d;/自动31-32 aux4_off:0 x3e;/黑白 aux4_on:0 x3f;/彩色 aux5_on:0 x50;/打开背光 aux5_off:0 x3c;/关闭背光 aux6_on:0 x51;/360 aux7_on:0 x52;/转横s型，92/93 82/83 aux8_on:0 x53;/削苹果 aux9_on:0 x54;/两点间水平垂直转(92/9382/83) 0 x550 x5a保留 aux11_on:0 x5b;/轨迹1 aux12_on:0 x5c;/轨迹2 aux13_on:0 x5d;/保留 aux14_on:0 x5e;/保留 aux15_on:0 x5f;/保留 aux21_on:0 x60;/巡航l aux22_on:0 x61;/巡航2 aux23_on:0 x62;/巡航3 aux24_on:0 x63;/巡航4 太原理工大学硕士研究生学位论文 41 aux25_on:0 x64;/巡航5 aux26_on:0 x65;/巡航6 aux27_on:0 x66;/巡航7 aux28_on:0 x67;/巡航8 aux29_on:0 x68;/白平衡开 aux29_off:0 x69;/白平衡关 aux30_on:0 x6a;/冻结开 aux30_off:0 x6b;/冻结关 aux31_on:0 x6c;/同屏对比 aux32_on:0 x6d;/存储 aux33_on:0 x6e;/回放 ? 其它功能部分 ir_auto:0 x40; ir_auto:0 x41; cam_icr:0 x42; cam_icr:0 x43; 97+shot:0 x4a /调第一条轨迹 98+shot:0 x4b /调第一条巡航 96+shot:ox4e /停止扫描 99+shot:0 x4d /自动扫描 0 x4a=停止命令 3.5.5 协议转换系统 协议转换系统是将接收到的不同的协议进行识别、校验、转换、执行。 首先要确定接收的是什么协议。 大多数协议的头字节均不一样， 字节长度也不一样； 所以根据判断头字节标志即可分解出是何种协议内容；根据协议字节长度，需定义字节 长度标志，中断接收相应的协议字节内容；另外中断接收模式采用一个字节中断一次， 而不是发一次命令字节串而中断一次；然后将接收到的协议进行校验，判断是否为正确 有效的协议。将正确的协议转换成中间协议执行，将不正确的协议抛弃。 以较为常用的pelco-d为例，给地址编号为0 x01的摄像机发送光圈变小命令 太原理工大学硕士研究生学位论文 42 0 xff,0 x01,0 x02,0 x00,0 x00,0 x00,0 x03,，当接收到首字节0 xff后即可判定出此协议为 pelco-d云台控制协议，根据pelco-d协议规定初始化串口循环接收后续6个字节； 然后根据对收到的命令按pelco-d协议校验规则进行校验，如果校验正确则判断是否 为本机命令，属于本机命令则转换为中间协议0 x30并驱动光圈缩小，否则抛弃。具体 的协议转换流程图如图3-18所示： 开始 接收指令 协议转换 协议判断 命令处理 结束 正确 有 误 本机命令 是 否 图 3-18 协议转换流程图 fig. 3-18 flow chart of protocol conversion 3.6 本章小结 本章首先论述了一体化摄像机控制系统的架构， 对控制系统程序的总体框架进行了 设计，然后对系统的主要功能模块包括镜头控制、mcu通信模块、及云台控制协议自 动识别解析等进行了详细的设计实现。 太原理工大学硕士研究生学位论文 43 第四章 自动曝光和自动聚焦实现 一体化摄像机主要用于安防监控、视频展示台等场合，它的工作环境和用途决定了 它最基本的要求就是要掌握恰到好处的曝光以及无时无刻保证图像的清晰。 自动曝光的 主要目的就是计算正确的曝光量，从而使得摄像机传送回的图像曝光合适，亮度适于人 的视觉；自动聚焦是快速搜寻到合适的聚焦点，保证当前图像的清晰。在摄像机这个实 时系统中，自动聚焦的快速搜索则显得更为重要。因此，自动聚焦搜索能力的好坏已成 为衡量一体化摄像机性能优劣的一个重要标准。 4.1 传统的自动曝光控制方法 曝光是用来描述从景物到达数码成像系统光通量大小的物理量。 曝光是否正常直接 影响图像的效果。 曝光过度, 图像看起来就太亮； 曝光不足， 图像看起来就太暗。 因此， 自动曝光是数码成像系统中对图像信号的一项重要处理功能28。 像素阵列模拟处理器a/d转换器 时序发生器 曝光检测 曝光 控制器 白平衡 检测 白平衡 控制器 i2c接口与 控制寄存 器 图 4-1 图像传感器内部结构功能 fig.4-1 internal structure of imaging sensor 最早的数码成像系统自动曝光是由图像传感器（image sensor，简称is）实现的。 如图4-1所示，图像传感器内部主要由像素阵列、模拟信号处理器和控制器三个部分组 成。像素阵列负责曝光成像，模拟信号处理器处理信号的放大、滤波和a/d转换。 对于图像传感器的传统自动控制器，我们按其功能模块进行介绍。 太原理工大学硕士研究生学位论文 44 4.1.1 自动曝光控制aec 自动曝光控制aec是auto exposure control的简称。 一、is曝光原理 is器件的曝光是利用在pn结上加上反偏电压，经光照激发光电子，产生漏电流的 原理进行工作。cmos is器件是利用电容存储光电子。ccd is器件则是通过势阱完成 电荷藕合的。 图 4-2 图像传感器工作原理 fig.4-2 operation principle of imaging sensor 二、电子快门 电子快门的开启就是在pn结上加上反偏转电压。ccd is器件的电子快门关闭是将 曝光后的光电子同步转移到缓冲区后，逐行移出，再通过读出放大器读出；而cmos is 器件则是将其反偏转电压断开，并将电容中存储的电荷直接通过放大器读出。 三、曝光时间 曝光时间t =t _line*aec，t _line =63.5us（如果is芯片外接的主时钟为27mhz） 。 aec为is内部寄存器，取值范围从0255。 四、自动曝光控制 传统is自动曝光控制器比较简单，通过设立两个门限值ecw、ecb对曝光时间进 行调整。具体方法是:对于感光图像i中每个像素点的亮度值bi ( ii ) 按照公式(4-1)进 行计数统计。 () () ecwtbright ecbtbright cnttrue blii cnttrue blii = =ecw 或 cntecb ecb 时，控制器就自动进行曝光时间的调整，当感光图像 的亮点数超过ecw时，将减少曝光时间，当感光图像的暗点数超过ecb时，将增加曝 光时间；当 cntecwecw 且 cntecbecb 时，控制器处于稳定状态。实际上这是一种 取平均亮度的自动曝光模式。 4.1.2 自动增益控制 is的内部增益放大器，共有两级。第一级是可变增益放大器，第二级由两个2倍增 益的放大器组成。 在暗环境中拍摄图像时， 为了保证图像的亮度和色彩并降低图像噪声， 通常要使用第二级固定增益放大器。 自动增益控制：处理方法与自动曝光处理相同，同样受门限值ecw，ecb的控制。 由于增益放大器工作时会将噪声连同有效信号一起放大， 因此控制器采用优先设定放大 器增益、 调节曝光的方法， 以提高系统的信噪比。 这里的处理方法类似于传统相机的 “光 圈优先”曝光法。 4.1.3 直流亮度调节 图像传感器输出图像的亮度取决于系统的增益，被摄物的照度和曝光时间。直流亮 度控制着图像传感器rgb通道的直流偏置，其数值变化区间为0,255，对应的直流电 平为-100mv+100mv。该控制参数直接影响了输出图像的平均亮度，但它是以改变图 像传感器黑电平为目的的控制量，改变该参数会直接影响传感器的曝光动态范围，通常 将该参数设定为中心值（即128） ，以获得传感器曝光的最大动态范围。 从以上的控制功能我们可以看出，is的控制系统各个功能之间的关系是相互独立 的，而提出的控制方法过于简单，效率较低。实际上，最终输出的图像与各个控制模块 之间的关系是紧密相连的，各个功能模块之间的关系也是相辅相成的。因此，仅仅依靠 is实现自动曝光是远远不够的，需要效率更高的控制方法用于实现自动曝光。 4.1.4 基于参照亮度的自动曝光控制方法 曝光值是关于光亮度值的函数， 并且每一个亮度值对应于且只对应于一个合适的曝 光值。如果预先设定参照亮度值，并给出与该参照亮度值相对应的曝光值，这样就可以 控制数码成像系统的曝光。 这就需要在数码成像系统内部设置与参照亮度相对应的曝光 太原理工大学硕士研究生学位论文 46 值查询表格。拍摄时由数码成像系统的测光系统测得被摄景物的亮度值，在曝光值查询 表格中找到与之对应的曝光值， 根据该曝光值控制光圈系数和快门速度就可以实现自动 曝光。 可以使用测光计或者其它光电设备测量参照亮度值， 也可以通过处理图像来设定参 照亮度值。 将图像分割成许多的子图像， 每一块子图像的平均亮度用于设置参照亮度值。 该参照亮度值可以通过调整光圈大小获得29，当然也可以通过设置快门速度获得30。 4.1.5 不同光照条件下的自动曝光控制方法 摄影中被摄景物总是处于一定的光照条件之中，不同的光照条件下拍摄效果不同。 处于明亮环境中的被摄景物，受到环境反射光的照度比较大；处于暗淡环境中的被摄景 物，受到环境反射光的照度比较小。可以研究不同光照条件下的亮度值与曝光值之间的 函数关系进行曝光控制313233。这就需要在数码成像系统内部设置一个数据库，用来 存储不同光照条件下拍摄的不同类型的照片，以便拍摄时数码成像系统对比参照。 由于基于图像传感器is的自动曝光控制方法过于简单，效率过低；基于参照亮度 的自动曝光控制方法由于测光方式的不同所给的参照亮度也有所不同， 这就使得曝光不 够准确；而不同光照条件下的自动曝光控制方法虽然曝光比较准确，但是却需要采集大 量的不同光照条件下拍摄的不同类型的照片，这就使得自动曝光控制的效率不够，多用 于数码相机固定场景拍摄。本文则提出了一种新的摄像机自动曝光控制方法，它采用光 圈控制和自动增益补偿相结合的控制方式实现宽范围自动曝光调节， 采用模糊逻辑系统 实现图像区域亮度的权值动态分配获得更加精确的图像亮度均值，同时利用pwm值与 图形亮度值间的对应关系建立查找表以快速调整光圈至合适位置， 最后辅以自动增益补 偿控制，从而精确实现快速宽范围的自动曝光控制。 4.2 曝光各参量关系研究 4.2.1 自动曝光系统结构 在研究曝光各参量关系之前，我们需要了解自动曝光系统的结构。图4-3给出了典 型的自动曝光系统的结构框图。自动曝光系统工作过程是：(1)采集ccd原始图像；(2) 微处理器分析处理该图像，得到它的曝光量；(3)根据该图像曝光量驱动快门和光圈。 太原理工大学硕士研究生学位论文 47 ccd/cmos a/d转换与 agc 测光微处理器 快门 驱动 光圈 驱动 亮 度 增 益 打开镜头 机械快门 电子快门 图 4-3 自动曝光系统结构 fig.4-3 structure of auto-exposure system 摄像机系统结构中， 光圈就是在曝光时利用其进光孔来控制到达摄像机感光芯片上 的光线照度强弱的装置，它位于镜头内部。镜头里的光圈除了控制进光照度进而控制进 光量之外，还可以控制成像质量和所拍摄影像的景深。快门则是利用其开启时间的长短 控制进光时间，进而控制进光量（曝光量） ，因而进光量为进光时间与光线照度的乘积。 测光系统是数码成像系统的必要组成部分，测光是其曝光准确的必要条件，只有测 光准确才能保证曝光准确。 数码成像系统中通常使用硫化福光敏电阻cds或者硅光电池 spd等测光组件进行测光3435。本文我们不再使用这些测光组件，而是直接使用 ccd/cmos图像传感器进行测光， 这是因为ccd/cmos图像传感器本身就是很好的测 光组件。所以在研究摄像机曝光的过程中，不再需要使用额外的测光组件就能够达到测 光的目的，这样还有一个好处就是可以降低摄像机的生产成本。 4.2.2 曝光参量关系研究 由上面分析可知，一般情况下曝光涉及到机械光圈、agc、快门三个方面。光圈通 常是在镜头内部加入多边形或者圆形并且面积可变的孔状光栅来控制光线透过镜 头进入机身内感光面的光量的装置；agc(自动增益控制)，将来自 ccd的信号放大 到可以使用水准的视频放大器，其放大量即增益，等效于有较高的灵敏度，可使其在微 光下灵敏；快门分机械快门和电子快门，机械快门用弹簧或是电磁手段，控制几片叶片 的开闭，或是两层幕帘像舞台“拉幕”一样左右或上下以一定宽度的缝隙“划过”成像 像场窗口，让窗口获得指定时间长短的“见光机会” 。而电子快门则不同，它实际上并 没有“门” ，而是利用了ccd不通电不工作的原理，在ccd不通电的情况下，尽管像 太原理工大学硕士研究生学位论文 48 场窗口“大敞开” ，但是并不能产生图像。如果在按下快门钮时，使用电子时间电路， 使ccd只通电“一个指定的时间长短” ，就也能获得像有快门“瞬间打开”一样的效果。 图 4-4 ae 各变量作用范围模型图 24 fig.4-4 ae variable control range model image 本系统中有光圈、agc、电子快门三个外部可控量。光圈是通过开合调节图像的亮 度，在图像曝光过度时光圈孔径逐步缩小直至图像曝光合适，图像曝光不足时，光圈孔 径逐步打开至曝光合适直到最大，其作用范围比较广泛，且整个过程对监控图像质量影 响不大；电子快门和agc都是dsp控制，其作用范围如图4-4所示，agc主要用于光 照不足环境中，在低照度时它使摄像机灵敏度会有所提高，但随着增益增大，视频图像 内噪点也会愈加明显，因为信号和噪声被同时放大；电子快门功能相对有限且主要用于 亮光环境中，然而，一方面，dsp应用笔记中建议当使用机械光圈进行曝光调节时最好 禁用电子快门； 另一方面， 电子快门对本系统所采用的自动聚焦算法计算精准度有影响， 容易造成聚焦不准。因此，自动曝光控制中采用1/50 sec。电子增益控制虽然会随着增 益的增大带来噪点，但是如果合理控制会有助于提高低照度时摄像机的灵敏度，因此， 本设计自动曝光控制方法采用光圈和电子增益共同控制来实现一体化摄像机宽范围的 自动曝光控制。 太原理工大学硕士研究生学位论文 49 4.3 基于多区域的快速自动曝光方法 本论文所提出的自动曝光控制方法其基本原理是根据模糊规则对图像的区域亮度 均值进行动态加权并计算出当前图像的亮度均值，并结合当前给光圈直流电机发送的 pwm脉冲值判定当前光强环境，然后通过查表得该光强环境下达到基准亮度所要发送 的pwm脉冲，从而使光圈快速移动到合适位置。考虑到建表的不精确性，本方法采用 自动增益调节进行辅助调节，在光圈快速移动的同时，根据当前光强环境对自动增益的 范围进行设定，从而实现摄像机的自动曝光的精确控制。设计的核心是图像区域权值的 动态分配和pwm与当前图像亮度值查找表的建立。 4.3.1 图像的划分 自动曝光不仅需要适用于各种不同的光线环境， 而且需要适用于各种不同类型的图 像。因此本论文中将整个图像分成区域0、区域1、区域2、区域3、区域4五个部分如 图4-5所示。不同类型的图像不同的光线条件所需要的曝光重点不一样，因此自动曝光 算法要给需要重点曝光的区域更高的权值3637。 图 4-5 图像区域的划分 fig.4-5 image region divided 4.3.2 权值动态分配 本论文根据图像区域权值动态分配的需要设计了一个模糊逻辑系统， 考虑到单片机 处理能力，又将这个大系统划分为两个子系统，每个子系统包括两个输入量，一条模糊 规则及一个输出量。 模糊子系统的划分由模糊规则来决定，根据专家经验及日常曝光的判定方法，得到 如下两条逻辑规则38： 太原理工大学硕士研究生学位论文 50 1)、当区域0或区域1平均亮度较大，而区域2、区域3、区域4中其中一个平均 亮度值偏小时，区域2、3、4将被赋予较大的权重。 2)、当5个区域的总平均亮度偏小，而其最亮区域的亮度偏大时，较暗的区域将被 赋予较大权重。 规则1)构成子系统1，在拍摄过程中，最为常见的曝光异常是背光，这种情况通常 会造成背景过