（信息与通信工程专业论文）智能可控摄像机设计及关键算法研究.pdf

摘要 由于全球范围不稳定因素的存在，及人们安防意识的加强，安防技术得 到空前应用。视频监控系统是当前最典型的安防应用系统，随着监控范围的 扩大，需要布置大量的摄像机，同时还需要工作人员全天候的监视，这样效 率低下、成本高而且可能由于工作人员的失误而出现问题。在这种环境下， 智能视频处理技术的研究就成为视频处理、人工智能、模式识别等研究方向 的一个重要课题。本文探讨的可控摄像机设计，及智能处理关键算法的研究 具有理论意义和应用价值。 本文重点介绍了摄像头的硬件设计以及几种智能视频处理中比较重要 的算法在p c 机上的实现。考虑到图像品质，摄像头选择了c c d 传感器。然 后比较了多种c c d 摄像头的系统方案，最终采用s o n y 的s s 1 1 x 系统方案， 该方案既可使用高解的c c d ，也可使用低解的c c d ，因此使用范围广。 在算法方面主要研究了自动聚焦、运动检测和深度检测三种算法。自动 聚焦技术是摄像机中最重要的技术之一，传统的手动聚焦对技术要求很高， 一般的非技术人员操作起来有相当的难度，而且很慢，自动聚焦算法通过控 制步进电机改变摄像机内部的参数，得到不同的画面，然后对各个画面进行 比较，使摄像机一步一步走向聚焦位置，从而最终得到清晰图像。运动检测 是智能分析的一个基础，只有精确地检测出运动目标，才能在其基础上进行 入侵检测，绊线检测，运动跟踪，遗留物检测等实现。本文在高斯混合模型 ( g m m ) 的基础上，加以m e a ns h i f t 算法的思想，提高了算法在自然环境下 的鲁棒性，取得了相对更好地结果。在摄像机拍摄的时候，会将自然场景中 的三维信息丢弃，而实际应用中，深度信息还是有很大作用的，本文研究了 d f f ( d e p t hf r o mf o c u s ) 和d f d ( d e p t hf r o md e f o c u s ) 两种方法去获取图 像的深度信息。其中前者需要大量的图像，而后者只需两张，因此我们把重 点放在第二种方法上，也就是基于散焦的深度检测，这种方法对于纹理丰富 的场景有很好的效果。 关键词：智能可控摄像机、s s 1 l x 、自动聚焦、运动检测、深度检测、高斯 混合模型、m e a ns h i f t a bs t r a c t d u et ot h ee x i s t e n c eo fg l o b a li n s t a b i l i t ya sw e l la sp e o p l e ss e n s eo fs e c u r i t y , s u r v e i l l a n c et e c h n o l o g yg e t su n p r e c e d e n t e dd e v e l o p m e n t v i d e os u r v e i l l a n c es y s t e m i st h em o s ti m p o r t a n ts e c u r i t ya p p l i c a t i o n s a st h ee x p a n s i o no ft h em o n i t o r i n ga r e a ， w en o to n l yn e e dt ol a y o u tal o to fc a m e r a s ，b u ta l s on e e dal o to fp e o p l ew o r ka r o u n d t h i sw a yi si n e f f i c i e n t ，c o s t l y , a n df a l l i b l ed u et om i s t a k e sm a d eb yp e o p l e i nt h i s c o n t e x t ，i n t e l l i g e n tv i d e op r o c e s s i n gt e c h n o l o g yb e c o m e so n eo ft h em o s ti m p o r t a n t t o p i c si nv i d e op r o c e s s i n g ，a r t i f i c i a li n t e l l i g e n c e ，p a t t e r nr e c o g n i t i o n t h i sp a p e r d i s c u s s e st h ed e s i g no fc o n t r o l l a b l ec a m e r a s ，a n dr e s e a r c ho fr e l a t i v ei n t e l l i g e n t a l g o r i t h m s ，w h i c hh a v ep r a c t i c a lv a l u e t h i sp a p e rf o c u s e so nt h ec a m e r ah a r d w a r ed e s i g na n dt h ei m p l e m e n t a t i o no f i n t e l l i g e n ta l g o r i t h m si np c t a k i n gt h ei m a g eq u a l i t yi n t oa c c o u n t ，w es e l e c t e dt h e c c dc a m e r as e n s o r t h e nw ec o m p a r eav a r i e t yo fc c dc a m e r as y s t e ms o l u t i o n s ， e v e n t u a l l yu s i n gs o n y ss s - llxs y s t e ms o l u t i o n ，w h i c hy o uc a nu s eh i l g hs o l u t i o n s c c da sw e l la sl o ws o l u t i o nc c d ，s oi tc a nb eu s e dw i d e l y t h es o l u t i o ni sr e l a t i v e l y m a t u r e ，a n df i n a l l yw ep r o v ei tw o r k sw e l l w ei m p l e m e n tt h r e ea l g o r i t h m s ：a u t o - f o c u s ，m o t i o nd e t e c t i o na n dd e p t hf r o m d e f o c u s a u t o - f o c u st e c h n o l o g yi so n eo ft h em o s ti m p o r t a n tt e c h n o l o g i e si nc a m e r a , m a n u a lf o c u si st o od i f f i c u l tf o rt h en o r m a lp e o p l e ，a n di ta l s ot a k e sm u c hm o r et i m e w ec a ng e td i f f e r e n tp i c t u r e sb yc h a n g i n gt h ec a m e r as e tu s i n gs t e pm o t o r , t h e nt h e a u t o - f o c u sa l g o r i t h mc o m p a r e st h ep i c t u r e sa n dd e c i d e st h em o v i n gd i r e c t i o no fs t e p m o t o r ，t h e nw ec a ng e tt h ef o c u s i n gp o s i t i o na tl a s t m o t i o nd e t e c t i o ni sk i n do ft h e b a s i so fi n t e l l i g e n ta n a l y s i s i fw ec a nd e t e c tm o v i n gt a r g e t sa c c u r a t e l y , w ec a n i m p l e m e n ti n t r u s i o nd e t e c t i o n ，t r i pw i r ed e t e c t i o n ，m o t i o nt r a c k i n ga n ds oo n i nt h i s p a p e r , w ec o m b i n et h eg a u s s i a nm i x t u r em o d e l i n g ( g m m ) a n dm e a ns h i f ta l g o r i t h m ， a n dg e tab e t t e rr e s u l tu n d e rc o m p l e xe n v i r o n m e n t w ek n o wt h a tc a m e r ad i s c a r d st h e d e p t hi n f o r m a t i o n ，b u tt h ed e p t hi n f o r m a t i o n ，s o m e t i m e s ，h a su s e f u la p p l i c a t i o n s d f f ( d e p t hf r o mf o c u s ) a n dd f d ( d e p t h f r o md e f o c u s ) a r et w ow a y st oo b t a i nt h e d e p t hi n f o r m a t i o n t h ef o r m e rn e e d sal o to fp i c t u r e sw h i l et h el a t e rr e q u i r e so n l yt w o p i c t u r e s s oi ti sn o ts u r p r i s ew ec h o o s et h el a t e ro n e i tw o r k sw e l lw h e n t h es c e n e h a sr i c ht e x t u r e k e y w o r d s ：i n t e l l i g e n tc o n t r o l l a b l ec a m e r a ，s s - l l x ，a u t of o c u s ，m o t i o n d e t e c t i o n ，d e p t hf r o md e f o c u s ，g a u s s i a nm i x t u r em o d e l i n g ，m e a ns h i f t i i 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：御显瓶 签字日期： ) 。f 口年君月f o 日 学位论文版权使用授权书 本学位论文作者完全了解逝婆盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘鲎 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：谗堡磊 导师签名：考1 。馅 签字日期： o l o 年3 月 io 日 签字日期：西p 年岁 月汐日 浙江大学硕士学位论文 、绪论 1 1 课题背景与意义 随着现代社会的不断发展进步，许多问题也相应而生，其中安全问题 最为重要，因其关系到每个人的切身利益，也是人们普遍关注的焦点。同 时全球化的不断加剧，使得各国经贸交往更加频繁，恐怖活动也不再是某 几个国家的特有现象，使得视频监控系统在全球范围内广泛应用，特别是 美国9 1 1 事件及印尼巴厘岛爆炸事件之后，视频监控的应用在数量上呈几 何级数攀升i l 】。 随着计算机技术、通信技术、多媒体技术和存储技术的发展，人们可 以更方便地记录、压缩和传输大量的图像和视频。然而，随着视频数据的 海量增长，数据的处理难度也随之加大，完全人工处理效率低下，况且人 们一般对静止视频不感兴趣，这样，对监控视频图像的智能处理就有一定 的必要。 智能监控大体可分两个方向，一是针对静止摄像机对固定场景的监 控，二是运动摄像机对变化场景的监控。前者实现相对容易，但监管范围 有限，后者实现难度大了许多，但监管相同的区域需要比较少的摄像头， 更加灵活，也更具实际应用价值。 俗话说的好：工欲善其事，必先利其器。要做好智能监控，一个好的 工具将大大简化工作的难度。智能可控摄像机就是在这种环境下出现的。 智能可控摄像机也即智能p t z ( p a n 、t i l ta n dz o o m ) 摄像机，说它可 控，是因为该类型的摄像机内部拥有步进电机系统，这些步进电机可以控 制摄像机的内部参数设置( 焦距、成像屏到透镜的距离、光圈) 及摄像头 水平、竖直旋转，这样可以大大增加监控的范围，提高灵活性，以往需要 多台摄像机监控的场景用一台可控摄像机即可，这样不但大大节约了成 本，而且简化了整个监控系统；所谓的智能是指在可控摄像机内部嵌入大 浙江大学硕士学位论文 量算法，这些算法覆盖摄像机的各种任务，原先的摄像机往往单纯负责采 集图像，再将图像传递到后端再做处理，而现在把算法嵌入摄像机，很多 功能直接在前端就可以进行，这样的话会大大减轻系统后端的负担，十分 的方便实用；同时，这些算法的存在大大消弱了摄像机对人的依赖，即节 省了人力物力，同时还减少由于人为失误而可能造成的损失。总之，智能 可控摄像机分担了系统后端的一些任务，同时其监控区域面积大大增加， 而且与人的交互能力得到了极大的增强，因此随着视频监控的发展，智能 可控摄像机的应用也越来越广泛，发挥的作用也越来越大。 在以前，一个安保系统动辄百余台摄像头，如果为每一个摄像头都配 备一个显示器，并安排专人看护的话成本太高，而且一天二十四小时人的 精力很难持续集中，一不留神都可能造成严重后果。通过使用智能监控摄 像机，可大大减少摄像机的需求数量，同时其对视频图像的智能处理能很 好的解决对人的依赖的问题，我们还可以根据需要，对特定重要的区域进 行重点关注，检测该区域中的运动物体，发现的话即将显示器切换到该摄 像头并进行后续处理，否则的话仅仅将视频压缩保存即可。这样，既节省 了大量人力物力，还提高了准确性【2 】。 但是现实往往不如人们想象的那般美好，在视频监控领域亦是如此。 由于视频监控的场景往往很复杂，比如人流量非常大的街头，复杂的自然 环境( 比如树叶摇曳或水纹波动等) ，在这些环境下进行智能运算效果不是 很理想，也就是说现在的智能可控摄像机的应用范围仍有很大的局限性， 如何改进智能可控摄像机这些局限性，是我们努力的方向。 本课题的主要目标是设计一个智能可控摄像机平台，这个平台比较庞 大，硬件大体可分为三个部分：摄像头部分、步进电机部分以及主d s p 部 分，软件也可分为两大部分，一是相关算法在p c 机上的设计实现，二是 将算法移植到智能可控摄像机上。我在此课题中的任务主要是摄像头硬件 板块的设计，以及对一些关键算法在p c 机上进行实现，这些关键算法主 要包括自动聚焦、运动检测和深度检测，其中运动检测是以高斯混合模型 为基础，融入m e a ns h i r 算法的思想，实现对复杂背景的建模，在此基础 之上可实现对入侵物体检测，移动物体检测，运动路径检测，遗留物检测， 2 浙江大学硕士学位论文 运动目标的跟踪等功能，进一步可以通过警报的方式对人们进行提醒，这 样可以极大地提高视频处理效率；自动聚焦在各种摄像机上已经得到了广 泛应用，本文中比较了常用的自动聚焦算法，从效果和实现两方面考虑， 选取了s o b e l 算子来实现；深度检测有很大的实用价值，本文阐述的d f d 算法只需要两幅散焦图像即可得到场景的大致深度信息。 1 2 国内外研究现状 上个世纪9 0 年代中期开始，以卡耐基梅隆大学( c m u ) 和麻省理工 学院( m i t ) 为代表的多家美国高校参加了由美国国防高级研究项目署设 立的视觉监控项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，使得智能 视觉分析有了快速发展。除此之外，奥地利的g r a z 理工大学的嵌入式智 能摄像机研究组，i b m 的s 3 ( s m a r ts u r v e i l l a n c es y s t e m ) 项目组，i n t e l 的i r i s n e t ( i n t e m e t s c a l er e s o u r c e i n t e n s i v es e n s o rn e t w o r ks e r v i c e s ) 项 目组等，也都在智能监控领域处于领先地位 3 1 。至于智能可控摄像机， s o n y 、霍尼韦尔、松下等公司的产品占据了很大的市场。以s o n y 的智 能摄像机为例，索尼网络半球摄像机的重量级新品s n c d m l 6 0 ，是专门 针对安防监控应用设计的高清晰度百万像素摄像机，采用索尼最新开发的 1 3 英寸百万像素e x w a v e p r o t m 逐行扫描c c d ，配合增强型彩色滤光 片与索尼独特的聚光器技术，在各种条件下即使是微光环境，也能提供令 人惊讶的百万像素高清晰、明亮图像。采用d e p a 智能技术，具有智能 移动探测和智能目标探测功能，m p e g 4 j p e g 双码流，提供非常高效和高 级别的安防监控。2 4 小时的全天候使用设计，具有日夜转换功能，可以 满足室内和室外的各种应用。配合其他很实用的特性，像伽马曲线调整、 语音报警、电子p t z 、d c 自动光圈镜头、超大视角和p o e 供电，这些 索尼百万像素、智能网络半球摄像机将使监控系统更上一层楼【4 】。 就国内来说，随着近十年的学习进步，出现了海康威视、大华等一些 视频监控产品提供商，并都已进入全球前十的行列，在这个领域做出了很 大的贡献。比如海康威视的智能可控摄像机，运动过程中图像平稳、预置 定位精确，还实现了报警联动、巡航扫描、花样扫描、定时启动、两点扫 浙江大学硕士学位论文 描等功能，满足了大多数场合的需要。但是，我们还是必须看到，国内的 产品所使用的机芯大多仍是由s o n y 等国外提供是供应的，另外在智能算 法方面缺乏专利权，同国外先进水平仍有相当的差距。 上文提及的s o n y 及海康的智能可控摄像机，在可控方面都做得非 常的出色，但在智能方面，虽然过去的几十年里取得了很大的进步，但仍 然不尽如人意。首先说自动聚焦，这是最基本但也最重要的功能，如果没 有清晰的图像，其它一切都将是空谈，人们为此提出了很多种的方法，但 是在实际应用中却似乎总是不那么完美，l t , 女n 应用在数码相机中的自动聚 焦技术往往搜索肤色来确定聚焦评价区域，这样的话在有人又有自然环境 时它会将焦点对准人，而往往不去理会摄像者的意愿；在运动目标的检测 领域，出现了光流法【5 1 、帧差法【6 】【7 1 、减背景法【8 】等多种方法，尤其是减背 景法，取得了很大的进步，在良好环境下有非常好的效果，但它仍有一定 的局限性，在复杂的自然环境下效果常常不理想；在深度检测领域，人们 大都倾向只需要两副图像即可实现的d f d ( d e p t hf r o md e f o c u s ) ，但由于 d f d 这种方法自身存在的一些局限性，它往往只能得到一个定性结果而非 定量的结果，也就是说其应用范围有限；在运动跟踪领域，根据已经获取 的运动目标在帧间进行匹配进行跟踪。人们总结出许多供匹配的特征，包 括亮度、颜色、边缘、形状、尺寸、直方图、焦点等等。但是，由于存在 光照变化、阴影、遮挡等等问题的存在，稳定且高准确性的方法依然有待 开发。 1 3 课题研究主要内容及创新 本文以实现智能可控摄像机系统这一背景为基础，如前文所述，智能 可控摄像机也即智能p t z ( p a n 、t i l ta n dz o o m ) 摄像机，说它可控，是因 为该类型的摄像机内部拥有步进电机系统，这些步进电机可以控制摄像机 的各个参数设置( 焦距、成像屏到透镜的距离、光圈) 及摄像机的水平、 竖直方向的旋转；所谓的智能是指该摄像机内部嵌入大量智能算法( 自动 聚焦、运动检测、深度检测、运动跟踪等) ，这些算法覆盖摄像机的各种 任务，把原先很多需要在后端进行的操作提到了前端，这样的话会大大减 4 浙江大学硕士学位论文 轻系统后端的负担，十分的方便实用。 由于这是一个庞大的系统，非一己之力所能完成，我们首先将这个系 统分为硬件和软件两大部分，硬件部分又可以细分为摄像头硬件设计、步 进电机硬件设计和主d s p 硬件设计三个部分，而软件部分也可以分为p c 端的设计仿真和d s p 移植两大块，我的任务主要是硬件部分中的摄像头硬 件设计及软件部分的p c 机端算法设计，所说的算法主要指自动聚焦、运 动检测、深度检测等。下面将对各主要任务逐一介绍。 1 、摄像头硬件设计 视频采集一般说来有c c d 和c m o s 两种传感器，c m o s 集成度高， 成本低，但效果相对来说比c c d 要差些，因为我们的摄像机设计很多的 算法实现，对图像的质量要求比较高，因此我们选用了c c d 传感器。至 于基于c c d 传感器的摄像头设计方案，主要由日本的索尼、松下、夏普 等公司提供，经过比较，我们最终选取了索尼的s s 一1 1 x 系统方案。这种 方案既能使用高解的c c d ，也能使用低解的c c d ，实用性比较强，并且 尽管这款方案是索尼公司的最新方案，但其已经比较成熟，是智能可控摄 像机的主流方案。 2 、自动聚焦( a u t of o c u s ) 自动聚焦技术是摄像机中非常重要的基本技术之一，传统的手动聚焦 对技术要求很高，般的非技术人员操作起来有相当的难度，而且很慢， 自动聚焦算法通过控制步进电机改变摄像机内部的参数，得到不同的画 面，然后对个画面进行一个比较，使摄像机一步一步走向聚焦位置，从而 最终得到一幅清晰图像。 3 、运动检测( m o t i o nd e t e c t i o n ) 运动检测是摄像机进行智能分析得一个基础，只有精确地检测出运动 目标，才能在其基础上进行入侵检测，运动物体检测，绊线检测，运动路 径追踪，遗留物检测等实现，本文在高斯混合模型( g m m ) 的基础上， 加以m e a ns h i f t 算法的思想，提高了算法在复杂自然环境下的鲁棒性，取 得了相对更好地结果。 4 、获取背景深度信息 浙江大学硕士学位论文 我们知道，摄像机得到的图像是基于二位平面的，也就是说，在摄像 机拍摄的时候，将自然场景中的三维信息给丢弃了，而实际应用中，深度 信息还是有很大作用的，比如我们可以使用深度信息来判断遮挡时，遮挡 物与被其遮挡背景的深度差。本文中简单研究了通过d f f ( d e p t hf r o m f o c u s ) 和d f d ( d e p t hf r o md e f o c u s ) 两种方法去获取图像背景的深度信 息。其中前者由于需要大量的图像，而后者只需两张即可，因此我们把重 点放在第二种方法上，也就是基于d f d 的深度检测。 本文的贡献主要在于智能可控摄像机的软件部分，在自动聚焦部分， 提出了一种翻转搜索方法，该方法将穷举搜索法和f i b o n a c c i 搜索方法结 合起来，保留了各自优点的同时消除缺点，在保证准确性的同时提高了搜 索的效率；在运动检测部分，本文以g m m 算法为基础，引入m e a ns h i f t 算法的思想，这样就结合了时域和空域两方面的信息，提高了算法在复杂 环境( 树叶摇曳、水纹波动) 下的鲁棒性。 1 4 论文组织结构 第一章为绪论，简单介绍本文的背景意义、主要研究内容以及贡献。 第二章为硬件设计，首先简单介绍了智能可控摄像机的总体硬件系统 结构，然后详细介绍摄像头硬件板的设计，其中包括了传感器的选择、摄 像头设计方案的选择，以及最后板子的实际效果。 第三章重点介绍了光学方面的一些基础知识，同时在此基础之上对自 动聚焦算法作了一定的研究。 第四章是智能可控摄像机系统中重要算法在p c 机上的设计，主要介 绍了运动检测、深度检测两种算法的设计，每种算法都比较了当前主流的 方法，有的还做了适当的改进。 第五章是总结及展望，介绍了当前工作的不足、进一步可做的工作， 以及该领域的发展方向。 1 5 本章小结 本章首先介绍了当前社会状况对视频监控的需要，视频监控在现代社会 6 浙江大学硕士学位论文 中发挥着越来越重要的作用，但是传统的视频监控方法及工具已远远不能满 足需要，基于智能可控摄像机的智能监控便应运而生，它使用起来方便灵活， 而且可大大简化一个视频监控系统的创建，节约成本，提高效率、减少人为 的失误。 除了介绍智能可控摄像机的相关背景意义之外，还介绍了论文的整体结 构、主要研究内容及创新点等，是整篇文章的一个简介。 7 浙江大学硕士学位论文 二、智能可控摄像机硬件设计 随着我国经济的迅猛发展，对安防产业的需求也越来越大，安防产业 的发展对维护社会稳定、促进经济繁荣有着重要的意义，而摄像机做为安 防的前端工具更具十分重要的地位，就目前来说，智能可控摄像机已经成 为摄像机的发展趋势，但是我国在这方面还处在比较落后的地位，很多产 品都依赖于外国的芯片及方案，为了更好的维护国家的安全和社会的利 益，我们必须在这方面做出更大的努力。 从图2 1 中可以看到，智能可控摄像机在硬件上大体可分为三个部分： 摄像头、步进电机及主d s p ，由于在硬件方面我的主要任务是设计摄像头 部分，因此在接下来我将会介绍摄像头部分的硬件设计，至于其他部分则 不再赘述。 图2 1 智能可控摄像机结构框图 2 1 摄像头传感器选择 图像传感器是摄像头视频图像信息的源泉，图像传感器的好坏直接影 响摄像头的好坏，因此我们在选择传感器时务必要小心谨慎，只有这样， 8 浙江大学硕士学位论文 才能为做出优秀的摄像头打下基础。摄像头的图像传感器主要有两种选 择：c c d 和c m o s 。下面将分别就这两种方法的工艺及性能进行比较并 加以分析。 2 1 1 c c d 简介 c c d 9 1 即c h a r g ec o u p l e dd e v i c e ，它的中文名字叫电荷耦合器，它是 一种特殊的半导体材料，于1 9 6 9 年由美国贝尔实验室的w i l l a r ds b o y l e 和g e o r g ee s m i t h 发明。c c d 由大量互相独立的光敏元器件组成，而且 这些光敏元器件通常是按矩阵来排列的。当光线透过镜头照射到c c d 上 时，光能被转换成电荷，每个光敏元器件上产生的电荷量取决于它所受到 的光照的强度。 摄像机的工作原理大致如下：当按动快门时，c c d 将各个光敏元器件 的电荷数量传送到模数转换器上，模拟电信号经过模数转换器处理后变 成数字信号，数字信号按照一定格式被压缩后进而存入缓存，此时一张照 片就诞生了。如果按照这样的方式连续采集图像，那么视频就产生了，当 然视频可以根据不同的需要以数字信号或模拟信号的方式输出。 目前主要有两种类型的c c d 光敏元器件，即线性c c d 和矩阵式c c d 。 线性c c d 多用于高分辨率的静态照相机，它每次只能拍摄图像的一条线， 这与平板扫描仪扫描照片的方法大体相似。这种c c d 精度很高，但是速 度相对慢，不适应于拍摄移动的物体，也无法使用闪光灯。因此在很多场 合并不适用，所以不在今天我们讨论的范围里。另一种是矩阵式c c d ，其 中的每一个光敏元器件可代表图像中的一个像素，当快门被打开时，整个 图像一次性的同时曝光。通常情况下矩阵式c c d 用来处理色彩的方法有 两种。一种方法将彩色滤镜嵌在c c d 矩阵中，这样相近的像素可以使用 不同颜色的滤镜。典型的有c y g m 和g r g b 两种排列方式。这两种排列 方式的成像原理是一样的。即在记录照片的过程中，相机内部的微处理器 或d s p 从每个像素获取信号，然后将相邻的四个点合成为一个像素点。该 方法允许瞬间曝光，运算速度也非常快，能满足移动物体的拍摄。其实这 也是大多数数码相机c c d 的成像原理。但是由于不是同点合成的，其中 9 浙江大学硕士学位论文 包含有数学计算，因此这种c c d 最大的缺陷就是所产生的图像总是无法 达到如刀刻般的锐利。另外一种处理方法是使用三棱镜，三棱镜可以将从 镜头射入的光分成三束，这三束光分别由不同的内置光栅来过滤出一种三 原色，然后在分别使用三块c c d 感光，最后用这三幅图像合成出一个高 分辨率、色彩精确的图像。比如5 0 0 万像素的相机就是由三块5 0 0 万像素 的c c d 来感光。这样就可以做到同点合成，因此拍摄的照片清晰度相当 高。但是该方法的主要困难在于其中包含的数据太多。在获取下一张图像 前，必须将存储在相机的缓冲区内的数据清除并存盘。因此这类相机对各 部件的要求非常高，其价格也非常昂爿1 0 1 。 c c d 分辨率的指标是水平分辨率，其单位为线，即成像后可以分辨的 黑白线的数目。常用的黑白c c d 的分辨率一般为3 8 0 6 0 0 线，彩色为 3 8 0 4 8 0 ( 现在s o n y 的彩色c c d 已经出现了5 2 0 线) ，其数值越大成像 越清晰。一般监视场合用4 0 0 线左右的黑白摄像机就可以满足要求，而医 疗、图像处理等特殊场合，用6 0 0 线的摄像机才能得到更清晰的图像。 2 1 2c m o s 简介 c m o s t l l 】( c o m p l e m e n t a r ym e t a l o x i d e s e m i c o n d u c t o r ) ，即互补性金属氧 化物半导体，在微处理器、闪存和a s i c 的半导体技术上占有绝对重要的 地位。 c m o s 和c c d 一样，都是可用来感受光线变化的半导体。c m o s 主 要是利用硅、锗这两种元素所做成的半导体，通过c m o s 上带负电和带 正电的晶体管来实现基本的功能的。这两个互补效应所产生的电流即可被 处理芯片纪录和解读成影像。 c m o s 与c c d 的图像数据扫描方法有很大的差别。举个例子，如果 分辨率为5 0 0 万像素，那么c c d 传感器需要连续扫描5 0 0 万个电荷，但 扫描的方法却非常简单，好像把物品从一个人传递给另一个人，并且只有 在最后一个数据扫描完成之后才会将信号放大。c m o s 传感器则不同，它 所对应的每个像素都有一个可将电荷转化为电子信号的放大器。也就是 说，c m o s 传感器可以在每个像素基础上进行信号放大，这样可节省无效 1 0 浙江大学硕士学位论文 的传输操作，所以只需少量能量消耗就可以进行快速数据扫描，但是由于 各个像素使用了各自的放大器，而各个放大器那面会出现差异，不比c c d 所有的像素通过同一个放大器，也就是说，由于放大器的不一致可能会造 成更多的噪声。 2 0 0 9 年8 月2 8 日，索尼秋季数码影像新品发布会在北京举行，期间 索尼推出了十款数码影像新品。其中的d s c t x l 和d s c w x l 首次应用 了新型影像传感器e x m o rrc m o s 影像传感器，它采用先进的照射技术， 其对光线的灵敏度比传统的c m o s 影像传感器提高了约2 倍，大幅提升了 拍摄画质，得到明亮画面的同时更好地降噪，使得在低照度条件下仍然可 以获得细节丰富的照片，造就卓越的夜间拍摄性能。该传感器具备1 0 2 0 万有效像素，支持从i s 0 10 0 i s 0 3 2 0 0 的感光度范围，并支持7 2 0 p 的高画 质动态影像视频拍摄。性能强大的e x m o rrc m o s 配合b i o n z 影像处理 器，可以快速准确地处理海量信息，使d s ct x l 和w x l 具备了手持夜景 模式、全景拍摄、动作防抖和每秒最高约照1 0 张照片。 尽管当前在图像质量上c m o s 还比不上c c d ，但是随着技术的进步 它们的差距正变得越来越小，由于c m o s 传感器具有耗电少和集成度高的 优点，因此它将是传感器的重要发展方向。 2 1 3c c d 与c m o s 的比较 c c d 的最大特色在于设计了专属通道，即把每一个像素集合至单一放 大器上再做统一放大处理，这样就充分保持信号在传输时原本相貌，噪声 小，最大程度的保持了视频图像的完整性；c m o s 的制造工艺相对来说 较简单，没有专属通道的设计，每个像素用自身所附的放大器进行放大处 理。这些放大器虽然是统一制造的产品，但是或多或少总会有些微的差异 存在，很难达到完全同步放大的效果，对比单个放大器的c c d ，c m o s 得到的最终视频图像质量略差一些。 c m o s 传感器的各感光二极管所产生的电荷会直接由旁边的电晶体 做放大输出；而c c d 传感器则必须由外加电压迫使每个像素中的电荷移 动至传输通道。因此c c d 还必须要有更精密的电源线路设计和耐压强度， 新江大学硕士学位论文 高驱动电压使的c c d 的耗电量远高于c m o s 。 发展到今日已经比较容易地以较低的成本制造较大尺寸的c m o s 感 光芯片，并且c m o s 可以将影像处理电路集成在芯片上。相对而言，c c d 尺寸更大、更加昂贵一些。 由于c m o s 传感器的每个像素由四个晶体管以及一个感光二极管构 成，这也就意味着每个像素的实际感光面积远远小于像素实际面积，因此 在相同的尺寸下，c m o s 传感器的灵敏度比不上c c d 传感器”。 经过认真细致的比较，我们认为c c d 传感器在性能方面更胜一筹， 因此我们选择了c c d 传感器。 2 2c c d 摄像头设计方案选择 简单说来，c c d 摄像机的设计方案指的是d s p 和c c d 的搭配，也即 根据不同的d s p 型号选择高解或低解的c c d 进行搭配，要去了解摄像机 设计方案，我们可以首先看下摄像机的内部结构，如图2 2 所示f ”i 。 矽0 d 鼬一 i 捕，h n hi c c w 伽m 哺d h m 图2 2 c c d 摄像头结构图 图2 2 中，用方框标注了摄像机系统的土要功能模块，各个模块独 立完成一定的功能，然后互相合作组成一个整体，完成一个更大的任务， 这个过程也就是一个方案，下面我们将逐一讲解每个功能模块的作用。 如果把镜头比作人的瞳孔，那么c c d 就是视网膜c c d 的主要工 作就是将光信号转化为电信号，这样我们才能作进一步的处理。c c d 上 布满了感光点，根据接收到的光的强度，产生不同幅度的电子信号。一 般来说，c c d 很怕静电，因此在焊接过程中要注意静电，包括运送过程 装盘，焊接时要接地处理，烙铁要防静电的等等。 浙江大学硕士学位论文 c c d 里面的感光点将光信号转换成电信号之后，必须按照一定的方 式送出去，交给下一功能单元处理。v - d r i v e r 功能模块产生一定频率的 时钟脉冲，c c d 内的电子信号就是按照这个时钟频率转移出去。 c c d 内的电子信号出来之后，被送入c d s a g c 模块，这个功能模 块对进来的信号做增益控制处理，使得视频信号能更方便的为后续模块 处理。更简单的说，c d s a g c 模块对视频信号进行修理，以满足后续工 作的进行。 最终视频信号进入d s p ，也就是数字信号处理器。由于之前几块芯 片中进行处理的都是模拟信号，所以d s p 前端首先进行一个模数转换， 将模拟信号转化为数字信号，然后做很多像颜色、亮度、白平衡等方面 的处理，处理完成之后，视频图像可以直接以数字信号的形式输出，也 可以通过d s p 内的数模转换模块转换为模拟信号输出。系统框图中的 t g 是一个时间调整模块，用来调整处理过程的快慢，现在一般都将这 一模块并入到d s p 中。 c c d 本身是不能识别颜色的，要显示不同的颜色，必须要在c c d 上放置彩色滤光片，从而使c c d 上的每个微镜头都可以呈现出准确的 色彩。目前有两种滤光片，一种是彩色三原色滤光片，其可过滤红 绿蓝( r g b ) 三种颜色；另外一种是彩色补光滤光片，其可过滤青绿 品红黄绿( c m y k ) 四种颜色。 彩色补光滤光片具备更高的灵敏度， 从而在低照度环境中呈现更好的图像效果。所以这种彩色补光滤光片更 适用于实际应用。 详细讲了设计方案的各个部件之后，下一步来看下具体的设计方案 吧。 1 、s s 1 这是s o n y 公司的一款方案，这种方案最初基于d s pc x d 2 1 6 3 ， 但是做出来的产品一直存在问题，尽管s o n y 一直声称他们的产品没有 问题，但还是很快推出了c x d 2 1 6 3 b r ，这才解决了问题。 这套方案可以接高解c c d ( 比如s o n y 的i c x 4 0 8 a k 、i c k 4 0 9 a k ) ， 也可以接低解c c d ( i c x 4 0 4 a k 、i c x 4 0 5 a k ) ，尽管c x d 2 1 6 3 己推出 浙江大学硕士学位论文 了1 0 多年，但由于在相当长的时间内它是s o n y 唯一一款可以接高解 c c d 的芯片，因此直至现在仍有应用。 2 、s s 1 1 这种方案也是s o n y 推出的，它基于的d s p 芯片为c x d 3 1 4 2 或 c x d 3 1 4 1 r 。这颗芯片在1 9 9 9 年推出，其本身定位为低种机种，它只能 接低解c c d ，最早的为c x d 3 1 4 0 ，但是这颗芯片同样问题很多，后来 经改进到c x d 3 1 4 1 r ，以及换汤不换药的c x d 3 1 4 2 ，都叫做s s 1 1 方案。 s s 1 1 只能接低解c c d ，但是它的品质相对比较好，甚至有人用这 种方案做出来的产品冒充高解机。这款方案现在已经比较成熟，而且品 质还算不错，所以现在的低端机还有很多采用这种方案。 3 、s s - h q l 这是s o n y 在事隔近1 0 年后推出的又一款高低解方案，所以一开 始便非常的引人注目，它基于d s pc x d 3 1 7 2 a r ，这款方案在各方面比 s s 1 有了长足的进步，然后它却多了一个致命的缺陷，那就是发热量大， d s p 自身的温度能轻松达到6 0 度，所以这种方案让人敬而远之。 4 、s s 1 1 x 这套方案基于s o n y 推出的最新芯片c x d 4 1 0 3 r ，这款芯片继承了 c x d 3 1 7 2 a r 的优点，同时又解决了发热过大的问题，因此也是当今最 主流的摄像头方案。 这颗芯片能接高低解的c c d ，本设计使用的就是这种方案，在后面 会对该芯片进行详细介绍。 5 、d 4 这是s h a r p 公司推出的方案，该方案基于d s pl r 3 8 6 0 3 a ，这颗 d s p 的话可接高低解的c c d ，并且相对s o n y 的方案，该方案更容易 实现，并且该方案存在价格上的优势，因此尽管其品质比不上s o n y 的 方案，但仍然占有一定的市场。 6 、d 5 这是松下公司基于d s pm n 6 7 3 2 7 6 的一套方案，这颗芯片同样可接 高低解的c c d ，并且这套方案早于s s 1 l x 推出，但是由于松下自身推 1 4 浙江大学硕士学位论文 广不是很成功，加上松下自己的c c d 照度比较差，所以s s 1 1 x 一经推 出就抢占了其市场。 7 、其他方案 摄像机市场主要有s o n y 、夏普、松下等几家日本厂商所占领，当 然也存在其他国家公司的方案，但一来品质相差比较大，二来这些公司 不具备生产c c d 的能力，往往用自己的d s p 去配s o n y 、松下等公司 等c c d 。比如韩国的n e x t c h i p 公司的a 1 ，一般接s o n y 的低解c c d ， 该方案也被戏称为半索尼。另外有台湾公司的a n o v a 方案，这个方案 所基于的d s p 相当夸张，它能接s o n y 、松下、夏普等公司的高低解 c c d ，因此也有一定的市场占有率。 通过列举比较以上的各种方案，我们认为s o n y 公司的方案更加优 秀一些，其中的s s 1 1 x 更是现在最主流的方案，因此我们选择了s s 1 1 x c c d 摄像头方案。 2 3c c d 摄像头硬件板的设计 通过上面几节的介绍，我们最终选取了c c d 作为传感器以获得更好 的效果，整个方案则采取了s o n y 公司的s s 1 l x ，该方案的系统框图大 致如图2 3 所示【1 4 】【1 5 1 1 1 6 1 ： 一铷l & 雄曩蜊 浙江大学砸+ 学位论文 固2 3s s 1 i x 结构框图 2 3 1i c k 4 0 9 a k i 7 】( s o n yc c l ) ) 由于c c d 的技术生产工艺复杂，目前只有索尼、飞利浦、松下和 夏普等数家厂商可以批量生产，其中，索尼以超过5 0 的市场占有率独 占鳌头。索尼从7 0 年代研发c c