（微电子学与固体电子学专业论文）一种用于暗电流消除的数字解压系统设计.pdf

摘要 c m o s 图像传感器相对于c c d 图像传感器具有低功耗以及高集成度等优 点。但是由于c m o s 图像传感器通常比c c d 图像传感器有着更高的随机噪声， 更大的固定模式噪声和暗电流噪声，因此c m o s 图像传感器的动态范围与信噪 比低于c c d 图像传感器，这严重制约着c m o s 图像传感器在高端领域的应用。 针对于这种情况，本论文以c m o s 图像传感器为基础，着重研究应用于图像去 暗电流噪声的数字解压系统，以及c m o s 图像中暗电流不一致的问题，为c m o s 图像传感器去暗电流噪声的研究打下良好基础。 本文首先通过数据证明了c m o s 图像传感器暗电流的不一致性，并提出逐 点进行暗电流消除的解决方法。在提出该种解决方法的基础上，搭建了以s p i 总线为基础，用于消除c m o s 图像传感器暗电流的数字解压系统。该解压系统 以d p c m h u f f m a n 压缩算法为基础，通过对暗电流数据进行压缩编码，将压缩 数据存于f l a s h 中，而后在c m o s 图像传感器工作过程中，通过数据解压系统读 取f l a s h 中暗电流数据进行h u f f m a n d p c m 解码，最后将暗电流数据与原始图像 数据做差，完成c m o s 图像传感器去暗电流。 压缩系统的关键是压缩与精度保持的问题。本文提出的压缩系统数据的压缩 比提高到3 2 2 。同时相对于其它压缩解压算法，本文采用的压缩算法将有效提高 数据的精度，相对于无损去暗电流图像的m s e ( 均方误差) 减小了1 5 2 0 ，趋近 于原数据程度明显。同时相对于d c t 压缩算法与小波压缩算法，p s n r ( 峰值信 噪比) 与s n r ( 信噪比) 信号解压缩的精度提高了4 5 、o 4 0 5 ，具有良好的数 据精度保持。整个设计过程经历了算法提出与验证，1 v e r i l o g 设计以及仿真验证。 最后进行逻辑综合后下载到f p g a 中进行验证。经测试，本系统稳定高效的实现 了既定目标，实现了c m o s 图像传感器的数据压缩与去暗电流成像效果。 关键词：c m o s 图像传感器图像压缩系统去暗电流d p c m h u f f i n a n a b s t r a c t c o m p a r e dw i t hc c di m a g es e n s o gt h ec m o si m a g es e n s o rh a sl o wp o w e r c o n s u m p t i o n ，a n dh i g hi n t e g r a t i o n h o w e v e r , b e c a u s eo fh i g h e rr a n d o mn o i s ea n d g r e a t e rf i x e dp a t t e r nn o i s ea n dd a r kc u r r e n tn o i s e ，t h ed y n a m i cr a n g ea n ds n ro f c m o si m a g es e n s o rc a n n o tr e a c ht h el e v e lo ft h ec c d i m a g es e n s o r , w h i c hl i m i t st h e c m o si m a g es e n s o ri nt h ef i e l do fa p p l i c a t i o n i nt h i s p a p e r , t h ei n c o n s i s t e n c i e so ft h ec m o si m a g es e n s o rd a t aa r e d e m o n s t r a t e df i r s t l y , a n dt h es o l u t i o ni sm a d et oe l i m i n a t ed a r kc u r r e n to n e b yo n e p i x e l t h e nad i g i t a ld e c o m p r e s s i o ns y s t e m ，b a s e do nb u i l tb a s e do nt h es p ib u s ，i s d e s i g n e dt oe l i m i n a t ed a r kc u r r e n ti nt h ec m o si m a g es e n s o r t h ed e c o m p r e s s i o n s y s t e m ，b a s e do nd p c m h u f f m a nc o m p r e s s i o na l g o r i t h m ，c o m p r e s s e sd a t aa n ds t o r e s i nf l a s h ，a n dt h e nt h ec m o si m a g es e n s o rr e a dt h ec o m p r e s s e dd a t af r o mf l a s ha n d d e c o d e db yh u f f m a n - d p c m f i n a l l yt h ed a r kc u r r e n td a t ai sr e m o v e df r o mt h e o r i g i n a li m a g ed a t aa n dt h ec m o sd a r kc u r r e n ti sr e m o v e d i nt h ed e c o m p r e s s i o ns y s t e m ，t h em o s ti m p o r t a n tt h i n gi st h ed e g r e eo f c o m p r e s s i o na n da c c u r a c yp r o b l e m s i nt h e d a t a d e c o m p r e s s i o ns y s t e m ，t h e c o m p r e s s i o nr a t i oi n c r e a s e dt o3 2 2 a n dt h em s e ( m e a ns q u a r ee r r o r ) r e d u c e st o 15 2 0 w h i c hi sc l o s et ot h eo r i g i n a ld a t as i g n i f i c a n t l y a t ：t h es a m et i m er e l a t i v et ot h e d c tc o m p r e s s i o na l g o r i t h ma n dw a v e l e tc o m p r e s s i o na l g o r i t h m ，t h ep s n r ( p e a k s i g n a lt on o i s er a t i o ) a n ds n r ( s i g n a lt on o i s er a t i o ) s i g n a l st oi m p r o v et h ea c c u r a c y o f t h ee x t r a c t e d4 5a n d0 4 - 0 5 t h ed e s i g np r o c e s si st h r o u g ha d v a n c i n go f a l g o r i t h m a n dv e r i f i c a t i o n ，v e r i l o gd e s i g na n d v e r i f i c a t i o n f i n a l l y ，i td o w n l o a d e dt ot h ef p g a a f t e rl o g i cs y n t h e s i s t h es y s t e mi ss t a b l ea n de f f i c i e n tt ca c h i e v et h es t a t e do b j e c t i v e s a n df m i s ht h ec m o si m a g es e n s o rd a t ac o m p r e s s i o na n dt h er e m o v i n go fd a r k c u r r e n t k e yw o r d s ：c m o si m a g es e n s o rd a t ac o m p r e s s i o ns y s t e m r e m o v i n g d a r kc u r r e n td p c m h u f f r n a n 第一章绪论 1 1 课题背景 第一章绪论弟一早瑁比 1 1 1c m o s 图像传感器的发展概况 在科学技术不断进步的今天，金属氧化物半导体( m o s ) 器件逐渐成为半导 体器件的主流。基于m o s 器件，固体图像传感器的发展主要出现了两种典型的 类型，即c c d 图像传感器与c m o s 图像传感器。c c d 图像传感器与c m o s 图 像传感器作为固体图像传感器的两种主要发展方向已经取得了市场的认可和普 及【。 c c d sc m o s ( a )( b ) 图1 1c m o s 与c c d 读出电路 c c d 是一种将光信号变为电荷包，并以电荷包的形式贮存和传递信息的半导 体表面器件，是在m o s 结构电荷存储器的基础上发展起来的，所以有人将其称 之为“排列起来的电容阵列”【2 。在传统图像传感领域c c d 图像传感器一直在占 据支配地位，c c d 图像传感器广泛应用于光学成像、高精度图像仪器、卫星成 像等高端领域以及消费类电子等基本消费类电子领域中。但随着c c d 应用范围 的扩大，其缺点逐渐显露出来。图1 1 对比了c m o s 与c c d 读出电路，从图1 1 ( a ) 中可以看出，c c d 读出方式是在进行全局曝光后，通过垂直转移和水平转移进 第一章绪论 行读出。垂直转移与水平转移的读出方式要求了c c d 阵列具有复杂的驱动脉冲 电路，具有从而形成c c d 电路集成性差、工作电压高等缺点；同时c c d 光敏 单元阵列难以实现与驱动电路及模拟和数字信号处理电路的集成；此外c c d 图 像传感器还具有芯片抗干扰能力不强、成本高、读出速率慢、工艺垄断性严重等 缺点。 c c d 图像传感器的缺点在c m o s 技术下的c m o s 图像传感器应用中得以弥 补。如图1 1 ( b ) 所示c m o s 图像传感器主要通过进行帧读出信号和行读出信号控 制进行滚筒式曝光，因此图像传感器像素阵列、信号放大电路、时序控制电路、 a d 转换电路以及改进的界面可以在c m o s 技术下集成在一起，从而可以使 c m o s 电路克服c c d 电路的高工作电压、集成度差的缺点，从而满足低电压和 高集成度的应用需要。图1 2 为一种典型的c m o s 图像传感器。其基本单元构 成包括，像元阵列、信号处理电路、定时控制电路、数据译码器、程序计数器以 及门闩电路等，同时c m o s 图像传感器还包括i s p 数字图像处理系统等。该 c m o s 图像传感器基本处理包括，像元阵列将光信号转换为电信号，经片选信号 电路处理后，以数字信号的形式输出。经i s p 系统处理，读取像素阵列中感兴趣 的图像信息进行处理。行曝光控制信号以及帧曝光控制信号对c m o s 图像传感 器工作进行控制。 图1 - 2c m o s 图像传感器的基本结构 c m o s 图像传感器出现于7 0 年代末，由于出现时本身具有的工艺局限性， 在相当长的时间内，c m o s 图像传感器存在成像质量差、像素单元尺寸小、填充 率( 有效像元与总面积之比) 低( 1 0 - 2 0 ) 、响应速慢等缺点。传统早期的 c m o s 器件主要由无源像元结构构成，包括光敏元件以及像元寻址开关，这种 第一章绪论 c m o s 器件缺少信号读出电路以及放大电路，因此早期的c m o s 器件噪声大、 性能差。从9 0 年代初开始，随着半导体工艺的发展，电路的集成度不断提高， 因此有源像元结构出现并逐渐形成主流，于此同时面积小、低成本以及低功耗成 像系统的需求不断增加，使c m o s 图像传感器得到迅速发展。像素、读出电路、 放大电路、a d 转换、存储结构、i s p 处理等功能模块：不断集成在c m o s 图像传 感器之中，即它同时具有早期c m o s 器件的像素单元和读出电路以及放大电路 和处理等电路，保证了c m o s 图像传感器像素单元灵敏度和动态范围的提高以 及噪声的降低，使它具有了与c c d 图像传感器可以比拟的性能，同时c m o s 图 像传感器低功耗功耗以及小尺寸和低成本价格等方面具有显著的优势，具有广泛 的发展空间，在不久的将来会成为图像传感器市场的主导。 随着c m o s 图像传感器的不断发展，作为c m o s 图像传感器重要组成部分， 去除噪声对c m o s 图像传感器成像质量起着至关重要的作用。传统的噪声分为 固定模式噪声与随机噪声。由于c m o s 图像传感器每个像素都有a d 转换和放 大，因此像素面积比较大，同时由于每个放大器之间不可能完全一致，因此c m o s 图像传感器的固定模式噪声和暗电流噪声都远高于c c d 图像传感器，这严重制 约着c m o s 图像传感器在高端领域的发展应用。所谓暗电流是指器件在反偏电 压下，没有入射光时产生的反向直流电流。相对于c c d 图像传感器，c m o s 图 像传感器暗电流较高，为l n a c m 2 量级，经过工艺优化后暗电流量级可以降低 到1 0 0 p a c m 2 ，由于c c d 的暗电流噪声水平为2 1 0 p a c m 2 。因此想要提高c m o s 图像传感器的图像质量，必须要消除暗电流的影响。 目前，c m o s 图像传感器正朝着高集成度、低暗电流噪声、高分辨率以及 宽动态范围等的多方向发展，并在图像摄像领域中形成了与c c d 图像传感器相 竞争的局面【3 j - 驯。 1 1 2 数字压缩技术简介 所谓数据压缩技术，就是用最少数据编码来表示信号的技术。在当今的电子 信息技术领域，数据化革命的不断发展的今天，信号处理的数据量逐渐增大，数 据压缩技术变得越来越为重要。数字压缩技术作为一种基本技术，在数字信号处 理、传输、压缩存储以及音频编码等领域中有着广泛的应用，并起着至关重要的 作用。 所谓数据压缩是指对数据按照特定的编码机制用比未经编码少的数据位表 示信息的过程 6 1 。数据压缩技术，具有节省资源消耗的优点，比如节省硬盘空间、 增大传输带宽等。数据压缩解码主要分为有损压缩编码与无损压缩编码，有损压 第一章绪论 缩是指经过压缩、解压的数据与原始数据不同但是非常接近的压缩方法，包括 d c t ( 离散余弦变换) 压缩、小波压缩、d p c m 压缩等。无损压缩在指数据经过 压缩后，信息不受损失，解压后能完全恢复压缩前的信息。无损数据压缩包括算 数编码与h u f f i n a n 编码等。数据压缩技术提高了传输速率，降低了发信机功率， 适合应用在当今通信系统尤其是在多媒体移动通信中。 近些年来，随着c m o s 图像传感器的不断发展，c m o s 图像传感器已经由 v g a ( 6 4 0 4 8 0 ) 级别发展到u x g a ( 1 6 0 0 1 2 0 0 ) 甚至q x g a ( 2 0 4 8 1 5 3 6 ) 。 随着分辨率的不断加，c m o s 图像传感器采集到的数据不断增多，因此数据的海 量存储成为c m o s 图像传感器设计的一个重要课题。在此基础上提出的数据压 缩系统，不断受到越来越多的研究和关注。数据压缩压缩方式具体包括以下几个 方面【7 】： ( 1 ) 利用数据中重复出现或者可预知的部分进行压缩。在数据处理中，通过去除 数据中频繁出现或者已知部分进行数据编码，进而减少数据量完成数据压缩。 这种数据是可以双向变换的而且无精度损失的，因此该种变换方式也叫做无 失真压缩。 ( 2 ) 通过利用相邻数据间的相关性进而进行数据编码压缩，如图像数据各个像素 之间具有一定的不变性以及规律，通过这种规律进行图像编码压缩。该种压 缩方式会造成精度的损失并且是单向的。因此相对于无失真压缩编码，该种 压缩叫做失真编码。 ( 3 ) 通过降低数据变化幅度等进行压缩。如人眼对图像数据具有一定敏感性，通 过将不敏感的图像数据进行处理和压缩，可以有效降低数据量，提高数据压 缩程度。这种压缩方法也是一种不可逆转的压缩方法。 图1 3 一种典型的数据压缩技术示意图 4 动向量 第一章绪论 数据压缩被认为是一种“开放技术”。除了传统的数据传输领域外，由于现代 图像传感器不断提高空间分辨率以及电视广播信息标准的不断发展，数据压缩也 成为一项基本技术。此外，数据压缩在许多关键但方向不同的应用领域发挥着重 要作用，例如视频通话、远距离控制( 如卫星应用) 、记录文献和医疗成像压缩、 远距离传输、无人车辆驾驶控制、航空应用以及废物管理、自动化控制等方面应 用。 1 1 3 国内外发展现状和前景 作为数字压缩编码的基础，1 9 4 8 年香农提出了信息熵理论，开创了压缩编 码技术的先河。在信息熵理论的基础上，r m f a n o 于1 9 5 1 年进一步提出了f a n o 编码。这些编码方法分析数据变换的基本规律同时去除相关性进行数字压缩，是 编码技术的基础，但并不适合应用在实际的工程中。1 1 9 5 2 年，由d a h u f f m a n 在“最小冗余度代码的构造方法”中提出的h u f f m a n 编码是第一个实用编码 8 】。 h u f f - m a n 具有无精度损失、高压缩比、高效率等特点，在工程上被广泛应用。1 9 6 8 年，在h u f f m a n 编码提出后，e e l i a s 综合前人的算法进行分析，并在1 9 7 6 年被 j r i s s a n e n 进行改进，从而提出了一种极限逼近熵的编码方法，即算术编码。此 后，人们组合j g c l e a r y 和i h w r i t e n 提出的部分匹配预测模型与算术编码，从 而创造出高质量的压缩编码算法。随着压缩算法的不断发展，一些允许损失一定 精度损失的压缩算法也不断进行发展。其中基于d c t 算法的j p e g 标准被工程 广泛采用。并在1 9 8 6 年制定并成为国际标准，该算法可以有效进行图像压缩， 同时保留了良好的数据精度。在j p e g 标准的基础上，2 0 0 1 年人们提出了基于离 散小波变换的j e p g 2 0 0 0 标准，该标准与传统的j p e g 标准最大的区别是采用小 波变换作为压缩算法的核心。相比与j p e g 压缩，j p e g2 0 0 0 压缩的在相同图像 大小的下具有更高的图像质量，精度损失显著减小。针对压缩标准的制定，国际 上已出现有多种压缩应用方向。如d e v a u x 等人在2 0 0 9 年提出的应用于远程监控 的j p e g 2 0 0 0 图像压缩算法 1o 】以及n e i n h s i e nl i n 等人2 0 0 7 年提出的基于 j p e g 2 0 0 0 的3 d 数据流等。目前数据压缩已经应用于多种数据处理领域 1 。 在国外压缩技术不断发展的同时， 得了突破。尤其在音视频编解码领域， 国内虽然起步晚，但己在部分领域取 现己推出了多款基于多种音视频编解 码的d s p 处理芯片。如暨南大学设计的支持a v 7 s 与h 2 6 4 a v c 标准的编解码 芯片，可用于新一代移动多媒体通讯及便携式试听消费电子等产品。同时清华大 学李宇等人通过对h 2 6 4 a v c 算法的分析，提出了基于h 2 6 4 a v c 和a v s 的视 频解码器芯片系统结构，以满足高处理能力和高吞吐量的要求。由于p c 主机 第一章绪论 的处理速度不断加快，利用c p u 实现视频压缩编解码实时处理已在我国取得广 泛的应用，发展数据压缩技术在我国越来越具有吸引力。在过充分利用人才的前 提下，我国己在视频压缩编解码领域取得了一定得成绩。目前，我国首个由唐桥 微电子有限公司设计研发的基于a v s 标准的s o c 高清编解码芯片已经实现量产， 随着数字化、信息化的不断发展，压缩解压编码芯片作为数据化的核心组成部分， 其地位将变得越来越重要。因此着重开发数据编解码产品，搭建数据压缩解压系 统成为当今数字化发展的重点研究对象。 1 2 课题主要研究内容与方向 本课题将主要研究数字图像去暗电流过程中，数字解压系统的搭建问题。通 过对c m o s 图像传感器暗电流形成的原因与其形成的不均匀性，提出暗电流数 据存储的暗电流消除方法，并针对该种暗电流消除方法，提出相应的数据解压算 法。通过对数据压缩算法的分析，提出d p c m h u f f m a n 组合解压算法。最终将 对提出的算法进行数字设计，搭建数字解压系统，该解压系统包括，h u f f m a n 解 压模块、d p c m 解压模块与图像去暗电流模块、f l a s h 控制模块以及f l a s h 存储 器4 个大部分。本文将着重对该数据解压系统进行设计与仿真，并将设计的解压 进行f p g a 验证，最终实现c m o s 图像传感器的去暗电流工作。 图1 4c m o s 图像传感器数据解压缩系统结构 随着c m o s 图像传感器分辨率的不断提高，数据量不断增大。采用合适的 压缩算法，对c m o s 图像传感器进行数据压缩存储时，提高数据的压缩比同时 不损失额外的数据精度是当今研究的主流方向。本文将在该大方向的前提下，针 对c m o s 图像传感器的成像特点以及暗电流的产生机理，对压缩算法进行优化 改进。同时，由于c m o s 工艺的不断发展，高集成度与高稳定性c m o s 芯片成 第一章绪论 为本文研究的另一主流方向。本文将通过采用v e r i l o gh d l 等硬件描述语言，对 该算法进行硬件描述，并将其在s y n p l i f y 等逻辑综合软件上进行逻辑综合，最后 集成到f p g a 芯片上加以实现。从而完成本设计的高集成度与高稳定性的研究工 作。 1 3 论文章节安排 第一章主要介绍c m o s 图像传感器的发展和应用，并介绍了数据压缩系 统的基本原理与国内外发展情况。同时，本文介绍了本论文的主要内容、科 研目的以及研究方向。 第二章详细讲解了c m o s 图像传感器暗电流的不均匀性，以及由此形成 的去暗电流方法，同时针对该方法提出了压缩暗电流系数的压缩算法。并提 出解压系统架构。 第三章主要介绍本文采用的解压系统中各个模块基本原理以及设计仿真 结果。 第四章详细介绍本系统的仿真验证及测试。 第五章总结全文并提出未来展望。 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 2 1c m o s 图像传感器暗电流不一致性 2 1 1 暗电流不一致性 c m o s 图像传感器暗电流是指器件在反偏电压下，没有入射光时产生的反向 直流电流。相对于c c d 器件，c m o s 图像传感器具有较大的暗电流噪声水平， 一般为c c d 器件的1 0 5 0 倍n3 1 。因此，提高c m o s 图像传感器的图像质量，必 须要消除暗电流对c m o s 图像传感器的影响。 图2 1 暗电流产生结构 引起暗电流的因素主要包括少数热载流子的注入和漂移引起的注入漂移电 流以及体内耗尽区电子空穴对产生和复合而引起的产生复合电流【1 4 】。由于产生 复合电流与掺杂浓度n i 成正比，漂移电流跟n i 2 成正比，可以得到 茸o cz 3 * e x p ( 音) 像1 ) 一f l = 4 删术t 3 1 2 * e x p ( 斋) + 吃彬冰t 3 * e x p ( 音) ( 2 - 2 ) 由于暗电流与温度的指数关系，在室温下，漂移电流远小于产生一复合电流， 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 所以室温下暗电流的主要来源是耗尽区内电子空穴对的产生和复合引起的产生 复合电流，所以图像传感器的暗电流可以近似表达为： 一f l = 以，删半t 引2 木e x p ( - 3 - 嚣) ( 2 3 ) - ，j 式中，a d 辨。是指产生复合率，bd d j 仃是指漂移率。 从模型中可以看出，在室温下，c m o s 图像传感器的暗电流主要是由电子和 空穴的产生和复合引起的，同时由于器件体内耗尽区内的缺陷密度产生电子和空 穴的产生与复合。因此c m o s 图像传感器的暗电流噪声主要是由器件本身耗尽区 的密度来决定的。由于工艺水平限制，不可能保证每个像素点的缺陷密度完全一 致，所以每个像素点的暗电流大小并不一致。如下图2 2 所示，是在6 5 。c 下，同 一像素阵列中的暗电流分布直方图。从图中可以看出，像素点之间的暗电流并不 一致。 图2 - 26 5 。c 下像素阵列暗电流分布直方图 目前常用一种的消除暗电流方法，即利用当前图像值减去c m o s 像素中暗行 像素中暗电流的平均值，该方法有可能会引起一部分c m o s 图像传感器中像素得 不到完全消除，既一部分像素由于暗电流噪声大于暗电流噪声平均值形成缺补 偿，而一部分像素暗电流小于平均暗电流噪声形成过补偿。同时由于去暗电流后 的信号，需要经过后端模拟放大器进行放大，如果没：有将暗电流消除干净，将产 生较大的图像误差。 像素体内的缺陷是在工艺加工过程中引入的，一旦c m o s 图像传感器完成， 暗电流将不会发生变化。结合上面对暗电流模型，可知相对一个像素来讲，其鲫 9 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 或者k 撇经确定，就不会再发生变化。对于不同的像素点，假设其鲫固定，那 么其像素间的比值将被固定。所以如果确定其固定比值k 值和当前条件下的暗电 流值i d l ，就可以很方便的获得像素的暗电流i d 2 值。为了方便获得i d l ，将对c m o s 图像传感器中个别像素进行遮黑处理，这样即使c m o s 图像传感器感光不同时， 感光像素与遮黑像素产生的比值将不发生变化。因此通过该方法计算所有像素点 与不感光像素点的暗电流比例系数。可知在不同条件下，只需要得到当前不感光 像素点的暗电流平均值，即可以相应求出当前图像中每个像素点的暗电流值，并 进行消除。 2 1 2 暗电流系数矩阵求解验证 通过实验对c m o s 图像传感器暗电流验证如下，首先选取已经去除其它固 定模式噪声c m o s 图像传感器进行本文实验。其次在c m o s 图像传感器完全遮 黑的条件下，分别在1 倍增益，4 倍增益，8 倍增益以及1 6 倍增益下以4 0 0 m s 和6 0 0 m s 曝光时间各拍摄5 0 幅图像。最后将各场景下的5 0 幅图像分别求平均， 各得到一个平均值图像。在平均的过程中消除了随机噪声和行噪声的影响，因此 可以认为得到的1 6 幅平均值图像完全是像素的暗电流值。对当前1 6 幅平均值图 像分别计算其暗电流系数矩阵。计算过程如下： 暗行 【。一j 图2 3 计算暗电流系数矩阵的c m o s 图像传感器结构 暗行 像素 g 1rg lrg 1rg lr bg 2bg 2bg 2bg 2 g l g ：r r：l g 1r rg 1 g 1r r：l g 1r r 一一 b bg 2 g ：b i j3 2 g 2b b3 2 g 2b b3 2 g 2 g l g ：r r3 1 g 1r rg 1 g 1r r3 1 g 1r r 一一一 一 一 b bg 2 g ：b b3 2 g 2b b3 2 g 2b b3 2 g 2 图2 4 按电流系数矩阵示意图 1 0 所1 卜= h bg 2 11一 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 图23 第一行和第二行为不感光的暗行，其余行是感光区域正常的像素单元。 在无光条件下对图像拍摄，因此此时所有像素点的值均为当前暗电流的值。如图 中前两暗行中的值。同时为了消除随机噪声的影响，我们利用多次拍摄求平均值 的方法求得c m o s 图像传感器的系数矩阵，如图2 3 为例，有公式： k = d a r k c u r r e n t d a r k r o w ( 2 - 4 ) 其中d a r kc u r r e n t 为暗光条件下感光像素的暗电流，d a r kr o w 为暗光条件下暗行 像素的平均值，k 为暗电流系数。 依次求取1 6 幅图像中所有像素点的暗电流系数，得到1 6 个系数矩阵。计算 1 6 个矩阵之间的标准差可以得到如下结果： 表2 1 暗电流系数标准差 由表2 1 中结果可以看出，在不同条件下，虽然系数矩阵有一定的浮动性， 但是变化不大，所以可以近似认为不同条件下的暗电流系数矩阵是保持不变的。 因此，可以采用暗电流系数的方式保存暗电流数据。 2 2c m o s 图像传感器数据压缩系统架构 2 2 1 消除暗电流流程 由于图像暗电流具有不一致性，因此，采用传统的减去暗行平均值的去暗电 流算法将不适于应用在要求图像质量较高的c m o s 图像传感器中。采用本文上 述方法通过获得暗电流系数矩阵，并在去暗电流过程中利用暗电流系数矩阵去除 暗电流。将有利于消除图像暗电流的不一致性，有利于提高c m o s 图像传感器 精度，保证c m o s 图像传感器成像质型1 6 1 。 1 1 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 c m o s 图像传感器 图2 5c m o s 图像传感器暗电流消除流程 如图2 5 表示本文采用的c m o s 图像传感器暗电流消除流程，本文将首先 通过图2 3 中c m o s 图像传感器结构获取图像传感器的暗电流系数。具体方法 为，通过在暗光环境中连续拍摄的5 0 帧图片，求出5 0 帧图片的平均值。利用求 平均值的方法，将有利于求图像暗电流噪声，消除随机噪声造成的图像暗电流取 值不准确。而后，本文将求得图中各个像素相对于暗行像素平均值的比值，得到 传感器的系数矩阵。求出图像的系数矩阵，一方面压缩了数据。另一方面，防止 了暗电流等噪声随图像增益的改变而引起的图像噪声加大。系数获取如公式2 。4 所示。 其次，由于c m o s 图像传感器的曝光方式为滚筒式曝光，其读出时序受到 f i a m ev a l i d ( 帧时间) 和l i n ev a l i d ( 行时间) 的控制，因此本文将对数据图像逐 行进行d p c m 压缩编码，将暗电流系数转换为量化数据，而后将对量化数据进 一步进行h u f f m a n 编码。数据经过两次压缩编码，通过软件将数据存储写入外挂 f l a s h 存储器之中。 最后，在c m o s 图像传感器工作过程中每曝光一行，读出f l a s h 存储器中该 行暗电流数据，进行该行暗电流数据的h u f f i n a n 与d p c m 解码。在该行的读出 阶段，将解码出的系数数据与暗行数据的平均值做乘法，得到图像的暗电流数据。 进而用该行图像数据减去暗电流数据，得到消除暗电流的数据。其基本公式如公 式( 2 2 1 ) 所示。 s i gd e n o i s e = s i go r i g i n a l 一如彘o v e d e c o d e r ( 2 5 ) 其中s i g 为暗电流后的像素值，为产生的原始值，d e n o i s e s i g _ o r i g i n a l c m o s 如席口v e 为c m o s 图像暗行的平均值，d e c o d e r 为系数解码值。 2 2 2c m o s 图像传感器解压去暗电流系统架构 图2 5 为本此设计采用的解码去暗电流系统架构，其工作流程如上节所述。 本次设计先通过对数据暗光条件下进行抓取、计算、编码，而后将编码后的数据 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 存于f l a s h 存储器中，当c m o s 图像传感器解码去暗电流过程中，传递相应的含 暗电流图像数据以及时钟控制信号到解码去暗电流系统中。该解码去暗电流系统 主要包括以下f l a s h 控制模块、h u f f m a n 解码模块、d p c m 解码与去暗电流模块、 以及f l a s h 存储。其中f l a s h 控制模块以及d p c m 解码与去暗电流模块中又分别 包含了两个小模块。其中，各个模块的具体功能为： ( a ) f l a s h 控制模块。主要通过利用外部信号对f l a s h 模块给予时序控制，而后 在读取的过程中，通过s p i 模块对数据进行读取。其中，s p i 模块遵循s p i 总线协议。同时在读取数据后进行转换，传递给后端的h u f f m a n 解码模块 进行解码。 ( b ) h u f f m a n 解码模块。通过接受f l a s h 控制模块的数据进行h u f f m a n 解码， 在解码的同时解码数据传递给后端d p c m 解码与去暗电流模块进行解码 去暗电流。 ( c ) d p c m 解码与去暗电流模块。通过接受h u f f i n a n 解码模块的数据进行 d p c m 解码，将解码后的数据进行存储，同时读取异步图像数据。将两个 数据进行同步化后相减，最终实现图像去暗电流，并输出。 ( d ) f l a s h 模块。通过采用现成的m a c r o n i x 公司的m x 2 5 l 8 0 3 5 e 型串行f l a s h 存储器对压缩数据进行存储。在解码过程中，通过f l a s h 控制模块写入命 令对f l a s h 模块进行读取。 图2 - 6 本文所采用的解码去暗电流系统架构 本文通过以上四部分实现从c m o s 图像传感器数据读出到c m o s 图像传感 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 器去暗电流的全部流程，其中，f l a s h 控制模块作为连接桥梁起着核心控制的作 用。该模块通过外部信号进行控制利用s p i 总线对f l a s h 存储器中数据进行读取。 同时将读取出的数据传入后端解码模块进行解码去暗电流。而h u f f m a n 解码模块 作为一个独立的模块主要工作是进行h u f f m a n 解码，得到量化数据供给后端 d p c m 模块进行进一步解码，是整个系统必不可少的一部分。d p c m 解码去暗 电流模块直接与图像输入输出相连接，通过异步逻辑，将两个时钟所得数据进行 同步，而后通过减法器对两个始终数据相减去暗电流。同时，采用现有的f l a s h 存储器进行系统搭建，保证了该系统的稳定性，同时，节省了图像系统本身的面 积，通过对f l a s h 控制模块写入相应的控制信号，可以较好的完成f l a s h 存储器中 数据的读出工作。 本文采用图2 - 6 的系统架构，综合考虑c m o s 图像传感器的工作模式，对 系统各个模块进行调整。其中f l a s h 控制模块与d p c m 解码去去暗电流模块中包 含了两个或两个以上模块的功能，充分考虑了系统的集成度，减小c m o s 图像 传感器的硬件开销。同时采用该架构，逻辑实现简单，有利于c m o s 图像传感 器简单高效的工作。 2 2 3c m o s 图像传感器解压系统时序控制 f p n d c _ e n d r a m p _ e n j 一 厂一 s p i _ c s _ b - 、厂一 图2 7 ( a ) 解压去暗电流系统f l a s h 读写控制时序 f r m _ v a li d 厂弋 l i n ev a l i dn n nn d i n 一 二= 3 卜 二二) 一 d o u r ( 二二) _ - 二) _ - 一 图2 7 ( b ) 解压去暗电流系统数据读写时序 图2 - 7 表示本系统设计所采用的控制时序。其中，图( a ) 表示本文采用的f l a s h 1 4 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 存储器的读写控制时序，图( b ) 表示本文图像数据的读写时序。从图中可以看出， 本文采用异步的方式读取两种数据。采用异步数据读取的优点是可以对数据读取 时间进行控制，保证在图像数据读取之前，完成f l a s h 中暗电流系数的读取与解 压。进而在读取图像数据读取的同时，对图像数据与暗电流数据进行相减，去除 图像暗电流。 如图( a ) 所示，本文f l a s h 数据读写时序主要由s p i e l k 时钟进行控制，其中， 当数据读取信号开始时，即l o a df p n d c 为高时，数据开始进入读取状态，进而开 始等待数据读取使能信号r a m pe i l 信号为高，当r a m p信号为高时，表示数据_eil 可以开始读取，当其为低时，表示不可读取f l a s h 存储器。如图所示，使能信号 为高时，经过一个时钟或者若干个时钟，s p i 总线控制信号s p ic sb 变为低，f l a s h 控制模块通过s p i 总线开始读取f l a s h 数据。 如图( b ) 所示，在数据读出的过程中，本文主要通过帧选信号与行选信号对数 据读取进行控制，如图所示，当帧选信号开始时，读取当前帧的数据，而后通过 行选信号对每行的数据进行读取，由于暗电流数据是在当前行开始之间准备好 的。因此，通过对每行读取的数据与暗电流数据做差值，即可得到所需数据，而 后将数据继续输出到后端电路进行处理。 2 3 压缩算法设计 2 3 1 压缩算法简介 编码器解码器 图2 - 8 一种常用的压缩系统模型 如图所示，一个数据压缩系统通常包括不同的两个部分：编码器和解码器。 当数据f ( x ，y ) 输入到编码器中，这个编码器可以根据输入信号进行信源编码生成 一个特定的符号。而后将符号送入信道中进行传输，进而将编码器编码的符号送 入解码器。经过重构就生成输出数据f ( x ，y ) 。f ( x ，y ) 可能等于原始数据，也可能 不等于原始数据。如果输出数据与输入数据完全相等，则该编码解码系统就是无 误差的或具有信息保持的编解码系统；反之，重建数据就会呈现某种程度的失真， 与原始数据产生差异。 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 如前文所提，常用的数据压缩方式包括以下三个方面，为利用数据中冗余成 分进行数据压缩，利用数据相关性进行压缩以及降低数据变化幅度进行压缩。数 据压缩的算法多种多样，但其基本压缩算法思想是不变的。一种基本的数据压缩 模型如下图2 8 所示： f ( x ，y ) 图2 - 9 一种基本的数据压缩模型 信道 数据编码压缩是一个渐进的过程。首先，转换器将去除输入数据之间的相关 性冗余，将数据转换为具有无冗余的数据格式。这一步压缩是可反向转换的，可 直接降低未压缩数据的数据量。本文中将采用系数矩阵的压缩数据的方法与此相 反的例子。 其次，去冗余数据将被送入量化器进行数据量化，量化主要对去冗余数据的 进行精度调整以便与预先的精度保证一致。这一步减少了输入数据的变化幅度。 这一步压缩处理通常是不可逆的。因此无损压缩一般去除本步压缩操作，进而保 证压缩无精度损失。 最后，符号编码器将对量化后的数据进行编码赋值，按量化数据出现概率给 予量化压缩数据相应的数字符号，进而保证数据编码长度减少。此过程编码数据 一般是量化编码数据的集合，从而按符号保证数据的无损压缩，此操作一般是可 逆的。 图2 - 9 显示了上文提到数据压缩的三个相继操作，但该三个操作并不是包含 在所有数据压缩系统中。如需要进行无损压缩时，需要去掉数据压缩中的量化步 骤。此外，某些数据压缩技术是将图2 - 9 中物理分开的某些模块进行合并后建立 的模型。如转换器和量化器常用一个模块表示。这个模块同时执行这两部分的操 作。 数据压缩算法一般包括两种压缩算法，即无损压缩算法以及有损算压缩算 法。其中无算压缩主要应用在医疗或者商业归档里。不过在此种应用中，有损压 缩通常由于数据的损失而被法律所禁止。无算压缩算法通常由两种彼此独立的操 作组成： ( 1 ) 减少数据编码冗余，建立一种可替代的数据表达方式。 ( 2 ) 对这种表达方式进行编码以便消除编码冗余。 无损误差数据压缩的最简单方法就是减少仅有的编码冗余。编码冗余经常存 】6 第二章基于c m o s 图像传感器去暗电流的数据压缩系统架构 在于数据二进制编码中。它可以通过对灰度级进行编码从而使数据最小化进行消 除。这样做需要变长编码结构，它可把最短的码字赋予出现概率最大的数据。 有损压缩算法与无算压缩算法最大的区别是以数据精度上做出让步用以以 换取高压缩比为基础。该种算法会产生数据精度损失，但该种损失是可以容忍的。 无算压缩一般应用在视频传输以及信号处理中，该：种应用场合允许数据有部分损 失，同时需要较高的压缩程度来保证数据传输时的资源利用率。该种压缩算法主