（微电子学与固体电子学专业论文）数码相机处理器设计及系统集成研究.pdf

摘要 摘要 论文详细分析和讨论了数码相机处理器的设计原理和实现方法，对处理器中 的核心功能进行了探讨和研究，并进行了系统集成。 论文首先讨论了数码相机系统的基本构成，并着重讨论了图像采样和处理的 原理。然后，研究重点集中在数码相机处理器的三个主要功能上：结构设计，图 像处理和图像压缩。论文对这三个问题均进行了深入研究，并给出了创新结构、 改进算法以及设计实现。最后，论文结合两个数码相机处理器的设计过程，对 s o c 设计方法进行了深入研究，并给出了芯片的测试结果。 在处理器结构的设计中，论文提出了一种新颖的、基于d m a 总线的数码相 机处理器结构，该处理器针对数码相机系统进行了优化，兼顾了总线带宽、系统 性能和灵活性，能够有效地实现基于i p 核的数码相机处理器。 在图像处理方面，论文分别对前处理和后处理两个阶段，进行了深入研究。 在前处理阶段，论文提出了一种改进的、自适应自动曝光、自动聚焦和自动白平 衡算法，在加快算法速度的同时保证计算精度，对实际的应用具有很大意义。在 后处理阶段t 论文实现了包括内插、自平衡、细玛校正、色彩校正、色空问变换 和边界增强等功能在内的实时图像处理器流程。 在图像压缩方面，论文讨论了j p e g 和j p e g 2 0 0 0i p 核的设计。论文从数码 相机的应用出发，讨论了基本算法，定义了合适的体系结构，并指出了j p e g 和 j p e g 2 0 0 0 设计过程中一些值得注意的地方。测试结果表明，设计的i p 核功能正 确，并达到一定的性能。 最后，论文讨论了s o c 设计方法，特别是i p 核的设计流程，并结合芯片的 设计过程讨论了s o c 设计中比较典型的问题，包括设计的可综合往、对序优化、 可测性设计、低功耗设计等方面，并运用上述设计方法设计了一个基于j p e gi p 核的c c d 数码相机处理器，以及一个基于j p e g 2 0 0 0 的c m o s 数码相机处理器。 测试结果表明，设计达到了国际同类设计的水平。 关键词数码相机处理器；图像处理 j p e g ：j p e g 2 0 0 0 ；s o c ：i p 核：综合； 自动曝光；自动聚焦；自动白平衡： 低功耗。 复旦大学博士论文一数码相机处理器设计及系统集成研究 a b s f f a c t _-_-_-_-_，_-_-_-_一一 a b s t r a c t t h et h e s i sa n a l y z e sa n dr e s e a r c h e st h ed e s i g nt h e o r i e s a n dm e t h o d o l o g i e so f d i g i t a lc a m e r ap r o c e s s o r s ，a n dp r o p o s e s t w os y s t e m o n a l c h i p ( s o c ) d e s i g n s a tf i r s t ，t h ea r c h i t e c t u r eo f d i g i t a ls t i l lc a m e r as y s t e mi sd i s c u s s e d ，e s p e c i a l l yf o r t h et h e o r yo f i m a g es a m p l i n ga n dp r o c e s s i n g t h e n ，t h e r e s e a r c hi se m p h a s i z e do nt h e t h r e em a i nf u n c t i o n so ff l d i g i t a l c a m e r ap r o c e s s o r ：a r c h i t e c t u r e d e s i g n ，i m a g e p r o c e s s i n ga n di m a g ec o m p r e s s i o n t h e s et o p i c sa r ed i s c u s s e d a n dr e a l i z e dw i t hn e w a r c h i t e c t u r e s ，a d v a n c e da l g o r i t h m sa n ds o cd e s i g n s t h es o cd e s i g nm e t h o d o l o g yi s a l s od i s c u s s e di nt h et h e s i s i nt h ed e s i g no fp r o c e s s o ra r c h i t e c t u r e ，an o v e ld m a - b a s e da r c h i t e c t u r ef o r d i g i t a lc g l t l e r ap r o c e s s o ri sp r o p o s e d t h ea r c h i t e c t u r eh a sb e e no p t i m i z e df o rd i g i t a l c a m e r as y s t e m ，a n dh a sa a d e o f fa m o n gb u sb a n d w i d t h ，s y s t e mp e r f o r m a n c ea n d f l e x i b i l i t y t h e a r c h i t e c t u r ec a r la c h i e v ee f f i c i e n t a p p l i c a t i o ni ni p b a s e dd i g i t a l c a m e r a p r o c e s s o r s i n i m a g ep r o c e s s i n g ，t h ep r e - p r o c e s s i n ga n dp o s t - p r o c e s s i n g f l o w sa r eb o t h d i s c u s s e d a na d v a n c e da d a p t i v ea u t oe x p o s u r e ( a e ) ，a u t ow h i t eb a l a n c e ( a w b ) a n d a u t of o c u s ( a f ) a l g o r i t h mi sp r o p o s e d t h ea l g o r i t h mc a t li m p r o v es e a r c h i n gs p e e d w h e nk e e p i n ge n o u g hp r e c i s i o n ，ar e a l - t i m ei m a g e p r o c e s s i n gf l o wi n v o l v i n gc o l o r i n t e r p o l a t i o n ，w h i t eb a l a n c e ，g a m m ac o r r e c t i o n ，c o l o rc o r r e c t i o n ，c o l o r s p a c e c o n v e r s i o na n de d g ee n h a n c e m e n ti sa l s oi n c l u d e di nt h ed e s i g n i ni m a g ec o m p r e s s i o n ，t h ei p so fj p e ga n dj p e g 2 0 0 0a r e d e s i g n e d t h e a l g o r i t h mt h e o r i e s ，s t a n d a r d sa n dp r o p e ra r c h i t e c t u r e sa r er e s e a r c h e d s o m ed e s i g n g u i d e l i n e sa r ea l s og i v e n t h ed e s i g n sa r ep r o v e nb y t h ee x p e r i m e n t a lr e s u l t s a tl a s t ，t h es o cd e s i g n m e t h o d o l o g i e s ，e s p e c i a l l yt h e i p d e s i g nf l o w , a r e d i s c u s s e d s o m ei m p o r t a n td e s i g ns t r a t e g i e sa r ea l s od i s c u s s e ds u c ha sd e s i g nf o r s y n t h e s i s ，t i m i n go p t i m i z a t i o n , d e s i g nf o rt e s ta n dl o wp o w e rd e s i g n t w od i g i t a l c a m e r a p r o c e s s o r sa r ed e s i g n e da n d t e s t e d o n ei saj p e g b a s e dc c d d i g i t a lc a m e r a p r o c e s s o ra n da n o t h e ri s aj p e g 2 0 0 0 一b a s e dd i g i t a lc l k r n e r ap r o c e s g o i ，t h er e s u l t s s h o wt h a tt h e c h i p s h a v ea c h i e v e dt h ea d v a n c e dl e v e ii r l _ t h ew o r l d k e yw o r d s ：d i g i t a lc a m e r ap r o c e s s o r , i m a g ep r o c e s s i n g ，a u t oe x p o s u r e ，a u t o w h i t e b a l a n c e ，a u t of o c u s ，j p e g j p e g 2 0 0 0 , s o c ，i p , s y n t h e s i s ，l o wp o w e r 复旦大学博士论文一数码相机专用处理器设计及系统集成研究 第一章：引言 第一章引言 数码相机广泛应用于现代生活中的各个领域。在军事和科学领域，数码相机 好似“天眼”，进行各种探铡、监视和导航工作；在工业和医学领域，小区监控、 远程医疗离不开数字摄像的身影；在网络和媒体领域，数码相机更是记者的有力 武器；而在消费领域，数码相机、数码摄像机、p c 摄像头、可视电话、可拍照 手机等等，更是大家耳熟能详。 数码相机正在以前所未有的速度，融入我们的生活，记录我们的每一天。而 人们对数字技术的追求，对数码影像的执着，将影响着整个世界。 1 1 数码相机基础 数码相机的工作原理是：景物光线通过光学镜头的聚焦作用，在图像传感器 上进行光电转换，得到电信号；然后经过相关数据双采样( c d s ) 、自动增益控 制( a g c ) 、模数转换( a d c ) 等模拟信号处理，将图像转换成数字信号；再进 行图像处理、图像压缩等数字信号处理；最后完成图像的存储、显示、传输或回 放功能 1 】。总的来说，数码相机具有4 个基本功能 2 ： 取景。实时拍摄并在l c d 或t v 上显示视频图像。与传统相枫的光学取 景相比，l c d 取景具有无法比拟的优势。 拍照。拍摄图像并经过处理、压缩后存储。相机对数字图像进行优化处 理，并进行静态图像压缩，最后存储于非易失性存储卡( 如c f 卡) 中。 回放。读出存储卡中的照片图像，解压后在l c d 或t v 上回放，可以删 除不满意的照片。 传输。通过u s b 等p c 接口，将照片直接传送至个人电脑。 根据系统的复杂程度和档次的不同，不同的数码相机均拥有以上基本功能的 全部或部分。般地，根据图像传感器分辨率和功能的不同，可将数码相机划分 为入门级、中低档、中高档、专业级等4 个等级： a f - j 级。分辨率一般在3 0 万像素，少数达到1 3 0 万像素，配备定焦镜头， 图像质量低，适用于p c 摄像头、可拍照手机等。 中低档。分辨率一般在1 3 0 万到3 0 0 万像素之间，配备定焦或变焦镜头， 图像质量一般，易于操作，便于携带。 中高档。分辨率一般在3 0 0 万到5 0 0 万像素之间，配备变焦镜头，支持 复旦大学博士论文数码相机处理嚣设计及系统集成研究 第一章：引言 自动对焦，图像质量较高，易于操作，便于携带。 专业级。分辨率一般在5 0 0 万像素以上，配备专业( 单反) 镜头，支持 自动、手动对焦，图像质量达到传统专业相机水准。 因此，一个完整的数码相机系统必须包含光学镜头、图像传感器、模拟前端 ( a f e ) 、数码相机处理器、存储卡、显示系统等一系列关键部件，是一个复杂 的光电一体化系统。 数码相机的核心技术包括光学镜头、图像传感嚣、数码相机处理器、显示单 元、存储单元等。目前，随着技术的不断发展，数码相机呈现出“三高一低”的 特点： 商分辨率。图像传感器的分辨率_ 狃十年煎援比，提高了近1 8 0 倍，已达 到1 0 0 0 万像素级别，光学镜头的分辨率亦有所提高。 高集成度。早期数码相机芯片多，c c d 、m c u 、数字图像处理、图像压 缩等模块均须独立芯片，导致系统复杂，很难实现小型化。现在的趋势 是单片集成，将各种功能集成在单个s o c 芯片中，实现系统的小型化。 高性能。虽然数码相机越来越小，性能却越来越高。在图像质量、自动 控制功能、易用性上均有较大提高，并开始集成更多功能，实现多媒体 化。 低功耗。小型化和多功能对数码相机的功耗提出很大挑战。除了采用低 功耗的c m o s 传感器代替c c d ，还采用了更高的生产工艺、更低的电 源电压和降低功耗的电路设计。目前的主流生产工艺为0 。1 3 0 1 8 u r n ，核 心电压1 5 1 8 v 。 1 2 研究背景和课题意义 第一代消费类数码相机出现在二十世纪八十年代咀数字摄像头的形式出现 功能简单但构造复杂。经过十多年的发展，数码相机已经在各个领域以各种形式 出现，功能强大但集成度高。目前，数码相机产业的核心技术主要掌握在美国和 日本企业手中，如s o n y 、t o s h i b a 的c c d 图像传感器，g 嘧n iv i s i o n 、m i c r o n 的 c m o s 图像传感器，t i 、m o t o r o l a 的数码相机处理器等。近年来，欧洲、韩国和 中国台湾地区发展势头迅猛，如w i n b o n d 的数码相机处理器，友达光电的 t f t - l c d 等。 我国是数码相机消费大国，近年来的数码相机销售量大幅增长。一些企业( 如 联想、海鸥等) 推出了自己的品牌，却设有自己的核心技术，对国外的先进技术 有着很强的依赖性，一旦遇到各种特殊原因，便会收到极大的影响，因此，针对 国内数码相枫产监发展鹊需要，开展数码裙祝核心技术的研究和开发，尉提升我 复旦大学博士论文一数码相机处理器设计及系统集成研究2 第一章：引言 国在相关领域的核心竞争力，具有重要的社会意义和应用价值。 所幸的是，国内的一些科研机构和企业已经意识到这一点，陆续开展了数码 相机相关核心技术的研究，其中包括一些著名高校，如清华大学、复旦大学、上 海交通大学等，还有一些知名企业，如上海海鸥、湖南中芯等。国家有关部门也 加大了相关课题的支持力度，国家8 6 3 计划在2 0 0 2 年资助了4 家单位开展 j t ： e g 2 0 0 0i p 核的开发就是一个很好的信号。 复旦大学自1 9 9 8 年开始进行数码相机专用芯片的研究，并在2 0 0 2 年设计出 国内第一款数码相机处理器，目前在国内的数码相机处理器设计领域处于领先地 位。在本论文的完成过程中，受到多项国家和上海市重点科研项目支持： 2 0 0 0 - - 2 0 0 2 ，国家计委高技术产业化( 示范 2 2 程项目“合作开发1 4 0 万像素数码照相机”( 与上海海鸥照相机有限公司合作) ； 2 0 0 0 - - 2 0 0 2 ，上海市科委p d c 项目“静态图像压缩、反压缩专用集成电 路开发”； 2 0 0 2 - - 2 0 0 3 ，国家高科技研究发展( 8 6 3 ) 计划项目“j p e g 2 0 0 0 i p 核设 计技术”； - 2 0 0 3 - - 2 0 0 5 ，上海市科委s d c 项目“j p e g 2 0 0 0 数码相机专用芯片开发”。 没有这些硬目豹大力支持，本论文豹工作绝不可能顺利完成+ 在此一并表示 感谢。 1 , 3 论文的主要工作 论文的核心是研究和设计高性能的数码相机处理器。由于大量科研项目的支 持，使得论文的工作和项目的开展得以有机地结合，取得了令人满意的效果。论 文的主要工作有以下几个方面： 结构研究。在论文开展过程中，作者查阅了大量有关数码相机处理嚣方 面的文献资料，较系统地研究了各种数码相机处理器的结构和性能，并 结合自身特点和性能要求，提出了一种新的有效的数码相机处理器结构， 并应用于芯片设计中。 算法研究。在数码相机处理器中，应用到大量图像处理和压缩算法，如 自动曝光、自动聚焦、自动白平衡、 p e g 、j p e g 2 0 0 0 等。作者在研究 了大量文献的基础上，提出了新的有效算法，并在芯片的设计中得到应 用。 芯片设计。为了验证处理器结构和算法的正确性，也为了完成相关的科 研项目，论文进行了2 个版本的数码相机处理器的设计。第一个芯片是 基于j p e g 的c c d 数码相机处理器，于2 0 0 0 年5 月开始设计，2 0 0 1 军 复旦大学博士论空一数码相机处理器设计厦系统集成研究 第一章：引言 1 2 月完成f p g a 验证，2 0 0 2 年6 月t a p e o u t ，2 0 0 2 年1 0 月完成芯片测 试。第二个芯片是基于j p e g 2 0 0 0 的c m o s 数码相机处理器，于2 0 0 2 年1 0 月开始设计，2 0 0 3 年6 月完成f p g a 验证，2 0 0 3 年8 月t a p e o u t ， 2 0 0 3 年1 2 月完成芯片测试。 系统集成。结合芯片的设计，论文讨论了超大规模集成电路( v l s i ) 的 系统集成问题，对百万门级数字电路的设计、验证和测试过程进行了较 为深入的而实用的研究。另外，针对目前数码相机处理器的最新进展， 讨论了集成r i s cc p u 的s o c 结构和设计方法。 当然，设计2 个百万门级的大规模芯片绝非一个人能够完成，需要一个团结 合作的团队数年坚持不懈的努力，才能最终成功。在论文及项目的完成过程中， 作者一直领导着一支由1 0 多人组成的开发小组，由他们主要完成了芯片中的具 体的接口电路设计、压缩i p 核设计以及后端设计工作等，在此向他们表示深深 的谢意。 1 4 主要创新点 在保证芯片功能的基础上，为了提高电路的性能，论文在设计中大胆采用了 一些创新的算法和电路结构。主要的创新和改进有以下几点： 提出了一种基于d m a 总线的数码相机处理器新结构，并在电路中得到 验证。该结构采用一种独特的d m a 总线，经过配置之后，能够适应数 码相机处理器各种工作模式下的内存读写情况，具有简单、高速、低功 耗的特点。 提出了一种自适应的自动曝光、自动聚焦和自动白平衡算法，并在电路 中得到验证。在数码相机的图像处理流程中，面向自动控制的前处理算 法是提高系统性能的一个重要特征，论文提出的新算法具有效果好、自 适应的特点。 提出了一种面积优化的j p e g 压缩、反压缩电路结构，以及一种低缓存、 低功耗的j p e g 2 0 0 0 压缩、反压缩电路结构。芯片的测试结果证实了设 计的正确性。 设计成功了一种基于j p e g 的c c d 数码相机处理器，以及一种基于 j p e g 2 0 0 0 的c m o s 数码相机处理器。这两个芯片的设计成功，填补了 国内在数码相机处理器领域的空白。 1 5 论文的组织结构 论文共有7 章，分作4 个部分。第一部分是引言，包括第1 章：第二部分是 复旦大学博士论文一数码相机处理器设计及系统集成研究4 第一章：引言 结构和算法设计，包括第2 、3 、4 、5 章；第三部分是芯片设计与系统集成，包 括第6 章；第四部分是结论和展望，包括第7 章。论文的其余部分安排如下： 第2 章讨论了数码相机系统。主要从数码相机系统的功能和性能要求出发， 讨论影响系统性能的主要因素，突出数码相机处理器的核心地位。 第3 章讨论了数码相机处理器的结构设计。从系统集成的角度出发，讨论了 一种基于d m a 总线的数码相机处理器结构的设计，主要包括模式分析、性能分 析、d m a 总线控制器、s d p , a m 存储器接口、m c u 处理器接口等等。 第4 章讨论了图像处理算法及其实现。根据数码相机图像处理的原理和要求， 分析了图像前处理和后处理的算法及实现，特别是自动曝光、自动聚焦和自动白 平衡的新算法。 第5 章讨论了图像压缩算法及其实现。讨论了数码相机中的静态图像压缩方 法，主要是j p e g 和j p e g 2 0 0 0 。介绍了j ? e g 和j p e g 2 0 0 0 的基本原理、算法、 体系结构和硬件实现。 第6 章讨论了电路的设计和测试过程以及结果。讨论了集成电路的设计方法， 主要是s o c 设计、i p 核设计方法。介绍了一个基于j p e g 的c c d 数码相机处理 器的设计，一个基于j p e g 2 0 0 0 的c m o s 数码相机处理器的设计，并给出了测 试结果。 第7 章对整个论文的内容进行总结和展望，指出了设计中存在的问题，并提 出了进一步工作的想法。 复旦大学博士论文一数码相机处理器设计及系统集成研究 第二章：数码相机系统 第二章数码相机系统 本章从数码相机系统的基本结构出发，介绍了数码相机中各部件的主要功能 和工作原理，突出数码相机处理器的核心地位。 2 1 体系结构 第一台数码相机的问世，距今不过二十多年的历史。在这二十多年里，数码 相机系统在外观、尺寸、架构、功能、性能等各个方面都发生了巨大的变化，主 要经历了p c b 、d s p 、s o c 等3 种不同的系统构成。 p c b 系统 早期的数码相机系统功能远比现在简单，其复杂程度却毫不逊色。由于当时 的芯片集成度低，处理器、存储器、传感器等部件均需要独立芯片，因此只能在 p c b 板上实现整个系统。 d s p 系统 随着集成电路技术的发展，基于d s p ( 数字信号处理器) 1 的数码相机系统 出现了。和p c b 系统相比，d s p 芯片集成了所有的图像处理功能，大大减少了 p c b 板上的器件数，数码相机的尺寸、性能随之得到了很好的改善 1 0 ，1 1 ，1 2 ，1 3 ，1 4 。由于d s p 能力有限，图像压缩( 如j p e g ) 还需要独立芯片完 成。 s o c 系统 随着s o c ( 单片系统集成) 概念的推广和设计方法的不断成熟，基于s o c 芯 片的数码相机系统逐步出现，目前已成为市场的主流【1 5 ，1 6 ，1 7 ，1 8 ，1 9 1 。在这样 个系统中，图像处理、压缩、控制和各种系统接口都集成在单个芯片上，外部只 需要少量的器件和必要的部件( 如镜头、图像传感器等) 。因此，整个系统的尺 寸、功耗、设计难度等都大大降低了。 图2 1 给出了一个典型的数码相机系统的框图。从图中可以看出，数码相机 处理器是一个数码相机系统的核心，承担着图像采样、处理、压缩、存储、显示、 传输等操作的实现或控制工作，其性能优劣直接影响到整个系统的正常运转。 。通用专用结构。 复旦大学博士论文一数码相机处理器设计及系统集成研究6 第二章：数码相机系统 图2 1 典型的数码相机系统 分析以上数码相机系统的不同发展阶段，可以发现，为了完成各项功能，数 码相机集成了以下功能和部件： 图像采样 图像采样系统包括光学处理、光电转换和模拟前端3 部分。光学处理包括镜 头、马达、快门、闪光灯、滤光镜等，负责对光线进行滤光、聚焦、曝光等各种 处理，保证图像传感器能够采到正确的图像。光电转换是由图像传感器完成的， 常用的图像传感器为c c d 和c m o s 。模拟前端对传感器输出的图像模拟信号进 行处理，包括相关数据双采样( c d s ) 、自动增益控制( a g c ) 和模数转换( a d c ) 等模块。 图像处理 运用各种算法，对图像数字信号进行图像恢复和增强的过程，是保证图像质 量的关键。图像处理有两种方式，一种是实时的，以保证取景的需要，一般在空 域进行：另一种是非实时的，以提高图像质量，一般在频域或小波域进行。常见 的图像处理操作有：内插、白平衡、伽玛校正、色彩校正、色空间变换、边界增 强、动态范围调整、降噪等等。另外，对动态图像进行检测，以实现自动曝光、 自动白平衡、自动聚焦的过程，也是图像处理的一个重要内容。 图像压缩 随着图像分辨率的不断增加，图像数据也变得日益庞大。一个3 0 万像素( 6 4 0 4 8 0 ) 的r g b 图像需要9 0 0 k b 的存储空间，而一个5 0 0 万像素( 2 5 9 2 1 9 4 4 ) 的r g b 图像需要1 4 4 m b 的存储空间，张1 6 m b 的存储卡只能存储一张照片! 而且需要大量的存储时间。因此需要对图像进行压缩处理。目前常用的静态图像 压缩标准是j p e g 算法，j p e g 2 0 0 0 则是近年来推出的性能更加优越的新标准。 图像存储 复旦大学博士论文一数码相机处理器设计及系统集成研究 第二章：数码相机系统 拍摄的照片首先放在内存中，必须转存到非易失性存储卡中才不会丢失。目 前，常用存储卡( m e m o r yc a r d ) 作为外部存储器，如c f 卡( c o m p a c t f l a s h ) 、 s d 卡( s e c 班i 钾d a t a ) 、s o n y 记忆棒m s ( m e m o r ys t i c k ) 等。一些入门级数码 相机会采用大容量闪存芯片n a n d f l a s hm e m o r y 充当外存，一些专业级数码相 机会采用迷你硬盘( m i n id i s k ) 作为外存。 图像显示 数码相机支持t f t - l c d 直接取景，省去了通过取景框进行取景的麻烦，乃 大进步。t f t - l c d 是主要的图像显示设备，从1 5 英寸到3 5 英寸不等。 t f t _ l c d 不仅支持取景，还支持拍照后的回放功能，用户可以在t f t _ l c d 上浏 览照片，进行照片删除、修改、放大等操作。 图像传输 数码相机还支持图像传输，通过p c 接口将图像传送至p c ( 当然，直接将存 储卡插入读卡器也是一种办法) 。常用的传输接口为e p p 、u s b 等。其中u s b 接口已从u s b1 1 发展到u s b2 0 ，前者仅支持1 2 m b p s 的传输速度，而后者达 到4 8 0 m b p s 。 综上所述，数码相机是一个非常复杂的系统，涉及很多领域的知识，全部从 头设计一个数码相机完全不可能，必须有所取舍。 2 2 图像采样 数码相机的图像采样是一个光学处理、光电转换和模拟前端处理相结合的过 程，主要目的是将景物光线转换成图像数字信号。图2 2 给出了一个图像采样系 统的完整结构： 图2 2 数码相机的图像采样过程 光线通过镜头组的综合处理，包括滤光、曝光和聚焦，作用于图像传感器表 面，经过传感器的光电转换作用，得到图像的模拟信号；然后经过模拟前端处理， 包括相关数据双采样( c d s ) 、自动增益控制( a g c ) 和模数转换( a d c ) ，得 到图像的数字信号。 复旦大学博士论文一数码相机处理器设计及系统集成研究8 第二章：数码相机系统 2 2 1 光学处理 数码相机的光学处理系统不仅包含镜头组，还包括用于滤光的滤色镜 ( f i l t e r ) ，用于聚焦的缩放( z o o m ) 和聚焦( f o c u s ) 马达，以及用于曝光的光 圈( i r i s ) 和快门( s h u t t e r ) 。 滤光 图像传感器具有一定的光谱特性，因此必须在镜头上加上合适的滤色镜( 或 涂膜) ，才能滤除多余的红外线和紫外线，并尽量接近图像传感器的光谱，才能 r 厂、 ? 、 ；| 7 r a l l ， 丛 图2 6 行间传输面阵型c c d 的结构框图 输出放大器 c m o s c m o s 图像传感器是采用标准c m o s 工艺制造的，只需要进行很微小的改 动【s ，9 】。图2 7 给出了一个c m o s 图像传感器的结构示意图，看起来和存储器结 构极其相似【3 。 位线 图2 7c m o s 图像传感器的基本结构 水平方向为字线，垂直方向为位线。在读出过程中，首先通过行译码选通某 根字线，将某一行像素单元中的电流通过位线同时读出，存储在放大器中的电容 内，然后通过列译码将电流进行放大输出。常见的像素结构有三种：被动结构 p p s 、主动结构a p s 和数字结构d p s 3 。图2 8 给出了三种像素结构的示意图。 复旦大学博士论文一数码相机处理器设计及系统集成研究 第二章：数码相机系统 ( a ) p p s( b ) a p s( c ) d p s 图2 8 三种c m o s 像素结构 相比之下，p p s 具有较小的像素单元尺寸，填充率2 较高，但是读出速度较慢， 信噪比较低。a p s 则具有较大的像素单元尺寸，填充率较低，但是读出速度快， 信噪比较高。d p s 则在每个像素单元里都放了一个a d c ，模数转换后的数字信 号存储在存储单元里，这样整个阵列就和一个存储器一样了。d p s 减少了固定图 形噪声( f p n ) 和模拟读出噪声，而且速度非常快，适用于高速数码相机系统。 其主要缺点是像素面积很大，但是这一点随着工艺的进步已经得到了缓解。 传感器噪声 图像传感器输出信号中的噪声主要有光子噪声、固定图形噪声( f p n ) ，以及 读出噪声等。 2 2 3 模拟前端处理 模拟前端总线( a f e ，a n a l o gf r o n te n d ) 包括相关数据双采样( c d s ) 、自 动增益控制( a g c ) 和模数转换( a d c ) ，负责将c c d c m o s 输出的模拟信号 转换成数字信号。图2 9 给出了一个模拟前端处理示意图。 2 9 模拟前端处理 2 3 图像处理 2 3 1 可见光 “光”是携带电磁辐射能量的电磁波中的很小一部分。电磁波的波谱范围很 广，包括无线电波、红外线、可见光、紫外线、x 射线、伽玛射线等，人眼能够 看见、产生响应的那部分称为“可见光”，其波长范围是3 8 0 n m 7 8 0 n r n ，其它 2 填充率：感光二极管占整个像素面8 1 , 1 构百分比。 复旦大学博士论文一数码相机处理器设计及系统集成研究1 2 兰三兰! 墼塑塑垫墨竺一 波段只有光电探测器件才能“看见”。图2 1 0 给出了电磁波与可见光谱的分布范 围。 5 0 0 n m7 8 0 h m 波长+ 图2 1 0 可见光谱示意图 通常，表示光的强度大小可以有多种方法，如下所述【2 8 】。 发光强度j 指光源发光的功率，其国际单位是“坎德拉”( 耐) 。l c d 就是一个“完全黑 体”加热到铂的熔点( 2 0 2 4 k ) 时从l c m 2 表面面积上发出的光的1 6 0 。 光通量驴 指每秒钟内光流量的度量。其国际单位是“流明”( 砌) 。l l m 是指在与l c d 的光源相距单位距离、并与入射光相垂直的单位面积上每秒钟流经的光流量。 亮度 指物体表面发光的度量。光可以是由一个面光源直接辐射出来，也可以由入 射光照射下的表面反射而来。其国际单位是“尼特”( n i t ) 。1 n i t = i c d m 2 。 照度e 指入射到某表面的光通量密度，表示为每单位面积的流明数，其国际单位是 “勒克司”( 髓) 。l l f l l m m 2 。表2 1 列出了一些典型光线条件下的照度值。 表2 1 典型光线条件下的照度 光线条件照度( 扛) 晴天9 6 8 4 0 多云1 0 7 6 0 满月 0 1 0 7 6 室内照明 1 0 7 6 2 3 2 视觉系统 人的视觉系统是由眼球、神经系统和大脑的视觉中枢构成。眼球具有很复杂 的构造，在接收光线时，眼球通过虹膜的收缩和扩张来控制进入眼内的光量，晶 复旦大学博士论文一数码相机处理器设计及系统集成研究 第二章：数码相机系统 状体内的蛋白质能够吸收多余的红外光和紫外光，经过聚焦的光线在视网膜上进 行成像。 处于视网膜上的视觉细胞是主要的光接收器。视觉细胞包括锥状体和杆状 体。锥状体只有在光线明亮的情况下才起作用，具有辨别光波波长的能力。杆状 体比锥状体的灵敏度高，在较暗的光线下就能起作用，但是没有辨别颜色的能力。 人的视觉系统决定了人眼主观上对图像的色度差别不那么敏感，因此可以利 用这个特点，在压缩之前对色度进行降采样处理，以提高压缩效率，对图像质量 几乎没有什么影响。 2 3 3 色度学 白色光是由红、绿、蓝等七种光线组成的。不同波长的光线会呈现不同的颜 色。“颜色”按其产生机理可分为光源色和物体色。由于自身能够辐射出一定强 度和波谱成分的光而显现某种颜色叫做光源色，例如各种自然光源或人工光源。 如果物体本身不发光，而由于光源辐射出的光波照射在物体上，一些波谱成分的 光波被物体吸收，另一些波谱成分的光波被物体反射或透射后进入人眼，产生某 种颜色的感觉，这类颜色称为物体色。人眼对不同波长的光波产生不同的亮度和 颜色感觉，人眼对彩色的感觉由三个量来度量： 亮度。彩色光对人眼引起的光刺激强度，和光的能量有关，表示彩色的 明亮程度。 色调。由可见光光谱中各分量成分的波长来确定，是彩色光的基本特牲， 同种彩色感觉可以由多种不同的光谱分布综合产生。 色饱和度。反映了彩色的浓淡，取决于彩色光中白光的含量，表明了颜 色的深浅。通常将色调与色饱和度统称为色度。 著名的格拉斯曼定1 里 2 7 1 表示，几乎所有的颜色均可以用红、绿、蓝三种基 本彩色混配出来。即： f ；r ( r ) + g ( c ) + 占( 口) ( 2 1 ) 国际照明委员会( c i e ) 选择红色( = 7 0 0 o o n m ) 、绿色( = 5 4 6 1 ”聊) 和 蓝色( - - - 4 3 5 8 n m ) 作为三基色，产生l l m 的白光需要的三基色的近似值为： l l m 咿) = 0 3 0 1 m ) + 0 5 9 l m ( g ) + o 1 l l m ) ( 2 2 ) 图2 1 1 是c i e 色度图。在图中，采用了假想的三基色，位于三角形的三个顶 点。所有谱色均位于三角形内的马蹄形衄线上，其它位置为非谱色。图中c 点 为标准白光，其色度坐标为x = o 3 1 0 1 ，y ：o 3 1 6 3 。色度学在进行图像白平衡处理 器中起到很大的作用。 复旦大学博士论文一数码相机处理器设计及系统集成研究 1 4 第二章：数码相机系统 图2 1 1c i e 色度图 2 3 4 图像处理 “图像”是指自然光源或人工光源发出的光谱能量经客观物体或景物的吸 收、反射或透射后进入人眼刺激视网膜而引起的主观印象，是光源、景物和人眼 视觉系统三者的特性的统一。 经过数字化的图像是投射的二维图像，由一个个像素( p i x e l ) 组成。在数字 化过程中，受到采样率的影响，图像分辨率会降低，而且会受到各种噪声的污染， 因此需要进行数字图像处理，包括：图像恢复、图像增强、图像分割、图像重建 等。在处理过程中，既要考虑到图像采样带来的畸变和失真，还要考虑到光源、 景物的特征以及入眼的视觉效果。 数字图像处理的方法大致可分为两大类，即：空域法和变换域法 2 7 ，2 8 ，2 9 1 。 空域法是直接对像素二维空间进行处理的方法，包括邻域处理法，如梯度运算、 卷积运算等：以及点处理法。变换域法是首先对图像进行正交变换，得到变换域 系数阵列，然后再进行各种处理，处理后反变换到空问域，得到处理结果，包括 滤波、数据压缩、特征提取等。 数字图像处理的质量主要有两个评价标准：视觉效果和信噪比。视觉效果是 通过人眼的比较，来判断图像的质量是否遭到破坏；而信噪比则以量化的形式表 达了图像质量的退化程度。 设一幅大小为m 的图像，以f ( x ，力表示原始图像的像素( 石，y 1 的值， f ( x ，y ) 表示处理后图像的像素0 ，y ) 的值，则两幅图像的均方差r m s e 表示为： 复旦大学博士论文数码相机处理器设计及系统集成研究 第二章：数码相机系统 且m s e ：镬h “州“眨s，mn i盏訇。7 一1l 而峰值信噪比p s n r 则表示为： p s n r = 2 0 1 0 乳。盖 4 p s n r 反映了两幅图像之间的差异，姗越大，表示两者差异越小。p s n r 并适于图像增强、降噪等处理，在这些处理中，可以用边缘提取的手段得到图像 的边缘值进行比较。 2 3 5 数码相机处理器 数码相机处理器是一个数码相机的核心，它不仅能够完成对图像的后续处理 以及压缩工作，还能够实现对图像采样、存储、显示和传输过程的控制功能。本 文在第三章将重点介绍数码相机处理器的结构设计。 复旦大学博士论文一数码相机处理器设计及系统集成研究 1 6 第三章：数码相机处理器的结构设计 第三章数码相机处理器的结构设计 本章主要讨论了数码相机处理器的设计要求，给出了一种基于d m a 总线的 数码相机处理器的体系结构的设计，并详细讨论了其中的d m a 总线控制器、 s d r a m 存储器接口以及m c u 处理器接口的设计方法。 3 1 设计要求 数码相机系统功能的日趋复杂，以及性能的逐步提高，对数码相机处理器的 设计提出了更高的要求。主要有： 实时性。数码相机是一个实时采样、处理和显示系统，特别是在取景过 程中。系统的实时性不仅要求芯片具备足够的实时图像处理能力，还要 求系统总线具有足够的带宽，以保证图像采样、处理和显示等各种功能 的并发处理。 高效性。处理器的处理效率，指完成一种功能所占用的处理器资源、内 存资源、总线带宽等，还包括内存和功能模块的可复用能力。 低功耗。主要为了适应可便携式应用和环保的要求。低功耗的实现除了 采用更先进的工艺和更低的工作电压之外，还取决于芯片的时钟管理和 总线管理。 可配置能力。数码相机处理器当中包含多个功能模块，可配置能力要求 芯片能够通过对这些功能模块的不同配置，实现各种不同的工作模式， 其中既包括预先设置的模式，也包含一些不属于预先配置的测试模式。 为达到这些要求，数码相机处理器必须在片上总线、内存接口和处理器核( 或 处理器接口) 等方面做出仔细的设计和选择，并需要各个功能模块以及微处理器 的配合。 3 1 1 片上总线 近年来，基于片上总线的s o c 体系结构逐步成为数码相机处理器的主流设计 【1 l ，1 5 ，1 6 ，1 7 ，1 8 ，1 9 】。由于片上总线提供了各种i p 核都可以连接的通用接口，因 此基于总线的设计非常有利于管理，并且为芯片功能的改进和扩展提供了极大的 方便，必将得到更加广泛的应用。 片上总线的设计和数据传输协议的制定应该在选择或开发i p 核之前就予以 复旦大学博士论文一数码相机处理罂设计及系统囊成研究1 7 第三章：数码相机处理器的结构设计 考虑7 2 ，否则会导致数据传输机制的混乱，进而会使s o c 级的集成复杂化，导 致硬件增加和性能下降。一些公司和组织正在积极开发参数化、通用性强的片上 总线和i p 核接口的标准协议。如a r m 公司提出的a m b a 总线标准 2 0 ，7 3 ，以 及o p c n c o r e s 组织积极推广的w i s h b o n e 总线协议【2 1 。这类标准一般支持多 宿主、数据和控制信号的分开识别、全周期和多周期传输机制以及总线的请求和 允许协议，具有较高的性能和灵活性。 a m b a ( a d v a n c e dm i c r o c o n t r o l l e rb u sa r c h i t e c t u r e ) 总线是a r m 公司开发 的s o c 总线标准，主要用于a r m 处理器核与片上其它宏单元进行通信的接口。 a m b a 规范定义了3 种总线：a h b ( a d v a n c e ah i g h - p e r f o r m a n c eb u s ) 、a s b ( a d v a n c e ds y s t e mb u s ) 和a p b ( a d v a n c e d p