（通信与信息系统专业论文）usb传输在数码相机片上系统中的实现.pdf

摘要 摘要 随着数码相机技术和微电子技术的发展，数码相机已经由过去的多 芯片系统演变到了单芯片系统。研究数码相机片上系统对于提高数码相 机质量和性能有着重要意义。 常规的数码相机片上系统包括r i s c 嵌入式微控器，d s p ，j p e g 引擎， 存储器和外设接口。微控器、存储器、外设接口构成了数码相机芯片的 硬件平台，这也是数码相机芯片软件系统的基础。研究数码相机芯片的 硬件设计对构造一个数码相机片上系统具有重要的意义。其中，外设接 口提供了数码相机与外界通信的渠道，由于数码相机的特定用途，他与 外部设备交换数据最频繁的就是p c 机，而使用最频繁的外设接口也就是 u s b 接口。 u s b 是一种工业标准，它支持可靠高速的串行传输。目前比较常用的 有两种传输速率，一种是低速1 5 m b p s ，另一种是全速1 2 m b p s 。数码相 机一般工作于全速模式，l j s b 采用n r z i 编码方式和c r c 检校手段。研究 u s b 传输协议可以看出，u s b 的传输是基于包的传输，上层事务处理格式 可以由不同的信息包组合来完成，这给硬件完成u s b 协议转换提供了方 便。 根据上述特点，我们可以把u s b 协议结构分为两层，第一层是信息 包层，负责将u s b 总线上的串行n r z i 码解读出来并封装成包或者将发送 的数据包翻译成n r z i 码，第二层是事务处理层，通过解读出来的或者要 发送数据包内容触发状态机，进行事务处理过程。 本文的主要工作是利用上述分析把u s b 以硬件形式实现，并将u s b 与微控器融合为一个整体。利用前面的思路，并结合s o c 的设计方法。 使用可编程器件来做载体。设计中把u s b 体系分为了4 个模块，分别完 成系统协议转换和u s b 系统与微控器之间的传输控制。这些模块均由 v e r i l o gi i d l 语言编写，利用m a x p l u s i i 仿真通过，并验证能够完成预想 的各项功能。整个u s b 系统仅占用了3 万门左右的逻辑资源，这为实现 一个尽可能精简的数码相机片上系统提供了可能。该论文是广东省攻关 项目“数码相机核心技术研究及其s o c 开发”的一部分。 关键词：片上系统；现场可编程门阵列；硬件描述语言；i p 核；u s b 兰童翌三奎兰堡圭兰垒笙兰 a b s tr a c t w i t ht h e d e v e l o p m e n to fm i c r o e l e c t r o n i c s a n dd i g i t a ls t i l lc a m e r a d i g i t a l s t i l lc a m e r ah a s c h a n g e df r o mm u l t i c h i ps y s t e m t o s i n g l ec h i p s y s t e m i t sm e a n i n g f u lt os t u d yt h ed s cs y s t e m ab a s i cd s cs o ci n c l u d e sr i s cm i c r o c o n t o r l l e r ，d s p ，j p e ge n g i n e ， m e m o r ya n do n e h i pp e r i p h e r a l s a m o n gt h e s e ，m i c r o c o n t r o l l e r ，m e m o r y a n do n - c h i pp e r i p h e r a l sm a k e u po f t h eh a r d w a r ep l a t f o r mo fd s c s y s t e m t h e o n - c h i pp e r i p h e r a l s i st h e w a y d s cc o m m u n i c a t e sw i t ho u t s i d e e n v i r o n m e n ta n du s bi so n eo ft h em o s tu s e f u lp e r i p h e r a l s u s bi sa n i n d u s t r y s t a n d a r d i t s u p p o r t sh i g h - s p e e dr e l i a b l y s e r i a l c o m m u n i c a t i o n u s bh a st w o - t r a n s f e rm o d e o n ei sl o ws p e e dm o d e s u p p o r t ab i tr a t ea t 1 5 m b p s ，a n o t h e r i sf u l l s p e e dm o d es u p p o r t ab i tr a t ea t 12 m b p s ad s c n o r m a l l yw o r k s a tf u l ls p e e dm o d e u s bu s en r z ic o d ea n d c r ce r r o rd e t e c t i o n a su s bp r o t o c o l l a y e rd e n t i n e ，u s b t r a n s f e ri sa p a c k e t b a s e dt r a n s f e r t r a n s a c t i o nf o r m a t si sd e t e r m i n e d b y d i f f e r e n t p a c k e t c o m b i n a t i o n t h i sm a d ei t p o s s i b l e t os o l v eau s b s y s t e m c o m p l e t e l yb yh a r d w a r e a sa n a l y z e da b o v e ，t h eu s b p r o t o c o lc a nb es e p a r a t e di n t ot w ol a y e r s o n ei sp a c k e tl a y e r ，n r z ic o d ea n dp a c k e ta r ee n c o d e da n dd e c o d e di nt h i s l a y e r ，t h e o t h e r l a y e r i st r a n s a c t i o n p r o c e s s i n gl a y e r ，t r a n s a c t i o n i s p r o c e s s e di nt h i sl a y e rb yt h ep a c k e tl a y e ri n f o r m a t i o n t h i sp a p e rm a i n l yd i s c u s sa b o u tt h eh a r d w a r es o l u t i o no fu s bs y s t e m ，a n dh o w t oc o m b i n et h eu s bw i t ht h em i c r o c o n t r o l l e ri n t oas y s t e mo nc h i p a st h ed e s i g n m e t h o do fs o c b e i n gu s e d ，p l di su s e da st h ec a r r i e ro f t h es y s t e m t h ew h o l eu s b s y s t e mi n c l u d e s 4 m o d u l e s t h e ya r e a l l a c c o m p l i s h e dw i t hv e r i l o gh d l ，a n d a l l s i m u l a t e db ym a x p l u s l i t h ew h o l es y s t e mc o n s u m e da b o u t3 ，0 0 0 0g a t e s ，w h i c hm a k e i tp o s s i b l et od e s i g nat i d yd s cs o c t h i sp a p e ri so n ep a r to ft h er e s e a r c hp r o j e c to f g u a n g d o n gp r o v i n c e “t h er e s e a r c ho fk e r n e lt e c h n o l o g yo fd i g i t a l s t i l lc a m e r a a n dt h ed e v e l o p m e n to fd s cs o c ”。 k e y w o r d ： s o c ；f p g a ；h d l ；i pc o r e ；u s b i l 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名：李琛 妨 日期：2 0 0 4 年5 月2 5 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上相应方框内打“”) 作者签名： 李琛屋援日期：2 0 0 4 年5 月2 5 日 导师签名：杜明 ：2 0 0 4 年5 月2 5 日 第一章绪论 第一章绪论 数码相机作为一种新兴的电子消费产品，受到了越来越多人的喜爱。 如何使数码相机更轻便，更便宜，功能更强大已经成为众多数码相机开 发商所关注研究的主要问题。数码相机有多芯片结构和单芯片结构，单 芯片结构无疑是达到上述目的的最好选择。而随着微电子技术的发展， 数码相机片上系统已经取得了巨大成功。研究和开发数码相机片上系统 无疑是一件极具意义的事。 1 1 数码相机简介 数码相机( d i g i t a ls t i l lc a m e r a ) 出现于2 0 世纪8 0 年代中后期，是 光学、微电子技术和数字信号处理结合的产物。进入2 0 世纪9 0 年代后， 数码相机技术开始得到了飞速的发展，目前数码相机已经被广泛的应用 于各行各业。 数码相机具有即拍郎得、允许重拍、控制简单、便于图像后期处理 和通信、准确复制和长期保存、绿色环保等优点。数码相机的基本原理 是利用光学系统把图像投影到图像传感器土，传感器把光信号转换为电 信号，再经过a d 转换，数字信号处理和压缩，最终以数字信号方式存储 到存储器、存储卡等数字介质中。图l l 是一个数码相机的系统结构。 图1 1 数码相机的系统结构 华南理工大学硕士学位论文 不难看出，一个数码相机系统要包括镜头、s e n s o r 、数字信号处理、中央 处理器，存储器和液晶屏等等。其中，数字信号处理这一块在整个数码 相机系统中占有最重要的地位。一个数码相机的图像处理软件要完成自 动曝光、自动聚焦、自动白平衡、增益控制，伽马校正、r g b y c 转换、 轮廓增强、饱和度校正、颜色校正等一系列工作，这是关系到数码相机 成像质量的关键，因此也成为了各个数码相机厂商的保密技术。 1 2s o c ( 片上系统) 简介 1 9 5 8 年，美国科学家在一块硅片上做成了相移振荡器，这便是世界上第 一块集成电路。1 9 6 7 年诞生了单片集成度在1 0 0 0 个晶体管以上的集成电 路，集成电路由中小规模进入了大规模时期。7 0 年代，美国又在硅片上 集成了l3 万个晶体管，制作出了世界上第一块6 4 k b i t 的d r a m ，标志着 集成电路进入了超大规模( v i s i ) 时代。8 0 年代，集成电路加工达到微 米级，9 0 年代初是亚微米，现在是深亚微米。目前集成电路已经入3 g 时代，单片集成度达到l g 个晶体管，工作速度达到1 g h z ，最高数据传 输率达到1 g b p s 。图1 2 回顾了集成电路技术发展的历史。可见，微电子 集 成 度 1 1 面订l1 9 6 1 昔1 蔺f 1 0 e 1 0 9 1 9 9 8 u l s i 1 6 1 0 9 2 0 0 0 g s i 晶体管二极管门电路计数器8 位1 6 ，3 2 位 三极管触发器加法器 处理器处理器 图像处理器 s o c 图1 2 集成电路发展简况 产业的发展，基本上是每隔2 0 年就有一次大的变革，而片上系统( s o c ) 的出现，是i c 技术发展的必然趋势。s o c 与传统i c 不同，它已经是一 个有某种应用目的电子系统单片。传统电子系统设计方法是在p c b 级完 成的。系统设计人员利用各种i c ，在p c b 上构成系统，系统的调试也在 p c b 上进行。这种开发设计方法要求设计者具有丰富的硬件知识和调试 能力，产品开发周期长，投资大，设计修改困难。此外，由于p c b 连线 2 竺篙 第一章绪论 延时。空间尺度、重量和可靠性等制约，整机性能受到限制。而s o c 将 整个系统最终集成到了一个单片上，提高了产品性能、缩小了产品体积。 因而是电子系统开发设计的合理选择。 s o c 的实现有很多途径。对于经过验证而又具有批量的系统芯片， 可以做成a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ) 专用集成电路大 量生产。而对于一些仅小批量应用或处于开发阶段的s o c ，若马上流片 生产，需要投入较多的资金，承担较大的试制风险。近十几年发展起来 的高密度可编程逻辑器件，则提供了另一种实现途径。可编程逻辑器件 ( p l d ) 是一种由i c 制造商大批量定型生产的半定制产品，器件内部的 逻辑功能由用户设计和构造，是一种廉价、而硬件功能可多次编程重构 的器件。可编程逻辑器件的出现使得系统设计人员又可能在不改变系统 硬件结构的前提下，修改完善甚至重新设计系统的硬件功能，是电子系 统的硬件具有了“柔性”，极大的改变了硬件的刚性结构状态，甚至可以 使电子系统的硬件功能动态调整，以适应外界环境的变化。 s o c 的设计理念与传统i c 不同。s o c 把系统的处理机制、模型算法、 芯片结构、各层次电路直到器件的设计紧密结合，在一个或若干个单片 上完成整个系统的功能。与普通i c 的设计不同，s o c 的设计以i p 核为 基础，以硬件描述语言为系统功能的主要描述手段。由于s o c 的集成规 模过于庞大，人工方法效率必然十分低下，目前都使用自动化电子设计 ( e d a ) 。层次化设计是典型电子系统的常用方法。个完整的电子系统 从概念的提出到最后的物理实现，可分为如下几个设计层次，即系统级、 行为级、寄存器传输级( r t l 级) 、逻辑门级、电路级和版图级。一般说 来把门级以上的各层次设计，成为前端设计，把版图设计级以后的层次 称为后端设计，前端设计与工艺无关，后端设计必须在某一确定的生产 工艺下进行。 s o c 设计的另一个特点是采用了t o p d o w n 设计方法，这是一种从 系统的概念出发，最终过渡到系统物理实现，逐步细化的层次化设计方 法。传统电子系统设计方法采用的是b o t t o m u p 设计方法。先确定单元电 路，沿着单元电路一部件一整机的过程进行样机设计、制造和调试。系 统功能测试要到最后才能进行，稍不留心，就又可能造成系统最后无法 运行的问题。因此设计困难。而s o c 的设计方法，系统功能已经早期仿 真通过，并能在前端设计的时候不断发现修改问题，从而降低了研发成 本，缩短了开发周期。 华南理工大学硕士学位论文 1 3 数码相机片上系统 随着数码相机技术的发展，数码相机的电路结构也由最初的多芯片 电路结构过渡到现在的单芯片数码相机。数码相机片上系统顾名思义， 它是一个片上系统，同时要完成数码相机功能。 数码相机功能如前所述，主要包括图像预处理和图像估计、图像压 缩处理、l c d 显示、图像存储、与外界数据通信等。而片上系统设计主 要用到i p 核技术，图1 3 显示了一个最小数码相机片上系统使用的i p 核。 图1 3 数码相机片上系统使用的i p 核 片上系统的一切功能都由一个c p u 控制。片上系统的c p u 都属于嵌 入式c p u ，而一个片上系统最关心的问题是系统的实时性和芯片体积的大 小，因此嵌入式c p u 都采用r i s c 技术的处理器。目前比较常用的r i s c 嵌入式微处理器有a r m ，p o w e r p c 等，其中a r m 的功能强大、性价比极高。 因此a r m 往往成为数码相机芯片的微处理器。 芯片内部的d s p 要完成除图像编解码之外的所有算法处理，包括图 像预处理和图像估计等等。这些算法由各个厂商自己定义，也导致了各 个相机的功能不同。这些算法在d s p 硬核上实现。 j p e g 引擎用来完成图像的压缩和解压过程，以便于图像的存储和传 输。这一部分往往购买现成的j p e g 软核，但为了使产品具有自己的特色， 厂商也会在开发自己的j p e g 引擎。 数码相机片上系统还有内置l e d 驱动显示模块，使图像能够在l c d 上 显示预览。还有很多外部物理设备通过a d d a 与c p u 通信。c p u 还要控制存 储设备，这些包括内部的r a m ，r o m ，s d r a m 和外部的f l a s h ，s r a m 等存储器。 目前很多数码相机s o c 都用到了页面管理系统和虚拟内存技术。1 。 作为一个系统，必然还要具备相当的外设接口，能够与其他系统通 信或者传递控制信号。数码相机系统也不利外。数码相机由于其特定的 用途，摄取图像后，人们关心的是图像的取出和处理，因此它与p c 机交 4 第一章绪论 换数据最多。数码相机芯片与p c 机通信接口一般有u s b 、r s 2 3 2 等，另 外，它还可能有s p i 接口，并口等外设接口来和其他设备通信。u s b 由于 其简单、高速、可靠、方便等特性，已经成为了数码相机系统和p c 机通 信的主要手段，本文的研究重点也放在了这一传输方式上。 1 4u s b 系统 u s b ( u n i v e r s a ls e r i a lb u s ) 是一种串行工业标准，是对p c 机现有的 体系结构的扩充它具有接口简单、价格低廉、易于扩充、协议灵活、高 速便捷等许多优点，使得它非常适合于小系统上的大量数据传输，而这 也正是数码相机系统所需要的特点。u s b 按传输速率可分为高速、全速和 低速模型”。 u s b 是一种电缆总线，支持在主机和各式各样的即插即用的外设之间 进行数据传输。由主机预定的标准的协议使各种设备分享u s b 带宽，当 其它设备和主机在运行时，总线允许添加、设置、一披用以及拆除外设。 一个u s b 系统主要被定义为三个部分：u s b 的互连、u s b 的设备和u s b 的 主机。u s b 的互连是指u s b 设各与主机之间进行连接和通信的操作，任何 u s b 系统中，只有一个主机。对于数码相机来说，u s b 主机一般是指p c 机。u s b 设备包括网络集线器和功能器件。 在u s b 传输中时钟被调制后与差分数据一同被传送出去，时钟信号 被转换成n r z i 码，并填充了比特以保证转换的连续性，每一数据包中附 有同步信号以使得接收方可还原出原时钟信号。数据和控制信号在主机 和u s b 设备问的交换存在两种通道：单向和双向。u s b 的数据传送是在主 机软件和一个u s b 设备的指定端口之间。这种主机软件和u s b 设备的端 口间的联系称作通道。总的来说，各通道之间的数据流动是相互独立的。 一个指定的u s b 设备可有许多通道。u s b 的结构包含四种基本的数据传输 类型：控制数据传送、批量数据传送、中断数据传送和同步数据传送。 对于任何对定的设备进行设置时一种通道只能支持上述一种方式的数据 传输。 数码相机属于u s b 设备中的功能器件。作为u s b 设备，主要完成的 任务有对u s b 协议的运用，对标准u s b 操作的反馈，如设置和复位，标 准性能的描述性信息。 当设备被连接编号后，该设备就拥有一个唯一的u s b 地址。设备就 是通过该u s b 地址被操作的，每一个u s b 设备通过一个或多个通道与主 机通讯。所有u s a 设备必须在零号端口上有一指定的通道，每个u s b 设 华南理工大学硕士学位论文 各的u s b 控制通道将与之相连。通过此控制通道，所有的u s b 设备都列 入一个共同的准入机制，以获得控制操作的信息。在零号端点上，控制 通道中的信息应完整的描述u s b 设备、此类信息主要有以下几类：标准 信息、类别信息、u s b 厂商信息。u s b 主机通过了解这些信息完成对u s b 设备的配置 在完成u s b 配置之后，就要进行u s b 协议处理。u s b 协议的最底层是 字段( f i e l d ) 和包( p a c k e t ) ，往上是不同事务( t r a n s a c t i o n ) 类型 的包事务格式的描述，最后是链路层( l i n kl a y e r ) 流程控制( f l o w c o n t r 0 1 ) 和事务级别的故障恢复( f a u l tr e c o g e r y ) 。u s b 信息包有令 牌包、数据包、握手包和专用包4 种类型，每个信息包又包含同步字段， 包i d 字段，包特定信息字段，c r c 字段和包结束标志。根据信息包的组 合类型，u s b 事务可分为i n ，o u t ，s e u p 事务，每种事务又支持不同的 传输类型，并且有不同的处理机制。 1 5 本论文的主要工作 本文主要着手实现数码相机片上系统中的u s b 接口。 通过研究片上系统的构造，可以发现一般系统微控器与外设之间的 通信主要通过控制相应的寄存器。基于这一前提，本例设计先将u s b 模 块单独划分出来，并构造u s b 寄存器和与微控器进行通信和传输控制。 这里假想微控器为a r m 。这种构思方式，有利于u s b 系统的单独设计和 调试。在u s b 协议转换成功后，只要简单的增加或修改寄存器就能进一 步完善微控器与u s b 外设之间的通信和控制。这一思路无疑对其他外部 设备的开发也是有借鉴意义的。 本文在深入研究了u s b 体系结构之后，对u s b 协议进行了层次划分， 并根据划分结构将u s b 系统分解为4 个模块： s i f 模块：完成u s b 物理环境到数据环境的转变 系统功能模块：完成信息包分析，事务类型判断和事务处理a 系统接口模块：完成u s b 模块与微控器之间的总线转换和中断信号 的传输。 u s b 寄存器模块：提供了2 4 个寄存器供微控器全方位的控制u s b 。 通过这些模块的运作，完全实现了u s b 的协议转换，并通过寄存器和微 控器融为一个整体。为片上系统的实现打下部分良好基础。 同时，本位还借鉴了目前流行的片上系统设计方法，即以高密度可 编程器件为载体，结合硬件描述语言完成硬件系统功能。本设计用到 6 第一章绪论 a l t e r a 的f p g af l e x l 0 k 5 0 e 作为系统的载体，用v e r i l o gh d l 语言来描 述系统功能。最终结果以3 万门左右的规模实现了u s b 传输系统。 本文在设计过程中使用到的n r z i 编解码，c r c 按位异或、状态机 构造等思想也能在其他一些传输系统的硬件实现中加以利用。 第二章数码相机片上系统简介 2 1 s o c 简介和s o c 设计方法 微电子技术是上个世纪发展最为迅速高新技术，随着加工技术的提 高，系统集成规模不断扩大，先后出现了i c 和a s i c 设计。9 0 年代出现 的亚微米乃至纳米技术，使得原来由许多i c 组成的电子系统有可能集成 在一个单片上，这就是所为的片上系统。图2 1 展示了s o c 的发展过程。 l 第一次变革：从砷年代开始 l括盍t 集成电路( i c 卜h 魄即蝴c i r c u i t ) 公司从系统公霹分离出来 图 第二欢变革。从年代开始 标志l1 专用集成电路( a s l c - - - - a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r , m i t ) 诞生i 2 出现了以设计为主的啪蛔i c 公司和以加工为主的翻造( f o u n d r y ) 公司 囹 第三次变革，从知年末开始 标志t1 提出片上系统( s o c ) 概念，并推出可绾程s o c 器件； 2 出现了在实验宣戚在办公室叩可设计专用系统级集成电路 图2 1s o c 发展历史 片上系统( s o c s y s t e m - o n a c h i p ) 是指单芯片上集成了应用产品 所需的所有功能系统，也被叫做单芯片系统或系统级芯片。与集成电路 ( i c ) 相比，s o c 不再是一种功能单一的单元电路，而是将信号采集、 处理和输出等完整的系统集成在一起。成为一个由某种应用目的的电子 系统单片。传统的电子系统设计方法是在p c b 级实现的，在一块p c b 上 集合各种厂商的i c 构成系统，这种方法不但开发周期长，投资大，设计 修改困难，对设计人员要求也很高。因此s o c 是未来电子系统开发设计 的必然趋势。 s o c 可分为专用的s o c 和通用的s o c 。图2 2 是一种通用类型s o c 的结构图。s o c 是以嵌入式为基础，包括软件、硬件两部分。s o c 的硬 8 第二章数码相机片上系统简介 图2 2 通用类型s o c 结构图 件主要包括以下几个部分： 1 。专用硬件：专用硬件式为了某种专门应用的算法或功能设计的的 部件，容易得到高速高效的效果。除了制成a s i c 之外，专用硬件 也可用可编程逻辑资源实现。 2 嵌入式处理器：在s o c 中，往往集成了个和若干个处理器，包 括r i s c 处理器、d s p 、以及为某些专门应用设计的专用指令集处 理器。通常系统的控制任务式由r i s cc p u 担当的。 3 片上r a m 和r o m ：片上r a m 是为了满足s o c 对数据高速处理的需 求，是s o c 的必需组成部分。s o c 的r o m 通常是e p r o m 或者e e p r o m ， 主要是供固化应用软件使用。并提供状态寄存器及相应的服务程 序，以便控制芯片工作。 4 测试电路：s o c 芯片的设计应满足可测试性的要求，为此，芯片 上具有传送测试信号所必须的接口电路。 s o c 的软件以固化形式存入片上存储器中，是一种嵌入式软件。一般片上 系统的存储器容量较小，所以对应用软件有比较严格的要求。在s o c 中 运行的应用程序都要求容积小，实时性强。有些s o c 就需要与之相适应 的r t o s ( 实时操作系统) 。 s o c 在设计上以i p ( 知识产权模块) 复用技术为基础【5 】，以硬件描述 语言为系统功能的主要描述手段，以h d p l d ( 高密度可编程逻辑器件) 或a s i c 为物理载体。借助于以计算机为平台的e d a 工具进行。i p 核分为 硬核、软核和固核三种。硬核指具有和特定工艺相联系的物理版图并己 被投片测试验证，可被新设计作为特定模块直接调用的i p 核。软核指用 硬件描述语言或其他语言写成的具有一定功能，可用于功能仿真的i p 核。 固核是软核和硬核的结合体，是一种可综合的并带有布局规划的软核。 图2 3 列出了一个典型s o c 中使用的i p 核的例子。 在设计流程上，s o c 设计采用自顶向下的设计方式。这是一种从系统 的概念出发，虽终到系统的物理实现，逐步细化的层次化设计方法。避 9 华南理工大学硕士学位论文 免了传统电子系统设计中，在设计之初就需要耗费大量经历来考虑系统 划分，部件功能定义和相互间接口，而在样机测试中又有可能推倒重来 的缺点。节省了开发周期和减少了投资风险。图2 - 3 列出了一个般化 的s o c 设计流程。 图2 - 3s o c 设计流程 2 2 数码相机片上系统 数码相机有着操作简单、功能强大、即拍即得、成本低、误拍少等 l o 第二章数码相机片上系统简介 传统相机无可比拟的优势。正因为如此，数码相机的发展已经受到了越 来越多人的关注。数码相机正在朝更高性能、更高集成度、更少功耗、 更低价格这样一个方向发展。一个典型的数码相机要完成以下功能：摄 取图像、图像压缩、图像处理过滤、图像存储传送以及显示数码景象。 这里面要涉及到很多软硬件结构。目前数码相机的电路结构分为多芯片 电路与单芯片电路两种。绝大多数数码相机属于多芯片电路结构，单芯 片数码相机开始出现在1 9 9 9 年2 0 0 万像素新机型中， 尚待进一步普及。 多芯片数码相机除了光学透镜系统外其余几乎全由电子电路控制， 基本的信号处理过程非常简单。由c c d 送来的电信号通过a o 转换器转 换为数字信号，然后送入具有信号处理能力的d s p ，即数字信号处理器， 然后进行j p e g 压缩，接着通过接口电路记录到位于最后一级的存储器。 除了这些处理电路外，硬件控制还使用c p u ，如富士公司f ir l e p ix 2 7 0 0 型数码相机就使用了两个c p u 对硬件进行控制。 单芯片数码相机采用a s i c 技术，将数码相机的整个电路板集成在一 块硅片上以实现高速化。这种高度集成化的芯片包含了数码相机所需的 主要功能，如取景、摄录、压缩、过滤、存储、传送以及显示数码景象 等。图2 - 4 是一个典型的数码相机片上系统的框架。作为数码相机单芯 片，必须能够提供三种主要功能：1 取景：即通过c c d 获取影像，并显示 在数码相机的l c d 屏上；2 摄录：即通过c c d 获取景象，经j p e g 编码与 压缩后，存储于非易失性存储器( 内置式或移动式存储卡) ；3 显示：即 从非易失性存储器中取出压缩影像，经解压后在数码相机的l c d 屏或电 视屏幕上显示。单芯片采用集成化的设计方案，大大减少数码相机的体 积，也降低了开发难度提高了性价比，是以后数码相机发展的方向。 可以看出，数码相机芯片也具有通用系统芯片的基本结构，所不同 的是内部软件完成的功能不同。图中上半部分为芯片的软件部分，包括 c c d 预处理器，j p e g 压缩引擎和一般的液晶驱动模块。这一部分实现了 数码相机的主要功能，数码相机的好坏也主要取决于这一部分的质量。 下半部分是由微处理器、总线转换器和内部r a m 和r o m 共同构成的硬件 控制平台，它负责控制软件处理、外设工作以及与主机通信。而芯片四 周的外设接口则是芯片与外界沟通的渠道。下面对各个部分加以详细介 绍。 图2 - 4 数码相机芯片内部框图 2 2 1r i s c 微处理器 l c d i v 光栅 镜头 闪光灯 声音输出 声音输入 电池检测 聚焦感光嚣 在s o c 中，往往将微处理器作为“核( c o r e ) ”，然后用e d a 工具、 将外围电路与其组合在一起，构成一个系统，这种应用方式称为嵌入式。 目前嵌入式微处理器基本都采用r i s c 技术，而不采用c i s c 技术。这是 因为c i s c 设计中，以缩小计算机硬件与软件间的语义空隙为目标，通过 增加一类在语义上更接近高级语言的指令的办法，构造一个指令集更易 于编程的计算机，以降低软件成本。这样就出现了很多大量复杂但使用 频度不高的指令，难以实现流水线操作，同时，大量的微指令又会占用 大量芯片面积。因此s o c 都采用r i s c 处理器和专用芯片相结合的方法 来获得高的运算效率和较小的芯片面积。 r i s c 处理器具有以下特点： 格式简单、长度固定的指令系统 第二章数码相机片上系统简介 短周期时间和单周期执行指令 l o a d s t o r e 结构 硬连线控制和大寄存器堆 哈佛总线结构、高效的流水线操作 延时转移、重叠寄存器窗口技术 优化编译器 目前使用较多的r i s c 嵌入式微处理器有a r m 、p o w e rp c 、a m l 8 6 8 8 、 3 8 6 e x 等，下面以a r m 为例介绍一下微控器结构。 a r m 是世界第一大i p 知识产权厂商，a r m 体系机构目前被公认为业 界领先的3 2 位嵌入式r i s c 微处理器结构。a m r 处理器有6 个产品系列： a r m 7 ，a r m 9 ，a r m 9 e ，a r m l 0 e s e c u r c o r e 以及最新的a r m l l 系列。而又以 a r m ? ( a r m t t d m i ，a r m 7 2 0 t ( m m u ) ) 应用最广。所有a r m 都共享同一体 系结构。图2 5 是a r m 7 内部结构图。 d r a gd - b u 口 i n m r l b e b e i n t e r p a m l c 柚口佗喀0 8 搴o r | n m r f a c 8 图2 - 5a r m 7 t d m i 内部结构图 系统芯片对内嵌的微控器有很高要求，而a r m 核具备很多优点使得它能 成为s o c 嵌入式微控器的一个很好选择： 高处理能力：a r m 内部有4 8 k 的数据和指令混和c a c h e ( 高速缓存) ， 同时还有写缓存，这些都提高了处理器的平均执行速度，减少了处理器 需要的内存带宽。同时这样还允许了外部存储器能够高效率的与处理器 进行d m a 等通讯。 强大的内存管理功能：a r m 支持虚拟地址，它为不同的任务分配不同 华南理工大学硕士学位论文 的i d ，使得可以在c a c h e 中进行任务切换。同时a r m 还带有m m u ( 内存 管理单元) ，支持传统的2 级，页表式内存结构。使得它非常适合于嵌入 式控制，u n i x ，以及面向对象系统。 合理的接口设计：a r m 的有3 2 位数据和3 2 位地址线，使得外设和数 据量大大增加，同时，速度敏感的控制信号都有专门管道传输，使得系 统控制功能能够在低功耗情况下执行，而且这些控制信号也支持工业标 准d r a m 所使用的页式管理结构。a r m 还提供e t m ( 嵌入式通道宏块) 接 口，把外设所需要的控制信号全部从a r m 核中引出。 r i s c 结构：与c i s c 处理器相比，它有更精简的指令系统。 低价格、低功耗：a r m 采用静态工艺，具有极低的功耗，对于s o c 来说，低功耗正式它们追求的目标，同时，低廉的价格也使得a r m 的推 广更为容易。 2 2 2 总线转换和存储器管理 在一个s o c 中，微控器决定着系统的最大总线宽度，但系统中同时 也存在有大量的外设和外部存储器，他们要占用系统总线并与微控器进 行通信，就要对微控器总线进行转换，同时也要管理相应的存储空间。 图2 - 6 显示了一个s o c 中总线连接结构。从图中可以看出，s o c 中的总线 a s b ：高级系统总线 a p b ：高级外设总线 图2 6s o c 中总线连接 可能有三种，一种是外部存储器的并行总线，它们占用部分或全部微控 1 4 第二章数码相机片上系统简介 器总线，另一种是串行并行外设总线，它们需要一个总线转换器才能与 内部微控器总线相连，第三种是微控器总线，微控器总线还与内部的 c a c h e 、r a m 、r o m 、d m a 相连。其中系统总线是高速处理部分，外设总线 是低速处理部分，当系统总线与外设交换数据时，一般要插入c p u 等待 周期，才能保证数据传输可靠。对于s p i 或者u s b 之类串行外设，就需 要有一个串并转换系统，将串行数据转换为并行数据供给c p u 使用，同 时系统提供一段数据缓存存放转换数据。 而存储器管理目前一般都用到页式管理机制，以提高执行效率和降 低系统功耗。目前s o c 常用的方法把微控器总线分割给各个外部存储器， 而在内部s r a m 中放一个地址查找表，表中规定了各种存储空间所占用的 有效地址，当指令执行时，根据查找表操作相应的外部存储器，而当页 面超出范围时，则由页面管理机制通知微控器进行页面替换策略。图2 7 显示了一个s o c 存储空间管理的可能例子。该s o c 以a r m 做微控器，有 外部f l a s h ，外部s r a n l 和内部s r a m 三个存储器。a r m 具有3 2 位地址线，。 o x o o o o ，o o o o o x o o i r 兀竹 o x 0 0 2 0 ，0 0 0 0 0 x 0 0 3 f f f f f 帆1 0 0 0 , 1 f f f o x 0 0 0 0 , 0 0 0 0 ；堕鼍 燃o x f 口l - - 呻卜l| j f f f f l _ 一_ ；! ! 擎 然口l1moxf - 卜li j f f f f l i - a l i m 地址总线的划分 厂订 剧 端3 枨呵3 e x 程序空间 基地址 数据空间 基地址 s t a c k 基地址 图2 7 一个基于a r m 的s o c 存储空间管理情况 分别被三种器件占有，用地址端来区分各个器件，同时a r m 的数据总线 是8 位，而外部器件是1 6 位或3 2 位的数据线宽度，那么在寻址时，就 相应的要以字为单位或者双字为单位。而内部s r a m 用来做页面管理器， 它里面描述了程序，数据，堆栈空间的可用地址，当系统运行时，各种 操作将在相应的地址空间运行。 ， 华南理工大学硕士学位论文 2 2 3 外围设备 一个数码相机芯片应该具有几种主要接口： s d r a m 接口：s d r a m ( 同步动态随机存储器) 是一种高速r a m ，它可 以与处理器总线达到同步，速度可以达到1 3 3 m h z 。因此数码相机芯片无 一例外的使用它来做图像处理存储器。图像可以直接由c c d 就进入外部 s d r a m ，然后通过s d r a m 输出至l c d ，成为动态图像显示，也可以由c c d 经过j p e g 压缩后存入s d r a m ，成为保存的图像信息，并可以在以后存入 f l a s h 等外部存储器。 串口：主要用来与外界通信并且传递数据。一般用于串行通信的接 口有i2 c ，s p i ，和r s 2 3 2 等，由于数码相机主要是与p c 机通信，而p c 机上 的串行口为r s 2 3 2 模式。因此数码相机的串行通信口一般也是r s 2 3 2 ，当 然还有可能有其他模式用来与其他设备通信( 比如与s p i 接口的f l a s h c a r d 相连) 。串行数据传输则无一例外的使用了u s b 结构，这不但是因为 u s 接口简单( 仅4 根线) ，也因为u s b 的高速传输率( 全速模式可达到 1 2 m b p s ) ，而且一般的p c 上都有u s b 接口。u s b 接口这也是本次设计的内容 【6 】 o 存储器接口：用于扩展内部数据、程序空间。由于片上系统要求尽 量精简，一个芯片内部往往只有少量用作缓存的r a m 和r o m ，而数码相机 又必须存储必要的数据和程序资料，因此需要外扩存储器。一般现在的 数码相机的外部存储器有f l a s h 或者s r a m 。f l a s h 属于非易失性存储器 件，掉电后数据不会丢失，可以用来存储拍照的图片，也可以在程序调 试时做程序存储器用，缺点是速度比较慢。而s r a m 速度快，适合于用作 扩展程序、数据空间。常用的外部存储器还包括m m c ( 多媒体卡) ，s d ( 安 全数据卡) ，s s f d c 等等。 a d c 、d a c ：数码相机有很多外部的物理设备，要把这些转换为芯片 髓够识别的数字信号，就要用到a d c 和d a c 。通常用到a d c 的部分包括相 片检测和曝光控制，聚焦感知，电池检测，语音输入等等。d a c 部分则包 括光栅电机，镜头伸缩电机，外部控制灯，语音输出等等。另外数码相 机还有一个专门的d a c s 用来把数字信号转换到l c d 图像。 g p i o ：数码相机上一般还会有一些可供配置的i o 引脚，用来扩展 系统功能。这些引脚往往可以通过寄存器方便的配置成输出或输入引脚， 他们一般用来连接外部按键，数字输入或者控制信号。 1 6 第二章数码相机片上系统简介 2 2 4 软件处理部分 数码相机的软件处理是实现数码相机功能的关键。这些处理一般是 在d s p 中实现，某些部分还可以用成熟的软核技术。软件处理要完成三个 主要功能j ： c c d 图像预处理：经c c d 出来的图像一般为b a y e rp a t t e r n 格式，需 要对其进行象素插值还原成b m p 图像( 或其他) ，同时数码相机不同于 传统相机可以自主控制镜头和光栅，因此它必须完成增益控制、伽马校 正、r g b y c 转换、轮廓增强、饱和度校正、颜色校正、l p f ( 低通滤波) 等一系列工作，如图2 8 所示。这些算法往往根据各个厂商的不同而不同， 所以实现上是以d s p 硬核为基