（控制科学与工程专业论文）dsp与fpga协同的双分辨率折反射全景成像处理系统.pdf

国防科学技术大学研究生院硕士学位论文 摘要 折反射全景成像技术能快速获得3 6 0 度全方位大视场的景象，可广泛应用于 军事侦察、视频监控、机器人视觉等领域。在西方军事强国，全景成像技术已经 应用于装甲战车、潜艇等装备，以提高其预警能力、作战生存能力。然而，现有 的全景成像处理系统在应用中还存在以下主要问题：只能用于全视场搜索目标， 不能用于对重点视场区域凝视目标，无法满足诸如军事侦察等应用中，既需要获 得3 6 0 度全方位景象，又需要对感兴趣重点区域进行高清晰观察的应用需求：处 理高分辨率全景图像时，处理速度有限，难以达到实时应用需求。 为解决这些问题，我们提出并设计实现了d s p 与f p g a 协同的双分辨率折反 射全景成像处理系统。它的主要特点是：3 6 0 度全局视场与局部重点区域兼顾。常 用分辨率显示3 6 0 度全景图像，高分辨率对感兴趣区域高清晰显示；采用d s p 与 f p g a 协同的硬件处理平台，实时地完成了图像采集、色彩空间变换、全景图像展 开、视场切换、全景局部图像显示等处理。 本文主要工作是： ( 1 ) 提出了一种双分辨率折反射全景成像方法，实现3 6 0 度全局视场与局部重 点区域兼顾。 ( 2 ) 采用帧存p i n gp o n g 控制机制、流水线结构，实现了全景图像实时采集与 颜色空间实时变换。 ( 3 ) 提出了图像分块展开策略、时间隐藏数据读写技术，结合流水线技术优化 折反射全景图像查表展开算法，实现了折反射全景图像实时展开。 ( 4 ) 提出了逆向工程波形分析法，实现了d s p 与f p g a 双核d m a 高速通讯( 数 据传输率4 7 0 4 g b p s ) 。 ( 5 ) 实现了感兴趣区域高清晰实时显示，以及全局与局部视场灵活切换。 该系统将1 0 2 4 1 0 2 4 源图像展开为1 2 8 0 2 5 6 目标图像并显示，处理速度可达 4 5 f p s ，将感兴趣区域放大1 6 倍，显示为6 4 0 * 51 2 图像，处理速度可达5 8 f p s ，满 足了实际应用需求。 主题词：折反射全景成像图像处理双分辨率时间隐藏d s p f p g a 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t r a c t t h ep a n o r a m i ci m a g i n gt e c h n o l o g y ，w h i c hc a no b t a i n3 6 0 一d e g r e ea r o u n di m a g e s w i t hl a r g ev i e wf i e l de a s i l ya n dq u i c k l y ，t a k e sb r o a dp r o s p e c t si nt h ea p p l i c a t i o no f m i l i t a r yr e c o n n a i s s a n c e ，v i d e os u r v e i l l a n c e ，r o b o tv i s i o na n dm a n yo t h e rf i e l d s f o r e x a m p l e ，i no r d e rt oi m p r o v et h ec a p a b i l i t yi np r e c a u t i o na n ds u r v i v a l ，t h ew e s tf o r c e s h a v ee q u i p p e dt h e i ra r m o r e dv e h i c l e s ，s u b m a r i n e sa n do t h e rw e a p o n sw i t hp a n o r a m i c i m a g i n gs y s t e m s h o w e v e r ，t h e r ea r et w om a i np r o b l e m si nt h ea p p l i c a t i o no ft h ep r e s e n tp a n o r a m i c i m a g i n ga n dp r o c e s s i n gs y s t e m f i r s t l y ，t h eu s e r sc a ns e a r c ht a r g e t si no m n i - d i r e c t i o n a l i m a g e s ，b u tt h e yc a n tf o c u so nt h e i ri n t e r e s tr e g i o n t h e r e f o r e ，i tc a n ts a t i s f yt h e r e q u i r e m e n to fb o t h t h ew h o l eo m n i d i r e e t i o n a li m a g e sa n dt h ei n t e r e s tr e g i o n s e c o n d l y ，i nt h ec u r r e n te m b e d d e ds y s t e m ，i t sd i f f i c u l tf o rr e a lt i m eh i g hr e s o l u t i o n i m a g ep r o c e s s i n g a sar e s u l t ，ad u a l - r e s o l u t i o nc a t a d i o p t r i cp a n o r a m i ci m a g i n ga n d p r o c e s s i n gs y s t e m ( d c p i p s ) i sp r o p o s e d ，w h i c hu s e sd s pf o rm a i np r o c e s s o ra n d f p g af o ra s s o c i a t ep r o c e s s o r ，c a ne a s i l yo b t a i nt w ok i n d so ff o l l o w i n gv i e w s ：o n ei s ac o m m o nr e s o l u t i o n i m a g e o ft h ew h o l e3 6 0 - d e g r e es c e n e ，t h eo t h e ri s a h i g h d e f i n i t i o ni m a g eo fi m p o r t a n tr e g i o n w h a ti sm o r e ，d c p i p si sc a p a b l eo fr e a l t i m ep r o c e s s i n g ，i n c l u d i n gi m a g ec a p t u r e ，c o l o u rs p a c ec o n v e r s i o n ，p a n o r a m i cu n r o l l ， v i e wm o d es w i t c h ，a n dd i s p l a y t h e r ea r ef i v ek e yw o r k si nt h i sp a p e r f i r s t l y ，ad u a l - r e s o l u t i o nc a t a d i o p t r i c p a n o r a m i ci m a g i n gm e t h o di sp r o p o s e d ，w h i c hc a no b t a i nt h ec o m m o nr e s o l u t i o n i m a g e so ft h ew h o l e36 0 一d e g r e es c e n ea n dt h eh i g h - r e s o l u i o ni m a g e so fi m p o r t a n t r e g i o n s e c o n d l y ，ar e a lt i m et e c h n i q u ei sd e s i g n e df o ri m a g ec a p t u r ea n d c o l o u rs p a c e c o n v e r s i o n ，i n c l u d i n gp i p e l i n es t r u c t u r e ，d e p o s i t i n g f r a m e sb y p i n gp o n gc o n t r o l m e c h a n i s m t h i r d l y ，w ep u tf o r w a r ds o m em e t h o d s t o i m p r o v e t h es p e e do f p a n o r a m i cu n r o l l i n g ，i n c l u d i n gd i v i d i n gi m a g ei n t o b l o c k sa n du n r o l l i n gt h ei m a g e b l o c k s ，t i m e - h i d d e nd a t aa c c e s st e c h n o l o g y ，f p g ap i p e l i n et e c h n o l o g y f o u r t h l y ，i n t h ew a yo fr e v e r s ee n g i n e e r i n gw a v ea n a l y s i sb a s eo ne m i fb u s ，w ed e s i g nah i g h s p e e dd u a l c o r ed m ac o m m u n i c a t i o n ( 4 7 0 4 g b p s ) b e t w e e nd s pa n df p g a f i n a l l y ， w es u c c e e di nr e a lt i m ed i s p l a y i n gh i g h d e f i n i t i o ni m a g e so fu s e r s i n t e r e s tr e g i o n ，a n d m a k et h es w i t h i n go ft w ok i n dv i e w sf l e x i b l e e x p e r i m e n t si n d i c a t e st h a tt h ep r o c e s s i n gs p e e di sr e a lt i m e ，w h e nd e a l i n gw i t h 10 2 4 10 2 4s o u r c ei m a g et o12 8 0 宰2 5 6t a r g e ti m a g e ，t h er e s u l ti s4 5 f p s ，a n dw h i c hi su p t 05 8f p s ，w h e nm a g n i f y i n gi n t e r e s tr e g i o n16t i m e s ，a6 4 0 512d i s p l a y e di m a g e s o ， t h ed s p + f p g ad u a l r e s o l u t i o nc a t a d i o p t r i cp a n o r a m i ci m a g i n ga n dp r o c e s s i n gs y s t e m s a t i s f i e st h ep r a c t i c a lr e q u i r e m e n t k e y w o r d s ： c a t a d i o p t d cp a n o r a m ai m a g i n g i m a g ep r o c e s s i n g ， d u a l r e s o l u t i o n ，t i m e h i d d e n ，d s p ，f p g a 第i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图1 1 实景空间模型3 图1 2 重叠图像几何关系示意图3 图1 3 拼接全景成像原理4 图1 4 拼接裂缝示意图。4 图1 5 两幅鱼眼图像拼接生成的球面全景图像5 图1 6 折反射全景成像系统组成6 图1 7 折反射全景成像原理及其展开过程6 图2 1d c p i p s 两种显示模式1 2 图2 2 双分辨率折反射全景成像处理系统原理图1 3 图2 3d c p i p s 系统总体结构。1 4 图2 4d s p + f p g a 异构双核处理平台结构及外部设备1 6 图2 5d s p 与f p g a 协同工作模式1 7 图2 6d s p 通过e m i f 总线控制f p g a 工作原理1 8 图3 1 采集模块硬件电路图1 9 图3 2m t 9 e 0 0 1 工作时序2 0 图3 2m t 9 e 0 0 1 感光芯片图像采集模式2 l 图3 3 图像采集帧存p i n gp o n g 控制机制2 l 图3 4 帧存p i n gp o n g 刷新控制机制。2 2 图3 5b a y e r 格式图像及象素点标记说明图。2 3 图3 6 颜色空间转换3 * 3 滑窗操作原理2 4 图3 7b a y e r 格式图像转y c b c r 图像四级流水线结构图2 5 图3 8 颜色空间转换后图像存储方式2 5 图4 1 抛物面反射生成柱面全景原理图2 7 图4 2 同心圆环近似展开算法示意图2 8 图4 3 全景图像查表展开法原理图3 0 图4 4 图像分块展开3 2 图4 6 流水线与p i n gp o n g 机制3 4 图4 7 常用控制器读写m * n 数据块的时间关系3 5 图4 8 时间隐藏原理3 6 图4 9s d r a m 控制器原理图3 8 图4 1 0 状态机转移图3 8 图4 1 1 折反射全景查表展开f p g a 实现原理图3 9 第v 页 国防科学技术大学研究生院硕士学位论文 图4 1 2 读1 6 1 6 数据块时序图4 0 图4 13 折反射全景展开效果图4 0 图5 1 折反射全景全局展开及电视显示效果图4 2 图5 2 感兴趣区域高清晰显示基本原理4 3 图5 3 改进后的感兴趣区域高清晰显示原理4 4 图5 4 感兴趣区域高清晰显示算法流程4 5 图5 5 鼠标控制进行感兴趣区域选择4 6 图5 6 通过鼠标选择感兴趣区域4 6 图5 7 感兴趣区域在源图像中定位4 7 图5 8 感光芯片开窗原理4 8 图5 9d s p 控制f p g a 配置c m o s 4 9 图5 1 0 感兴趣区域源图像全景展开原理图5 l 图5 1 1 图像块顶点坐标查找表生成原理5 2 图5 1 2 图像块全景展开查找表生成原理5 2 图5 1 3 感兴趣区域源图像顶点坐标查找表生成原理5 3 图5 1 4 感兴趣区域源图像全景展开流程图5 4 图6 1d c p i p s 功能框图5 6 图6 2d c p i p s 硬件结构图5 8 图6 3d s p + f p g a 双核异构处理平台p c b 板图5 8 图6 4 基于e m i f 总线的d s p 与f p g a 高速通信结构图6 0 图6 5d c p i p s 软件架构6 l 图6 6d s p 与f p g a 双核d m a 通讯问题示意图。6 3 图6 7f p g a 实时获取d m a 波形的原理图6 4 图6 8f p g a 获取的d m a 通讯波形示例6 4 图6 9d s p 与f p g a 双核d m a 的技术实现6 5 图6 1 0d c p i p s 处理平台实物图6 6 图6 1 l 双核异构处理平台实物图6 6 图6 12d c p i p s 运行流程图6 7 图6 13 双分辨率显示模式6 8 第v i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：旦里多壁垒迹园鳗丛佥蕴垒蜇丛盟全量盛像赴堡歪统 学位论文作者签名垒亟 日期：加d 多年，2 月。j ；r 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存，汇编学位论文 ( 保密学位论文在解密后适用本授权书) 日期：扣。g 年，z 月矽日 日期：瑚年他月侈 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 问题的提出 普通摄像机的视野范围有限，只能捕获摄像机前方某一固定角度空间内的场 景，无法顾及周围3 6 0 度范围内发生的所有事件，即使采用带旋转云台的摄像机， 同一时刻也只能观察某一角度的画面，而不可避免出现盲区。全景成像技术【l 叫能 够在任一时间点同时感知3 6 0 度范围内的场景信息，消除视觉盲区，因此成为目 前图像采集处理与计算机视觉领域的一个研究热点。 全景成像技术能够获得3 6 0 度大视场，在军事、视频监控、机器人视觉、虚 拟现实技术、地图绘制【5 - 8 】、管道故障检测1 9 1 、钻孔摄像【1 1 】等领域得到广泛应用。 目前，西方军事强国已经将全景成像技术广泛应用于装甲战车、潜艇等武器装备 上，提高了武器装备的预警能力和作战生存能力【1 2 - 1 4 1 。然而，现有的全景成像处 理系统，只能用于全视场搜索目标，而不能用于对重点视场区域凝视目标。因为， 全景成像处理系统只能提供单一分辨率的3 6 0 度全景图像，而不能实现3 6 0 度全 局图像和局部重点图像区域之间自由的切换。无法满足诸如军事侦察等应用中既 需要获得3 6 0 度全方位景象，又需要对感兴趣重点区域进行高清晰观察的应用需 求。因此，需要设计能够提供两种分辨率图像的全景成像系统，3 6 0 度全局视场与 局部重点区域兼顾。常用分辨率显示3 6 0 度全景图像，高分辨率对感兴趣区域放 大后高清晰显示，为用户提供更丰富的细节信息。 全景成像技术主要包括：图像拼接全景成像技术【1 5 - 1 7 】、鱼眼全景成像技术【1 8 】、 折反射全景成像技术【1 9 圳l 。图像拼接全景成像技术，需要拍摄多幅图像；通过图 像拼接软件作后期处理以获得全景图像【2 2 之4 1 。鱼眼全景成像，图像畸变严重【2 5 舶】， 成像设备昂贵。随着全景成像技术的应用领域的拓展，也要求全景成像系统向着 便携式和小型化方向发展。采用图像拼接技术的全景相机，通过旋转拍摄3 6 0 度 图像，装置复杂，后期处理时间较长，不适合于诸如军事侦察等要求成像系统具 有便携式与实时性等特点的应用场合。折反射全景成像系统利用反射光学元件扩 大成像系统的视场，可以一次获得全景图像，并且具有大于半球空间的视场、系 统设计的柔性好、成本低、装置设计简单、利于小型化等优点【2 7 1 。 折反射全景成像系统所获得的原始全向图像存在畸变，不适合人眼直接观察， 需要将其展开为符合人眼视觉的柱面全景图像。这是一个复杂的过程，需要对全 向图像进行大量复杂的处理，对硬件平台的要求很高，因此目前已开发的折反射 全景成像系统也多采用p c 机进行处理【2 引，利用p c 机丰富的资源和超强的运算能 力，通过软件实现全景图像快速展开【2 2 - 2 4 】。但是，p c 机存在体积大、可移动性差、 第l 页 国防科学技术大学研究生院硕士学位论文 功耗高等缺点，使得在要求小体积、低功耗、高移动性的场所，如装甲车辆侦察、 机器人视觉系统等，无法运用。针对上述的情况，人们设计了嵌入式的折反射全 景成像处理系统【1 3 】【1 4 】【2 9 1 【3 0 1 ，其采用专用集成电路实现了折反射全景成像处理系统 的微型化、便携化，使全景成像技术可以应用到更多的场合。人们在研究折反射 全景成像系统嵌入式应用方面已经取得了一些成果，但对于高分辨率全景成像处 理，其全景成像处理速度有限【2 9 】【3 0 】，难以达到视频帧速率的全景成像处理速度。 综上所述，为了满足军事侦察、视频监控等诸多应用，实现折反射全景成像 系统，实时性、高分辨率、感兴趣区域高清晰显示，需要采用高性能的双分辨率 折反射全景成像处理系统。 1 2 1 全景成像技术 1 2 研究现状 传统成像技术受视野范围限制，不能对四周3 6 0 度范围空间进行无视觉盲区 的连续观察。全景成像技术能够提供3 6 0 度空间内大视场，真正消除视觉盲区， 扩展人们的视野。 全景成像技术主要包括三类：拼接全景成像技术、鱼眼全景成像技术、折反 射全景成像技术。全景成像技术是采用计算机处理采集图像，将其无缝地“贴” 到实景空间模型的内表面，建立数字实景空间，获得全景图像。常用实景空间模 型有柱面、球面以及腰鼓模型4 1 。如图1 1 所示，柱面模型假定观察点处于中央， 无限远处的全部场景影像都投影到柱面内侧表面上，柱面上部分弧面在切平面 上的平面反投影图像便是人眼视场习惯的观察图像；球面模型假定观察点处于中 央，全部场景影像都投影到球面的内表面；常用的腰鼓状模型忽略了靠近球面南 北两极的图像数据，实质上是对球面模型的实用简化表示；另外还有一些较少应 用的实景空间模型，比如立方体模型等。球面模型与立方体模型全景图像拍摄需 要多次多方位采样，且生成全景图像算法复杂，因此实景空间模型多采用柱面模 型【2 7 1 。 第2 页 国防科学技术大学研究生院硕士学位论文 柱面实景空间 切平面反投影图像 b 球面实景空间 图1 1 实景空间模型 1 2 1 1 拼接全景成像技术 拼接全景成像技术的主要思想是：先围绕某个固定视点朝各个方向拍摄多张 有边界重叠的图像，然后根据边界重叠部分的信息进行无缝平滑拼接，获得全景 图像。拼接生成全景图像的一般过程，由相邻图像的采集、拼接预处理、图像配 准、图像缝合四个步骤组成1 3 1 3 3 1 。 摄诼头 图1 2 重叠图像几何关系示意图 首先，如图1 2 所示，将相机固定在某一点并通过旋转镜头获得一系列图像， 为实现图像的无缝拼接，要求相邻2 个镜头位置所拍摄的图像有一定重叠( 一般重 叠部分为一幅图像的3 0 5 0 【3 4 j ) 。接着，对采集的图像进行平滑、柱面投影等 处理，以保证下一步图像配准的精度。然后，如图1 3 ( a ) 所示，对于相邻的两幅图 像，把其中一幅图像中某一像素值邻域作为模板，在另一幅图像中搜索具有相同( 或 相似) 像素值分布的对应点邻域，从而确定两幅图像的重叠范围，实现两幅相邻图 像的匹配。最后，当准确的计算出相邻图像之间的匹配参数后，则根据所求的参 数把多张原始图像缝合成一张大的全景图像。如图一1 3 ( b ) 所示，在全景图像缝合过 程中，还要对各个相邻图像进行颜色、光度的调整、融合，以消除新生成全景图 像中的接缝和误差。 第3 页 国防科学技术太学研宄生院硕上学位论文 ( a ) 构造全景图的多幅图像相互重叠，重叠区域( 灰色) ( b ) 拼接各图像，去除多余的重叠区域，得到全景图 图13 拼接全景成像原理 国内外学者在如何提高图像拼接的速度 3 5 - 37 】、提高拼接图像整体质量 3 8 4 1 1 等 方面做了大量研究。目前，已经有比较成熟的图像拼接全景成像产品h 2 州 ，典型 产品有：苹果公司的q u i c k t i m e v r 系统、微软公司的s u f f o u n d i n g v i d e o 系统、佳 能公司的a 7 1 0 i s 、柯达公司的v 7 0 5 数码相机、p a n o s h o t n c 9 1 全景相机【4 4 i 、a d o b e 公司的p h o t o s h o p c s 软件等，以及可以将手机拍摄图像拼接成全景图像的b i t s i d e p a n o m a n 、p h o t o f u s i o n 等全景生成软件1 4 6 i 。 拼接全景成像技术主要存在三个缺点口8 i ：一是，多张图像的拼接容易导致拼 接处宵明显裂痕，以及图像间明暗程度的差异，画面的整体感差；二是，需要在 同一视点从不同角度拍摄多张图片，刘拍摄技巧有较高要求，拍摄设备昂贵，装 置不便于小型化；三是，后期制作工序复杂，步骤繁琐，处理时间较长，嵌八式 设计困难，难以用于视频监控、军事侦察等具有实时性要求的应用领域。 图14 拼接裂缝示意图 1 2 1 2 鱼眼全景成像技术 鱼眼全景成像技术利用1 8 3 。超广角物镜拍摄生成全景图像口1 1 2 6 1 典型的有美 第4 页 国防科学技术大学研究生院硕士学伸论文 国i p i x 公司的实景系统等。由于鱼眼镜头可拍摄到1 8 0 。甚至大于1 8 0 0 的视域范围， 只要将两个鱼眼镜头在水下方向e 背刘放置，就可获取整个视点空间的全局场景 信息。但由于鱼眼镜头拍摄的鱼限图像存在强烈的变形，需耍对图像进行畸变校 正和变换。如图i5 所示，对采集的两路鱼限视频分别进行校正并投影到同一个球 面上，再按照经纬映射法将图像从三维球面展开到二维平面上，找到两路图像的 重叠区域，并通过图像融合技术进行平滑过渡，拼接生成球面全景图像。 圆圆 a 原始采集的鱼眼图像b 校正后的图像 图i5 两幅鱼眼图像拼接生成的球面全景图像 虽然鱼眼镜头比传统镜头具有更宽广的视野范围，在采集全景图像方面更具 优势但在实际的全景图像的生成过程巾，必须对鱼眼镜头采集的图像进行复杂 的较准和较正【4 ”，算法实时性差，而且采集设备结构复杂，成本较高。 2 2 折反射全景成像技术 与拼接全景与鱼眼全景成像技术相比，折反射全景成像技术能够一次性快速 获得全景图像，具有大于半球空间的视场，成像装置设计简单、便于小型化设计、 成本低等优点，已经成为了全景成像技术研究热点。 1 2 2 1 折反射全景成像原理 折反射全景成像基本原理是：利用曲面反射镜收集来自三维空间3 6 0 0 范围内 物体反射光线，并将它们反射到光学成像系统【3 1 1 2 1 脚蚰心】【矧从而获得周围3 6 0 。 范围内物体的图像，再将该图像展开为适台人眼直接观察的柱面全景图像。如图 第5 页 国防科学技术大学研究生院硕士学位论文 l6 所示折反射全景成像系统主要由三部分组成洲：( 1 ) 光敏元件，如c c d 或c m o s 器件。( 2 ) 成像透镜，如常规成像透镜或远心透镜圳。( 3 ) 凸面反射镜。其面形为二 次曲面，如球面、圆锥面、双曲面吲侧和抛物面或高次旋转对 称非球面。 图i7 折反射全景成像原理及其展开过程 2 22 折反射全景成像系统研究 1 9 7 0 年，r e e s 在申请的专利中提出使用双曲面反射镜实现了折反射全景成像 。1 9 9 6 年p e g a r dc 等人采用用圆锥面作为反射镜设计全景成像系统用于移动机 第6 页 国防科学技术大学研究生院硕士学位论文 器人导航【”1 。19 9 7 年美国哥伦比亚大学的n a y a r 设计并实现了第一个采用抛物面 反射镜和正交投影镜头构成的实用的全景成像系统 t 9 l 。自此，折反射全景成像受 到研究者的重视，在折反射全景成像研究的推动下，i e e e 从2 0 0 0 年开始连续三 年召开了国际全景成像专题研讨会，其中，折反射全景成像的文章占绝大部分， 成为计算机视觉研究的一个热点问题。 2 0 0 0 年，d e r r i e ns 等人采用球面设计折反射全景成像系统【5 3 】。与此同时，国 内学者也开始了折反射全景成像系统研究，分别采用了双曲面【5 2 】【5 6 】【5 7 1 、抛物面【5 8 】、 高次旋转对称非球面【5 9 】【6 0 】作为凸反射面，设计了折反射全景成像系统。 折反射全景成像系统根据是否满足单视点成像约束分为单视点成像系统f 2 l 】和 非单视点成像系统【6 i - 6 2 1 。c h a h l 等人【2 0 1 1 6 2 1 提出了非单视点折反射全景立体成像的方 法，由于计算机视觉系统通常采用单视点( 针孔) 成像模型，而非单视点系统不能使 用针孔相机模型进行成像过程分析，因此多采用单视点折反射全景成像系统应用 于计算机视觉领域。目前实用的单视点折反射全景成像系统有抛物面折反射全景 成像系统【s 8 】和双曲面折反射全景成像系引5 2 1 。 单视点折反射全景成像系统能用针孔成像模型进行成像分析，但要获得透视 全景图像必须对采集的实景图像逆投影，其计算量很大。为了满足实时性要求， 国内学者曾吉勇【5 1 】( 5 2 l 【5 8 】等设计了非单视点折反射全景成像系统，设计制作了特殊 面形反射镜，建立了水平场景无畸变的折反射全景成像系统【5 9 1 与柱面场景无畸变 折反射全景成像系统1 6 0 1 。 除了以上凸曲面反射镜折反射全景成像系统外，王道义等人【5 7 6 0 】采用全景环 形透镜p a l ( p a n o r a m aa n n u l a rl e n s ) 获得了全景图像，从分析传统中心投影法人 手，深入分析探讨了全景环形透镜的工作原理及主要特点，并进行了实际系统的 设计，实现了具有线性投影关系的无畸变全景成像。 折反射全景成像技术作为光学和计算机视觉的交叉学科，折反射全景成像尚 有许多理论问题和技术问题需要解决。尤其单视点折反射全景成像系统的成像性 质、标定方法、全景图像的立体匹配、立体重建的理论和方法都有待进一步的研 究。 1 2 2 3 折反射全景成像系统嵌入式设计研究 为了获得符合人眼视觉的全景图像，n a y a r 等人【1 9 】【5 7 】【5 9 】瞄】采用光路跟踪来建 立源图像( 折反射的环状全景图像) 与目标图像( 柱面全景图像) 间像素的对应关系， 并根据该关系将源图像展开为柱面全景图像。j g a s p a r + a t 7 0 i 1 7 1 】【7 采用同心圆近 似展开法，把展开前的全景图像看作由一系列同心圆环组成，将每个同心圆环“拉 直 ，并适当“拉伸 或“压缩”，分别作为展开后全景图像的一行。 第7 页 国防科学技术大学研究生院硕士学位论文 无论是光路跟踪法还是同心圆近似展开法，其求解源图像与目标图像的坐标 关系的算法都非常复杂、且计算量大。因此多采用与嵌入式系统相比处理速度更 快、性能更高的p c 机实现【5 7 】【2 8 l 。徐玮等设计了基于凸曲面反射镜的柱面全景 图像无缝快速生成系统，在一台p 2 4 、51 2 mr a m 的p c 机上将2 0 4 8 * 2 0 4 8 真彩源 图像，展开为3 4 1 4 7 6 8 真彩柱面全景图像，耗时约1 秒。 目前的折反射全景成像产品，多采用在相机上增加折反射镜来获取原始图像， 再通过后期软件处理，获得3 6 0 度全景图像。典型产品有o n e s h o t 3 6 0 ”j 、o n e s h o t 3 6 0p l u s 7 4 l 、3 6 0o n ev r 7 5 j 等。 a g a r d e l 7 6 】等进行了折反射全景嵌入式系统的研究，他采用x i l i n xf p g a v i r t e x l i2 v 4 0 c s l 4 4 芯片，使用x i l i n xi s e7 1 开发工具，采用同心圆近似展开法， 在f p g a 上查找三角函数表值计算坐标映射关系，将5 1 2 5 1 2 灰度原始图像展开 为1 0 2 4 * 2 5 6 灰度目标图像。 日本s o n y 公司【7 7 1 投入巨资，研究开发了基于折反射面3 6 0 0 全景相机，其处 理1 4 0 万像素全景图像，帧速率为7 5 f p s 。 浙江大学谭志刚【7 8 1 等人使用p a l 棱镜获得全景环图像，并采用b f 5 3 3 芯片， 利用o n m iv i s i o n o v 2 6 1 0 高分辨率扩展卡进行输入采集，将2 0 0 万像素全景图像 展开为目标图像，处理速度为0 9 秒帧。 张辉【7 9 j 等在f p g a 平台上利用流水线c o r d i c ( c o o r d i n a t e r o t a t i o n d i g i t a l c o m p u t e r ) 结构来实现三角函数发生器，从而得到折反射全景图像逆投影的 坐标关系，将5 1 2 5 1 2 的灰度图像，展开为5 1 2 1 4 0 的柱面全景图。 经过以上研究，人们在嵌入式系统上实现了折反射全景图像展开，但却面临 着图像分辨率低、处理速度慢的问题，为此，人们提出了一些有效的方法以提高 折反射全景成像嵌入式系统的处理速度。 z h i h u ix i o n g 8 0 】等人提出八向对称重用策略降低折全景图像查表展开法中查 找表空间，减少查找表读写次数，有效提高全景图像查表法展开的速度。程钢哺l j 等采用分块预取方法在d s p 上首次实现了高分辨率折反射全景图像的实时展开。 为了满足嵌入式系统快速处理全景图像要求，李乐【2 4 】采用d s p + f p g a 的异构 双核架构，设计了全景视频实时处理系统。f p g a 进行源图像采集与预处理，d s p 进行折反射全景图像展开、图像显示输出。并采用z h i h u ix i o n g 提出的八向对称重 用策略【8 0 l ，降低查找表空间，提高折反射全景展开速度。所设计的系统每秒可处 理约2 5 帧1 6 0 0 1 2 0 0 分辨率的环状全景视频。 据报道，2 0 0 8 年5 月【舵】美国r e m o t e r e a l i t y 公司为美国海军研制了3 6 0 度潜艇 潜望镜，可实时提供3 6 0 度全向图，包括1 2 0 0 万像素可见光全向图像和6 4 0 4 8 0 像素热红外全景图像。 第8 页 国防科学技术大学研究生院硕士学位论文 现有的折反射全景成像系统，只有一种分辨率显示模式，而无法对军事侦察、 视频监控应用领域中用户感兴趣的区域进行高清晰显示，为用户提供丰富细节信 息。因此，我们以d s p + f p g a 异构双核处理，设计并实现了双分辨率折反射全景 成像处理系统d c p i p s ( d u a l r e s o l u t i o nc a t a d i o p t r i cp a n o r a m i ci m a g i n gp r o c e s s i n g s y s t e m ) 。该系统拥有两种分辨率显示模式：全局显示模式与感兴趣区域高清晰显 示模式。全局显示模式为用户提供全方位信息，高清晰显示模式对用户感兴趣区 域进行放大高清晰显示。并且，在系统的设计中，优化折反射全景展开算法，提 高系统总体性能，以满足军事侦察、视频监控等诸多领域应用需求。 1 3 本文工作 本文主要研究d s p 与f p g a 协同的双分辨率折反射全景成像处理系统的设计 与实现，提出了双分辨率全景成像技术，用以满足军事侦察、视频监控等诸多应 用领域中，既需要3 6 0 度全方位大视场又需要对感兴趣区域高清晰显示的应用需 求。所设计的双分辨率折反射全景成像处理系统具有两种模式：采集1 0 2 4 1 0 2 4 分辨率源图像展开为1 2 8 0 2 5 6 分辨率目标图像的全局显示模式；用户在1 2 8 0 2 5 6 目标图像中选择感兴趣区域( 1 6 0 * 1 2 8 ) ，将用户感兴趣区域放大1 6 倍后，以6 4 0 * 5 1 2 分辨率显示输出，即实现感兴趣区域高清晰显示的高清晰显示模式。该系统在全 局显示模式下处理速度可达4 5 f p s ；高清晰显示模式下处理速度可达5 8 f p s 。 论文的研究成果主要包括以下六个方面： ( 1 ) 提出了双分辨率全景成像技术。常用分辨率图像用以提供3 6 0 度全方位大 视场，高分辨率对感兴趣区域进行高清晰显示，能够满足军事侦察、视频监控等 诸多应用领域中，既需要3 6 0 度全方位大视场又需要对感兴趣区域高清晰显示的 应用需求。 ( 2 ) 提出了d s p 与f p g a 协同工作模式：f p g a 为协处理器，进行图像采集、 色彩空间变换、全景图像展开：d s p 为主处理器，进行视场显示模式切换、全景 局部图像显示。 ( 3 ) 改进了颜色空间变换方法，实现了图像实时采集与颜色空间变换。采用帧 存p i n gp o n g 控制机制提高了折反射全景图像采集速度，并结合流水线结构改进颜 色空间变换方法，最终实现了折反射全景图像实时采集与颜色空间实时变换。 ( 4 ) 优化了折反射全景展开算法，提高折反射全景展开速度。充分利用折反射 全景展开算法以及f p o a 特点，采用图像分块展开策略、流水线技术与p i n g p o n g 机制，提高了折反射全景展开速度；分析s d r a m 特性，采用时间隐藏策略提高 数据块读写速度，缩短折反射全景展开中图像块读写时间，进一步提高了折反射 全景展开速度。 第9 页 国防科学技术大学研究生院硕士学位论文 ( 5 ) 设计并实现了高性能的d s p 与f p g a 协同的异构双核处理平台，提出了 基于逆向波形分析方法，用于设计与实现d s p 与f p g a 之间的双核d m a 通讯。 采用双b u f f e r 缓存技术，通过e m i f 接口，使d s p 与f p g a 双核d m a 通讯速度 高达4 7 0 4 g b p s ( h l 口5 8 8 m b p s ) ，满足了d s p 与f p g a 之间快速传输高分辨率图像 的应用需求。 ( 6 ) 提出了感兴趣区域高清晰显示的实现方法。采用鼠标选择用户感兴趣区 域，并采用感光芯片开窗( 开窗将在5 3 中介绍) 策略实时采集感兴趣区域源图像， 实现了感兴趣区域源图像实时展开与高清晰显示。 所设计的d s p 与f p g a 协同的双分辨率折反射全景成像处理系统，既可以显 示3 6 0 度全局图像，又可以高清晰显示局部重点区域图像；系统具有性能高、处 理速度快、实时性强等特点，能够满足军事侦察、视频监控等应用需求。 1 4 论文的组织结构 本文按照研究的内容和双分辨率折反射全景成像系统工作流程共分为七章， 每章涉及的内容如下： 第一章，绪论。通过对传统成像技术和全景成像技术的比较，说明全景成像 技术的特点、优势，提出开发双分辨率折反射全景成像系统的需求，并简要介绍 了全景成像技术尤其是折反射全景成像系统及其嵌入式设计研究现状。 第二章，双分辨率折反射全景成像处理系统系统结构。分析了系统的工作原 理及其总体结构；介绍了d s p + f p g a 硬件处理平台的结构，以及d s p 与f p g a 协 同工作原理。 第三章，折反射全景图像采集与预处理。介绍图像采集模块设计，提出采