（信号与信息处理专业论文）基于多核ip的可重构图像处理技术研究应用.pdf

i ad i s s e r t a t i o ns u b m i t t e dt og u a n g d o n gu n i v e r s i t yo f t e c h n o l o g y f o rt h ed e g r e eo fm a s t e ro f e n g i n e e r i n gs c i e n c e s t u d ya n da p p l i c a t i o no nt h et e c h n i q u e so f im a g e p r o c e s s i n gb a s e do nd u a lipc o r e r 一 一systemecontiqurable k m a s t e rc a n d i d a t e ：l i uj u n x i u s u p e r v i s o r ：p r o f w ul i m i n g j u n e2 0 1 0 f a c u l t yo fi n f o r m a t i o ne n g i n e e r i n g g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p r c h i n a ，5 10 0 0 6 栅0肌5 舢9 舢1胛y 摘要 摘要 随着计算机技术的发展，图像处理、机器视觉等技术在自动检测、智能分析 等方面得到了更广泛的应用。对于检测系统的体积、功能和灵活性方面，大部分 现场提出了新的要求。针对自动检测和材料分析对于嵌入式处理系统体积小与功 能强的要求，本文研制了基于软硬件协同设计、嵌入式操作系统和数字图像处理 等学科相结合的嵌入式图像显微分析处理系统。 本文在介绍了嵌入式系统评价指标及可编程片上系统在图像处理领域发展现 状后，论述了复杂算法求解时间与软硬件实现的关系，s o p c 协同设计原理及可 重构技术；分析了采用多处理器、多核进行算法加速求解的方法，它能够大幅度 提高系统执行时间。 论文在x i l i n xf p g a 上实现了图像显微分析系统。对比了s o p c 片内处理器 类型，选用p o w e r p c4 0 5 处理器，并通过d c m 、速缓存技术提高核心处理器工 作频率及内存交换速率。以p o w e r p c4 0 5 处理器为核心进行f p g a 单芯片设计， 构建了异构c m p 系统，给出了片上外围设备i p 核地址分配情况。阐述了片上设 备i p 核与片上总线、总线桥之间的逻辑关系、连接情况，以及自定义i p 核v i d e o c a p t u r e 接口及应用流程。 在嵌入式操作系统层面上，阐述了s o p c 与通用a s i c 的异同点，分析了片 上外围设备硬件信息与嵌入式l i n u x 操作系统之间的逻辑关系，并完成了嵌入式 l i n u x 、图像界面、视觉库的移植和实现，给出了视频解码芯片t v p 5 1 5 0 配置流 程及其嵌入式l i n u x 下配置控制器驱动的实现方法，并阐述了v i d e oc a p t u r e 自定义i p 核捕获图像数据工作流程及数据封装方法。 最后，本文以嵌入式金相显微分析系统为例，针对嵌入式系统中软件运行图 形预处理算法速度慢的问题，重点设计多核及多处理器协同工作，运算速度加速 高达1 0 倍，显著地缩短了求解时间。 关键词：s o p c ；单芯片；软硬件协同设计；快速数据处理 广东工业大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , i m a g ep r o c e s s i n ga n dm a c h i n e v i s i o n t e c h n o l o g y h a sb e e nm o r e w i d e l yu s e di n t h ef i e l d so fa u t o - d e t e c t i o n ， i n t e l l i g e n ta n a l y s i sa n ds oo n a tt h es a m et i m e ，t h e yh a v ea l s om a d en e wd e m a n d sf o r t h es y s t e m ss i z e ，f u n c t i o n a l i t ya n df l e x i b i l i t y , e t c f o rt h er e q u i r e m e n t sf o rs m a l ls i z e a n dp o w e r f u lf u n c t i o no fe m b e d d e dp r o c e s s i n gs y s t e m sw h i c ha r eu s e di na u t o m a t i c d e t e c t i o na n dm a t e r i a l sa n a l y s i s ，t h i sp a p e rd e v e l o p e sa ne m b e d d e di m a g em i c r o s c o p i c a n a l y s i sp r o c e s s i n gs y s t e mb a s e do nh a r d w a r ea n ds o f t w a r ec o d e s i g nm e t h o d ， e m b e d d e do p e r a t i n g s y s t e m sa n dd i g i t a li m a g ep r o c e s s i n ga n do t h e rd i s c i p l i n e s c o m b i n e d f i r s t l y , t h i sp a p e ri n t r o d u c e s e v a l u a t i o n i n d e xo fe m b e d d e ds y s t e ma n d p r o g r a m m a b l e - c h i ps y s t e m sd e v e l o p m e n ts t a t u si nt h ef i e l do fi m a g ep r o c e s s i n g ；t h e n i td i s c u s s e st h er e l a t i o n s h i pb e t w e e nc o m p l e xa l g o r i t h ms o l u t i o nt i m ea n dh a r d w a r e a n ds o f t w a r e s r e a l i z a t i o n ，s o p cc o - d e s i g np r i n c i p l e sa n di t sr e c o n f i g u r a b l e t e c h n o l o g y ；f i n a l l y i t a n a l y s e s t h es o l u t i o nm e t h o dt o a d o p tm u l t i p r o c e s s o r , m u l t i - c o r ea st oa c c e l e r a t et h ea l g o r i t h m t h i sm e t h o dc a l li m p r o v et h ee x e c u t i o nt i m e o ft h es y s t e m b yv a l i d a t i n g t h i sp a p e ra c h i e v e sa ni m a g em i c r o s c o p i ca n a l y s i ss y s t e mb a s e do nt h ex i l i n x s f p g ad e v e l o p m e n tb o a r d a f t e rc o m p a r e dw i t hs o p co n c h i p p r o c e s s o rt y p e s ， p o w e r p c 4 0 5p r o c e s s o ri sf i n a l l yc h o s e n ，a n dt h e s y s t e mc a ni m p r o v et h ec o r e p r o c e s s o r so p e r a t i n gf r e q u e n c ya n dm e m o r ye x c h a n g er a t eu s i n gd c ma n ds p e e d c a c h i n gt e c h n o l o g y s i n g l e c h i ps y s t e mb a s e do nf p g ai sd e s i g n e di nt h i sp a p e ru s i n g h e t e r o g e n e o u sc m p , a n di pa d d r e s sa s s i g n m e n to fo n c h i pp e r i p h e r a l si sa l s og i v e n i t d e s c r i b e sl o g i c a lr e l a t i o n s h i pa n dc o n n e c t i v es i t u a t i o nb e t w e e no n c h i pd e v i c ei pc o r e ， c h i p c h i pb u s ，a n db u sb r i d g e s ，a n dd e s c r i b e sc u s t o mi pc o r ev i d e oc a p t u r e i n t e r f a c ea n di t sa p p l i c a t i o np r o c e s s i nt h el e v e lo fe m b e d d e do p e r a t i n gs y s t e m ，t h ep a p e rf u r t h e re l a b o r a t e st h e a b s t r a c t s i m i l a r i t i e sa n dd i f f e r e n c e sb e t w e e ns o p ca n dc o m m o na s i c ，a n a l y s e st h el o g i c a l r e l a t i o n s h i pb e t w e e no n c h i pp e r i p h e r a lh a r d w a r ei n f o r m a t i o na n de m b e d d e dl i n u x o p e r a t i n gs y s t e m a n do nt h i sb a s i s ，i tc o m p l e t e sm i g r a t i o na n di m p l e m e n t a t i o no ft h e e m b e d d e d l i n u x ，t h ei m a g ei n t e r f a c ea n dc o m p u t e rv i s u a l i z a t i o n ，a n d g i v e s c o n f i g u r a t i o np r o c e s so fv i d e od e c o d e rc h i pt v p 515 0a n di t si m p l e m e n t a t i o nt o c o n f i g u r et h ec o n t r o l l e rd r i v e ri ne m b e d d e dl i n u x b e s i d e s ，i ts h o w st h ew o r k f l o wo f v i d e oc a p t u r ec u s t o mi pc o r et oc a p t u r ei m a g ed a t aa n dd a t ae n c a p s u l a t i o n m e t h o d f i n a l l y , t h i sp a p e rt a k e se m b e d d e dm e t a l l o g r a p h i ca n a l y s i ss y s t e ma sa ne x a m p l e ， a i m i n gt ot h ep r o b l e mo fs l o ws p e e do fr u n n i n gi m a g ep r e - p r o c e s s i n ga l g o r i t h mo n e m b e d d e ds y s t e m ，i tm a i n l yd e s i g n sm u l t i p l e p r o c e s s o r sa n dm u l t i c o r et ow o r k t o g e t h e ra st os p e e du pc o m p u t a t i o n ，a n di nt h ee n di tm a k e st h ea c c e l e r a t i o no f10 k e y w o r d s ：s o p c ；s i n g l e - c h i p ；h a r d w a r ea n ds o f t w a r ec o d e s i g n ；f a s td a t ap r o c e s s i n g i i i 目录 目录 摘要i a b s t r a c t i i l ；i录v c o n t e n t s v i i i 第一章绪论。l 1 1 课题背景及意义1 1 2 嵌入式系统设计技术及评价指标2 1 2 1 嵌入式系统设计技术2 1 2 2 嵌入式系统评价指标。3 1 3s o p c 图像处理发展现状：4 1 4 总体设计及主要内容6 第二章片上图像处理系统设计方法。7 2 1 复杂算法加速求解7 2 1 1 复杂算法嵌入式系统求解时间7 2 1 2 多处理器实现算法加速运算8 2 1 3 片上系统多核加速运算9 2 2 软硬件协同设计方法1 0 2 3 可重构技术1 3 第三章s o p c 图像处理关键技术1 5 3 1 核心处理器性能提升1 5 3 1 1 核心处理器p o w e r p c 4 0 5 1 5 3 1 2 时钟频率提升1 7 3 1 3 高速c a c h e 提升性能18 v 广东工业大学硕士学位论文 3 2 硬件加速及多处理器协同工作18 3 2 1 双调排序及其硬件并行设计1 9 3 2 2 排序算法时间复杂度分析2 2 3 2 3 多处理器数据交互方法2 3 3 3c m p 并行计算提高处理速度。2 6 3 3 1 片内多核系统架构2 6 3 3 2c m p 结构性能分析2 8 3 4 系统结构分配设计2 9 3 4 1 s y s a c ei p 核静态重构3 0 3 4 2t f tc n t l ri p 核共享内存技术3 3 3 4 3v i d e oc a p t u r e 用户自定义i p 核3 4 第四章嵌入式图像处理上层设计3 7 4 1p o w e r p c 处理器硬件板级驱动定制3 7 4 2 硬核核心的l i n u x 操作系统的定制和移植3 8 4 2 1 交叉编译工具3 8 4 2 2 构建基于p o w e r p c4 0 5 的l i n u x 系统3 9 4 2 3 搭建上层软件运行环境4 2 4 3t v p 5 1 5 0 解码器驱动开发4 4 4 3 1t v p 5 1 5 0 解码器接口及配置方法4 4 4 3 2t v p 5 1 5 0 解码器配置控制器l i n u x 驱动开发4 7 4 4v i d e oc a p t u r e 捕获视频实时图像4 8 4 4 1 捕获图像b m p 数据封装4 9 4 4 2v i d e oc a p t u i 也i p 核捕获图像流程5 1 第五章基于f p g a 的金相显微分析系统设计5 2 5 1 金相显微分析系统架构5 2 5 2 多处理器图像滤波性能分析5 2 5 2 1 金相显微分析系统中噪声5 2 5 2 2 图像滤波硬件实现。5 4 5 2 3 多处理器数据交互及协同工作5 4 v i 目录 5 2 4 性能分析5 6 5 3 多核图像处理性能分析5 9 5 3 1 多核系统通信技术5 9 5 3 2 性能分析一6 0 5 4 系统扩展的讨论6 l 5 4 1 显微平台位移控制i p 核设计6 1 5 4 2 嵌入式金相显微分析系统远程数据共享6 3 结论。6 5 参考文献6 6 攻读学位期间发表的论文及科研获奖。7 0 独创性声明7 1 致 谢7 2 附录1 7 3 附录2 7 4 p 付录3 7 7 v i i 广东工业大学硕士学位论文 c o n t e n t s a b s t r a c t ( c h i n e s e ) i a b s t r a c t j i i c o n t e n t s ( c h i n e s e ) 。v c o n t e n t s v i i i c h a p t e r1 i n t r o d u c t i o n 1 1 1b a c k g r o u n da n ds i g n i f i c a n c eo fi s s u e s 1 1 2e m b e d d e ds y s t e md e s i g na n de v a l u a t i o n 2 1 ：! 1e m b e d d e ds y s t e md e s i g n 2 1 2 2e m b e d d e ds y s t e m se v a l u a t i o ni n d e x 3 1 3d e v e l o p m e n ts t a t u so fi m a g ep r o c e s s i n gb a s e do ns o p c 4 1 4o v e r a l ld e s i g na n dm a i nc o n t e n t 6 c h a p t e r2d e s i g nm e t h o do fi m a g ep r o c e s s i n gb a s e ds o p c 7 2 1a c c e l e r a t es o l v i n gc o m p l e xa l g o r i t h m s 7 2 1 1s o l u t i o nt i m eo fc o m p l e xa l g o r i t h m si ne m b e d d e ds y s t e m s 7 2 1 2a c c e l e r a t es o l v i n gc o m p l e xa l g o r i t h m su s i n gm u l t i p r o c e s s o r 8 2 1 3s y s t e mo nac h i pm u l t ic o r ec o m p u t i n gs p e e d 9 2 2h a r d w a r ea n ds o f t w a r ec o - d e s i g nm e t h o d 10 2 3r e c o n f j g u r a b l et e c h n o l o g y 13 c h a p t e r3s o p ck e yt e c h n o l o g yo fb u i l d i n gi m a g ep r o c e s s i n gs y s t e m s 1 5 ：；1c o r ep r o c e s s o rp e r f o r m a n c eu p g r a d e 15 ： 1 1c o r ep r o c e s s o r sp o w e r p c 4 0 5 15 3 1 2c l o c kf r e q u e n c yu p g r a d e 17 3 1 3e n h a n c et h ep e r f o r m a n c eu s i n gh i g hs p e e dc a c h e 18 c o n t e n t s 3 2h a r d w a r ea c c e l e r a t i o na n dm u l t i - p r o c e s s o r st ow o r kt o g e t h e r 18 3 2 1b i t o n i cs o r ta n dh a r d w a r ep a r a l l e l d e s i g n 1 9 3 2 2t i m ec o m p l e x i t ya n a l y s i so fs o r t i n ga l g o r i t h m 2 2 3 2 3m u l t i p r o c e s s o rd a t ae x c h a n g em e t h o d 2 3 3 3c m p p a r a l l e lc o m p u t i n g j ：1 6 3 3 1d u a lc o r ea r c h i t e c t u r e 2 6 3 3 2p e r f o r m a n c ee v a l u a t i o no fc m p 2 8 3 4d i s t r i b u t i o nd e s i g no fs y s t e ma r c h i t e c t u r e 2 9 3 4 1s t a t i cr e c o n f i g u r a t i o nu s i n gs y s a c ei pc o r e 3 0 3 4 2s h a r e i n gm e m o r yt e c h n o l o g yi nt f t c n t l ri pc o r e ：3 3 3 4 3u s e rd e f i n ev i d e oc a p t u r ei pc o r e j 3 4 c h a p t e r4t h eu p p e rd e s i g no fe m b e d d e di m a g ep r o c e s s i n gs y s t e m s 3 7 4 1p o w e r p cp r o c e s s o rb s pc u s t o m i z a t i o n 3 7 4 2s o r t i n gt h ee m b e d d e dl i n u xs y s t e mt oh a r dc o r ep r o c e s s o r 3 8 4 2 1 c r o s s - c o m p i l a t i o nt o o l s 3 8 4 2 2c o n s t r u c t i o nl i n u xs y s t e mo fp o w e r p c4 0 5 3 9 4 2 3c o n s t r u c tu p p e rs o f t w a r eo p e r a t i n ge n v i r o n m e n t 4 2 4 3t v p 515 0d e c o d e rd r i v e nd e v e l o p m e n t 4 4 4 3 1t v p 515 0d e c o d e ri n t e r f a c ea n dc o n f i g u r a t i o n 4 4 4 3 2t v p 515 0d e c o d e rc o n t r o l l e rl i n u xd r i v e r 一4 7 4 4v i d e oc a p t u r ei pc o r ec a p t u r er e a l - t i m ei m a g e 4 8 4 4 1v i d e od a t ac a p t u r e dt oi m a g ep a c k a g e 4 9 4 4 2v i d e oc a p t u r ei pc o r ec a p t u r ei m a g ep r o c e s s 51 c h a p t e r5e m b e d d e dm e t a i l o g r a p h i ca n a l y s i ss y s t e mb a s e df p g a 5 2 5 1m e t a l l o g r a p h i ca n a l y s i ss y s t e ma r c h i t e c t u r e 5 2 5 2i m a g ef i l t e r i n gm u l t i - p r o c e s s o rp e r f o r m a n c ea n a l y s i s 5 2 5 2 1 m e t a l l o g r a p h i ca n a l y s i ss y s t e mn o i s e 5 2 5 2 2h a r d w a r ei m p l e m e n t a t i o no fi m a g ef i l t e r i n g 5 4 5 2 3 m u l t i p r o c e s s o rd a t ae x c h a n g ea n di n t e r o p e r a b i l i t y 5 4 i x 广东工业大学硕士学位论文 5 2 4p e r f o r m a n c ea n a l y s i s 5 6 5 3p e r f o r m a n c ea n a l y s i so fi m a g ep r o c e s s i n gb a s e do nd u a lc o r e 5 9 5 3 1c o m m u n i c a t i o no fd u a lc o r e 5 9 5 3 2p e r f o r m a n c ea n a l y s i s 。6 0 1 i 4e x t e n d e dd i s c u s s i o no ft h es y s t e m 6 1 5 4 1 m i c r o d i s p l a c e m e n tc o n t r o li pc o r ed e s i g no nm i c r o p l a t f o r m 6 1 1 ；4 2d a t as h a r i n gw i t hr e m o t es y s t e m 6 3 c o n c l u s i o n ：6 5 r e f e f e n c e 6 6 p u b l i s h e dp a p e r s s t u d y i n ga n dr e s e a r c ha w a r d s 7 0 a n n o u n c eo fo r i g i n a lc r e a t i o n 7 1 a c k n o w l e d g e m e n t 7 2 a p p e n d i x1 7 3 a p p e n d i x2 7 4 a p p e n d i x3 7 7 x 第一章绪论 1 1 课题背景及意义 第一章绪论 在图像处理和机器视觉领域，使用普通及专用p c 机平台的历史较长，一般 由光源、光学镜头、c c d 或c m o s 相机、图像采集卡、图像处理软件和一台通 用p c 或嵌入式p c 机构成。通过采用图像处理加速板卡和数字摄像头，由各种板 卡和人机交互应用软件组成，可以实现令人满意的实时性和准确性，并且在诸多 领域取得了非常深入的研究及成果n 1 ，。 图像处理的发展也依赖于处理器芯片( 如d s p 、a s i c 和f p g a ) 技术的应用 和发展，以及大容量、价格低廉的存储器的出现。基于通用p c 机的图像、视觉 处理系统，在实时性、便携性、开发周期和成本等方面，比集成电路和专用处理 芯片组成的嵌入式系统都稍逊一筹。 现有的嵌入式机器图像处理或视觉系统大多通过d s p 、a s i c 处理器和c m o s 图像传感器这种组合架构，在较低成本的基础上实现了图像分析与处理、，。这种 处理系统具有工作效率高、体积较小、携带方便等优点，多用于实时性要求较高 的场合，如生产线监控、无人驾驶汽车等。但是，对于更高分辨率的图像实时处 理则需要很高的处理频率。动辄上吉赫兹处理频率的d s p 处理器意味着工作时候 的功耗和温度相当惊人，这是限制其应用的一个主要原因。 另一方面，市场上最大的两家f p g a 生产商，x i l i n x 和a l t e r a 都提供了完备 的硬件资源以及高效的开发工具 1 1 ，例如内嵌高速r i s c 内核和d s p 单元，增加 了f p g a 内部存储器的容量，高速的i o 接口，使得f p g a 在图像、视频分析处 理领域以及其他实时性很强的领域得以迅速发展1 ”。因此，利用此类f p g a 可以 开发出嵌入式图像处理系统，不但可以满足图像处理时间要求，而且会大大减小 系统体积又保证较低的功耗。 课题组成员从2 0 0 4 年开始，已经开展了基于数字图像处理的i c 晶片缺陷检 测及金相显微分析系统方面的研究，并取得了深入的研究成果1 ”。 广东工业大学硕士学位论文 在此基础上，基于嵌入式技术飞速发展的潮流，本文把片上可编程系统技术 应用到图像分析系统中，设计的嵌入式数字化显微分析系统显著优点有：( 1 ) 应 用片上可编程系统技术，单片f p g a 内完成所有系统功能，大大提高产品性价比， 产品结构紧凑。( 2 ) 片内多核、多处理器提高运算速度，显微分析自动化和智能 化程度大大提高。 1 2 嵌入式系统设计技术及评价指标 1 2 1 嵌入式系统设计技术 嵌入式系统设计技术主要有s o c ( s y s t e mo nac h i p ) 、p s o c ( p r o g r a m m a b l e s y s t e mo nac h i p ) 、s o p c ( s y s t e mo nap r o g r a m m a b l ec h i p ) 几种。 在s o c 设计中，一片芯片即可替代一个嵌入式系统开发板。并且可以设计专 用集成电路芯片( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ，a s i c ) 。a s i c 具有高速 时钟速率以及单价低( 批量生产) 的优势，但存在以下几个方面劣势： ( 1 )开发周期长。开发周期一般为几个月至几年，若使用i p 核及其他保护 性资源需经过复杂的法律认证程序，这些都增加了进入市场的时间。 ( 2 )设计者必须设计出完备的测试方案。 ( 3 )掩模和设计成本很高，具有较高的风险。 p s o c 可以提供单芯片的解决方案：含有片上存储器、可编程逻辑和a d 的 低功耗微处理器，提供用户配置硬件和编辑软件( 使用汇编或c 语言) 的开发工 具。但片上存储器空间较小，不能支持操作系统和网络。 s o p c 是使用大容量f p g a 的s o c 系统，其中的i p 核( i n t e l l e c t u a lp r o p e r t y ) 可以为s o p c 系统提供处理器以及通用硬件逻辑。i p 核能够增加可重用性，减少 开发设计难度。处理器可以是硬核和软核。若使用软核，则f p g a 内部逻辑资源 可以用于构建处理器，而对于硬核而言，处理器的v l s i 已经布局在f p g a 内部。 相比较而言，软核实现更加灵活和方便，但运行的时钟频率较低。 表1 1 表明了s o p c 、a s i c 及固定指令集微处理器在各个性能指标上的表现 情况。 2 第一章绪论 表1 1s o p c 、a s i c 及微处理器性能比较 t a b l el 一1p e r f o r m a n c ec o m p a r i s o na m o n gs o p c ，a s i ca n dm c u 特性 s o p ca s i c周定指令集微处理器 软件设计灵活性好好好 硬件设计灵活性好差差 可重构性能好差差 开发成本小大小 外围设备成本小小大 性能中 高高 成品成本中小小 从表1 1 可以看出，在软件设计灵活性方面，三者都有很好的表现；在硬件 设计灵活性、可重构、开发成本和外围设备成本方面，s o p c 优势最大；然而在 系统性能、成品成本方面，s o p c 表现较差。 1 2 2 嵌入式系统评价指标 嵌入式系统的评价指标包括时钟频率、i p s ( i n s t r u c t i o n sp e rs e n c o n d ) 、执行 时间、系统功耗、灵活性、n r e ( n o n r e c u r r i n ge n g i n e e r i n g ) 成本、单位成本、 大小及重量、t t m ( t i m e t o m a r k e t ) 。 采用多性能指标评价的软硬件协同划分思想，对系统进行性能指标优先级划 分。影响系统整体性能的三个关键评价指标为： 1 时钟频率及i p s 。嵌入式系统核心处理器中，时钟频率是其定时信号的一 个源。这个源产生不同频率的基准信号，用于同步c p u 的每一步操作，它是评定 嵌入式性能的重要指标。虽然时钟频率仅是嵌入式系统性能表现的一个方面，并 不代表系统的整体性能，但提高主频对于提高c p u 运算速度却是至关重要的。 i p s 指处理器每秒执行的指令数量。是一个微处理器处理速度的测量标准， i