（信号与信息处理专业论文）基于fpga的交通事故实时视频检测研究.pdf

i i i i i i i i l u 川帅l i l l i l i i i i i i i i i i i | u i y 2 12 9 5 5 7 r e s e a r c ho fr e a l t i m ev i d e ot r a f f i ca c c i d e n t s d e t e c t i o nb a s e do nf p g a b y b a ip e i u n d e rt h es u p e r v i s i o no f p r o f l ij i n g p i n g at h e s i ss u b m i t t e dt ot h eu n i v e r s i t yo fj i n a n i np a r t i a lf u l f i l l m e n to f t h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n g u n i v e r s i t yo f j i n a n j i n a n ，s h a n d o n g ，p r c h i n a m a y3 0 ，2 0 1 2 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其它个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律责任由本人承担。 论文作者签名：日期：丝! 兰：! 蛰 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借鉴；本人授权济南大学可以将学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或其它复制手段保 存论文和汇编本学位论文。 啬丞开口保密(年，解密后应遵守此规定) 绎：嘶吼一 济南大学硕士学位论文 目录 第一章绪论1 1 1 课题研究意义1 1 2 课题国内外研究现状2 1 3 论文的主要内容4 第二章s o p c 嵌入式系统开发基础介绍5 2 1s o p c 嵌入式系统简介5 2 2n i o si i 嵌入式系统平台简介6 2 3n i o si i 嵌入式系统开发流程8 2 4n i o si i 开发环境介绍1 0 2 5a v a l o n 总线介绍1 1 2 6f p g a 开发平台简介1 3 2 7 本章小结1 5 第三章交通事故检测的p c 实现1 7 3 1 背景建模1 7 3 1 1 背景帧的形成1 8 3 1 2 背景帧的更新1 9 3 2 目标检测1 9 3 2 1 目标检测算法1 9 3 2 2 数学形态学处理：2 0 3 2 3 像素漂移2 2 3 3 多目标标记算法2 3 3 4 目标跟踪算法2 6 3 5 交通事故检测算法2 7 3 6 事故预警2 8 3 7 结果分析2 9 3 8 本章小结3 2 基于f p g a 的交通事故实时视频检测研究 第四章基于s o p c 方案的交通事故检测的研究3 3 4 1 系统设计方案3 3 4 2 工作流程3 4 4 3 视频输入解码模块的实现3 6 4 4v g a 显示模块的实现3 7 4 5 视频预处理模块的实现3 8 4 5 。l 视频图像的灰度化3 9 4 5 2 视频帧尺寸调整4 0 4 6 交通事故检测模块的实现4 2 4 6 1 背景差分模块4 3 4 6 2 二值化处理模块4 4 4 6 3 膨胀腐蚀模块4 5 4 6 4 多目标标记模块4 6 4 6 5 碰撞检测模块4 7 4 7 报警处理模块的实现4 8 4 7 1 碰撞图片保存4 8 4 7 2 声音报警5 0 4 8 本章小结5 1 第五章结束语5 3 参考文献5 5 致谢5 9 附录6 1 i i 济南大学硕士学位论文 摘要 随着科学技术的迅速发展，人类社会的生活进入了信息化时代。与人们生活息息 相关的任何一个领域都成为了科学研究的重点。其中，智能交通已经成为当前社会研 究的一个热点。虽然当前社会中研究智能交通的理论比较多，但大多数都是采用电子 眼进行实时视频录取，事故发生后进行人工翻阅查看来进行交通事故的检测，此方法 实时性差，造成很大的人力和财力浪费。利用视频图像处理进行交通事故的智能检测 虽然也有研究，但相对较少，通过视频进行交通事故检测不仅能实时进行事故处理， 更重要的是可以为社会节约更多的人力和财力资源。因此实时视频智能交通事故检测 不仅具有理论意义还具有很大的实用价值。 利用f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y , 现场可编程门阵列) 进行视频图像处 理，因为其并行处理能力、灵活、可配置等特点而受到越来越多学者的青睐。本文主 要利用在f p g a 硬件开发平台上搭建n i o si i 嵌入式系统来实现交通事故实时智能检 测，主要包括目标检测、目标跟踪、碰撞检测和事故报警。论文的主要研究内容如下： 1 、论述了在f p g a 硬件平台上使用n i o si i 搭建s o p c 嵌入式系统的意义；同时 介绍了n i o si i 嵌入式系统及其开发环境和开发流程，并重点介绍了i p 核设计中使用 的a v a l o n 总线；最后介绍了所采用的f p g a 硬件平台的硬件资源。 2 、利用视频图像处理算法进行车辆碰撞检测的理论研究，包括背景建模，目标检 测和碰撞检测；其中目标检测使用了背景差分算法、二值化、膨胀腐蚀算法、像素飘 逸算法；碰撞检测算法则通过分析目标的大小、形状、重心、速度等物理特征来实现。 为了验证算法的可行性，在p c 机上使用v c 编程实现了以上算法，同时还实现了视 频保存、碰撞结果的保存和报警等功能。 3 、介绍了在f p g a 平台上实现碰撞检测的过程，介绍了系统的工作流程，视频输 入输出模块的实现，视频预处理模块的功能及实现，背景差分、二值化、膨胀腐蚀、 碰撞检测等算法的实现。在系统工作流程中详细介绍了各算法模块如何构成s o p c 系 统的，以及它们之间如何协调工作来实现碰撞检测的。文中即介绍了各模块的输入输 出接口，又对算法的核心部分使用v e r i l o gh d l 语言进行了描述。最后介绍了在n i o s i i i d e 下使用c 语言实现结果保存和报警处理的过程。 本文主要研究智能交通事故检测在f p g a 硬件平台下的实现。文中介绍的利用视 i 基于f p g a 的交通事故实时视频检测研究 频图像处理来实现交通事故检测还处于起步阶段，对实验环境要求较高，所以实验中 使用交通道路模型，车辆模型来构建背景相对简单、目标较少的实验环境。实验证明， 在f p g a 平台上利用视频图像处理实现交通事故具有较高的可行性，它具有灵活、高 效、可配置等优点。 关键词：f p g a ；目标检测；目标跟踪；视频图像处理；交通事故检测；i p 核 i v 济南大学硕士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , h u m a ns o c i e t yh a se n t e r e dt h e i n f o r m a t i o na g e a n yo n er e s e a r c hf i e l dc l o s e l yl i n k e dw i t hp e o p l e sl i f eh a sb e c o m et h e s c i e n t i f i cr e s e a r c hf o c u st o p i c s o ，i n t e l l i g e n tt r a n s p o r t a t i o nh a sb e c o m eah o tr e s e a r c ht o p i c t h e r ea r eal o to fr e s e a r c ht h e o r i e sa b o u ti n t e l l i g e n tt r a n s p o r t a t i o n ，b u tm o s to ft h e ma r e b a s e do nc h e c k i n gt h ev i d e ot a p ea f t e rt h ea c c i d e n t ，w h i c hw a sr e c o r d e du s i n ge l e c t r o n i c e y e t h i sm e t h o dh a sb a dr e a l - t i m ec a p a b i l i t ya n dc a u s e sag r e a tw a s t eo fh u m a n r e s o u r c e s a n df i n a n c i a lr e s o u r c e s t h e r ea r es o m es t u d i e so ni n t e l l i g e n tt r a f f i ca c c i d e n td e t e c t i o n u s i n gv i d e oi m a g ep r o c e s s i n g ，b u ts t i l lf e w t h ei n t e l l i g e n tt r a f f i ca c c i d e n td e t e c t i o nc a r l h e l pu sd e a lw i t ht h ea c c i d e n ti nt i m ea n ds a v e m o r eh u m a nr e s o u r c e sa n df i n a n c i a l r e s o u r c e s t h e r e f o r e ，r e a l - t i m ev i d e ot r a f f i ci n c i d e n td e t e c t i o nh a sn o to n l yt h e o r e t i c a l s i g n i f i c a n c e ，b u ta l s og r e a tp r a c t i c a lv a l u e m o r ea n dm o r es c h o l a r sh a v ef a v o r e dt h eu s eo ff p g a ( f i e l dp r o g r a m m a b l eg a t e a r r a y ) f o rv i d e oi m a g ep r o c e s s i n g ，b e c a u s ei th a sp a r a l l e lp r o c e s s i n ga b i l i t y , f l e x i b i l i t ya n d c a nb ec o n f i g u r e d o u rm a i nw o r ki sb u i l d i n gn i o si ie m b e d d e ds y s t e mo nf p g ah a r d w a r e p l a t f o r mt or e a l i z et h et r a f f i ca c c i d e n ti n t e l l i g e n tr e a l - t i m ed e t e c t i o n ，i n c l u d i n gt a r g e t d e t e c t i o n ，t a r g e tt r a c k i n g ，c o l l i s i o nd e t e c t i o na n da c c i d e n ta l a r m t h em a i nc o n t e n t so ft h i s p a p e r a l ea sf o l l o w s ： 1 、t h ep a p e ri n t r o d u c e st h es i g n i f i c a n c eo fu s i n gn i o si it ob u i l das o p ce m b e d d e d s y s t e mo nf p g ah a r d w a r ep l a t f o r m ，a n di t i n t r o d u c e st h en i o si ie m b e d d e ds y s t e m ，i t s d e v e l o p m e n te n v i r o n m e n ta n dd e v e l o p m e n tp r o c e d u r e m e a n w h i l ei t f o c u s e so na l t e r a s a v a l o nb u st h a ti su s e di nt h ed e s i g no fi pc o r e s a n dt h e nt h eh a r d w a r er e s o u r c e so ff p g a p l a t f o r ma r ep r e s e n t e d 2 、t h ep a p e ri n t r o d u c e st h et h e o r e t i c a ls t u d yo fav e h i c l ec o l l i s i o nd e t e c t i o nu s i n gv i d e o i m a g ep r o c e s s i n ga l g o r i t h m s ，i n c l u d i n gb a c k g r o u n dm o d e l i n g ，t a r g e td e t e c t i o n a n dc o l l i s i o n d e t e c t i o n b a c k g r o u n ds u b t r a c t i o na l g o r i t h m ，b i n a r i z a t i o na l g o r i t h m ，d i l a t i o na n de r o s i o n a l g o r i t h ma n dp i x e le l e g a n ta l g o r i t h ma r eu s e di nt a r g e td e t e c t i o n t h ec o l l i s i o nd e t e c t i o n a l g o r i t h mi si m p l e m e n t e db ya n a l y z i n gt h et a r g e t sp h y s i c a lc h a r a c t e r i s t i c s s u c ha ss i z e ， v 基于f p g a 的交通事故实时视频检测研究 s h a p e ，c e n t e ro fg r a v i t ya n ds p e e d i no r d e rt ov e r i f yt h ef e a s i b i l i t yo ft h ea l g o r i t h m s ，w e i m p l e m e n tt h ea b o v ea l g o r i t h m su s i n gv i s u a i c + + o np e r s o n a lc o m p u t e r ；m e a n w h i l ew e i m p l e m e n tf u n c t i o n ss u c ha sv i d e os t o r a g e ，c o l l i s i o nr e s u l t s , p r e s e r v a t i o na n da l a r m 3 、i nt h ep a p e r , t h ei m p l e m e n t a t i o no fc o l l i s i o nd e t e c t i o no nf p g ap l a t f o r mi s i n t r o d u c e d t h ew o r k f l o wo ft h es y s t e ma n dt h er e a l i z a t i o no fv i d e oi n p u ta n do u t p u t m o d u l e ，v i d e op r e - p r o c e s s i n gm o d u l e ，b a c k g r o u n ds u b t r a c t i o na l g o r i t h m ，b i n a r i z a t i o n a l g o r i t h m ，d i l a t i o na n de r o s i o na l g o r i t h ma r ed e s c r i b e di nd e t a i lt o o t h ep a p e rd e s c r i b e st h e m o d u l e s i n p u ta n do u t p u ti n t e r f a c ea n dt h ei m p l e m e n to ft h ec o r ep a r to fa l g o r i t h m su s i n g v e r i l o gh d ll a n g u a g e f i n a l l y , i td e s c r i b e sh o w t ou s et h ecl a n g u a g ei nt h en i o si ii d et o i m p l e m e n tt h er e s u l t s p r e s e r v a t i o na n da l a r m ： t h i sp a p e rm a i n l ys t u d i e si n t e l l i g e n tt r a f f i ca c c i d e n td e t e c t i o no nf p g ah a r d w a r e p l a t f o r m i nt h ep a p e rt h eu s eo fv i d e oi m a g ep r o c e s s i n go nt r a f f i ca c c i d e n td e t e c t i o ni ss t i l l a tt h es t a r t i n gs t a g e ，a n di tn e e d ss t r i c te x p e r i m e n t a le n v i r o n m e n t s oi nt h ee x p e r i m e n tw e u s er o a dm o d e la n dv e h i c l em o d e lt oc o n s t r u c tt h ee x p e r i m e n t a le n v i r o n m e n tw i t hr e l a t i v e l y s i m p l eb a c k g r o u n da n df e w e rt a r g e t s t h er e s u l t so fe x p e r i m e n ts h o w e dt h a t ，t h em e t h o do f u s i n gv i d e oi m a g ep r o c e s s i n gt oa c h i e v et r a f f i ca c c i d e n td e t e c t i o no nf p g ap l a t f o r mi s f e a s i b l e ，f l e x i b l e ，a n de f f i c i e n ta n dc a nb ec o n f i g u r e d k e yw o r d s ：f p g a ；t a r g e td e t e c t i o n ；t a r g e tt r a c k i n g ；i m a g ep r o c e s s i n g ；t r a f f i ca c c i d e n t d e t e c t i o n ；i pc o r e v i 济南大学硕士学位论文 1 1 课题研究意义 第一章绪论 随着社会的发展，我国已经步入了高速发展的时代，计算机技术和电子信息技术 也得到了飞速发展。不管是城市还是乡镇，便利的交通道路设施和越来越多的机动车 在给我们带来快速的经济增长和富裕的生活的同时也出现了另一问题交通事故。 交通事故已成为“世界第一害 ，而我国是世界上交通事故死亡人数最多的国家之一。 从2 0 0 0 年开始我国因交通事故死亡人数均超过6 万人，已经连续十余年居世界第一。 交通事故为国家的经济增长和人民群众的生活带来了严重的影响n 3 。表1 1 是我国近 几年道路交通事故统计数据。从表中可以看出，我国每年因为交通事故死亡的人数已 经连续6 年突破6 0 万，造成了严重的经济损失。 表1 12 0 0 6 - - 2 0 1 1 年全国交通事故统计表 从表中可以看出，每年因为车祸死亡的人数令人心痛。其实，我们平时可能昕到 的更多的是这样一句话：要是能早点知道出了车祸，早点送到医院进行治疗，人就不 会死亡。其实很多严重交通事故在发生后就是因为受害者昏迷，未能及时求救或者肇 事者逃逸等，造成受害人失血过多或者未能及时就医而死亡。本文提出的智能交通事 故自动检测方法便是针对发生交通时，尤其是恶劣交通事故情况时进行实时报警，通 过摄像头进行实时监控，利用视频图像处理，进行智能交通检测，若预测车辆会发生 碰撞进行实时报警，用来避免发生严重交通事故时，受害人没有能力进行求救或者肇 事者逃逸等情况。针对上述情况系统进行自动实时报警，用来减少交通事故造成死亡 人数。 目前，我国进行交通事故检测的方法大部分都是利用监控设备( 电子眼等) 进行 监控，占用很大的存储空间去存储录制的视频，当事故发生后，利用人工查看的方法 进行处理【2 】。当发生车祸后由当事人、路人或者受害者家属等进行报警，相关部门进 基于f p g a 的交通事故实时视频检测研究 行查阅视频进行取证，不仅浪费人力，也耗费存储空间。这种方法实时性差，且会造 成人力资源的浪费，因为其需要专门人员在视频显示区进行监视，因为人经常眨眼、 犯困或思想抛锚等，所以会产生很多隐患。这就意味着国内的视频监控系统仅仅是可 以足不出户进行观看到现场的具体| 青况，而视频监控的更深层优势一恿过视频图像 数据和必要的设备进行智能处理，也就是做到真正的“无人值守”【3 】并没有体现出 来。视频图像中含有非常丰富的数据信息，通过视频图像处理技术，完全可以利用这 些数据进行智能处理，从而提高视频监控系统的利用率。 公路交通作为国家经济发展的命脉，在国家和人民生活中扮演非常重要的角色， 我们每天都要和它打交道，若能真正利用在现有的视频监控系统中加入视频图像处理 技术进行智能交通处理，不仅能减少国家的财政开支，还能为减少因车祸死亡人数。 视频图像数据信息量大，算法复杂度高，这就需要实现视频图像处理的硬件设备 具有高速数据处理能力。d s p ( d i g i t a ls i g n a lp r o c e s s o r ，数字信号处理) 是一种微处 理器，也可以处理大量信息的器件。但由于其面对多核d s p 处理器时，速度较慢，硬 - 件结构不可重构【4 】等特点用来做视频图像处理确实不如f p g a 5 】方便。使用f p g a ( f i e l d p r o g r a m m a b l eg a t ea r r a y ，现场可编程门阵列) 进行视频图像处理，因为其速度快、 功耗低、体积小等特点受到越来越多学者的青睐；f p g a 能和c p u 通过内部总线进行 连接，也可同多核d s p 组成一种异构多核处理器 6 】架构。利用f p g a 进行实时视频处 理十分方便【7 】，不仅因为其可以灵活配置【引、并行处理，更重要的是a l t e r a 公司2 0 0 0 年推出了n i o s 处理器，2 0 0 4 年将其升级为n i o si i 嵌入式系统。n i o si i 嵌入式系统是 3 2 位的r i s c 嵌入式处理器、性能超过2 0 0 d i p 、成本低且可以自行编写i pc o r e ( i p 核) ， 目前已经有很多成熟的i pc o r e 可以从a l t e r a 官方网站上进行下载使用。综上所述， 利用f p g a 进行视频图像处理是一个很不错的选择，所以本可以定位于利用f p g a 进 行视频图像处理来实现智能交通处理【9 】，不仅具有很好的理论学习作用，更重要的是 具有实用性，对国家、社会以及个人都具有非常重大的意义。 1 2 课题国内外研究现状 i t s ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m 智能交通系统) 【1 明是指利用先进的电子信息 技术、数据通信技术、电子控制理论、电子传感技术以及计算机技术等相关理论技术 综合应用于交通运输管理系统中，从而使交通管理在大范围内发挥实时、准确和高效 济南大学硕士学位论文 的运作能力 1 1 】，进而极大的提高交通运输效率、提高资源利用率、减少人力资源开销 和改善生活环境质量。目前国内在提倡的智能交通更多的是指电子警察系统【1 2 】和疲劳 检测系统1 1 3 】。 1 9 7 8 年美国加州帕萨迪纳市的喷气推进实验室首次提出了利用机器视觉进行车辆 检测的方法；在其后几年，美国明尼苏达大学研制出第一个可以投入实际使用的基于 视频的车辆检测系统；日本欧洲澳大利亚等也在同期进行了相关研究【1 2 1 。1 9 9 4 年明尼 苏达运输部成功提取十字路口车辆转向以及交通流量信息等参数，从而广泛应用于公 路交通的交通监视系统中。国外对于智能交通事故检测中车辆的检测【1 4 - 16 】很成熟，其 进行交通事故检测主要是通过疲劳检测，取得了很好地成果。 国内关于智能交通的研究起步比较晚，但发展较为迅速。主要是利用我国交通系 统的具体现状结合引进国外的电子警察系统，自主开发。关于电子警察系统，大部分 都是利用物理环形感应线圈的方式进行车辆的检测，其具有安装麻烦、工作寿命有限、 使用环境限制、对路面破坏性大且需要进行维护等特点。疲劳检测系统主要是针对驾 驶员脸部和眼睛进行特征分析，进行交通事故控制。其主要是针对驾驶员，即每辆车 上都必须安装才能体现出其效果，这样会额外增加投资。目前交通系统中已经存在视 频监控设备，摄像头一般安装在道路上方5 - 6 米，对道路和过往车辆是一个比较好的 视点，且得到的视频图像可以为车辆的检测和跟踪提供丰富的信息【l l 】。怎样合理利用 现有设备进行智能交通处理显得尤为重要。未来发展的方向就是在现有的设备基础之 上，不使用环形物理感应线圈等维护成本高且对路面破坏力大的同时，又能进行实时 的智能交通处理方法。随着视频图像处理技术和电子产品的高性能和大存储能力的迅 速发展，使得基于f p g a 的交通事故视频处理技术成为研究重点，我们实验室关于 f p g a 在视频图像处理方面【1 7 五四的研究经验较多，对于智能交通中其他的研究例如车 牌号识别、基于交通路口违章口1 1 、基于高速公路车辆停车检测圈以及基于疲劳驾驶1 等的研究也很成熟。 我国在智能交通方面也有相关的专n t 2 4 1 ，其主要过程为：在交通路e l 安装电子眼 进行监视；启动电子眼将拍摄的视频实时传送到监控服务器；监控服务器对收到的视 频图像信息进行连续分析，测量视频图像中移动对象突然快速停止且静止时间超过一 定限度，便断定其发生了交通事故，自动触发服务器向报警中心进行报警，并自动存 储事发过程图片或视频信息。但由于其自身检测算法中判断是否发生交通事故采用对 象突然快速静止且静止时间超过一定限度，此算法将突然临时停车等情况也包含在内， 基于f p g a 的交通事故实时视频检测研究 存在很高的误判率。我国对于车辆的行驶记录仪基本上记录的都是形式数据，如车速、 位置、驾驶员身份和时间等一些较简单的信息，随着科学的发展，这些数据完全不能 满足需要，开发一种新型的具有视频存储功能的智能交通事故检测方法已经迫在眉睫， 新系统具有很大的市场需求和发展前景【2 5 调。 1 3 论文的主要内容 本为主要介绍了基于f p g a 的交通事故实时视频检测的实现。文章主要通过智能 交通事故检测方法在p c 机上的实现、在f p g a 硬件开发平台上搭建n i o s l i 嵌入式系 统以及智能交通事故检测方法的硬件实现。进行事故检测主要包括三部分：预处理、 事故检测和预警。预处理包括：背景建模、目标检测、形态学处理、像素漂移、目标 跟踪和多目标标记等算法实现；事故检测主要是通过预处理得到的结果综合事故检测 方法进行预测车辆是否会发生碰撞事故；预警是对事故检测中得出的结果进行响应， 若判断会发生碰撞则进行实时报警。 通过导师和师兄的帮忙，本文完成了基于f p g a 的交通事故实时视频检测的实现。 文章的主要内容安排如下： 第一章绪论：主要介绍了本课题的研究意义和国内外研究现状。智能交通是历史 发展的必然，实现利用已有的监控系统和视频图像丰富的信息以及视频图像处理技术 的结合意义非凡。 第二章f p g a 硬件平台上嵌入式系统的搭建：主要介绍了d e 2 7 0 平台和搭建嵌入 式系统的目的及意义；详细介绍了基于f p g a 硬件开发平台上n i o s l i 嵌入式系统的具 体搭建过程。文中通过截图直观的给出具体的设置参数和配置过程，内容充实详尽。 第三章交通事故检测的p c 实现：主要介绍了交通事故检测的各算法和其具体实现 过程，包括目标检测、目标跟踪以及交通事故检测算法等。通过各个算法的效果图和 最终实现交通事故检测的视频截图让人更直观的看到此方法的效果。 第四章交通事故检测的硬件实现：主要介绍了i p 核的相关内容以及系统的工作流 程，通过摄像头的读取和视频在v g a 上的显示说明了搭建嵌入式系统可以实现与s d 卡的通讯，为以后进行事故发生时存储视频和图片信息做准备；详细介绍了交通事故 检测算法中各个i p 核的具体过程，给出具体将这些i p 核进行整合的方法和过程。 第五章结束语：对全文进行总结，展望该系统以后的研究方向。 4 济南大学硕士学位论文 第二章s o p c 嵌入式系统开发基础介绍 2 1 s o p c 嵌入式系统简介 s o p c ( s y s t e mo nap r o g r a m m a b l ec h i p ，片上可编程系统) 是一种基于p l d ( p r o g r a m m a b l el o g i cd e v i c e ，可编程逻辑器件) 的灵活高效的s o c ( s y s t e mo nc h i p ， 系统级芯片或片上系统) 解决方案，它将处理器、存储器、i o 口( 输入输出端口) 、l v d s ( 低压差分信号) 等系统需要的功能模块集成到一个p l d 器件上，构成一个可编程的 片上系统【2 7 】。图2 1 所示为s o p c 系统构成。 图2 1s o p c 系统构成 传统的基于单片机、d s p 或a r m 的嵌入式系统，一旦确定了方案，硬件系统的 核心也就确定了下来，同时指令系统、功能、结构也都固定了，用户只能被动的适应 和遵循这一系统，依据限定的指令系统进行编程。而s o p c 技术则提供一个更加灵活 的软硬综合的系统设计方案，它融合了p l d 与s o c 技术，具有可编程系统的可裁减、 可扩充、可升级以及软硬件可编程的特点，由于它基于p l d 可重构s o c 的设计技术， 既保持了s o c 以系统为中心、基于口模块多层次、高度复用的特点。使用s o p c 技 术，可以很快地将硬件系统和软件系统集成到一个可编程芯片中，具有设计周期短、 低风险和低成本的优势。 使用s o p c 进行嵌入式系统设计【2 8 】时，i p ( i n t e l l e c t u a lp r o p e r t y ，知识产权) 核是整 个设计的基础，m 核是一段具有特定电路功能的硬件描述语言程序。i p 核可以在不同 的硬件描述级实现，也因此分为三类口核：软核、固核和硬核【2 9 】。 软核是用v e r i l o gh d l 和等硬件描述语言描述的功能块，通过编写语言程序对其进 行功能仿真，采用综合和布局布线实现，优点是灵活性高、可移植性强，允许用户自 配置，缺点是对模块的预测性较低，在后续设计中存在发生错误的可能性，有一定的 基于f p g a 的交通事故实时视频检测研冗 设计风险。 硬核则是以经过完全的布局布线的网表形式提供的，经过了前端和后端的设计验 证，也就是说它是经过验证了的设计版图，布局和工艺已经固定，设计人员不能再对 其修改。其原因有两个：首先是某些系统设计对各模块的时序要求很严格，物理版图 会影响时序，不允许被打乱；其次是为了保护知识产权，不允许设计人员对i p 核进行 任何改动。因此硬核不允许修改特点使其复用有一定的困难，只能适用于某些特定应 用，使用范围相对较窄。 固核介于软核和硬核之间，它是带有平面规划信息的网表，在f p g a 的设计中它 可以看做是带有布局规划的软核，它一般是以对应具体工艺的网表和r t l 代码的混 合形式提供，因此它是软核和硬核的折中，和软核相比，固核的设计灵活性稍差，但 在可靠性上有较大提高。 2 2nio si i 嵌入式系统平台简介 n i o si i 是a l t e r a 公司2 0 0 4 年6 月推出的3 2 位r i s c ( r e d u c e di n s t m c t i o i ls e t c o m p u t e r ，精简指令集计算机) 嵌入式软核处理器，建立在第一代1 6 位n i o s 处理器 的基础上，定位于广泛的嵌入式应用【3 0 1 。n i o s i i 处理器和a l t e r a 的c y c l o n e i i 系统f p g a 组合，使n i o si i 软核处理器在c y c l o n e i i 系列f p g a 中可以达到1 0 0 d m i p 的性能，同 时允许设计人员在很短的时间内建立一个完整的s o p c 可编程系统，风险和成本都要 小于中小规模的a s i c 。 n i o si i 处理器使用3 2 位的精简指令集结构，n i o si i 开发套件提供了定时器、 u a r t 、直接内存访i h - j ( d m a ) 、以太网等嵌入式外设内核，同时提供编译器、调试器、 集成开发环境、驱动器、硬件抽象层( h a l ) 等开发软件。设计人员使用a l t e r a 提供的 s o p cb u i l d e r 工具、q u a r t u si i 软件以及n i o si i 集成开发环境，可以轻松地将n i o si i 处理器嵌入到系统中。 n i o s i ic p u 由若干基本模块和一系列可选模块构成。基本模块包括：a l u 、程序 控制器、地址发生器、中断控制器、寄存器组等；可选模块有：j t a g 调试器、用户 指令逻辑、指令c a c h e 、数据c a c h e 等。图2 1 2 所示为典型n i o si i 嵌入式系统结构图。 6 济南大学硕士学位论文 图2 2 典型n i o si i 嵌入式系统结构图 由于n i o si i 是以软核形式提供的，具有可定制特性集、可配置系统性能、低成本 实现、定制指令和硬件加速等特点，同时具有很大的灵活性，用户可根据需求进行系 统设置选择n i o si i 处理器的功能，以达到性能和成本的平衡，n i o si i 有以下三种可选 的配置： 1 、经济型( e c o n o m i c ) ：以最小容量进行优化，占用l e 最少，功能最少，速度最 慢。 2 、标准型( s t a n d a r d ) ：速度与l e 平衡，功能一般。 3 、快速型( f a s t ) ：针对最佳性能进行了优化，提供可选存储器管理单元( m m u ) ， 或者存储器保护单元( m p u ) ，占用l e 最多，功能最多，速度最快。 在5 0 m h z 的系统频率下三种类型的n i o si i 处理器对比如表2 1 。 基于f p g a 的交通事故实时视频检测研究 表2 1 系统频率为5 0 姗z 时n i o si i 处理器介绍 n i o si i 类型 n i o si i 经济型 n i o si i 标准型 n i o si i 全功能型 功能最大5 d m i p s指令缓冲指令缓冲、数据缓 分支预测单元冲 硬件乘法器、除法动态分支预测单元 器硬件乘法器、除法 最大2 5 d m i p s器 桶式移位器 最大5 1 d m i p s 消耗逻辑单 6 0 0 7 0 0l e s1 2 0 0 1 4 0 0l e s1 4 0 0 - 18 0 0l e s 兀 除可选的处理器核心之外，n i o si i 嵌入式处理器还包括3 2 位指令集、3 2 位数据 线宽度、3 2 个通用寄存器、3 2 个中断源、2 g b 寻址空间，同时它还支持硬件断点、 数据触发、基于边界扫描测试( j t a g ) 的调试逻辑，以及片外和片内的调试跟踪。 2 3nio s | i 嵌入式系统开发流程 使用n i o si i 设计嵌入式系统分为硬件设计和软件设计，硬件和软件通过硬件控制 层、设备驱动层和硬件抽象层进行衔接。n i o si i 具体的设计过程及流程如图2 3 。 济南大学硕士学位论文 图2 3n i o si i 系统的设计流程 图2 3 所示n i o si i 系统的设计流程，在设计之初首先要分析系统需求说明，如系 统的功能需求、应用系统需求的计算性能、需要的带宽和吞吐量、需求的接口类型以 及是否需求多线程的软件等，这些需求决定了设计中使用到的软硬件资源。 在确定了软硬件资源后，开始使用q u a r t u si i 进行设计开发。由于q u a r t u si i 是以 工程的方式对设计过程进行管理，所以先建立一个开发工程，在工程中建立项层模块 文件，顶层模块需要与工程名称保持一致。然后调用s o p cb u i l d e r ，根据所要用到的 外设、要实现的功能以及开发板的配置，在s o p cb u i l d e r 中建立系统要添加的模块， 如n i o si i 处理器、定时器、按键p i o 、l c d 控制器、a v a l o n 三态桥、外部r a m 接口、 外部f l a s h 接口等，当设计中现有模块不能满足设计要求时，可设计自己的功能模块， 如果需要，用户还可以添加定制指令和外设逻辑【3 l 】 接下来将s o p c 生成的系统集成到q u a r t u si i 工程中，在顶层实体中，将s o p c 系 统模块、a l t e r a 的l p m 和用户定制的模块连接起来，并为各个输入输出信号分配芯片 的管脚。然后设置编译选项，使编译器按照用户设定来进行编译生成硬件系统的配置 西 基于f p g a 的交通事故实时视频检测研冤 文件宰s o f 和幸p o f , 编译系统是一个非常复杂的过程，包括优化逻辑的组合、综合