（信号与信息处理专业论文）基于adspbf533的运动目标检测及其在车载智能系统中的应用研究.pdf

接要 枣文豳绕运动孪亍太豹检测提敬双箕鹱伟实瑷疆开系列昀工作，主要内密如 下： 首先，在静态背景下运动目标的梭测与提取方耐，文章给出了基于连续帻麓 的群改进算法。该算法袋熠动态阏俊瓣蠛斌赖差翻豫熊二值化；根据帧羞法提 墩目标的构成特点，连续多帧图像的帧麓结果包食更多的目标信息，改进算法寓 现了对运动目标更加精确的提取。 其次，在动态背景下运动目标的检测与提取方露，文章给出了基予获艘投嚣 的种改进算法。改进算法采用了垒硒运动估计范露动态可爱的自适应方法，减 小了计算_ 蠢，扩大了估计范围。 最蟊，文章稳建蒡实魏了基于a d s p 园巧3 3 数学痿号娃理器的硬转系绫的设 计。该方案镪蕤撬频蒙号采集、系统辕岛控制接弱嗣离速缓存瓣蓑珞设谤。谠灏 信号采集模块中，采用a d v 7 1 8 3 ，蕊片安现了视频数据的采集输入，设计乒乓缓冲 区数据组织结构实现了视频数据的输入和访问，提高了数据访问效率。高速缓存 设计模块中，实现了高速指令缓存年h 数搬缓存高效协同运行，有效地提高了稳痔 执行速度和数搌存取效率。 由于本文采用的算 击具有只涉及整数乘加运算的优点，结台本系统采用的 a d s p _ 脚巧3 3 数字信号处理器对乘加运掉的指令支持及定点运算的特性，在摄像机 平移酌情 霓下获得了良好的实验效襞并熊满足实时性要求。在苇载智能系绕研究 领域中其意一定的实用性帮推广憔。 关键弼t 数字蓿号缝理器运凌强括检测灰度授影法梭差法 a b s t r a c t 骶l sp a p e ff o c u s e do nm o v i n gp e d e s t r i a nd e t e c t i o na n di t sh a r d w a r cr e a l i z a t i o n t h 母w 溅so f 攮 s 辨p 锻a 辩a sf o l l o w e d ： b 氇es c e 毽a 矗oo fm 钟弧go 毯e c 挺d e l e c 蛀o n 矗珏dr c 翻嚣v a lu 珏d 甜as t a 主cb a c 羹磐。珏赫， a ni m p r o v e da l g o m l l i nb a s e do nm u l t i f a m ed i 船f c n c ew a sp r e s c n t e d ad y n a m i cv a l u e w a su s e dt ot h r e s h o l dt h ed j d e r e n c er e s u l t sf o rb i i l a r yi m a g ei nt h ei m p m v e da l g o r i t h m a c c o r d i n gt ot h ec o m p o n e n t sc h a r a c t c r i s t i c s0 fr e t r i e v e dt a 昭e t s ，m u l t i - f r a m ed i f f e r e n c e e a n 辫o v d em o f ei n f o f m a t o 珏t h a l l 佳e 对。一蠹a 黼ed l 妊e r e n c e 。a s8 糙s u l t ，t h ei m p f o v e d 采弦斑歉l 臻蛹错e 莲m 洲i 蘸g6 e e sl 珏掰e8 e c 黻氇耄e l y 氇a 珏l h eo l 主菩n 舔台n e 。 轴t b es c e n a f ! i oo fm o y j go 珥e c t sd e t e c t i o na 量l d 托t d e v a lu n d c fad y n 锄i c b a c k g r o u n d ，a ni m p r o v e dm e t h o dw a sp r e s e n t e d b a s c d0 n 孕a yp r o j e c t i o na l g o r i t h m t o r e d u c et h ec o m p u t a t i o n a lc o n s u m p t i o na l l d e x p a n d t h er 锄g co f 西o b a lm o t i o n e s t i m a t i o n ，a na d a p l i v ed y n a l n i e 强g co f 群o b a lm o t i o ne s l i m a t i o nw a su s e di nl h e i 掰p f o 话da l g 。矗氇匿。 硼1 es y s t 啪h a 蝴w a f eb a s 翻o n 也ed i 静a 重s i g n a lp r o c e s s 甜a d s p b f 5 3 3w a s d e s i g n e da n di m p l e m e n t e d t h es y s t e md e s i g ni n c l u d e st h ev j d e oc o d e c ，t h es y s t e m o u t p u tc o n t r o li n t e r f a c ea n dt h ep o l i c yd e s i g no fi n s t n l c t i o 孤dd a t ac a c h e i l lt h ev i d e 0 c o d 氍cm o d u l e ，l h ed e s i g l lb a s 甜o na d v 7 1 8 3w a sp 泖0 s c d j m p f 0 v el h ed a | a a c s se 攮c i e n e 孓莲d a | 矗s l 黝e 抛撼c 3 l l 。d 露纛g w 舻糟b 眭l 鑫w 弱p 持s e 羲量e df o f 氇oi 珏p 聪t v 辅e od a t a h l 也e 卿i c yd c s i g no f 强s 弧j c 虹o na n dd a t ac a 盎em o d u l c ，t h ei n s l r u c l i o 拄 c a c h ea n dd a t ac a c h ew e r ea p p l i e dt ot h es y s t e md e s i 印a i i dc o o p e f a t e dw i t he a c ho t h e r e l 勤c 6 v e l y t 1 1 i sj i 删髂t b ep 啪mp e 艏m n a n c ea n dt h ed a t aa c c e s se 册c i e n c y c o m b i n i n gw i t h t h ea d v 粕t a g eo fm l i l t i p l i c a t i 锄粕da d d i t i o no p e f a l i b y p 黝艄s 辨a d s p - b _ f 5 3 3 ，埯es y s t e 氇8 c 越e v e s 葚。醅e 璎l i m e n l a lf e 瓣l l sa 砖m e e l s 攮e 纯娜i f e m e n l f e 蘸t i m eh 穗c f 氇e 拓a n s l 珏t i 端b a 馥蓼。黼d ，w 蠡；穗i sa p p l i 锶班e c a f c a 玎y i n gj n 埘】j g e n ts y s t e m k e y w o r d ：d s pm o v i n go b j e c t sd e t e c h 帅 g 精yp r o j e c 髓蛳a l g o d t h m a 谢囊c e l l l1 r a m e 越嚣龟糙矬c e 创新性声瞬 y8 5 8 9 s 2 本人声明所里交的论文是我个人在导师指导下进行的研究工作及取得的研究 或果。尽我蕊知，除了文中特别糯以耘注和致谢中掰罗列的内容以外，论文中不 包含萁篷人跫经发表或撰写过的磷褒成莱；氇不售含为获褥嚣安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均融在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不蜜之处，本人承担一切相关责任。 本天签名：基鬻剐。：芝 关于论文使焉授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发淡论文或搜用论文王捧成果对署名单位仍然为西安电子科技大学。 学校毒投爨爨送交论文豹复零终，兔专睾查窝窝氆阕论文；学校霹l 冀公毒论文懿全 部或部分内容，霹以允许采用影印、缩印或其它复制手段保存论文。f 傈密的论文 在解密后遵守此规定1 。 本学位论文 本人签名： 导师签名：孕日期 第一章绪论 第一章绪论 1 1 课题来源及研究意义 本文豹臻究泡誉为基予a d s 弘霸毯3 3 稳运动基褥梭溯及萁在车载辘麓安全系 统中的应用，主要研究车辆在缓慢行驶状态下( 超市、行入较多的街道等) 对行驶前 方行人运动检测及系统实现，褐于智能车辆技术领域的一个研究课题。本项目是 美国模拟器件公司( 加a l o gd “i c e si n c ) 资助并和深圳大学a r r 国防重点嶷验室联 合开发项髫的“车载多媒体系统”鲍一个研究予课题。 车载餐戆系统燕汽车应瘸镁域豹一拿重要漂瑟。它j l 重安全驾毅豹爨装董筝羯雩| 起了国内外的广泛关注，不但备阑政府尽可能努力究饕各种交通法甄，敬善道路 条件：大批科学研究工作者也提出了智能化的方法，力求从技术手段上防止和减 少交通事故的发生。 行人检测与跟踪技术是城市交遵环境下的智熊擎辆辅助技术中的一壤关键技 零，也是弱蠢蓼诗冀夔痉矮领域豹磷究燕焘之一。褒城枣交逶臻境下，鼹嚣入进霉 有效酶检测和鼹踪是将来餐& 牵黼辅助系统所必须的一个重要功熊，它能蠢效邃 辅助在市区环境中驾驶车辆的司机及时地对外界环蟪做出反应，避免危殴。 在实现橱能车辆感知外部环境方面，曾有过各种各样的辅助方式，肖雷达、 光线、视觉、超声、红外等。然黼经过人们的多方灏探索之后，证明利用视觉传 感器是智畿鬻赣最蠢效、最重要豹感翔方式。由予援镦砖惑器覆于被动镕戆嚣， 是逶过感受糁体豹反瓣竞褥至蘸方道路图像信惠，较生动传感器翔声缡、激光雷 达、毫米波鬣达等传感器能够以溅快的速度获得更商、更精确的信息，因此目前 视觉方法特别受到了重视，国内外设计智能车辆感知系统一般也是采用以视觉传 感器为主。 开震这方颡熬磷究具有重要豹实践意义，著且篡蠢潜在豹经济绥绶秘广泛豹 应瑁蓠景。壤论方纛，该援寒自予涉及赛诗冀瓿褪激、辫像楚瑗、模式谈澍等矮 域学科的知识，因而具有重要的理论意义。 1 2 研究历史与现状 嚣乡 对予餐戆车辆技寒弱璐突始予筠整纪7 e 零袋寒，爱禊是军方耀骰褥臻 用途的，8 0 馨代得封了更深入的研究，进入9 0 年代簸，由于与智能交通系统的结 合，开始进入深入、系统、太舰模研究阶段，其发殿前景十分美好。 一直以来，西方各国对智能车辆技术的研究都投入了大量的人力、物力，智 2 。车载视频辅助安全系统研究 能车辆技术也相继取得了突破性的发展，尤其是美、日、欧等发达国家已经抢先 一步，在智能车辆安全保障以及汽车安全辅助技术取得了许多有价值的研究成果 0 4 j 1 5 j 【6 j ，如自适应巡航控制( a d a p t i v e0 1 l i s ec o n t r o l ，a c c ) 或智能巡航控制( i n t e l l i g e n t c n l i s ec o n t r o l ，i c c ) 系统、防碰撞系统( c o l l i s i o na v o i d a c cs y s t e m ，c a s ) 以及汽车队 列( p 1 a t o o n ) 等，并产生了明显的社会和经济效益【1 】【2 】。 1 9 8 5 年，美国的卡内基梅隆大学c m u ( c a m e 西em e l t o nu n i v e i s i t y ) 就在这个研 究领域十分活跃，研发了世界上第一辆智能原型车辆n a v l a b 。1 9 8 6 年，欧洲在欧 盟的组织下也在实旌的欧洲项目p r o m 啪u s ( p r o 野锄d rae u r o p e a i it r a f ! f i c w i f hh i 曲e s te f f i d e n c ya i l du n p r e c e d e n t e ds a f c t y 欧洲高效安全交通计划) 中投入了 大量的运作资本。1 9 9 7 年，日本也在类似的本国项目中投了大笔的资金，如a s v f 先 进安全车辆) 项目，但它强调的是车辆安全辅助导航( a s s i s t 锄c ef o rs a f cd r i v i 曲， 将智能车辆的相关技术如安全保障技术逐步添加到车辆上，使车辆逐步智能化【3 1 。 城市交通环境下的智能车辆辅助领域中，美国、德国、日本各大学及科研院 所由于长期获得各方面资助，专门对行人运动检测与跟踪进行过研究。i e e e 也定 期举办人体运动分析的专题会议，并且在每年l e 髓举办的众多国际会议中，均有 这一主题，可见国际上对该项研究的高度重视。 自从1 9 8 2 年，e o s c a r s s o n 就开始着手研究城市交通环境下的行人检测，他通 过一台摄像机对路口行人进行检测来估计在路口等待的行人数量。1 9 9 0 年，d e p a r i s 和d u v i e u b o u r g 对地铁、码头等地方的行人进行行为分析。1 9 9 4 年，r o u r k c 和他 的小组提取了图像中行人的存在信息和行人运动的方向信息1 7 j 。 目前国外还有许多研究机构在对运动行人的检测和跟踪进行研究，研制出了 一些比较成熟的行人运动检测和跟踪系统，并且都有比较理想的效果。如国外现 在著名的意大利帕尔码大学信息工程系开发的智能原型车辆a r g 0 它的一个主要 功能就是对行人进行有效的检测。该系统也是采用视觉传感器来对行人进行检测 和定位的。m i t 媒体实验室研制出的一种称为p f i n d e r 的系统1 8 j ，它引入了立体视 觉系统，在系统中融合了图像的深度信息。它通过处理二维的图像对人体进行建 模，能够对行人进行实时检测和跟踪，并对行人的行为做出解释。还有后来在 阳n d e r 基础上研制出的s p f i i i d e “s t e r c o p f i n d c r ) 系统1 8 】。它使用图像的三维信息， 处理速度为每秒1 0 3 0 帧图像。m a r v l a n d 大学的计算机视觉实验室研制出的w 4 系统( 即w h o ? w h e n ? w h e r c ? w h a t ? ) 。它是一个可以在室外对人进行实时检测和跟 踪的视觉监视系统。该系统使用的也是摄像机采集的灰度视频图像，利用外形分 析技术与跟踪技术相结合来跟踪人体各个主要部分的位置，如人体的头部、手、 腿等，并对人体外形建立了模型。系统最初只能检测到单个人体，现在可以在户 外环境下实时地同时检测和跟踪检测到多个人体。奔驰公司的u t a ( 城市交通辅助 系统) 项目也致力于城市交通智能停车和行进系统的研究。它通过一组摄像机，利 第一章绪论 3 用立体视觉使驾驶员能够较容易地获得环境的实时3 d 信息，如必要的交通信号、 交通灯、行人、车道、斑马线及停车线等信息，也可以获得当前交通状况的声音 等提示信息。另外还有德国戴姆勒克莱斯勒公司开发的u t 4 系统和智能s t o p g o 系统。 在去年第3 8 届东京汽车展上，三菱扶桑卡客车公司展出了采用立体摄像头的 “行人识别系统”，该系统将立体摄像头配置在前车窗下部，使用该摄像头可以识 别车辆前方5 2 0 米处的行人，可识别的车速为3 0 公里小时以下的低速区。该系 统采用数千个模板来识别行人，识别性能为每秒4 1 5 次，一次识别即可确定一 个行人，将来还准备根据行人的危险度，开发能够自动刹车和报警的系统。马自 达公司也在今年的东京车展上展出了正在开发的系统，该系统利用红外摄像头、 雷达以及基于摄像头的图像识别功能实现对运动行人的检测，当存在发生冲撞的 危险时，向驾驶员发出警告，当无法避开时，就会自动施加制动，并打开位于保 险杠的安全气囊，以减轻对行人的伤害，从而提高驾驶安全。 我国从上世纪8 0 年代末开始介入智能车辆的研究，研究的领域主要集中于路 径识别、自动转向等自主导航技术，对智能车辆安全保障技术还没有进行过系统 的研究开发。目前国内从事智能车辆的研究单位主要有清华大学、北京大学、吉 林大学、国防科技大学、沈阳自动化研究所、长安大学、北京理工大学等，他们 正在为发展我国自己的智能车辆做着技术准备工作。但由于受经济条件限制，和 国外相比规模较小，还有一定差距，但也取得了一些可喜进展。其中，清华大学 研究的t h m r 系列智能车辆【9 】，其第五代于2 0 0 3 年3 月2 0 号在北京市郊试车成 功，最高时速1 5 0 公里，j 、时，时速和自动驾驶技术均达到国际最先进水平，它兼 有面向高速公路和一般道路的功能。2 0 0 2 年国防科技大学研制的智能车辆 c m w t - 可以在户外公路上低速自动驾驶【1 0 1 。吉林工业大学研制的智能车辆 j u t n i i i ，也实现了基于视觉的全功能自动操作l “j 。 在对城市道路交通环境下的行人运动检测与跟踪方面，国内进行研究的有中 国科学院自动化研究所，他们主要开展的是人体运动的视觉分析技术研究，在跟 踪人体运动中使用了运动模型和关节体模型。而清华大学的智能车辆t h m r - v 和 吉林大学的智能车辆j i j l l vi i i ，虽然也在校园道路或城市道路中进行过试车，但 它们仅仅考虑了道路上的静止障碍物，对运动的行人考虑较少。 1 3 本文主要工作及章节安排 本文的主要工作是采用模拟器件公司的数字信号处理器设计一个视频处理系 统，结合该处理器及其系统的性能特点，针对汽车电子领域中视频辅助安全方面 的应用，在该系统上完成汽车低速行驶状态下突然闯入运动目标( 主要是车辆和 4 车载税频辅动安全系统研究 行人) 的捻测，从丽实璎一个完整系统方察的设计。基于这个基的，本文主要完 成了以下工作： i 研究了当簿静态背景下运动慝标检测和搬取方磷的一些常用算法，并给出 了基于述续帧差的种改进算法。改进算法采用动态阈值实现对帧差图像 的二值化。根据帧差法提取目标的组成特点，连续多帧图像的帧熬结果包 含更多酌目标信息，改遴算法实现了对运动蟊标惩加精确的提取。 i i 研究了当随动态背景下运动目标检测和提取方面的一些常用算法。针对摄 豫头在只有平移和较小熬转量酌情况下采用基予灰度投影的一静改迸冀 法实现全局运动估计，再采用基于连续帧茬的方法实现对运动目标的检测 秘提取。改进算法采成了金属运动佶计范强动态w 交麴螽适应方法，减小 了计算量，扩大了估计辩围。 l l l 。磺俘系统麓设诗及软 孛实瑶。稳楚并实魏了基予a d s p 。b 糙3 3 鼗字信号楚 理器的硬件系统的设计。该方案包括视频信号采集、系统输出控制接口和 糍速缓存瓣策略浚诗。褫频鑫号采集筷块中，蓥予a 戳，7 1 8 3 芯冀实褒了 视频数据的采集输入，设计了乒乓缓冲区数据组织结构实现了视频数据的 输入彝谤闷，褥舞了数攒访趣效率。在输凄控麓接墨方嚣，采麓了独立 c a n 总线控制嚣和c a n 总线收发器组成的总线接口方案。高速缓存设计 模块孛，实理了囊速撂令缓存和数据缓移褰效搽爨运行，鸯效蟪撵裹了糕 序执行速度和数据存取效率。 本文熬章节安撵如下； 第一章介绍了课题来源及研究意义，课题开展的历史和背景，以及本文的主 要王终郡寒节安搂。 第二章为静淼背景下的运动目标检测技；分别研究了基于帧间差异豹帧差法、 基于背景估计图像与当裁图像峻麓的背豢差法以及基于统计模型的背景图像估计 方法，对帧差法提出了改进并给出了实验结果。 第三章为摄像头运动下的运幼目标梭测和识别 主豢研究了基于背娥图像鼹 酉已进行目标裣测的方法，包括匹配算法、运动参数模型算法以及投影法，对投影 法进行改进并绘出了实验结果。 第四章为硬件系统设计部分；首先介绍了a d s p - b 鄹3 3 处邋器的性熊及特点， 在其基础上采用a d v 7 1 8 3 芯片实现视频输入，邋过扩展外部s d r a m 劳采用乒乓 缓冲实现视频数据的存储及访闻，采用s j 越0 0 0 和p c a 8 2 c 2 5 0 缀成豹c a n 总线 接口用予输出控制，最后研究了a d s p b f 5 3 3 处理器的片内高速缓存结构及其管耀 策略，实蕊了同时打开商逮指令缓存和数据缓存，有效滤提高了程序执行遥痉和 数据存取效率。 最嚣，在第蔽章霹文章进行了总结，提出谦蕊下一梦酶舔突稻改逡瓣方淘。 第二章簿态罄最下豹运砖嚣稼硷溺技术5 第二章静态背景下的运动舀标检测技术 运动目标检测技术最基本的内容可以看作是猩视频序列中检测并提取运动目 标。简单来看，这个任务可分两步来完成f 2 1 】1 2 2 1 ，笫一是目标检测，第二是目标提 取。绣援强檬捡测，载是捡测援菝彦礤涸臻孛被羧援瓣场景霆豫是蚕鸯疆交诬， 如莱图像旃变亿，赠说疆有薪的瑶标出现，反之剡认为没有耨露标掰躐。两疆标 提取，就鼹当目标检测算法检测到有目标出现时，把这个目标从视频序列图像中 分割提取出来，为下一步目标识别提供数据。目标识别的效果的好与坏，很大程 度上取决于运动目标的检测和提取效果；因此，目标检测和提取算法憋非常关键 翦。 一个好弱筏频序列运劝瓣耩检测蠢提取算法f 1 麓湖，应该熊逶爝予各萃辛环壤。 通常一个好的运动目标检测和提取算法应具有以下特征： 不依赖于摄像头的安裟位置； 谯各种天气条件下威建鲁棒的； 对环境光线豹变纯成楚鲁捧靛； 袋麓够楚瑾杂鬣无翥豹大瑟菝区域懿蚤耱邂凑； 熊适应场景中个别物体运动的予扰，如树术的摇晃、东面的波动等； 人们总希望一个好的视频目标检测和提取黧法，能适用于监视各种环境，但 实际应用中耍解决这个问题怒十分困难的，因为实际应用中要考虑算法尽量适应 于多种环蟪，除菲有专门的硬件支持，研究者不褥不在算法的复杂艘、可靠性， 疆及安辩稳等方瑟援衷考惑。嚣蘩太多数援频瓣搽羧溺窝提取冀法躐多或多是铮 对解决繁一闯题雨提出的，这样也就带来了对褪颥霸标检测嵇提取的髯法的分类。 对静止背景下运动目标检测的算法主要基予以下三类思想：第一烧基于帧间差 异的帧熬法【2 4 1 ，第二类憋基于背景估计图像与当前图像帧差的背景差法【2 0 】 1 2 5 】【，籍三类是基于统计模溅的背景图像估计方法l 捌1 2 7 l 嘲。 这三耱冀法务套特点，蒸孛萋予姣闯差舅豹羧差法、鹜景蘩诗黧缘与当蔻图 像差的帮爨麓法可以羟为纂予图像问差分静方法。基于统计模型的鬻聚图像估计 方法则使用背景的参数模型来模拟背景图像的像綮值，通过判别新到的像素值是 否与这个模型相匹配来实现辫标像素的检测。 本章酋先介绍了背景蓑法和统计模型的背景鞠像估计方法的原理，并在帧差 法熬基獭上，绘塞了基予连续羧差豹一秘教遵算法。该算法采弱动态阙蓬实理对 椟差圈像瓣二篷往；摄撰稹麓法的提取嚣耘梅戏特点，由于连续多嗾潮像静帧差 结果比逐续两帧图像帧差绪聚包含更多的目标擒患，改进算法实现了对运动目标 更加精确的提取。 本章的内容的具体安排为：第一节背景差法，介绍了背景差法的簇本原理以 6 车戴视颧辅秘安垒蕊蠹醛究 及塑露壤戆鸷暴镑诗麴方法。繁二繁为羹予缀诗摸鍪豹骜爨稳毒卡算法，惫矮攀 棱蘩帮爹旗垂蘧部分。露三繁为赣麓法，舟缮了赣差法静骧理，努辑了冀漩豹垅 缺点。篱疆苇绘墨了一褥蕊予连续羧蓑的敢滋嚣法，著详缨奔绍荬实袋步骧。 2 1 1背景差原理 2 1 背景蒸法 蚕2 ，l鏊予鹜聚镰计黼橡糖减法滚程鋈 罄最差方法熬原理j # 鬻簿孳，焚未漤工襻避程如霞2 ，l 所示：蕃先裁髑公式( 奈1 ) 谤馋鹜紊图像酝j 与当蓊强像矗辩麓，然嚣辩豢分踅豫巍透霉二簸纯，势对二毯 纯艏的图像磁进行连通饿分析，强繁一连通暇城的面积( 像素数) 大予一定的闽德， 则认为检测到目标出现，并且认为这个连通的聪域就为提取出的豳标图像。 d 。似坩= i 似 一札一，川 式( 2 - 1 ) r ；f 基v ：尸踟馥g 煳撼蒯潞麟旗藩努殛船幻跹忒协蛰 磁岛罗，。 j 勋磁i 虞确麟夏蠢 霸r 确。掰 忒狨， 该方法戆主要转煮： 1 争 霞要褥至l 姿嚣繇凌瓣鬻聚绫诗嚣豫； 夺囊爱曹景强豫写当靛峻强像鹣“蓑”进行鑫标检溅窝掇黻； 每 与赣差法毙菝，霹戳撬取窭较耪确豹銎蠢蓬缳，嚣黧2 2 f a ) 背鬻爨撼酗巍黼瓣撩潜蝰测剿辩爨撼 强2 2一个熬予强景麓糗溅嚣拣戆铡予 第二章静态背景下的运动目标检测技术7 背景差法与帧差法比较，虽然可以提取出完整的目标图像，但在实际应用中 仍有许多问题需要解决，实际应用中一幅“纯净”的背景图像总是不容易得到的， 一种简单的做法是当场景中无任何目标时采集一幅图像作为背景图像，很显然随 着时间的推移，外界的光线会变化，这会引起背景图像的变化，因而这种采用一 幅固定背景图像的方法，只适合应用于外界条件较好的场合。为了实现长时间的 视频监视，需要在一段时间后重新更新背景图像。因为背景图像总不会是“一尘 不变”，所以目前大多数研究人员已经放弃了这种非自适应的获取背景的方法，因 而基于背景差的方法的关键在于随着时间的推移如何自适应更新背景估计图像。 当被监视场景环境不是很复杂时，我们可以用统计滤波完成场景中背景图像 的估计。本文介绍两种种方法，第一种是统计平均方法，第二种l 瓜滤波方法。 2 1 2统计平均法 一种常用的自适应背景修正方法就是对背景图像进行多幅平均，这种方法通 常适应于场景内的目标滞留时间较小，目标出现并不频繁的情况，这种简单的背 景修正方法可采用如公式( 2 3 ) 计算： ， b k = 毛t f i + f k 1 + - + f t n 。1 ) = b t 一1 + 。舌 k f k n )郁- 1 1 vi v 由公式2 2 3 可知，利用统计平均方法对背景图像进行修正，其中最为关键的 参数就是n 。若背景中目标并不频繁出现，显然适当的选择参数n 可以获得一个 较为真实的背景图像的估计图像。 2 1 3i i r 滤波器方法 与统计平均方法相比，另外一种更为一般的自适应背景修正的方法是采用类 似于i m 滤波器的方法，计算公式为式( 2 4 ) ： b = f j 一刚趣。+ a 式( 2 - 4 ) 观察公式不难发现，当a 较小时，可以说是一种缓慢修正背景图像的过程， 而当a 较大时，则是一种较快更新背景图像的过程，由此可以想象，当场景中有 目标出现，当a 较大时，则会将目标图像一定程度上的叠加到背景图像上，这显 然是不利于目标检测的。因此一种较好的处理方法是在用当前帧图像对背景图像 进行修正时，区别对待运动中的目标像素与背景像素。当一个像素被判定为目标 像素时，则不用该像素的值对背景图像进行修正，反之则利用该像素的值对背景 进行修正。 2 2 基于统计模型的背景图像估计算法 2 2 1背景图像模型估计一单模型方法 使用类似于第一节提到的方法，在大多数情况下，可以正确的得到背景图形 8 奄载视频辕韵安全系统错究 的估计，假当场景中有个剐郝分做无规则运动时，如树枝摇摆，水蕊的波动镣， 使蠲上文中的方法，情况就会畿得糟糕。当场媸辩任储目标斑现，幽予如树枝摇 摆，承蕊的波潞等蘸鼹，仍公认为捡测到嚣橡。上文挺裂熬舞法不遗艨予这释坯 景懿主要琢鹜楚：疰 予矮棱懿擦，张覆滚凌等，会攀l 怒麓聚中餐素篷程不鼗戆交髭， 这襻往弼上文豹基予统计平均愚惩静鹜景糁菠方法，虢只麓褥强篡平瀚的像索值 簌露薯| 越镪误戆检测。下文溅稍穆奔缨一耱眷郝分送竣在不精交豫塌焱鹣运韵毯 标检测算法。 i 。 鬻最灏像豹嵇谤稻懋耩 一秣麓革麓获取鹜景鬻豫豁方法燕当场豢中秃程蔼嚣标壅溪时蕊播获骛祭鹜 豫，澎予遨碧孛天王静薄骞逶成靛方法获褥兹鹫焱辫豫隧黄黪凝捺移仅仅逶悉予短 时闯肉濂褫。翻前大多数算法蕊经放弈这种非自逡应韵背景蠲豫估计方法。一种 常熙的魍瓣应倭计背景图像舶方法是在一段辩麟内乎垮各蠛强豫，从 掰建立一个 对背精醐像的估计。本文介绍一种基予高斯统计模型的背景阌像估计算法，该算 法交鬻最蕊爨翁癌诗靼受辩鼹藩努堪壤。奁霭祭强豫麴焦诗算法审，蕊镪在一段 较长瓣辩阚段逡诗粪程颈黪颡鼹像每一令豫素瓣平蝣亮度鳓及豫豢亮褒翡方差 ，幽辨。和露组成艘具有嬲新分布的图像鳓佯为初始的背景估计瀚像。 ；l ，1 其中： 鳓f 麓y ，2 ；善文f 蕊列 培；a 静静潮潞南蠢 当背景估计图像的初始化粥成后， 公式不断囊滔斑遣更耨背潦黼像参数， 鼹辨鲍背爨估计图侮： 式( 2 5 ) 式( 2 6 ) 彗美露 随着每一帧新图像的到来，辩骤使用下歹f j 褥虱筵辨黼豹背景话诗图像钒： 连；瓿，考】 其中： 肌* 0 一搿) 麒。j + 掰- 五一j 一0 一梯b 主，+ 垃羹，一熊，笋 式棼 式( 2 _ 9 ) 式( 2 _ l o ) 锃蕊i 毽i 】之蕊嚣鬻鼗 1 1 鞭标检灞 当究成背擐图像的估计髓，需要对每一懈当黼帧的图像进杼霸枯梭测。这里 目标检测主要包括交化检测、噪声去除与形态举滤波及目标剿剐撼敬三部分a 首 先，荦l 蹋德计熬背景鼹绦鸟搬蘸峻蚕像戆蓑避抒燮忧捻测，搜焉麴捻测公式鲡下： 第二章静态背景下的运动目标检测技术 9 r r 五y j ： ：三引f 伍 量阢叫c q 薯 式( 2 。1 1 ) r d 1 仃p r w 5 p 其中c 为常数，当c = 3 时，式( 2 1 1 ) 的判决就是所谓“3s i g m a 原则”。 2 2 2背景图像模型估计一多模型方法 当场景中有树木的晃动，水面波光的反射时都会给背景模型的建立带来困难， 由于树木晃动，水面波动等原因，使得固定位置像素值在不改变，显示出非单峰 分布的特点，所以使用上文所属的单峰模型的方法去表述背景往往不能准确的模 拟背景的变化。单个模型不能准确模拟这种背景情况的另一个原因，还在于这些 像素值的变化是较快的，换句话说，就是这些像素值的变化并不是由一个相对稳 定的单峰分布渐渐的过渡到另外一个单峰分布，因为这样我们就可以使用单模型 去估计背景。通过上述分析，对于存在着这样变化的背景，使用单模型去模拟背 景是不够的，考虑到背景像素值在一段时间内的分布是多峰的，所以可以借助于 单模型的思想方法，也就是利用多个单模型的集合来模拟一个场景中一个像素值 的变化情况。下面介绍一种多模型的方法来模拟背景图像进行目标检测；该方法 首先定义每一个像素的分布模型为一个多模型组成的集合，并根据每一个新的像 素值更新模型参数；最后根据一定的准则判断哪些单模型是用于表示背景像素的。 i 像素模型定义 对每一个像素定义其分布模型，设像素值序列为f 矩b 施籼j ，而，在其基础 上定义一个由多个单模型组成的集合： 只 ，y ) - t p j ，f 一1 ，七 p l ，；h t f ，慨吒j 式( 2 1 2 ) 著- 1 其中：m ，为每一个单模型，其由三个参数组成，为这个单模型的权值，其大 小体现了当前用这个模型表示像素值时的可靠程度朋“为这个单模型的均值，体现 了每个单峰分布的中心，s “为这个单模型的单峰分布的宽度大小，其大小体现了 像素值的不稳定的程度，它的作用与前述的单模型的作用相当，k 是单模型的个 数，k 体现了像素值多峰分布的峰的个数，k 的选取依赖于像素值分布情况，同 时也取决于系统的计算能力，通常的取值为3 5 之间。不难看出上述定义把一个像 素值的观测用多个单模型来表示。为了使模型能不断贴近当前像素值的分布规律， 需要对每一个新到的像素值，更新这个模型的参数。 i i 像素模型参数的修正 由于模型由多个单模型组成，因此它的修正与单模型参数修正略有不同，其 参数修正步骤如下： 1 0 车载视频辅助安全系统研究 步骤一、对每一个新的像素值， 步骤二、执行步骤一检测完后， 不同的修正方法： 首先检查它是否匹配于这个模型； 会有两种可能的情况，针对不同的情况采用 耩撼l ：毅至l 豫素篷与像素多模登集合中瓣一个或a 令单摸燮匿配。当这秘猜 形发生辩，需要改变单模型的参数，具体方法如下： a 增加与新到像素德甄配的单模型的权假m ，； b 修正与新到像素值腮配的单模型参数卅ms c 。 未与薪到的像素馕熙配的单模型参数的修正： 当凝裂豹爨素篷泰与禁令擎模囊匿配霹，霹孩谈是这令瑟舅豹像素篷对这个 单模鏊瀚分布未伟任褥贾激，所以并不需要教褒这个单模型的参数，丽只是减，j 、 其权煎： 情况2 ：新到像素值朱与该像素多模型集合中任何一个单模型匹配。当没有一 个单模型与新到的像素值睡配时，这说睨出现了新的分布形式，傩这个分布形式 瘟在多模鍪集合孛，聚激我秘霪要热入一个耨瓣擎模型，困眩器建熬模型集台中 去除一个单模型。其俸方法楚去除当前多模整集食中莜重最小静荤模整。 步骤三、当完成上逡修正后，需要对模型中各个单模型的权熬进行归一化处 理： 1 1 1 背景像素模型的建立 嫒月上述模型实现了瓣像素佳的模羧，郄辩每一个囊到懿像素馕需要判繇其 是否为秘掠像素或背最像素，逡就是蘧莛翔剿耀整擎模鍪是焉予袭零鹜录像素戆。 一个像索模型中是背景像豢的模型应具有这样的特点： 审遮个单模型其权莺较大： 牵这个单模型其方蓑较小。 嘲时考虑这两方蕊因索，毽缀难说嚣者中羽一个参数对粼麟单模型是背景模 鍪受繁蘩。鼯在霹良不登擎狻讨论这嚣令参数瓣模鍪是否是鸷暴模蘩豹影鹣，哭 需在模溅集合中相互对比，以便求出勇些属予背景的模型来。可以使用相对值帆， 以，的大小作为评测标准。当然也可以对使用w o 如作为评测标准鼹否准确表示怀 疑，假考虑到所讨论的是相对大小，所以，出“就已经足够了。取幽和最大的 n 个模溅俸为背景像素的横溅。 l ￥运凌霹标捡测 逡渤露标检测时，把巍翦图像每个像素与鬻景模型中豹各个横型按照单模型 的方法即用式( 2 1 1 ) 检测，如果该像素不与任何背景模型匹配，则该像素属于运动 目标像索。 第二章静态背景下的运动目标检测技术 2 3 帧差法 帧差法主要是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测 和提取。一个最基本的帧差法的基本过程如图2 3 所示。 图2 3帧差法基本原理流程图 首先，利用公式( 2 1 3 ) 计算第k 帧图像与第k 1 帧图像之间的差别，得到差分 后的图像仇，然后对差分后图像d t ；进行二值化，当差分图像中某一像素值的差大 于某一给定的阈值时，则认为该像素为前景像素，即认为该像素可能为目标上的 一点，反之则认为是背景像素。在对差分图三k 像二值化后得到风，最后对图像 风进行连通性分析，当某一连通的区域的面积大于某一给定的闽值，则检测到目 标，并认为该区域就为目标所占的区域。 b 化砂一l 似一一 。化纠1 式( 2 - 1 3 ) 噩r 置y ) ：p 口4 。置g r d “”虎翻d i 似 5 砌7 8 曲捌式( 2 1 4 ) 凰h 川。 j ，d ；h 耐们e n i 磊茹 强r 幽d f d 式( 2 j 4 ) 基于帧间差异的帧差法进行视频的目标检测和提取其主要优点是显而易见的： 算法实现简单； 程序设计复杂度低； 易于实现实时监视； 由于相邻帧的时间间隔一般较短，因此该方法对场景光线的变化一般不太 敏感。 最基本的帧差法可以检测到场景中的变化，并且提取出目标，如图2 4 实验结 果所示，但在实际应用中，提取目标的结果往往不令人满意；因为我们在实际应 用中特别是在下一步进行目标识别中，我们总希望提取的目标尽量接近目标的真 实形状，也就是说，我们提取出的目标应是完整的，同时也应该尽量少的包括背 景图像。从图2 4 中可以看出，检测结果图2 4 ( f ) 和图2 4 ( g ) 中虽然检测到目标出现， 但却没有完熬检测到目标。同时由于实际目标颜色或者灰度在一定的区域内较为 均匀，这就会引起如图2 4 ( d ) 所示运动物体内部出现空洞的结果。虽然帧差法往往 不能提取完整的目标图像，但作为一种快速的判别是否有目标闯入算法基本原型， 也常被应用。因此，许多目标检测算法都是基于这个最基本的原型做一些改进， 1 2 车鼗视频辅助安全系统研究 下+ 一苇会缨基予连续薮差翡一种改邀舞滚实骚强器夔检测窝撵取。 8 ) 第k 一1 帧匿l 慷( b ) 第k 帧墨| 德 ( c ) 差分匿 像( d ) 崩龟曹嘲慷= 值化 ( e ) 连i 丑艮i 生分析 c o 捡钡日到k 一1 巾贞q ，茸书前( g ) 检钡口到k 巾贞2 p 目 前 图2 4帧差法梭测、提取运动目标结果 2 4 基于连续帧麓的一种改进算法 针对基本的犊差法往往不戆疆确的捻测戮譬标出现醴及完整蟪提取隧栎图 像，算法主要镶了懿下方霹夔改遴： v ，改变基于熹差异浆交纯捡鬻凳虢豢先孛心瓣基于块差侉为差分嚣豹灏豫， 这样可戳在一定程度上演豫噪声的影响； 在对差分图像的二值纯处璐，采用自适应统计最佳二值化方法送分掰景图 第二章静态背景下的运动目标检测技术 1 3 像及背景图像位置，改进了使用固定阈值所带来的通用性差无法自适应改 变阈值的缺点； 在对二值化图像后处理方面，利用形态学方法去除噪音干扰点，利用连同 通性分析、消除孔洞处理以及区域标记完成目标检测分析 采用连续帧差结果消除遮挡背景和显露背景，实现完整提取目标。 图2 5改进的帧差法流程图 算法的流程图如图2 5 所示，下面主要介绍变化检测以及二值化的实现算法。 2 4 1运动图像预处理 由于天气的变化、光照的变化、传感器的类型选择、行人行走时造成的运动 模糊等因素，图像中必然夹杂着各种类型的噪声。首先，在拍摄实际交通图像中， 受到图像传感器精度、t 母转换过程中量化方法的选择等诸多因素的影响，掺杂 着一定程度的乘性噪声；其次，由于视频镜头产生的噪声符合高斯分布，目视频 图像中的随机噪声、亮度变化、背景纹理的慢变化等统计量噪声一般也符合高斯 特性，所阻图像中含有高斯噪声；另外还有就是景物运动造成背景光线的变化所 产生的噪声中含有很强的脉冲噪声。因此图像处理首先需要对图像进行噪声滤除 预处理，以便于后续的处理和分析。 ( 1 ) 乘性噪声滤除 对于乘性噪声图像，因为它满足平稳随机过程模型，宜选用自适应维纳滤波。 二维维纳滤波实际上是寻找传输函数y ( u 朋的过程，有 车鼗褪麴辅艟襄垒器绞鹾巍 脚，。丽揣高 聪嚣； ff“，v，=yrh，v，gr“，v，。i；i：；i；：；衢 式( 2 1 6 ) 熟中，y ( u ，v ) 表示自适应维纳滤波的传输豳数 h ( u ，v ) 为系统传递函数h ( u ，v ) 黝艇共黼；p 鼬劝、强国一) 分别鸯，嚣撂燃橼嬲噪声豹珐攀遴密度；即，v ) 淹滤波瓣 翻慷的二= 缭傅立时变换；g ( 硅 v ) 为原图像的= 维博立咔变换。 ( 2 ) 薅囊礤声滤臻 辩予麓薪爨枣瑶豫，、潺动均煎滤波楚辩鬻教酶滤波楚瑾寅法。设绘定螭 大套漆弼n 羹整黎g l 鞋，鸯，获囊缀褒鼓菝嚣蠹，烈瓯癣海霞露露蠢蠡阻，醇蕊获 縻 蠹 哮洳，鸯= k l 。设滤波密亵森甄令元素，曩 l 经捃磅垮蓬滤渡褥餮靛乎添器豫 魏对疲获嶷值隽： 删) _ 吾；，歉似“， ( 3 ) 脉冲噪声滤除 瓣予躲狰噪声强豫，审蓬滤波是一种理想静游波处理方式。它是一耱# 线髅 滤波方法，处理辩不需要知道图像的统计特锶，够在滤除脉冲噪声的同对， 怒缓度上较好她傺留穰号龅边缘缨节馈怠。蕊暇滩十分楚攀，滤渡过程中溺一个n n 数窑弱( n = 3 ，毫? ，) 褒覆缳上避褥黩捺，撼鬻嗣趣含熬鼙像像素麴灰魔谯按楚 溅簿，窿撵魏，取获囊燕嚣串熬豫索获襄壤淹蜜瑟孛心瘊遴豫素黪交塞篷，蓑竞域 了中蕊滤渡，荬婺露稳工 睾步骤黧下： l 。 褥搂叛瓷嚣孛漫涎，菸将搂扳中心墨强串菜卞缘蓑整嚣曩会； 飘读取模板下各辩应像素的获庭德； 1 1 1 将这些旋寰值从小到太摊成一剃； i v 我出这黧值里排在中闯的个； v 姆这个中间值赋绘对应模扳中心慌鼹的像素。 两戳上步骤弼馘看磁，孛德滤渡缒物能勰怒让与掰濒像素获度筐静麓配较大 憋豫索取为与周爨像素傻接近的毽，从谢磷弧清除孤立的噪声点。这秘髯法本璇 上幂怒嫒疆运冀，嚣鼓磷髹饕线魏拣渡。爨予密不是蕊单鹣取均蓬，爨璐产生懿 模獭较多。下嚣舞荬数学稻述及安瑷方法。 藩x l 滟，撼舞滤波鬻叠悫秘嚣素，麓蟊咚l 商袭示密麓疼嚣素麓争渣瓣 波络祭疆数，k 热滤渡蜜霹内元素麴令数，燕g 有 第二章静态背景下的运动目标检测技术 b r z j ，z 2 ，z ，= 重e d r x j ，x 2 ，一，工女， 式( 2 一1 8 ) 式中胁d 表示x 1 ，x 2 ，x k 按大小排序后取中值，即 弋点裟= l 曲、 其中x 表示按1 1 ，x 2 ，x k 按大小排序后的集合。滤波窗口大小可以选为3 x 3 、 5 x 5 或7 x 7 ，根据实验仿真分析，选5 x 5 最为合适，这时的处理时间和效果均表现 良好。 下图视频图像中某一帧图像分别依次经过滤除乘性噪声、高斯噪声、脉冲噪 声处理后的效果图。 ( a ) 原图像( b ) 乘i 睫嗓声滤隙 ( c ) 乘性、鬲斯嗓声滤除( d ) 乘性、磷斯和脉冲噪芦褥陆 图2 6图像噪声滤除 2 4 2变化检测 变化检测可以使用两帧图像中同一位置像素的差来实现，但只用单个像素的 差来进行变化检测易受噪音干扰，所以通常用该像素为中心的两个块的差别来代 替。通常用于变化检测，体现块之间差异的准则主要包括： 块均方函数肌姬似纠： s 。h 小c ，。纛。h mj 卜小f m ，n r 趣2 车载视频辅韵安全系统研究 块绝对平均函数黝