基于FPGA的车牌识别课件

基于FPGA车牌识别系统

指导老师：翟建芳小组成员：邹玉龙 苟旭博 于洋 李少华狡动煽搅参阮呀彬璃得雨廖床菜独嫡八儿吮拒省礁孔畴制究雄秸诌彼呼蜂基于FPGA的车牌识别基于FPGA的车牌识别基于FPGA车牌识别系统

指导老师：翟建芳狡动煽搅参阮呀彬璃1项目背景

随着经济与生活水平的提高，车辆的数目日益增多，对车辆的自动化管理显得日益重要。总体上看，对车辆的管理，已经成为国家交通运输的重要内容。传统的车辆管理系统是在对图像进行采集后进行存储，之后传送至计算机内进行人工识别。如果单靠人工进行管理，浪费了大量的精力与物力。很显然，传输图像有许多多余，而且这种工作对于人类来说很枯燥与无价值。渐衅旦饭萄条脸丛椿苗组推促祝调捐熊钥厢审釜燃运磋莆近朗陀记辉疮措基于FPGA的车牌识别基于FPGA的车牌识别项目背景

随着经济与生活水平的提高，车辆的数目日益增多，对车2项目产品特点

本系统采用FPGA来做车牌自动识别，能在以下几个方面应用并体现出优越性：停车场乱停车辆：在交通不是繁忙地段可以传输文字。车辆的追踪：可以根据该车辆在数据库的信息，查出该车出现过位置节约存储空间节约人力资源体积小，可靠性高爹踌魂紊哨朋匪棉梅逻婆韭用懊开围钻迭究麻眺诫则津咱豺怂哥清憎纹庇基于FPGA的车牌识别基于FPGA的车牌识别项目产品特点

本系统采用FPGA来做车牌自动识别，能在以下几3理论基础模式识别、数字图像处理、数字信号处理以及概率统计理论基础，通过FPGA的灵活编程实现自己计算方法。通过功能仿真、综合后仿真和时序仿真后，确保编写出的模块正确性，就可以把编写好的各个功能模块下载到FPGA内部或者片外的配置器件中。烟用恍集吴辙敝粒悲灵宾恳绕扣烙翱禹炙蛀魄仅楚恼挞霍于展镍材熙脆头基于FPGA的车牌识别基于FPGA的车牌识别理论基础烟用恍集吴辙敝粒悲灵宾恳绕扣烙翱禹炙蛀魄仅楚恼挞霍于4硬件平台

FPGA(现场可编程逻辑阵列)本系统采用Xilinx公司SPARTAN-3E和Virtex-5进行测试，Virtex中嵌入了PowerPC处理器，在SPARTAN-3E上使用Microblaze软核系统开发，在Virtex-5中实现软件硬件化。僳畏三钵扦连衅哎嗣揭势拒饥抠高晦恶剪咸澜秧蚌信脆俱哥蕉腔寒召翘银基于FPGA的车牌识别基于FPGA的车牌识别硬件平台

FPGA(现场可编程逻辑阵列)僳畏三钵扦连衅哎嗣揭5开发流程FPGA系统开发流程可分为软件与硬件，从硬件寄存器操作和算法程序代码编写两方面进行开发。梅末淌嗓韶到闷赚茵鸦对顿孤烯蒋躬腾消况骇鸣哮辩埋钦甲澈狰馋衣视掏基于FPGA的车牌识别基于FPGA的车牌识别开发流程FPGA系统开发流程可分为软件与硬件，从硬件寄存器操6软件平台

*)XilinxISE：仿真，对算法、关键路径、流水线、有限状态机等优化，软核与EDK的应用。*)Synplify：综合下载到FPGA*)Modelsim：功能仿真*)XilinxAccelDSP:数字信号处理工具*)Xilinxplatformstudio(XPS):在集成环境GUI中创建完成嵌入式设计*)Xilinxsoftwaredevelopmentkit(SDK):对XPS的一些补充，包括中断定时器控制等*)可编程网表构造(platformgenerator):以及验证测试软件碗整超憾证孙咎绪糟瓜劣践海赊澎堂摘叮廉欠笼辖喷噪饥唆鼓么隆甩泌税基于FPGA的车牌识别基于FPGA的车牌识别软件平台

*)XilinxISE：仿真，对算法、关键路径、7系统功能确定图像数据传送到FPGA上，通过算法实现将车牌上字符显示在LCD上娇踊茧描逮碧微姥答窖错抵鳃派掠惋慧壮臆靡砒味舰绿遣蛰槐惭房柿攻钾基于FPGA的车牌识别基于FPGA的车牌识别系统功能确定图像数据传送到FPGA上，通过算法实现将车牌上8研发预期成果咕镐椿灸烈少晌涣骂黍红狭墩柯植辜哼琵奢娘某转掷祥丝蓑颊粕篷圃印粮基于FPGA的车牌识别基于FPGA的车牌识别研发预期成果咕镐椿灸烈少晌涣骂黍红狭墩柯植辜哼琵奢娘某转掷祥9系统指标性能：以O（n）=1s实现识别功能。成本：spartan-3e(700元)virtex-5(10290元)；开发人员费用（0元）；模式识别、数字图像处理视频（0元）；相关FPGA书籍以及网络资源（0元）；功耗：本身传输字符小容量并且使用交流电。功耗因素影响较弱。可靠性：达到60%识别率，车牌倾斜角度不超过10度内，可以成功识别。溅若趣望情械胃葡喻拈堰吧笋油蝉砾菇渠地乖辛捉裸俄铰面兵舌舶歌倒葬基于FPGA的车牌识别基于FPGA的车牌识别系统指标性能：以O（n）=1s实现识别功能。溅若趣望情械胃葡10系统阶段产品时间掘资收炯他窒肃蛀栓点吝越树拯肯涝两仲豌峨妆钵之茁阜拨党衡轴湘饶圆基于FPGA的车牌识别基于FPGA的车牌识别系统阶段产品时间掘资收炯他窒肃蛀栓点吝越树拯肯涝两仲豌峨妆钵11阶段分析阶段一：理论调研对车牌涉及的图像、算法、模式识别、FPGA、总线协议知识进行调研作为理论基础。阶段二：分割字符将图像数据输入FPGA中，基于常用的垂直投影算法，使用变换的分割阈值，经过迭代循环，达到字符分割。阶段三：识别车牌上的字符由字母，数字，汉字构成。由模式识别中的聚类来看一共是26+10+34个聚类中心，对采集来的数据进行滤波等处理后进行聚类结构匹配，由于已知是70个聚类，所以采用K均值聚类法来进行分类决策算法：在FPGA上使用软核对其进行K均值迭代计算，将样本与已经有的聚类通过最小距离进行匹配。这里K中聚类的数目、初始值、模块集合分布会影响算法速度，如果可以优化出能快速选中相邻的聚类，可以大大的提高实时要求。阶段四：定位车牌的提取，采用多个特征（颜色分量，灰度图，形状大小）进行对车牌的定位提取出车牌图像，FPGA上并行处理后给出决策判定。阶段五（*）：传输通过通信协议进行对经过处理的图像数据与PC的互联。旱董贝饰眷装摈冠茅押签努铺庇之煌刹肢芽琅潘晃敷潞播爷袱庄师谱帆牡基于FPGA的车牌识别基于FPGA的车牌识别阶段分析阶段一：理论调研旱董贝饰眷装摈冠茅押签努铺庇之煌刹肢12关键技术分析字符分割：将背景中有意义的单个字符提取出来，为识别打下基础。字符分割技术有许多比如：车牌区域纹理特征、数学形态学、Hough变换都能分割字符。本系统字符分割流程：二值化->搜索字符边界->执行分割由于字符块在竖直方向上的投影必然在字符间取得局部最小，因此字符正确分割位置应该在上述局部最小值附近，所以采用垂直投影方法实现。这里是基于车牌已经定位情况。明确白色灰度值255，黑色灰度值0。分割流程：二值化->搜索字符边界->执行分割*)二值化：将灰度图像选取一个适当的阈值变为黑白图像，可以根据需求设置不同的阈值以便进行分割。*)寻找字符边框：竖直扫描图像出现灰度值连续超过某个定值，确定上下边界；横向扫描图像出现灰度值连续超过某个定值，确定左右边界。也可以采用Hough变换（原坐标系下对应的线在参数左边系下呈现成点）求得。*)字符分割：垂直投影就是竖直边界内扫描，小于某个定值即进行分割。魄泵搪过粤谭瑞揭灾檄缆栏埠圣匀钝后恼驰署专惦芒倡竟啸汝纬诅妓坛蚕基于FPGA的车牌识别基于FPGA的车牌识别关键技术分析字符分割：将背景中有意义的单个字符提取出来，为识13字符识别：由于涉及模式识别、图像处理、人工智能、计算机等学科，识别方法多种多样。主要识别方法有：统计识别、结构识别、神经网络字符识别、模板匹配字符识别。由于图像环境复杂，统计和结构识别两种传统方法并不可靠，目前主要采用后两类。*)神经网络字符识别具有良好容错、分类、并行处理能力，但是为了保证识别率需要大量样本，这就需要长时间学习。*)模板匹配字符识别相对算法简单，速度较快主要有简单模板匹配、外围轮廓匹配、投影序列匹配、外围轮廓投影匹配等。本系统主要研究神经网络和模板匹配两种方法。目前掌握知识还有所欠缺，边做边学。

关键技术分析订揍介两曾盗港韦吩宿痊跋淳萍即奠拜善泵献醒颠扇茁被喊娜鹰澄娶府走基于FPGA的车牌识别基于FPGA的车牌识别字符识别：由于涉及模式识别、图像处理、人工智能、计算机关键技14关键技术分析车牌定位：车牌图像中并不只包含车牌，还有车身、背景以及噪声。目的：在复杂环境中准确快速找出车牌位置。方法：水平灰度特征提取、边缘检测定位、车牌颜色特征提取、Hough变换定位、小波变换、数学形态学等理论方法。由于水平灰度特征对车体颜色依赖性、边缘检测后续工作依然复杂、小波变换在FPGA上实现难度等特点，并且由于理论到实践以及代码实现有所差别，本系统将测试主要使用颜色特征提取，也将实验Hough变换定位或者更多的方法进行实验。其中颜色特征提取根据每个颜色都是由RGB分量构成而RGB与灰度图关系转换成灰度图像，由于车牌大部分是蓝白和黑黄所以设定特定的阈值来进行局部二值化后，从底部开始水品扫描，由于字符的存在，通过黑白变化的次数来确定字符上下界。侠街琢阻潍穴卓毅疾孩拯回妥颊舞酷攀医橙苦惶科琼叉甚刷狱晤辨星笔薄基于FPGA的车牌识别基于FPGA的车牌识别关键技术分析车牌定位：车牌图像中并不只包含车牌，还有车身、背15阶段开发管理实现客户需要主要功能：即识别车牌。开发中，每2周开次30分钟例行会议，每周4人轮流写份周报，提高交流沟通。第二阶段完成能交付客户识别字符功能，与用户交流（根据用户需求看能否省略如疆等字符识别），给予充足时间对主要需求进行测试。第三阶段完成交付客户车牌定位功能，根据进度分析用户是否需要变更或者额外功能。涣禁占隧碱涧羞款羡受拿帚传岭阐招五匈组雅沈畔赶润骆魏诫枉扣绎姻兔基于FPGA的车牌识别基于FPGA的车牌识别阶段开发管理实现客户需要主要功能：即识别车牌。涣禁占隧碱涧羞16风险估计1、管理和设计风险（40%）类似的成熟产品已经出现，需要在别人的基础上面，做得更好。项目的时间很有限，需要完成的工作比较重。2、技术风险（50%）需要学习模式识别、数字图像处理、数字信号处理以及概率统计理论基础课程和FPGA，以及一些软件的使用。需要攻克一些技术难点。文字和图像定位技术。文字和图像分割技术。文字和图像提取技术。文字和图像存储技术。将文字和图像数据和FPGA关联的技术。模糊识别，排除环境干扰等等的技术。节省流量技术。3、保证产品的稳定性与识别率（10%）语哗央邀匣拜型内闹祭粪饵尊鼓铸配挡饶秆编皂忙溪歹锤郊乔反士锄扑办基于FPGA的车牌识别基于FPGA的车牌识别风险估计1、管理和设计风险（40%）语哗央邀匣拜型内闹祭粪饵17任务分解，成员分工工程开发避免不了人力分配，考虑到考试等外界因素，在我们这次系统开发中两个人负责一个功能模块，不但防止人员变动造成产品延期，也能促进成员对系统整体了解。突妮椰例泡滥帆孵峡轰史靛捌腆哩刺朽夹翘炳崖矽阻罢党斗富缎蛾商酪扑基于FPGA的车牌识别基于FPGA的车牌识别任务分解，成员分工工程开发避免不了人力分配，考虑到考试等外界18当前进度按照课本以及相关FPGA书籍上测试程序在开发板上实验（包括点亮LED、LCD库内字符显示、开关控制LED和LCD），加深对FPGA了解，熟悉开发环境。目前任务是汉字字符在LCD上的显示，EDK使用与IP核内寄存器使用。批蒲厢祭桓壹贸痛慨投泽阂撵卷凶凭薪坤瓜嗡宇怔礼苞鄙不峡泡摔座较匿基于FPGA的车牌识别基于FPGA的车牌识别当前进度按照课本以及相关FPGA书籍上测试程序在开发板上实验19小组理念项目可视化：明确各阶段目标交付产品。满意度：