（信号与信息处理专业论文）基于dsp的人脸识别系统研究.pdf

摘要 论文题目：基于d s p 的人脸识别系统研究 学科专业：信号与信息处理 研究生：刘颖娟 指导教n - 胡涛教授 摘要 签名： 签名： 人脸识别是模式识别领域中一个相当困难又具有重要理论价值和实际应用价值的研 究课题，在身份鉴别、人机交互和视觉监控等领域有着巨大的应用前景。 本文研究数字视频系统中基于d s p 的人脸跟踪检测和识别技术，实现基于d s p b i o s 的人脸识别系统的独立运行工作方式。论文主要从人脸图像的预处理、人脸跟踪检测、特 征提取和特征匹配等几个方面，对人脸识别这一课题进行一定的研究和开发。 在人脸跟踪检测阶段，首先利用肤色信息对人脸进行跟踪，在对整幅图像二值化、去 除噪声后，对图像进行中心点定位和区域搜索，粗定位出人脸区域。经过水平平滑投影和 垂直平滑投影，定位出人的双眼。将人的双眼距离作为标准距离，根据人脸的几何特征精 定位出人脸，然后进行图像尺寸的归一化和直方图均衡化，得到标准人脸图像。 在人脸特征提取阶段，对比了d c t 变换与小波变换，本文采用基于提升格式的小波变 换，对标准人脸图像三层小波分解后，提取图像低频信息作为人脸特征进行匹配识别处理。 提升小波采用同址变换，大大减少存储空间的使用，实现了系统的实时人脸识别。 本文采用基于d s p b i o s 的实时操作系统，综合调度管理整个系统的软硬件资源，实 现了人脸跟踪检测识别系统的脱机独立运行。 从实验结果可以看出本文提出的方法在单人脸的情况下，对于正面人脸的实时跟踪达 到9 0 以上。在精确定位出人眼的情况下，识别率达到7 5 以上。结果显示该方法具有一 定的实用性。 关键字：d s p b i o s ：c c s ：人脸跟踪检测；人脸识别；特征提取；小波变换 t i t l e ：f a c er e c o g n l t l o ns y s t e mb e s e d o n d s p m a j o r = s i g n a la n di n f o r m a t i o np r o c e s s i n g n a m e = y i n g j u a n l i u s i g n a t u r e = s u p e r v i s o r - p r o f t a oh us i g n a t u r e a b s t r a c t f a c er e c o g n i t i o ni sa l la t t r a c t i v er e s e a r c hs u b j e c tt h a th a sv e r yi m p o r t a n tt h e o r e t i c a lv a l u e a n dp r a c t i c a lv a l u ei nt h ep a t t e r nr e c o g n i t i o nf i e l d s ；i th a sw i d ea p p l i c a t i o ni nt h eh u m a ni d m a n a g e m e n t ，i n t e r c o u r s eb e t w e e nh u m a na n dm a c h i n e ，v i d e os u r v e i l l a n c ea n d s oo n t h i ss u b j e c ts t u d yt h et e c l m o l o g yo ff a c et r a c k i n ga n dr e c o g n i t i o nt or e a l i z et h e i n d e p e n d e n ts y s t e mb a s e do i ld s p b i o s t h i ss u b j e c th a sd o n et h er e s e a r c hi nm a n ya s p e c t s s u c ha si m a g ep r e p r o c e s s i n g ，f a c et r a c k i n g ，f e a t u r ee x t r a c t i o nf a c et r a c k i n ga n dd e t e c t i o n i nt h es t a g eo ff a c et r a c k i n ga n dd e t e c t i o n ，t h ef a c ei sd e t e c t e db yt h eu s eo fc o m p l e x i o n i n f o r m a t i o n a f t e rs e tt h ei m a g ea st w ov a l u ea n de l i m i n a t en o i s et h ea r t i c l el o c a t et h ec e n t e r a n dt h ef a c ea r e a a f t e rl i n ea n dr o wp r o j e c t i o n b o t hp o s i t i o no fe y e si sl o c a t e d s e tt h e d i s t a n c eb e t w e e nt w oe y e sa ss t a n d a r dd i s t a n c e ，t h e nc u tt h eh u m a nf a c ea c c o r d i n gt h e g e o m e t r yp e r s o nm a k et h er i s eo fl e v e la c c u m u l a t ep o i n t sa n dp e r p e n d i c u l a r i t ya c c u m u l a t e p o i n t s t a k et h ed i s t a n c eb e t w e e nb o t he y e sa st h es t a n d a r dd i s t a n c e ，a c c o r d i n gt ot h eg e o m e t r y c h a r a c t e r i s t i c s e tt h ef a c ei m a g ed i m e n s i o nn o r m a l i z a t i o nm a dg e tt h es t a n d a r df a c ei m a g e i nt h ec o u r s eo f c h a r a c t e re x t r a c t i o n ，h a dc o n t r a s t e dt h ed c ts h i f t sw i t ht h ew a v e l e ts h i f t s a d o p tt h el i f t i n gs c h e m ew a v e l e tt r a n s f o r m ，a f t e rt h r e el a y e r sw a v e l e tt r a n s f o r mg e tt h el o w 矗e q u e n c yi n f o r m a t i o na sf a c ef e a t u r e t h el i f t i n gs c h e m ea d o p tt h es a m ea d d r e s sf o rw a v e l e t t r a n s f o r mh a sc u td o w nt h en e e d i n gs p a c ea n dr e a l i z e dt h es y s t e mo ff a c er e c o g n i t i o n t h es y s t e ma d o p td s p b i o sr e a lt i m eo s ，m a n a g ea l lk i n d so fr e s o u r c ei nt h ew h o l e s y s t e m t h er e s u l ts h o wt h a tt h em e t h o db r o w i 曲tf o r w a r db yt h i sa r t i c l eh a ss o m ea g i l i t yu n d e r s o m ec o m p a r a t i v e l yc o m p l i c a t e de n v i r o n m e n t t h em e t h o dc a nt r a c kh u m a nf a c ef a i r l yw e l l ， t h er e c o g n i t i o nr e s u l tc a l la c h i e v e7 5 w h e nd e t e c tt h ee y e sc o r r e c t e l y t h er e s u l ti s d e m o n s t r a t e dt h a tt h em e t h o dh a sc e r t a i np r a g m a t i s m k e yw o r d s ：d s p b i o sc c s ；f a c er e c o g n i t i o n ；c h a r a c t e r i s t i cd i s t i l l ；w a v e l e tt r a l a s f o r m 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我个 人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢的地 方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所论述的工作和成 果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：i l 超殖加了年弓月2 日 学位论文使用授权声明 本人& 12 兰处i 4 在导师的指导下创作完成毕业论文。本人已通过论文的答辩，并 已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，同意授权 西安理工大学拥有学位论文的部分使用权，即：i ) 已获学位的研究生按学校规定提交 印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生上交的 学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) 为教学和 科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、资料室 等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：纠缸鳢导师签名：盔，且! 整矽d 7 年3 月2 5 日 l 绪论 1 绪论 1 1 课题研究的背景及意义 在日常的交往中，人脸无疑传达着丰富而细腻的情感和心理信息，因此，以人脸识别 为代表的面部感知计算从8 0 年代末开始逐渐成为热门的研究方向之一，大量的国内外研 究人员近3 0 年来从各种角度对这一问题进行了研究，尤其是人脸识别更是引起了越来越 多的关注。 事实上，自从美国9 1 1 事件后，人的身份鉴定问题就被提升到了国家安全的角度， 如何利用人体的生物特征( 如指纹、人脸、虹膜、掌纹等) 迅速判断并确定一个人的身份 成了现在各国重点研究的技术。美国连续签署了爱国者法案、航空安全法案、边境签证法 案3 个国家安全法案，要求必须采用生物特征识别技术。i c a 0 ( 世界民用航空组织) 也建议1 8 8 个成员国将生物特征放入护照中。这就迫切需要生物特征识别技术的发展和 完善。 生物特征识别技术是利用人自身具备的永久性生物特征进行人身份鉴别的技术。人脸 识别的优势在于其自然性和不易使被测个体察觉的特点。所谓自然性，是指该识别方式同 人类( 甚至其它生物) 进行个体识别时所利用的生物特征相同。例如人脸识别，人类也是 通过观察比较人脸来区分和确认身份的，另外具有自然性的识别还有语音识别、体形识别 等，而指纹识别、虹膜识别等都不具有自然性。不被察觉的特点对于一种识别方法也很重 要，这会使该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。人脸 识别具有这两方面的特点，它完全利用可见光获取人脸图像信息，而不同于指纹识别或者 虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊 的采集方式很容易被人察觉，从而有可能被伪装欺骗。 人脸识别被重视的另一个重要原因是其在经济、安全、社会保障、犯罪、军事等领域 有巨大的潜在的应用价值，尤其是在需要对用户进行身份验证或识别的场合，如银行、海 关、重要安全部门的身份验证，驾照、身份证等证件的核对，自动门禁、安全监控、罪犯 搜捕等领域，人脸识别技术都具有广泛的应用价值。以身份验证为例，传统的p i n 加个 人密码的安全机制存在着诸多弊端，如密码难记，且易遗忘、可能被黑客攻破、密码可能 被盗窃、破译等，尤其是为了便于记忆，人们通常以自己的生日、姓名等为密码，密码的 安全性受到严重威胁。另外，在敲击密码的过程中，别有用心的人很容易窃取密码，如采 用摄像机可以录下用户所输入的密码。据统计，a t m 网络每年的交易额为1 0 0 亿美元左 右，世界范围的a t m 机的错误接受率大约为3 0 ，估计每年损失2 9 8 亿美元。由于上 述原因，人们期待着能有一种低成本、安全、方便的身份识别方式，而人脸识别技术因其 无需用户过多参与、非接触式的数据采集方式、对用户无任何损害、便于隐藏等优点而普 遍为人们所看好，被称为2 1 世纪最有前途的身份验证方法。另外，人脸识别的研究还涉 西安理工大学硕士学位论文 及心理学、理学等多个学科领域，更是模式识别、人工智能和计算机视觉的典型案例之一 人脸识别因此成为这些研究领域的重要课题之一，具有重要的理论研究价值。 1 2 国内外研究现状 人脸识别是人类视觉最杰出的能力之一，与基于其它生物特征的身份鉴别方法以及计 算机人机感知交互领域都有密切联系，因此早在上个世纪六七十年代即引起了研究者的强 烈兴趣。进入上个世纪九十年代，由于各方面对人脸识别系统的迫切需求，人脸识别的研 究变得非常热门。目前有许多研究组在从事人脸识别的研究，这些研究受到军方、警方及 各公司的高度重视和资助，美国军方每年还专门组织人脸识别比赛以促进这一领域的发 展。近3 0 年来，人脸自动识别的研究取得了很大的进展，从工程索引( e i ) 上检索到的 相关文献已达数千篇，包括i e e et p a m i 在内的重要国际期刊也有专栏甚至专刊报道人 脸识别的最新研究进展，同时还出现了专门的国际学术会议，如人脸、手势识别国际学术 会议。 人脸识别领域内最著名的国际研究机构包括：美国麻省理工学院媒体实验室( m i t m e d i al a b ) 及人工智能实验室( a il a b ) 、南；b l l k h 大学( u s c ) 、c m u 卡内基梅隆机 器人研究及交互系统实验室、马里兰大学( u m d ) 等。另外，很多国家和地区的研究机 构已经在人脸识别领域进行了大量的研究工作。 上个世纪9 0 年代中后期以来，国内的许多研究机构在自然科学基金、8 6 3 计划、攀 登计划等资助下，开始了对人脸识别的研究。其中主要包括清华大学计算机系、自动化系、 电子系以及哈尔滨工业大学、中科院自动化所等。国内的一些企业如行者公司、银晨公司 等已研制开发出自已的人脸识别系统。 1 3 人脸识别方法介绍 1 3 1 基于几何特征的方法 人脸由眼睛、鼻子、嘴巴、下巴等部分组成，正因为这些部位的形状、大小和结构上 的各种差异才使得世界上每个人脸千差万别，因此对这些部位的形状和结构关系的几何描 述，可以作为人脸识别的重要特征。基于几何特征的人脸识别方法是将人脸用一个几何特 征矢量表示，用模式识别中的层次聚类思想设计分类器来对人脸进行识别。几何特征矢量 是以人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点间的欧 氏距离、曲率、角度。人脸器官的关键点分别对应于不同的积分投影方式产生的波峰波谷， 根椐人脸结构的先验知识，可得出人脸各器官之间的几何位置关系。常采用的几何特征有 人脸的五官局部形状特征、脸型特征以及五官在脸上分布的几何特征。提取特征时往往要 用到人脸结构的一些先验知识。在这种基于几何特征的人脸识别中，基于欧氏距离的判决 是最常用的识别方法。侧影识别是最早的基于几何特征的人脸识别方法，主要是从人脸侧 2 1 绪论 面轮廓线上提取特征点入手，一般将侧影简化为轮廓曲线，从中抽取若干基准点，利用这 些点之间的几何特征来进行识别。由于现在的证件照片多为正面，而且侧面照片约束很多， 所以对侧面人脸识别的研究最近已不多见。正面人脸识别最关键的一步是选择合适的归一 化，使之不依赖于图像中人脸位置的变化。识别所采用的几何特征是以人脸器官的形状和 几何关系为基础的特征矢量，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。 1 3 2 基于人工神经网络的方法 人工神经网络把模型的统计特征隐含于神经网络的结构和参数中，对于人脸这类复杂 的、难以显式描述的模型，基于人工神经网络的方法具有独特的优势。r o w l e y 建立了一 种三层前向网6 ”“m 。为了解决人脸姿态的问题，r o w l e y 分别设置了三个姿态检测器，对 输入图像先进行预处理，尽量消除光照的影响，然后送入姿态检测器，估计人脸的姿态， 经校准和预处理后，送入三个检测器( 正面人脸、半侧面和侧面) ，最后对检测器的结果进 行综合判断。 1 3 3 基于特征空间变换的人脸识别方法 特征脸( e i g e n f a c e ) 这一术语是由m a t u r k 和ap p e n t l a n d 提出的，其思想来源于 人们开发的一种用于主成分( p c a ) 描述人脸图像的技术，该技术是用一组图片作为“基 底”，对应每个人脸照片有一个权向量，用该权向量和该“基底”的线性组合可以重构原 图片。m a t u r k 和a 。p p e n t l a n d 受其启发。利用重构权向量作为识别用的特征向量，并 找到了合适的“基底”，从而开发出了e i g e n f a e e 识别技术。从数学上来说，特征脸就是人 脸图像集的协方差矩阵的特征向量，因此特征脸是像脸的。该人脸图像集中每个人脸均可 以精确的表示为特征脸的线性组合，这些特征脸形成了一个低维子空间，称为“人脸子空 间”，每个人脸图像在该低维子空间上的投影即可以作为该人脸的识别特征”。 1 3 4 基于模板匹配的方法 模板匹配方法的思想是：库中存储着已知人脸的若干模板，这些模板既可以是整张人 脸的灰度图像，也可以是各生理特征区域的灰度图像，如眼睛模板、鼻子模板、嘴模板， 还可以选择经过某种变换的人脸图像作为模板存储。为了取得光照的不变性，有些系统采 用经过梯度滤波后的人脸图像作为模板。识别的时候，经过同样变换的输入图像与库中所 有模板采用归一化相关度量进行匹配识别，来达到分类的目的，完成人脸的识别“”1 。 弹性模板匹配是根据待检测人脸特征的先验的形状信息( 通常利用小波特征) ，定义 一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如位置、大小、 角度等，它们最终通过模型与图像的边缘、蜂、谷和灰度分布特性的动态地交互适应来得 以修正。由于变形模板利用了特征区域的全局信息，因此可以较好地检测出相应的特征形 状。但是由于可变形模板要采用优化算法在参数空间内进行能量函数极小化，因此算法的 西安理工大学硕士学位论文 主要缺点在于两点：一、对参数初值的依赖程度高，很容易陷入局部最小；二、计算时间 长。针对这两方面的问题，采用一种由粗到细的检测算法：首先利用人脸器官构造的先验 知识、面部图像灰度分布的峰谷和频率特性粗略检测出眼睛、鼻子、嘴、下巴的大致区域 和一些关键的特征点，然后在此基础上，给出较好的模板初始参数，从而可以大幅提高算 法的速度和精度。 1 3 5 其它方法 从知识表达完备性的角度来看，3 d 人脸表面模型由于不仅反映了人脸图像平面内的 结构信息，同时还保存了人脸的深度方面的结构信息，因此3 d 人脸模型是人脸的较完备 描述。3 d 人脸模型通常采用三角网格组成的图形来描述。基于模型的人脸图像编码和多 姿态人脸识别促进了3 d 人脸模型的发展和应用。但特定人的3 d 人脸模型的自动生成是 需要深入研究的一个问题。 隐马尔可夫模型是在人脸识别中将人脸的一些特征作为观察序列，通过建立马尔可夫 链来描述人脸特征。 1 4 本文的主要内容 根据对现有人脸识别方法的了解和对本实时系统应用的研究，实现了人脸跟踪检测与 识别技术，下面是本文所做的主要工作： 本系统的硬件平台。硬件平台基于s e e d 公司的v p m - 6 4 2 开发板，采用d s p b i o s 操作系统，它提供可视化的软硬件资源分配。通过对d s p b i o s 整体算法框架的理解，对 类微驱动模型、芯片支持库、板级支持库的研究，在此硬件平台上开发出脱机独立运行 的实时人脸跟踪检测识别系统。 图像的采集。本系统中的视频流通过摄像头由d s p 实时获取。视频流的格式 y ：c b ：c r 为4 ：2 ：2 ，每帧图像的大小为7 2 0 x 5 7 6 象素。每一秒可获得2 5 帧图像，本系统对 每一帧图像进行处理，实现人脸的跟踪检测。 人脸图像的前期处理。利用肤色模型对图像进行肤色检测，对肤色检测后的二值 图像进行区域搜索，去除非人脸区域，然后对得到的肤色区域进行中心点定位，根据人脸 的几何特征粗定位人脸区域，对该区域水平平滑投影和垂直平滑投影，精确定位出人眼。 将人眼间距做为标准距离，根据人眼间距与人脸五官的比例关系，精确的定位出人脸。对 人脸图像尺度归一化和灰度均衡化后，得到1 2 8 x 1 2 8 大小的标准人脸图像。 人脸图像的小波分解。预处理后得到的大小1 2 8 x1 2 8 的标准人脸图像虽然可以表 示图像的内容，但是作为特征向量来说太大。本文采用提升结构的小波变换对标准人脸图 像进行三层小波分解，变换后图像的能量主要集中在低频频带( l l ) 部分。提取三层小 波分解图像低频部分的数据做为本系统标准人脸的特征向量，大小1 6 x 1 6 的象素，所需 处理的数据量大大减小，提高了系统的实时性。 4 1 绪论 人脸图像的匹配识别。本系统采用余弦距离做为分类器，将系统实时检测出的标 准人脸图像进行三层小波分解后，提取图像的1 6 x1 6 像素低频信息作为待识别人脸特征 依次与模板库中的人脸特征进行相似度计算，取相似度最大的值与系统预设的阂值比较， 若大于阂值则判定待识别人脸为模扳库中第j 个特征，即识别为编号为j 的人，若小于阈 值，则认为待识别人脸不在模板库中。 2 人脸识别系统的硬件平台 2 人脸识别系统的硬件平台 基于d s p 人脸识别系统的硬件结构如图2 - 1 所示。 图2 1 人脸识别系统的硬件结构 f i g u r e2 - l t h eh a r w a r es t r u c t u r eo f f a c er e c o g n i t i o n 通过摄像头采集进来的视频数据流经解码器解码后送到视频端口( v i d e op o r t ) 的 缓存f i f o 中，当f i f o 中数据满时，产生扩展的直接存储器访问( e d m a ) 中断，然 后由扩展的直接存储器访i h ( e d m a ) 高速地将图像数据搬移到s d r a m 中，此过程不需 要c p u 的干预，完全由e d m a 自动完成，避免了c p u 的频繁切换。本系统在e d m a 将图像数据搬移到s d r a m 后，可以直接从s d r a m 中取出图像数据进行处理，然后 将处理结果由e d m a 传送到视频端口f i f o ，由编码器编码输出到d k 2 0 8 8 液晶显示器 显示。本系统主要通过u a r t 串口实现与d m 6 4 2 的人机交互，并将处理后的结果实时 地显示在l c d 上。控制板上共有五个按键，实现的功能分别是人脸识别，存人脸模板， 存固定人脸模板，清除f l a s h ，控制板复位，当按下某个键时，系统将会进行相应的 操作。 2 1d m 6 4 2 的存储器系统 d m 6 4 2 的存储器系统由片内内存和片外外存两部分组成“”。其中。片内内存采用两 级缓存结构，第一级包括相互独立的l 1 p ( 程序高速缓存) 和l 1 d ( 数据高速缓存) ，只 能作为高速缓存使用。第二级l 2 ( 2 5 6 k 字节) 是一个统一的程序数据空间，可以整体作 为s r a m 映射到存储空间，也可以整体作为第二级c a c h e ，或是二者按比例的一种组合。 第三级是片外外存，一般由s d r a m 构成。对于本系统，片外外存是2 个s d r a m 。l 1 、 l 2 和片外s d r a m 构成了整个系统的存储器层次结构。d m 6 4 2 提供了6 4 个独立通道的 e d m a ( e n h a n c e dd i r e c tm e m o r ya c c e s s ) 控制器负责片内l 2 存储器与片外外存及其它外 设之间的数据传输。图2 - 2 是d m 6 4 2 的三层存储器系统。 7 西安理工大学硕士学位论文 图2 - 2 d m 6 4 2 存储器系统3 f i g u r e2 - 2d m 6 4 2s t o r a g es y s t e m l 2 是l l 和外存储器的中间层，有2 5 6 k b ，是统一的存储空间，即可同时存储程序 和数据。l 2 可作为s r a m 映射到存储空间使用，也可整体作为第二级c a c h e 或是作为二 者按比例的一种组合混合使用。l 2 作为s r a m 使用时，即是d m 6 4 2 的片内内存，从整 个系统地址空间的起始地址0 x 0 0 0 0 0 0 0 0 开始编址。 d m 6 4 2 的两级缓存结构能极大地提高程序性能。本系统中，把l 2 配置为c a c h e 和 s r a m 混合使用模式。程序中要用到的一些关键数据段和代码段都放入片内内存中，如 将堆栈s t a c k 区放入片内内存。在片内和片外存储器中可分别设置一个用于动态内存分配 的h e a p ( 堆) ，动态内存分配函数m e mm a l l o c 可以方便地指定在哪个堆里开辟动态内存空 间。 d m 6 4 2 三层次的存储器系统访问数据的流程如图2 3 所示，d s p 内核要访问数据时， 先查看一级缓存l 1 ，若l 1 已缓存了该数据，则直接从l l 读写数据；若l l 没有该数据 的缓存，则访问二级缓存l 2 ，若l 2 也没有缓存该数据，则通过e m i f 接口访问外部 s d r a m ，把数据从外部s d r a m 拷贝到l 2 缓存区，再从l 2 缓存区拷贝到l l ，最后由 d s p 内核取得。 存储器越大，速度越快，系统执行效率越高，将经常需要用到的变量分配到l 2 中， 减少c p u 切换所需时间开销，可提高系统的整体速度。 8 图2 - 3c p u 访问存储器流程图 f i g u r e2 - 3c p u a c c e s ss t o r a g ef l o wc h a r t 日h 一占 2 人脸识别系统的硬件平台 2 2f l a s h 模块 f l a s h “n 也称闪速存储器，它的主要特点是在不加电的情况下能长期保持存储的信 息，本质上属于e e p r o m ( 电可擦除只读存储器) 。它既有r o m 的特点，又有很高的存 取速度，而且易于擦除和重写，功耗很小。 在本系统中f l a s h 主要有两个作用：一是存放程序代码，实现整个系统的自引导以完 成系统的脱机独立运行。上电以后，f l a s h 中的程序代码被装入s d r a m 或d s p 内部r a m 中，系统开始独立工作；另一个作用是存放本课题人脸识别系统所需要的人脸特征模板以 及一些相关的记录数据等。本系统中的存储空间配置如图2 - 4 所示。 地址 o x 0 0 0 0 0 0 0 0 0 x 0 0 0 4 0 0 0 x 8 0 0 0 0 0 0 0 0 x 9 0 0 0 0 0 0 0 o x a 0 0 0 0 0 0 0 o x b 0 0 0 0 0 0 0 存储空问配置映射空间 内部存储器高速 缓存 保留空间或外部寄 存器 s d r m f l a s h u r n ，c p l d 其它设备 未分配 内部存储器高速 缓存 保留空间或外部寄 存器 e g i fc e o e m i fc e l e m i fc e 2 e m i fc e 3 图2 - 4 存储空间配置 f i g u r e2 - 4m e m o 叮s p a c ec o n f i g u r a t i o n 本系统配置了4 m x 8 位的f l a s h 存储器，映射到d m 6 4 2 的c e i 地址空问，由图2 - 4 可以看出c e l 子空间除了分配给f l a s h 外，还分配给状态，控制寄存器、u a r t a 、u a r t b 等资源使用，其中f l a s h 只占用了c e l 予空间的前一半寻址空间，即5 1 2 k x 8 位，而 f l a s h 的设计容量为4 m x g 位，为了能够访问到f l a s h 所有的地址空间，采用了分页 技术实现对f l a s h 整个地址空间的访问，即将整个4 m x 8 位的f l a s h 分成8 个5 1 2 k x 8 位的页，其中每一页又可分为8 个6 4 k 8 位的扇区，这样用户可以根据自己的需要使用 f l a s h 。 本系统将用户程序及系统的自引导程序烧写在f l a s h 的第0 页，其余1 到7 页可用 于存放人脸模板，本系统中人脸模板存放在第5 页。标准人脸图像经三层小波变换后，提 取人脸特征向量大小为1 6 x 1 6 个d o u b l e 型数据，每一个d o u b l e 型的数据占8 个字节，因 此一个人脸特征向量占用2 k 字节，每页共可存放2 5 6 个人脸模板。 9 西安理工大学硕士学位论文 2 2 1f l a s h 存储器的读写操作 通过向f l a s h 存储器的特定寄存器写入地址和数据命令，就可对f l a s h 存储器编 程，但要按一定的顺序操作，否则就会导致f l a s h 存储器复位。由于编程指令不能使“0 ” 写为“l ”，只能使“1 ”变为“0 ”，而擦除命令可使“0 ”变为“l ”，所以正确顺序是先擦 除，后编程。执行完擦除命令后，如果存储空间内每一位数据都为“0 x f f ”，说明擦除成 功，可以向f l a s h 中写入数据。 写操作向f l a s h 的指定地址中写入数据，需要四个总线周期，前两个是解锁周期，第 三个是建立写操作，最后一个周期完成向写地址中写入编程数据。擦除操作分为片擦除和 扇区擦除两种，都需要6 个总线周期，前两个是解锁周期，第三个建立周期，四、五两个 是解锁周期，最后是片擦除或扇区擦除。读操作和一般读数据操作一样，上电或擦除操作 结束后就进入读数据状态。f l a s h 具有灵活的扇区结构，支持全芯片擦除，也可以擦除 或重编程一些扇区而不影响其它扇区的内容。 在本系统运行时，当接收到串口发来的命令为擦除命令时，便开始进行f l a s h 擦除 操作，可以选择只擦除一个扇区或是擦除一整页，本系统中选择擦除整个第5 页。当接收 到串口命令为存人脸模板时，首先根据人脸模板个数计算新增加的人脸模板的地址，然后 将人脸模板写入f l a s h 中第5 页的该地址中，并将人脸模板个数加l 。考虑到系统会出 现的异常情况，所以对所有的人脸模板做了一个备份。当接收到串口命令为存固定人脸模 板时，将备份的人脸模板全部按顺序写入f l a s h 第5 页中。 2 2 2 烧写f l a s h 完成系统独立工作 一个完整的独立运行的嵌入式系统必须要有一个合适的存储器存放用户代码，并且实 现上电后整个系统的自引导。当系统的应用程序调试完成，需要脱机运行时，存放在 f l a s h 中的应用程序需要被自动加载到d s p 的r a m 中高速地运行，实现系统的自动引 导加载。 a 应用程序的f l a s h 引导 在d s p 的应用系统中，采用的最普遍的引导的方式就是f l a s h 引导。对于d s p 芯 片来说，它的内部r o m 空间是有限的，生产商在这个小容量的r o m 中固化了一些程序 和查找表，当上电复位后，程序指针自动指向r o m 中的一个称为b o o t l o a d e r 的小程序， 这个程序会根据环境选用相应的b o o tl o a d e r 方法将外部f l a s h 中的程序搬移到d s p 片上 的r a m 中或片外的s d r a m 中，并将程序指针移到执行程序的第一行处。 当r o m 引导被确认为目标系统的引导方式时，一旦上电复位后，d s p 目标系统将通 过e d m a 把位于c e l 地址空间开始的l k b y t e 的代码自动移植到内部从地址0 开始的存 储器( r a m ) 中。d s p 的目标系统应用程序代码通常远远超过1 k b y t e ，所以需要开发引 导装载程序。通常，引导装载程序将被放簧在只读存储器的起始地址处，一旦d s p 上电 1 0 2 人脸识别系统的硬件平台 复位，引导程序就会通过片上自动加载机制加载到r a m 地址0 处，且此时c p u 复位， 开始执行引导程序。当引导程序完成应用程序的引导任务后，c p u 跳转到ci n t 0 0 处开始 执行。 b 用户引导代码 用户引导程序的大小不能超过1 k 字节，且必须用汇编语言编写。它的主要功能有： ( 1 ) 配置d s p 的e m i f 控制寄存器，包括配置全局控制寄存器和各个空间控制寄存器以及 s d r a m 的控制寄存器、时序控制寄存器和扩展控制寄存器等；( 2 ) 从f l a s h 的第0 页的起 始地址为0 9 0 0 0 0 4 0 0 处开始把程序的各个段和数据拷贝到指定的存储器物理地址中；( 3 ) 跳到程序的入口点c _ i n t 0 0 处，建立c 语言的运行环境，包括系统堆栈定义、初始化堆栈、 初始化全局和静态变量等，为d s p 运行m a i n ( ) 函数做好准备工作；( 4 ) 从m a i n ( ) 处 开始执行应用程序。d s p 加电复位后，片上的r o m 程序从f l a s h 中拷贝1 k 数据( 用户引 导代码) 到r a m 的0 地址处然后从0 地址处开始执行指令。本系统所使用的用户引导代码 b o o t a s m 是由s e e d 公司提供的，在程序进行编译前将该文件包含在用户的开发程序中即 可。 c 存储器配置文件 在c c s 集成开发环境中，d s p b i o s 配置工具中的存储管理器选项中，为其建立一个 起始地址为0 长度为o x 4 0 0 的“b o o t ”的内存段，同时，将“i s r a m ”段的起始地址从o x 0 0 移到o x 4 0 0 处，且原来长度相应减去o x 4 0 0 ，添加“b o o t l o a d ”代码段，即用户引导代 码，创建连接命令文件，并将“b o o t l o a d ”代码段映射到“b o o t ”内存区。 d o u t 文件到h e x 文件的转换 ( 1 ) 编译自己建立的工程生成o u t 文件；( 2 ) 建立c m d 批处理文件：( 3 ) 将o u t 文件和c m d 文件以及h e x 文件转换工具h e x 6 x 放入同一文件夹；( 4 ) 在操作系统的命令 行提示符中把此文件夹设置成当前目录，敲入h e x 6 xx x c m d 即可生成h e x 文件。 c m d 批处理文件内容如下： x x o u t a m e m w i d t h8 一b o o t b o o t o r g0 x 9 0 0 0 0 4 0 0 一b o o t s e c ti o n b o o t l o a do x 9 0 0 0 0 0 0 0 r o m s f l a s h ： o r g = o x 9 0 0 0 0 0 0 0 ，l e n = o x 8 0 0 0 0 ，r o m w i d t h = 8 ，f il e s = x x h e x 1 第一行是待转换的o u t 文件名：第二行为输出a s c h 的十六进制格式：第三行指定存 西安理工大学硕士学位论文 储器字长；第四行为生成一个b o o t 表；第五行为采用并口b o o t 模式并指定了起始地址； 第六行指定b o o tl o a d 段的加载地址，而不是按程序在l i n k e r 时所产生的加载地址；第七、 八、九、十行指定了f l a s h 存储器的起始地址，长度，字长以及输出的h e x 文件名。 e f l a s h 的烧写 f l a s h 烧写需保证d s p 板通过j t a g 口与计算机连接正常。利用t i 公司提供的一个名 为f l a s h b u r n 的插件程序，先擦除f l a s h 中的全部内容，然后根据插件程序的图形界面进 行相应的配置即可烧写。f l a s h b u r n 的图形界面如图2 - 5 所示。 图2 - 5 f l a s h 烧写界面 f i g u r e2 - 5f l a s h b u mi n t e r f a c e 填写各项配置完成后，开始程序的烧写如下： 1 ) 打开p r o g r a m 菜单下的e s r a mf l a s h 选项。在进行这项操作时，由于 s e e d v p m 6 4 2 的f l a s h 擦除需要4 0 s ，超过了软件擦除的3 0 s 时间，会报超时错误，( 约等 一分钟就可以了) 忽略即可。 2 ) 打开p r o g r a m 菜单下的p r o g r a mf l a s h 选项。 3 )提示烧写完成后，关掉此程序，关掉c c s ，复位系统。 本文的人脸识别程序存储在f l a s h 的第0 页上，系统上电以后d m 6 4 2 r o m 中的程序和 本文的b o o tl o a d e r 程序把程序加载到r a m 中，并从程序的入口处开始运行，至此，本文 完成了人脸识别系统的独立运行。 2 3u a r t 串口 双通道u a r t “”收发芯片( t l l 6 c 7 5 2 ) 的寄存器随同c p l d 内部实现的其它异步寄 存器一起，被映射在d m 6 4 2 的c e l 空间的高位。两个u a r t 通道的寄存器的地址映射 如表2 1 所示。 1 2 2 人脸识别系统的硬件平台 表2 - 1u a r t 的映射地址 t a b l e2 1u a r tr e f l a c t i o na d d r e s s u a i 玎 地址 a0 x 9 0 0 80 0 0 0 0 x 9 0 0 b0 0 0 7 b 0 x 9 0 0 80 0 0 8 0 x 9 0 0 80 0 0 f 本课题通过u a r t 按照r s 2 3 2 串口通讯标准与v p m 6 4 2 进行人机交互。波特率设为 9 6 0 0 ，数据位为8 位，停止位1 位。该u a r t 串口有两个通道，本课题只使用了a 通道。 通过查询u a r t 的s e e d d m 6 4 2u a r ti i r 寄存器状态位，判断有无按键按下，如果有 按键按下，从s e e d d m 6 4 2u a r tr h r 寄存器中读取串口数据，根据串口数据的值，执 行人脸识别，存人脸模板，擦除f l a s h 等相应的操作，如果没有按键按下，则系统循环 执行抓帧显示程序。 2 4i2 c 总线 1 2 c 总线“”是由p h i l i p s 公司开发出来的一种简单的双向总线接口协议。这种总线接口 协议解决了数字控制电路的许多接口问题，它通过s d a ( 串行数据线) 和s c l ( 串行时 钟线) 可实现完善的全双工同步数据传送，能够十分方便地与连到总线上的各个器件传送 信息，构成多机系统和外围器件扩展系统。1 2 c 器件无须片选信号，由主器件发出1 2 c 从 地址决定与之通信的对象。 d m 6 4 2 上集成有一条1 2 c 总线，d m 6 4 2 为此1 2 c 总线的主设备。本系统使用的i 2 c 总线如图2 6 所示，此i 2 c 总线连接视频编码器，视频解码器。每个1 2 c 总线的从设备均 对应一个从设备地址，i 2 c 总线以此从设备地址来区分所访问的是哪一个从设备。 s d a s c l 图2 - 6 1 2 c 总线 f i g u r e2 - 61 2 cb u s 3 基于d s p 实时人脸识别系统的软件平台 3 基于d s p 实时人脸识别系统的软件平台 本章将详细介绍本文的软件开发过程，本文所提出的人脸识别系统采用t i 公司推出 的c c s 2 2 集成开发环境来进行d s p 应用程序的开发。 3 1 软件集成开发工具c c s 1 r i 设计的基于d s p 集成化开发环境c c si d e “”，将建立d s p 应用程序所需要的工具 集成在一起。其主要成分包括： ( 1 ) 智能化的i d e ，包括c o d e m a c s t r o 技术； ( 2 ) c c 抖编绎器、汇编优化器以及连接器( 代码生成工具) ； ( 3 ) 实时操作系统(