基于DSP的嵌入式图像识别系统设计与实现

1、 2006年第 2期 (总第 284文章编号 :1002-8692(2006 02-0082-03基于 DSP 的嵌入式图像识别系统设计与实现 *王孝国 , 张雄伟(中国人民解放军理工大学 通信工程学院 , 江苏 南京 210007【 摘要 】 设计实现了一种基于 DSP 的嵌入式图像识别系统 。 该系统采用专用视频输入处理芯片 SAA7111和 DSP 实现了数字图像的采集 、 预处理 、 特征提取及识别 , 且对系统中的图像采集 、 图像处理 、 USB 通信模块以及系统的升级维护方法进行了介绍 , 给出 了基于该系统的人脸识别方案及测试结果 。【 关键词 】 图像处理 ; 通用串行总线

2、; 软件优化 ; 人脸识别 【 中图分类号 】 TP391.41【 文献标识码 】 ADesign and Implementation of Embedded Image Recognition Based on DSPWANG Xiao-guo, ZHANG Xiong-wei(Department of Electronic Information Engineering ICE, PLAUST, Nanjing 210007, China【 Abstract 】 In this paper, we design and implement an image recognition sy

3、stem, in which the Philips s SAA7111and TI s C5509are used to realize the image collection, preprocessing, feature extraction and recognition. Image acquisition, image processing, and USB communication model are emphasized in this paper. Finally, the application of face recognition based on the syst

4、em and the experiment results are presented.【 Key words 】 image processing; universal serial bus; software optimization; face recognition 论文 1引言图像识别技术在国家安全 、 军事安全 、 公安 、 司法 、交通 、 金融和芯片检测制造等领域具有极广阔的应用前 景 。 由于图像识别难度高 , 技术复杂 , 准确率较低 , 故尚未 得到广泛应用 , 而现有的一些图像识别系统多数面对计 算机应用 , 其方案采用 PCI 图像采集卡进行图像采集和PC 机软件进行

5、图像处理 , 致使该方案体积较大 , 成本较 高 , 不便于携带 。 因此 , 笔者设计了一种基于 DSP 的嵌入 式图像识别系统 。 该系统包括图像采集 、 特征提取和识别 以及 USB 通信等模块 , 其体积小 , 功耗低 , 速度快 , 适应 性好 , 易于携带 , 易于升级维护 , 既可作为手持识别设备 , 也可安装在门禁系统中 。2系统的软硬件设计系统硬件结构如图 1所示 , 主要包括图像采集模块 、 图像处理模块 、 USB 通信模块 。其中 :图像采集模块又进一步分为摄像头 、 图像解 码 、 CPLD 控制以及 DSP 的 DMA 通道数据采集等几个部 分 ; 图 像 处 理

6、模 块 是 系 统 的 核 心 , 它 由 TI 公 司 的TMS320C-55091, 2来实现 。识别系统的工作流程 :系统上电后 , SAA71113对摄 像头送过来的模拟图像信号进行解码后输出数字图像信 号和控制信号 , 经过 CPLD 逻辑转换后直接由 C5509的DMA 通道采集存储到 C5509的外部扩展存储器 SDRAM 中 , 当一幅图像采集完毕后 , C5509调用图像校准及归一 化算法完成图像的预处理 , 然后调用特征提取算法提取 图像特征 , 最后将提取的特征送入分类器进行分类识别 , 即将提取的特征与存储在 FLASH 上的特征库中的特征 进行匹配 , 并将识别结果显

7、示在 LCD 屏上 。 特征库以及 分 类 器 参 数 是 通 过 PC 机 进 行 预 先 提 取 及 训 练 后 通 过USB 接口下载到 FLASH 中的 。 2.1图像采集模块图 像 采 集 前 端 处 理 器 采 用 PHILIPS 公 司 的SAA7111, 利用其同步参考信号 vref 、 行同步参考信号 href 、奇偶场标志信号 rtso 、 像素时钟信号 llc2就可以实 现图像数据采集 。 图像采集模块的控制逻辑主要完成图像 信 号 的 抽 取 、 数 据 线 复 用 以 及 中 断 逻 辑 的 产 生 。SAA7111解 码 输 出 的 是 720×576分

8、辨 率 的 图 像 , 通 过 CPLD 逻辑控制 , 可以分别采样 720×576, 360×288, 180×144等格式图像 , 从而满足不同信道和应用需求 。 同时 , 通过对 SAA7111的输出信号进行逻辑综合产生 DSP 的DMA 触发事件 , 保证图像数据的实时不丢失采集存储 。*江苏省“ 图像处理与图像通信 ” 高校重点实验室资助 (KJS03036 图 1硬件系统框图摄像头I 2C USBC5509EMIF ESAM PC 机中断逻辑图像提取CPLDSAA7111存储器 VIDEO ENGINEERING2006(No. 284图 2给出了采集

9、图像大小为 360×288时的控制逻辑 时序仿真图 。 其主要设计思路如下 。1 总线共享设计系统硬件实现时 , 将 CPLD 作为 C5509的一个外设 ,SAA7111的 输 出 数 据 线 经 CPLD 逻 辑 转 换 后 直 接 与 C5509的 EMIF 接口上数据线相连 , 为避免数据线上的 访问冲突 , 将 C5509的 ce0作为三态门的使能信号 , 只有 在该信号为低电平时 , CPLD 才将有效数据放在 D 15 0上 , 否则为高阻态 。2 图像数据的有效采集当 DSP 接收到采集按键的采集指令时 , 不是立刻进 行数据采集 , 而是将输出信号 (CPLD 输入

10、信号 dspctl 置 “ 1” , cpld 中的控制逻辑在 dspctl 为 “ 1” 时检测奇偶场标 识信号 rts0的上升沿 , 此后才在 llc2, href 和 vref 逻辑的 配合下向 C5509发送 DMA 中断触发信号 intdspl 。 如果控 制逻辑不检测 rts0的上升沿 , 则采集到的图像起始点可能不在图像的左上角 , 使得采集到的图像由前后两幅图 像的拼接而成 。3 DMA 通道数据传输由于系统设计中没有采用专门的帧存储器 , 故保证 图像数据的不丢失采集存储是一个关键问题 。 若采用中 断方式进行数据采集 , 即 DSP 收到外部中断后来访问外 部存储器 (本系

11、统中为 CPLD , 则会丢失大量的 图像样 点数据 , 这是因为 DSP 收到中断信号后需要执行大量的 保护指令 , 会耗费大量的 CPU 时钟周期 , 当这些指令执 行完毕后再去读取数据时 , 样本点数据早已发生了变化 , 从而导致数据丢失 。 故系统设计中采用 DMA 通道进行 数 据 采 集 , 其 触 发 信 号 由 CPLD 的 intdspl 产 生 , 一 旦C5509的 DMA 控制器收到 intdspl 中断触发信号 , 它就 启动一次 DMA 传输操作 。 在 DMA 通道采集数据时 , 需 要对 C5509的 EMIF 的读时序进行正确配置 , 否则不能 正确采集图像数

12、据 。2.2图像处理模块硬 件 系 统 的 核 心 处 理 器 采 用 TI 公 司 的TMS320C5509, 它是 TI 推出的新一代低功耗高性能 16位 定 点 数 字 信 号 处 理 器 (DSP , 其 工 作 主 频 可 到 200MHz , 周期效率达到了 C54x 的 2倍 , 且功耗只有 C54x 的 1/6, 具有强大的图像分析和处理功能 。 图像处理模块的 主要工作是实现图像数据的特征提取并完成分类工作 , 同时利用 DMA 通道配合图像采集模块实现图像数据的 无丢失采集 。在图像进行分析处理时应尽可能地使用 DSPLIB 和IMALIB 库中的函数 , 如对图像数据进行

13、离散余弦变换 、 二 维 小 波 变 换 时 , 可 采 用 IMALIB 提 供 的 IMG_sw_fd-ct_8x8, IMG_wave_decom_two_dim 等函数 , 这些函数均用汇 编语言编写 , 优化程度很高 。 另外 , 在 C 程序中尽可能地 采用内联 (inline 函数 , 以便提高代码的集成度 。 由于采 用混合编程方法 , 故在程序设计上要严格遵循函数调用 规则和寄存器的使用约定 。2.3USB 通信模块图像识别系统需要通过 USB 接口与主机进行通信 ,便于进行特征及分类器参数的更新 , 同时 , 通过该接口可 以将识别系统采集的训练样本上传给 PC 机 , 实

14、现特征 提取以及分类器算法的设计 。TMS320C5509提供了 USB2.0接口控制器 , 该控制 器集成了 USB2.0收发器 (物理层 和串行接口引擎 SIE (链路层 , 实现底层通信协议 , 利用该 USB 接口就可方 便地将 DSP 与 PC 机进行互联 。USB 程序主要包括 DSP 端 USB 驱动程序 、 PC 机端 的驱动程序以及应用程序 。 C5509的 USB 模块有 16个 端点 (两个控制端点和 14个通用端点 , 通用端点支持批 量 、 中断和同步传输 。 TI 提供了 USB 模块的芯片支持库 函数 , 利用这些函数就可非常方便地实现对 USB 模块的 编程 。

15、 为提高传输效率 , 当 DSP 收到读写控制命令后应 尽可能多地传输数据 , 不要局限于每个端点最大只传输64B 的数据 , 因为 USB_postTransaction 函数内部实现了 数据的拆包操作 , 已减少了控制命令传输及处理的耗时 。2.4系统升级维护通常 , DSP 系统的开发都基于 DSP 仿真器 , 在研发时通过仿真器将程序装载到 RAM 中进行程序的调试 ,D15.0intdsp1ce0dspctl href rts0llc2vpo15.0Name:Value:vref 01H ZZZZ100ZZZZ 00020004ZZZZ 800.0ns 700.0ns 600.0ns

16、 500.0ns 400.0ns 300.0ns 200.0ns 100.0ns 900.0ns 1.1! s 1.0! s 1.2! s000000000000000000000000H 000000图 2图像采集时序仿真图83 2006年第 2期 (总第 284当程序版本定型后由仿真器及 FLASH 烧写程序将 DSP 程序代码烧写到片外 FLASH 中 。 因此 , DSP 产品的后续 升级维护就很麻烦 , 一旦系统出了故障或程序版本进行 了升级 , 需要重新烧写 FLASH , 对普通用户来说是不可 能用仿真器进行 FLASH 中代码更新的 。 针对这一情况 , 本系统设计了一种非常方

17、便的升级维护方法 。系统硬件采用二次引导的方式从片外 FLASH 中把 程序加载到 RAM 中 , 其中一次引导程序由 DSP 自带的 引导程序加载 , 该程序首先完成 USB 接口检测 、 FLASH 烧写 、 特征库更新 。 引导程序首先检测设备是否挂接在PC 机的 USB 接口上 , 如果没有连接在 USB 口上 , 则该程 序将识别主程序从 FLASH 中引导进来 , 并跳转到识别主 程序的入口地址开始执行 。 如果发现设备挂接在 PC 机 的 USB 接口上 , 则等待 PC 机发送 “ 软件升级 ” 或 “ 特征库 更新 ” 命令 , 一次引导程序分别把从 USB 端口上接收的 新

18、的识别程序或特征库数据烧写到 FLASH 指定的位置 中 。 烧写完毕后 , PC 机可以发送 “ 运行 ” 命令 , 控制一次引 导程序将识别程序加载到 RAM 中并运行 , 识别程序可 以根据 PC 机端的命令将采集到的原始图像数据上传到PC 机构成训练样本集 。3人脸识别系统设计及仿真基于该硬件系统 , 笔者设计了一个基于离散小波变换和线性辨别分析特征提取的人脸识别系统 , 该系统采 用最近邻分类器进行分类识别 4, 5。首先 , 采用 Mmatlab 语言对识别算法进行设计仿真 。 在 PC 机上对采集得到的人脸图像数据进行预处理后构 成人脸图像库 , 图像大小为 112×9

19、2像素 , 从中选取部分 图像组成训练样本 , 余下的作为测试样本 。 首先对训练样 本集 X 中的每个训练样本 x i 进行三级离散小波变换并 提取大小为 14×12像素低频子图像按列构成 小波特征x iw (168维列向量 , 然后对所有的训练样本的小波特征 进行线性辨别分析求取变换矩阵 ! 168×m (m 是需要确定的 特征的维数 。 这样 , 每一副训练图像都可通过小波变换 和线性辨别分析提取一组有用的识别特征 。 对于测试样 本 y , 首先对其做小波变换提取低频子图像 y w , 然后通过y f =! ty w就求得一组人脸特征 , 求取 y w 与 x if

20、 距离 , y 的类别就是与 y w 距离最近的 x if 的类别 。 图 3给出了针对 ORL 人脸库 5的 PC 机仿真结果图 。 从图中可看出 , 当特征维 数等于 36时 , 识别率达到最高 , 因此 , 识别系统采用的特 征维数为 36。 通过 USB 接口把训练样本的 36维特征向 量以及变换矩阵 ! 168×36下载到识别系统的 FLASH 中 。完成 PC 机上的算法仿真及特征提取后 , 需要设计DSP 上的人脸识别程序 。 根据算法流程 , 采用 DSPLIB 和 IMALIB 就可较快地设计出识别算法 。对采集得到的人脸 图 像 进 行 归 一 化 后 调 用IM

21、G_wave_dcom_two_dim 函 数 对 该 人 脸 图 像 进行 3级小波分解 , 并通 过 ! 168×36得 到 最 终 的 36维特征 , 最后计算该特征 到 特 征 库 中 每 个 样 本 的 距 离 从 而 确 定 待 识 别 样 本的类别 。 表 1给出了关键步骤 DSP 代码的运行时间 (单位为时钟周期 。由于 C5509的系统时钟可达到 200MHz , 识别一幅 人脸图像的时间约为 30! s , 能够满足实时处理的要求 。为测试系统的识别性能 , 采集了笔者实验室成员的 人脸正面像来构成训练样本 , 设计了一个具有 20人的小 型人脸识别系统 , 识别率达到 93%。 目前提取的特征辨 别能力还不强 , 分类器算法较简单 。4结论本文提出了一种基于 DSP 的嵌入式图像识别系统的总体设计方案 , 给出了系统硬件及软件关键部分的设 计 , 并在该硬件平台上实现了基于 DWT 和 LDA 特征提 取的人脸识别系统 。 下一步需要对识别系统的前端预处 理程序作进一步改进 , 同时需要设计简单有效的特征提