详细设计说明书

详细设计文档 1 疲劳驾驶检测系统 详细设计详细设计说明书说明书 2015 年 3 月 13 日 详细设计文档 2 目录目录 1 引言 2 1 1 编写目的 2 1 2 背景 3 1 3 定义 3 1 4 参考资料 3 2 程序系统的结构 4 3 详细设计 6 3 1 程序简单描述 6 3 2 整体结构 7 3 3 性能 7 3 4 输入输出项 7 3 5 算法 7 3 5 1 人脸检测算法 7 3 5 2 OTUS 最佳阈值图像分割法 8 3 5 3 ROBERT CROSS 边缘检测 9 3 6 主要类的说明以及 XML 配置文件 9 3 7 存储分配 14 3 8 注释 14 3 9 测试计划 14 3 10 尚未解决的问题 14 详细设计文档 3 1 引言引言 1 1编写目的编写目的 此说明书在概要设计的基础上 对基于人眼的疲劳检测终端各个模 块 程序分别进行了实现层面上的要求和说明 在以下的详细设计报告 中将对在本阶段中队系统所做的所有详细设计进行说明 主要工作包括 根据软件需求说明书所描述的数据 功能 运行 性 能 需求 并依照概要设计说明书所确定的处理流程 总体设计 软件 系统的结构设计 逐个模块的程序描述 包括各模块的功能 性能 输 入 输出 算法 程序逻辑 接口等 软件开发小组的产品实现成员 应该阅读和参考此说明书 从而进行 代码的编写 测试 1 2背景背景 说明 A 待开发系统的名称 不规范驾驶检测系统 B 开发者 孙艳强 陈浩 倪四飞 用户 驾驶员或者是汽车厂商以及交通管理部门 C 项目开发背景 学生工程实践选题 1 3定义定义 1 android opencv 这是一个在 android 操作系统上的 Opencv 开源库 本系统的开发中用到了该库 加快了开发的效率 降低了开发成本 详细设计文档 4 2 系统 待开发的不规范驾驶检测系统 1 4参考资料参考资料 软件工程概论 软件文档编写 android 应用程序设计 java 基础 opencv 教程 andorid opencv 手册 网页版 2 程序系统的结构程序系统的结构 本待开发的系统采用的软件层次框图如下图所示 在前期的方案确定的时候 采用的是基于 android 操作系统的 OpencV 开源库 因此只需要将编译好的 OpenCV 库导入到开发环境中 即可进行开发 因此本系统的主要开发工作集中在应用程序的设计部分 Android 应用程序 Android OpenCV 库 Android OS 硬件平台 详细设计文档 5 在项目的概要设计中 确定的具体的软件的主流程方案如下图所示 状态分析 有 超出阈值 没达到 达到 是 否 获取一帧图像 图像预处理 人脸定位 人眼和嘴巴定位 给予警示 结束 计数 开始 有摄像头 打开摄像头 详细设计文档 6 在人眼状态的判断过程中具体的步骤如下图所示 3 详细设计详细设计 为了完成系统所需要的功能 我们设计了一个类来实现 FdActivity 说明如下 FdActivity 该类是作为程序的主界面类 在该类中 将 surfaceview 占据了整个界面 在该类中主要重写了 onCreate onPause onDestroy onCameraViewStarted onCameraViewStopped onCameraFrame onCreateOptionsMenu onOptionsItemSelected 函数具体的分析参见程序的具体描述部分 onCameraFrame 函数 在系统实时监测驾驶员的头像数据的时候 需 人脸检测 人脸定位 二值化 边缘检测 闭合 详细设计文档 7 要显示当前的帧率 该类就是负责帧率的显示的类 该类中 主要是实 现了以下的几个功能 从一帧图片中计算人眼的区域 绘制人眼的区域 3 1程序程序简单简单描述描述 打开摄像头 实时采集脸部的帧数据 图像进行灰度变化 首先进行 预处理 将背景噪声以及图像中的突刺变化去除 防止影响后面的图形 计算精度 利用 Opencv 中的已有函数接口进行人脸和人眼的定位 在 将人眼的轮廓提取出来 这里面的用的方法 Otus 和 Robert Cross 边缘 检测 利用最大垂直距离进行是否闭合的判定 组后再利用 PERCLOS 原理进行疲劳状态的判断 3 2整体结构整体结构 见概要设计说明书 3 3性能性能 实时性 能基本实现实时性的要求 对人脸的判断准确度 95 以上 眼睛的判断准确度 90 以上 疲劳识别 80 以上 详细设计文档 8 3 4输入输出项输入输出项 输入的数据是 摄像头采集的实时数据 输出是 预警声音 3 5算法算法 3 5 1 人脸检测算法人脸检测算法 传统的检测人脸分方法有很多种 基于肤色的分离 基于统计模型 或者是 PCA 方法 但是这些方法识别的时间较长 并且准确率不高 在 本文中 采用的是 OpenCV 中非常成功的基于 Haar Like 特征的 Adaboost 算法 人脸检测分成两步 首先是训练过程产生分类器文件 再是利用分类器进行人脸检测过程 4 训练过程 1 准备正负样本 正样本是需要检测的目标 正脸 负样本是不含正样本特征的任何目标 2 利用 CreatSample 程序准备正样本集 3 利用 Haar Training 程序 训练得到分类器特征 xml 文件 检测过程 利用 android OpenCV 中的分 类器构建函数去加载该特征 xml 文件 利用分类器本身的成员函数 4 5 detectMultiScale Mat image List objects double scaleFactor int minNeighbors int flags Size minSize 对指定的 image 进行检测 其函数各 参数的意义 Image 需要进行目标检测的区域 Object 将检测到的目标标记在矩形框中 scaleFactor 代表图像的缩放因子 Minneighbors 指定每个候选矩阵至少包含的邻近元素个数 Flag 标志位 默认为 0 详细设计文档 9 Minsize 最小的检测窗口 如果该值设置过小 将会导致图像的计 算量较大 3 5 2 Otus 最佳阈值图像分割法最佳阈值图像分割法 当系统成功标记处人眼部的区域后 需要进行二值化处理 从而实 现眼部提取 但是由于图像的灰度值对光线很敏感 固定的阈值势必无 法满足要求 本文采用的是基于 Otsu 算法的二值化处理 Otsu 算法 又被称为最大类间法 是一种自适应的图像分割技术 它是根据最小二乘原理推导出来的 根据光线强度的不同 阈值会随之 变化 能得到最优的阈值 7 其基本原理如下 将直方图在某一阈值进 行分割成两组 称为 前景 和 背景 当被分成的两组的方差最大 时候 该阈值就是最佳分割阈值 方差是灰度均匀分布的一种度量 值 越大 说明构成图像两部分的差别越大 当部分 前景 错分为 背景 或者 背景 错分为 前景 的时候 都会导致方差变小 因此最大类 间法意味着错分的概率最小 对于图像直方图 不妨假设其灰度级为 0 m 像素点个数为 N 针对某一个分割阈值 t 那么整个图像被分割成 两部分 0 t 称为 前景 而 t 1 m 称为 背景 前景 的权重 为 Wf 均值设为 Mf 方差为 Df 背景 的权重为 Wb 均值设为 Mb 方差为 Db 图像的整体的方差公式如式 3 所式 3 bbff DWDWD Otsu 的最终目的就是要求出 D 的最大值来 从而得到最优的分割阈 值 3 5 3 Robert Cross 边缘检测边缘检测 边缘是图像灰度值变化剧烈的位置 因此包含了大量的有用信息 常用的边缘检测包含很多 比如 Robert Cross 边缘检测 Canny 边缘检 测 Prewitt 边缘检测 Sobel 检测 但是这些方法中唯有 Robert Cross 计 算方便简单 快速 容易在实时系统中实现 本系统中采用的就是该检 测方法 根据任意一对互相垂直方向上像素点的差分来计算梯度的原理 详细设计文档 1 0 8 9 采用对角线方向相邻像素灰度差 如式 4 所示 4 1 jf i j 1 f i 1 j1 f i j f i j G i G 代表的是计算之后的灰度值 而 f 代表的是原始图像的灰度值 虽然 Robert 检测速度很快 但是其缺点也是很明显的 对噪声敏感 并且边 缘不是很光滑 3 6主要类的主要类的说明以及说明以及 xml 配置文件配置文件 在上面的概述中 我们初步说明了在该系统的实现过程中需要实现的 几个类 在这里我们详细的说明 思路 详细写出每个类的每个函数接口的作用以及用法 FdActivity 继承 Activity 实现了整个应用程序的界面 在该类中主要 是定义了两个菜单选项 分别是 mItemFace50 mItemFace40 这是选择 图像的范围的两个选项 分别对应着 50 和 40 重写 onCreate 函数 将 fdview 作为界面加载的部分 重写 onCreateOptionsMenu 函数 将两个菜单选项加入到菜单中 重写 onOptionsItemSelected 函数 当在屏幕上点击对应的 item 时 将会 自动进行 item 的选择 Init 函数接口是用来进行帧率计算的初始化函数 在该函数中主要实 现获取当前的时间 getTickFrequency 以及初始化绘制的文字的颜色信 息 blue 以及大小 50 详细设计文档 1 1 Measure 函数是计算帧率的主要函数 获得当前的时间 减去在 init 函 数中的初始时间 获得这段图像处理的时间 帧率的计算如下 double fps step freq time prevFrameTime 再将其按照固定的格式进行输出 DecimalFormat 0 00 Draw 函数 就是指在画布上进行绘制的函数 canvas drawText strfps 20 offsetx 10 50 offsety paint 抽象基类 MyCvViewBase 的设计 这个类主要是为了下面的的具体的 fdview 类服务的 在该类中 我 们是实现了 surfaceholder callback 的接口以及 runable 接口 这样该类就 可以作为一个单独的线程去运行了 从而实现了多线程的功能 在该类的构造函数 MyCvViewBase 中 我们需要获得 holder 添加 callback 接口 进行 FpsMeter 的构建 因为是实现了 surfaceholder callback 的接口 因此需要重写三个函数 分别是 surfacecreated surfacechanged surfacedestroyed 三个函数中分别要实现的功能 Surfacecreated 这个是在 surface 刚建立的时候就调用回调函数 在这 个函数中 我们需要打开摄像头 在 Android OpenCV 中 打开摄像头 的接口的函数为 mCamera VideoCapture ighgui CV CAP ANDROID 检 查是否打开 如果已经打开了 那么如下安排 new Thread this start 否则的话直接 release 掉 camara 详细设计文档 1 2 Surfacechaged 函数 是在 surfacecreated 回调之后进行第一次调 用 在这里我们主要是获得摄像头支持的 size 然后我们不断选择最优 的预览 size 这部分代码是在网上参考的 将 camara 的设置成为 mCamera set Highgui CV CAP PROP FRAME WIDTH mFrameWidth mCamera set Highgui CV CAP PROP FRAME HEIGHT mFrameHeight surfaceDestroyed 回调函数 就是当 surface 消失的时候进行回调的 因此 这里面我们需要做一些资源的释放的操作 比如说 camera 释放 作为抽象的基类 我们为子类提供的接口是 protected abstract Bitmap processFrame int flag VideoCapture capture 该接口在子类中进行图像处理时详细的设计 参见 Fdview 设计 我们在该抽象基类中实现了 runnable 接口 因此还需要实现 run 函数 首先需要完成对计量帧率的对象的初始化工作 下面的就是不断的 while 循环 进行图像的处理工作 首先从摄像头中回去实时的数据帧 该部分的接口是 mCamera grab mCameras 是上面打开的摄像头 然后进行图像的处理 processFrame 返 回 bmp 对象 进行帧率的计量 锁住画布 mHolder lockCanvas 进行 绘画 解锁画布 Bmp 图像的回收 详细设计文档 1 3 Fdview 类的设计 该类主要是继承了抽象基类 MyCvViewBase 因此主要在这一部分中 需要实现的接口函数 protected Bitmap processFrame int flag VideoCapture capture 构造函数中需要实现的是 获取 xml 文件资源 context getResources openRawResource R raw haarcascade frontalface alt 进行 xml 文件的读写 利用该 xml 文件进行分类器对象的初始化 分类器对象在 OpenCV 中是 实现目标检测的对象 是由特征文件 xml 进行构造的 在该软件中需要 定位人脸 人嘴和人眼 因此需要以下几个 xml 文件 分别是 haarcascade frontalface alt xml 以及 haarcascade mcs mouth xml haarcascade righteye 2splits xml haarcasca de lefteye 2splits xml 文件 识别率高达 95 以上 是 OpenCV 中自带的 已经训练好的分类器特征文件 重写 surfacechanged 函数 主要是初始化了 mat 数据 mat 可以看成是 二维的保存图像的矩阵 是 OpenCV 中自带的数据格式 实现 processFrame 接口函数 在该部分主要是关于图像处理的接口函数 是整个软件的核心函数 首先是解析出摄像头的 RGB 以及灰度图像格式 capture retrieve mRgba Highgui CV CAP ANDROID COLOR FRAM E RGBA capture retrieve mGray Highgui CV CAP ANDROID GREY FRAME 进行预处理过程 主要是进行直方图的均衡化过程 OpenCV 自带接口 详细设计文档 1 4 Imgproc equalizeHist 利用 OpenCV 中自带的目标识别的函数 mCascade detectMultiScale 说 明 mCascade 是人脸的分类器对象 进行图像中目标的检测 我们首先 需要定位到人脸部 并且将人脸在图像中标记出来 绿色的标记 如果人脸不是空的 那么开始将人脸设置成为感兴趣区域 在该区域 中进行人眼的检测 同样的还是有 eyedectcade detectMultiScale 说 明 eyedetectcade 是人眼的分类器对象 如果眼睛找到了 我们将其中 一只眼睛标记出来 用来进行图像处理 因为基本而言 人眼都是堆对 称的 一只眼睛的状态可以代表人眼目前的状态 将该区域进行 Otsu 二 值化处理 以及 Robert Cross 或者是 canny 边缘检测来提取人眼的轮廓 canny 在 OpenCV 中已经有固定的接口 而 Otsu 和 Robert Cross 检测需 要自己去实现 子啊利用最大的垂直距离进行扫描 当最大的垂直距离 小于 40 的标记高度的时候判断是闭合状态 附上关于 Otsu 以及 Robert Cross 边缘检测的代码 public Mat Robert Mat mat robert cross边缘检测代码 int robbertNum 0 int row mat rows int col mat cols for int i 1 i row 1 i for int j 1 j 50 mat put i j 255 else mat put i j 0 详细设计文档 1 5 return mat public int Otsu Mat mat Otsu