一种面向大视场的智能化微特征监测系统-大学生创新创业训练计划项目申报书

广州航海学院广州航海学院 大学生创新创业训练计划项目大学生创新创业训练计划项目 申报书申报书 教务处制 二 一七年十二月 项 目 名 称 一种面向大视场的智能化微特征监测系统 申 请 者 姓 名 申请者所在学院 轮机工程学院 指 导 教 师 姓 名 滕宪斌 毕齐林 钟聪仕 指导教师所在部门 盖章 指 导 教 师 联系电话填 表 日 期 2017 年 12 月 14 日 1 填表及报送材料要求 一 学生填写立项申报表前 请先咨询指导教师或有关专业教师 申报书的各项 内容要求实事求是 逐条认真填写 表达明确 严谨 二 编号 编号 由学校发文后统一编制 三 本表的 本人签名 处 本人签名 处一律用黑色签字笔或钢笔手工签名 打印无效 四 申报书填写内容用宋体宋体 5 5 号字体 行距号字体 行距 2222 磅磅 统一用 A4 纸双面打印双面打印 于 左侧装订成册 不按要求填写与打印的材料一律不予接收 五 本表一式两份 按规定时间由学院集中报送至教务处 同时须提交电子稿 2 3 项目 名称 一种面向大视场的智能化微特征监测系统 项目 类型 创新训练项目 创业训练项目 创业实践项目 项目所属 一级学科 机械工程 学生 团队 类 别 姓 名 学 号 所属年 级 专 业 项目分工 联系电话 本人签名 项目组长 闫奕樸 201611230410 2016 级 轮机工程 负责项目策 划及技术路 线的指定项目组 成员 赖敏玲 201613240337 2016 级 船海工程 图像处理及 分析陈柏任 20141320122 2014 级 轮机工程 陆 负责视觉传 感装置设计 级三维建模庄镇宇 201611240215 2016 级 船舶电气 负责视觉系 统数字化建 模江梓瑜 201611250205 2016 级 船舶电气 负责视场区 域的光强分 布数值模拟 计算周永涛 201613240319 2016 级 船海工程 实验调试及 相关实验数 据整理唐史清 201613240327 2016 级 船海工程 负责前期文 献查阅及市 场需求调研项目组长简介 申请人 男 1997 出生 广州航海学院轮机工程学院轮机工程 16 级在读本科生 从入学至今 在指导老师的科研团队中结合相关项目从事相应的科研工作 近期 申请人结合前期的研究工作 协 助指导老师承接企业科技攻关项目一项 并作为该项目的主要技术研发人员开展相应的研究工作 通 过该项目的研究 培养了相应的专业技能 申请人结合前期的研究工作 在老师的指导下 申请专利 12 项 其中发明专利 6 项 通过该环节 培养较强的创新能力 具备了一定的科研素养 申请人在 2016 09 年至 2017 12 年期间 在校学生会权益部担任委员 期间作为主要负责人 负责过学校第一 届 提案大赛 活动的组织策划 具有较强的组织协调能力 指导 教师 类 别 姓 名 职 称 学 历 指导任务 联系电话 签 名 指导老师 滕宪斌 高级 硕士 总体策划 组织 实施指导教师 毕齐林 中级 博士 项目协助管理4 指导教师 钟聪仕 初级 本科 项目协助管理项目第 1 指导老师 男 教授四级 高级轮机长 为广州航海学院轮机工程学院院长 在本项目 中负责项目的总体规划 组织实施方面的研究 以及阶段总结 技术交流等任务 2008 年 6 月 在集美大学轮机工程学院轮机工程专业硕士研究生学习 2014 年 12 月晋升教授 主要从事现代轮机工程管理及航海类专业教育研究 2015 年 6 月调入广州航海学院 2016 年 5 月任 广州航海学院轮机工程学院院长 主要从事现代轮机工程管理及航海类专业教育研究 作为第一负责 人主持或参与天津市教委 天津海洋局科研课题 5 项 近年来 在全国公开发行期刊发表论文 20 余 篇 并主编 船舶轮机员实用英语口语 大连海事大学出版社 船用传感器技术与维修 对 外经贸大学出版社 游艇操作人员培训教程 天津教育出版社 电子电气员英语 大连 海事大学出版社 等多本教材及参考书 现兼任中国航海学会高级会员 中国造船学会高级会员 教 育部全国船舶工业教学指导委员会委员 教育部全国交通职业教育教学指导委员会航海类专业指导委 员会委员 天津市管道压力容器与制冷空调专业委员会理事长 中国航海 船舶工程 编委会 委员 天津航海学会机电委员会副主任委员 2010 年马尼拉修正案后 多次参与国家海事局组织的 考评法的研究 参与制定我国履约的相关文件 如履约考试大纲 评估大纲 多次参与审定船员适任 考试题库 是国家船员考试中心轮机工程专业和电子船员专业专家库成员 是船员教育与培训质量管 理体系审核员 上述指导学生及科研经验为该项目的顺利实施提供了良好的基础及保障 本项 目研 究的 目的 与意 义 创新 性 一 一 目的目的与与意义意义 随着 21 世纪互联网技术日趋成熟 人工智能时代即将到来 人们在日常工作 学习 生活中对 智能化应用的憧憬及需求日益增强 譬如 1 人事管理中人员精准考勤 新时代下高效的各种管理制度日益完善 但是在人事管理中 企业员工 高校学生等出勤率监测的高效 可靠等一直是时代的难题 譬如 现有的考勤系统推广中 若采用打卡机 接触式检测 容易出现一个人代替多人打卡的情况 指纹也出现了指纹膜等替代物 从而使得现有流行的考勤系统失效 在现有高校中 学生的出勤率 一直沿用最为传统的课间点名方 式 该种方式虽然稳定可靠 但是出勤率只能反应课间点名时学生的出勤情况 难以等同于整堂课学 生的出勤状态 现有视觉技术在监控领域内出现了大面积应用 虽然对于大范围成像场景中人脸等细 微特征的识别出现了较多的研究算法 但是基于学校教室 企业会议室这种人口密度较大的复杂大成 像视场环境下尚难以精确 稳定的实现 5 a 高校教室学生考勤 b 企业人员考勤 图 1 高校教室学生考勤 2 办公 学习等区域的智慧照明 节能减排是我们实现 绿水青山 目标的重要手段 现在 高校图书馆 自习室 博物馆及企业大型会议室等能源浪费现象十分严重 经常出现人走电未断极度 浪费的现象 图 2 这种现象就可以通过应用在视觉生物实时检测上的智能化自动控制应用来很好 的解决 实现学习或办公区域电器的分区域智能化控制 例如 可以实时地监控人员的在岗情况以及 人数 还能待人员离开后自动切断电源的用电供应 以及在人员人数过少时自动地限定用电配额 通 过这样来控制用电效率 达到节能减排的效果 图 2 高校教室场景 3 刑侦工作中感兴趣区域难以捕捉及精准成像的难题 现今 在刑侦工作中 依靠 天网 来循迹不法分子及不法车辆的踪迹已成为刑侦工作的重点之一 可目前的视频采集设备无法达到在复 杂的大视场中精准成像 照片的比对只能依靠人工方式进行 工作量巨大 速度慢且效率低 导致刑 侦人员无法依据视频成像做出精确 可靠的判断 因此 研究一种可在大视场下针对感兴趣区域快速 捕捉及精准 稳定成像的新技术成为依靠监测系统锁定犯罪分子的重要前提 4 火车站 地铁站等场合的客流量实时准确监测难题 如今 人口的不断增长及异地人流量 不断扩大 越来越多的人需要乘坐火车 地铁等交通工具出行 目前在火车站 地铁站等交通站点 实时监测客流量是通过火车票和地铁卡的检测来获取大致数据 比如地铁站 虽然通过刷地铁卡的人 次 可以获取 t 时刻进站人数 但人们在登上地铁时不需要再次刷卡 所以无法准确的获取 t 时刻站 台的总人数 从而 车站人员便无法依据最新统计情况应对各类突发事故 针对以上需求 团队成员经实地访谈 企业调研并且深入研讨后发现 现有技术还不能较好的 6 满足上述应用需求 从技术层面上分析还存在以下难点 从技术层面上分析还存在以下难点 1 大视场下定焦视觉系统因受到无规律的环境变化等因素造成相机可视区域内的光强动态比 较高 成像不稳定 图 3 这种光照动态范围达数百 db 的影响远远超出现有相机的光强动态比范 围 其次 被检测人群相对相机距离一般较远 导致感兴趣区域的成像分辨率较低 细微特征不清晰 直接影响后续人脸识别精确度 再者 低分辨率人脸图像用于识别时 具有信息量小 噪声多 可利 用方法与工具少等明显缺点 使用传统基于高分辨率图像的人脸识别算法的性能将会下降 造成识别 结果不精确的情况 图 3 高光强比下的人脸成像 2 在大视场场景下运用变焦视觉系统智能化人员检测技术的前提是快速捕获 跟踪感兴趣区域 复杂的大视场场景下跟踪的对象有多个 图 4 a 现有技术还不能实现多人同时跟踪 且干扰因素 较多 人员多处于非静止状态 从而确保跟踪的目标准确性成为了目前需要解决的核心问题 其次 在变焦视觉系统已获取感兴趣区域进行跟踪后 感兴趣区域所成图像因焦距 物距与理论值差异大等 因素显示极为模糊 图 4 b 不符合图像细微特征提取的基本成像要求 因此实现相机的快速自适 应自动对焦技术尤为重要 此外 图像关键特征精确定位 图 4 c 研究高鲁棒性人脸识别系统的基 本前提 图像关键特征定位的精度直接影响了后续的人脸描述特征提取和分类判别的精确度 所以研 究图像关键特征定位方法至关重要 最后 虽然基于图像的人脸识别已取得很大进展 并可在约束环 境下获得很好的识别性能 但仍受光照 姿态 表情等变化的影响很大 其本质原因在于图像是三维物 体在二维空间的简约投影 从而 利用脸部曲面的显式三维表达进行人脸识别 正成为近几年学术界 的研究热点 7 a 复杂的大视场 b 低分辨率图像 c 特征精确定位 图 4 大视场成像 二 研究意义二 研究意义 由以上内容可知 无论是 定焦视觉系统 还是 变焦视觉系统 的单一视觉传感方式 都难 以适应大视场下对所测目标清晰 稳定的成像 从而无法完成图像细微特征精确 高效的提取以适应 人脸精密化检测的需求 因此研究基于复杂的大视场下的人脸精准识别技术存在巨大挑战 并具有因此研究基于复杂的大视场下的人脸精准识别技术存在巨大挑战 并具有 重要意义 重要意义 认识到所述难点 团队成员积极查阅国内外相关领域的文献 走访有关科研机构和部门 基于 本项目涉及的大视场场景对现有技术进行深入研究探讨 1 针对大视场场景下人脸精确 稳定成像技术的研究 在大视场场景中 定焦视觉系统对感 兴趣区域成像时 其视场区域伴随着无规律的环境变化等干扰会导致视场区域光强的多动态 这种光 照动态范围达数百 db 的影响远远超出现有相机的光强动态比范围 为此 国内外研究者提出了滤光 减光 1 等方式以剔除干扰 并稳定获取了所捕捉目标单一方向的较清晰面部图像 但该图像分辨率较 低 Wang 和 Tang 2 提出一种基于 PCA 特征转换的全局人脸超分辨率算法 然而当样本数量不足时 该方法由低分辨率重构的高分辨率人脸图像在轮廓部分会出现 鬼影 现象 对后期特征识别造成很 大缺陷 也就是说 现有成像技术还不足以用来完成大视场下图像精准 稳定的提取 无法较好的实现 人脸精确 高效识别 2 针对相机自适应自动对焦技术的研究 目前 自动对焦技术的研究主要有两个方向 一是 传统的基于光学成像原理的相位法 对比度法 依靠提高传感器的精度和数量来改善自动对焦效果 二是基于图像处理的自动对焦技术 通过改善图像处理算法来提高自动对焦效果 伴随着技术不断发展 基于图像处理的自动对焦技术相对于传统的自动对焦方法有其独特的优 势 针对基于图像处理的快速 精确的自动对焦的需要 Crete 等人 3 提出了基于二次模糊的清晰度 算法 通过对图像进行一次模糊处理 根据高频分量变化量来比较图像质量 但该方法没有充分利用 计算机处理的优势 处理速度较慢 无法适用于大视场场景 Wu Wei 等人 4 在算法中参考了人类视觉 系统特化提高了算法评价结果与人类主观感受的一致性 李奇等人 5 提出将运用在机器人实时控制等 领域的非均匀采样方式运用到自动对焦中来 可很好地克服均匀采样可能将目标主体排除在对焦窗口 8 外的问题 不过对焦速度较慢 只能运用于较慢的对焦需求 圣钱生等人 6 提出了自适应插值拟合算 法 该算法将变步长搜索与插值拟合结合起来 可快速找到对焦位置 但只能应用在特定场合 普及 性不强 综上所述 目前已有的自适应对焦技术还无法完全适用于大视场场景 新技术还有待研究 3 针对基于视觉捕获目标感兴趣区域自适应跟踪的技术研究 感兴趣区域自适应跟踪是基 于动态大视场场景下人脸识别的重要前提 在物体运动过程中视频场景和目标外观的复杂变化 如光 照变化 形变 遮挡 快速运动等 使感兴趣区域跟踪面临着很大挑战 从 Itti 7 提出基于焦点视觉 注意力 focal visual attention 的可计算模型开始 寻求最优化的获取感兴趣区域 ROI 自适 应跟踪体系就成为了本领域内研究热点之一 在最近的研究进展中 Bolme 等 8 提出 MOSSE 算法 该 算法首次将相关滤波应用到目标跟踪 方法简单 跟踪速度快 Danelljan 等 9 提出 CN 算法 将目 标颜色属性信息 10 进行 PCA 降维 与灰度特征串接后输入到 CSK 跟踪器 具有较强的识别性 实现 了对目标对象的智能显示及跟踪 但种种算法依然没有突破以下方面 首先 无法快速确定感兴趣区 域并提高感兴趣区域检测准确性 接着目前基于感兴趣区域的研究都集中于静态图片或者运动比较平 缓的序列 对于复杂的大视场场景 运动相对剧烈的场合如何实现处理是一个关键的问题 再者 同 时处理多个感兴趣区域的问题仍然没有得到很好的解决 换句话说 现有的感兴趣区域自适应跟踪技术无法应用于复杂的大视场场景下 适用技术还有 待研究 4 针对图像细微特征精准识别的研究 图像细微特征识别是人脸识别技术中的关键部分 虽 然基于图像的人脸识别已取得很大进展 并可在约束环境下获得很好的识别性能 不过仍很大程度上 受光照 姿态 表情等变化的影响 为了更好的进行人脸特征识别 研究者们提出了许多研究方法 Brunelli 等人 11 使用更高维度的特征向量来进行人脸识别虽然基于几何特征的方法思想很直观 速 度很快 但是忽略了局部细微变化 对表情及姿态的鲁棒性不强 稳定性低 效果不好 王晓亚等人 12 利用 Adaboost 算法进行人脸检测 用 PCA LDA 解决了特定空间维数高的问题 但该套系统对于环 境光源有较高要求 实际应用还有待改进 BayH 13 提出 SURF 特征 这是 SIFT 特征的加速近似算法 其特征提取包括检测过程和描述过程两部分 SURT 特征与 SIFT 特征描述能力相当 但提高了近 倍 的计算速度 且提取的特征维数相对于 SNR 持征更少 大大提高了 SURF 特征的实用性 GWT 14 被认 为是目前比较好的人脸表示方法之一 它对光照 表情等变化具有一定的鲁棒性 然而这些算法只利 用 Gabor 变换提取人脸图像的局部特征 却忽略了原始人脸图像的全局特征 仍无法精确进行特征 识别 因此 国内外现有的特征识别算法 均无法较好的应用于本项目所述的复杂的大视场场景 较 佳的算法还有待研发 考虑以上因素 总的来说现有相关技术还无法完全适用于复杂的大视场场景的应用需求 研发研发 符合大视场下人员检测的新技术亟待符合大视场下人员检测的新技术亟待突破 突破 9 二二 创新性 创新性 目前 面向大视场场景中对人脸识别技术的相关研究通常遵循如下思路 构建单一的视觉识别处理系统 面向待识别物体进行图像的获取 进行识别并与数据库中的资料进行匹配与比对 沿着这一思路 目前已发展了基于感兴趣区域的自适应视觉传感 复合视觉传感等方法 其中 复合传感方法因具单一传感方法难以比拟的优势 近些年来得到了迅猛的发展 15 下文将以上述思路 为线索对这一方面的工作创新性创新性进行着重阐述 1 解决大视场场景下人员精准检测的难题 针对以上所述问题 团队成员经过深入研讨 研究一套面向大视场的智能化监测系统 采用 宏 微 复合视觉传感方法 突破了人脸识别领域中 大视场场景下感兴趣区域成像分辨率低 双靶面模块信息高效融合 人脸识别域中图像细微特征定位 及识别的难题 2 研制一种感兴趣区域捕获 跟踪和对焦自适应的控制方法 精准 稳定的实现复杂的大视场下对感兴趣区域鲁清晰 快速成像 大幅度提升人脸识别速度 及精度 突破了传统的仅依靠单一传感系统识别率低下的问题 提升了复杂的大视场下监测设备的智 能化 高效化 3 构建了一套高效 稳定的图像处理系统 在复杂干扰的大视场下 快速获取感兴趣区域 最大限度地降低图像处理时间及一定程度上的干扰 针对低分辨率图像 提出 PCA 降维 16 和小波变换 等算法稳定处理 精准实现大视场下的图像细微特征识别 项目 研究 内容 和拟 解决 的关 键问 题 一 研究内容 本项目结合我国 十三五 规划中制定的从 制造大国 向 创造强国 迈进的目标 广东省培 育和发展智能装备产业的发展要求 以及前期工作经验积累 研究 一种面向大视场的智能化微特征 监测系统 针对本项目所要实现的目标制定了如下四个方面的主要研究内容 图 5 10 图 5 项目研究内容 第一 大视场场景下的 宏 微 复合视觉传感装置构建 提出 宏 微 相结合的复合视觉 传感方法 定焦成像与变焦成像子系统为大视场感兴趣区域获取 自适应跟踪和对焦提供技术条 件 依据成像理论 结合三维建模软件 3D MAX 等设计研制复合视觉传感系统硬件模块 建立图像 特征与感兴趣区域获取 跟踪 对焦之间的空间映射关系 第二 精准 稳定的自适应控制方法研发 针对大视场下人口密度大 光强动态高等情况提 出一种针对复合视觉传感系统的精准 稳定的自适应控制方法 采用静态与动态特征相结合的视觉注 意力机制捕获感兴趣区域 进而运用基于网格的自适应跟踪方法 进行感兴趣区域实时跟踪 采用激 11 光测距计算得出感兴趣区域与变焦相机所属镜头的焦距 进而通过空间调整装置调节至最佳焦距 第三 高效 稳定的图像处理子系统研发 以大视场中干扰瞬变的动态图像为研究对象 针 对图像分辨率低 细微特征难以精确提取等难题 首先结合人眼视觉注意机制中 归一化 特性 建 立视觉注意焦点模型 17 再结合图像感兴趣区域分布规律确定感兴趣区域尺寸参数 进而自适应获取 感兴趣区域 其次通过人体运动周期及关键帧的提取 为人体特征识别提供依据 最后 针对感兴趣 区域提取全局和局部特征 二者融合三维成像后进行人脸细微特征的精确识别 同样也可对多系统所 成图像进行信息融合 实施人脸成像三维重构后识别 第四 研制 宏 微 复合式视觉监控系统工程样机 展开实验分析 在高校的教室等场景中展 开人员精准考勤 焊缝跟踪试验 验证样机性能 优化样机 在高校教室 图书馆 自习室等场所 开展一系列 不同场景 不同应用 人员检测的实验 验证该复合视觉传感系统在大视场中检测性能 优化样机 为研制的工程样机的产业化以及业务化的推广奠定基础 二 拟解决的关键问题二 拟解决的关键问题 1 解决高动态大视场下定焦成像子系统精确 稳定成像的难题 无规律的环境变化人体姿 态 表情变化等干扰具有很强的随机性造成视场区域光强的多动态 极大影响着成像子系统成像质量 突破以来经验及实验的方法 对随机性强的高动态成像进行数字化建模 构建不同视角参数 光学系 统响应函数下的大视场场景再成像靶面上的光强动态分布数学模型 增强对无规律变化的高动态范围 下成像方法的认识 因而是对高动态大视场场景下精确 稳定成像有效控制的重要途径 解决大视场中变焦成像子系统感兴趣区捕获及自适应跟踪 对焦的难题 在原始时间序列图像 向感兴趣特征参数转换的处理 分析过程中 感兴趣特征数学描述 特征显著度模型 视觉注意机制 建模等数字化模型对图像中快速锁定感兴趣特征以便降低处理难度 计算量具有重要意义 准确的构 建相应的原始数字化模型 可为背景特征 干扰特征 感兴趣特征的精确区分提供依据 从而实现复 杂干扰下时间序列图像感兴趣特征的高效提取 进而依据空间位置调整装置实现精准 快速自适应跟 踪及对焦 2 解决大视场中图像细微特征精确识别 大视场中人员密度大 造成人员相互之间特征相 似度提高 时刻影响着人脸识别的精度 突破以往的人脸识别算法 研究基于大视场场景下的人脸细 微特征识别算法对大视场下人脸的特征相似度 清晰提取进行数字化建模 为特征分布 特征分析 特征检测提供基础 因此实现大视场下人脸细微特征精确识别 解决单一或多个复合视觉传感系统的图像信息融合处理的难题 人员的运动 姿态 表情等因 素不可避免的影响着人脸识别的精度 而人口密度大且随机干扰复杂的大视场场景下更是如此 那么 仅依靠单一成像系统以及单一方向的成像则不可能做到每位人员的精确检测 因此 设计一套多系统 成像信息融合检测算法是解决此种问题的关键 本项目设计两种策略 其一 开发单一复合视觉传感 系统 两个子系统 的图像信息融合算法并进行图像高低分辨率空间层次化建模 通过定焦成像与变 12 焦成像子系统图像信息融合进行人脸细微特征识别 其二 开发多复合视觉传感系统 多个子系统 的图像信息融合算法 通过多方位的复合视觉传感系统成像 保证无盲区 多角度的人脸细微特征精 确识别 研究 方案 技 术路 线 一一 宏 宏 微 复合视觉传感系统构建微 复合视觉传感系统构建 1 研究 宏 微 复合视觉传感方法 设计一种定焦成像子系统 图 6 a 定焦成像子系统拍摄大范围视角的图像 大范围视角的图 像经通信接口传送到工控机子系统进行全方位分析 再者 设计一种可变焦成像子系统 图 6 b 变焦成像子系统通过对感兴趣区域自适应跟踪 对焦 达到针对感兴趣区域清晰 稳定成像的目的 上述两个成像子系统复合工作时 若仅依据定焦视觉成像无法精确识别感兴趣区域时 则及时调用变 焦成像子系统进行自适应跟踪 对焦 进行二次成像识别 a 定焦成像子系统 b 变焦成像子系统 c 宏 微 复合视觉传感方法 图 6 变焦成像子系统 2 研究 宏 微 复合视觉传感系统工作原理 该 宏 微 复合视觉传感系统工作时 以定焦成像子系统中定焦相机成像面中心为原点 O1 定 焦相机长度方向为 U 轴 定焦相机宽度方向为 V 轴 定焦相机的相机光轴方向为 W 轴 建立坐标系 O1UVW 当多个兴趣目标体 A B C D 同时处于定焦成像子系统的成像范围时 大场景中的 多个感兴趣目标体通过广角镜头按范围视角的图像 将获取图像的时间为 t0 定焦成像子系统将 t0 时刻获取的图像通过通信接口从上到下 从左到右的周期性次序在定焦成 像子系统中成像 定焦成像子系统获取大传送到工控机子系统中的图像处理子系统对图像进行处理 13 图 9 a 若仅依靠定焦成像无法识别图像时 则迅速通过空间位置转换装置 转换为变焦成像子系 统成像 该系统智能选取的对于感兴趣目标体 A 相应的焦距 图 7 b 并实时传输给工控机子系统中 的运动自适应控制系统中 从而驱动齿轮步进电机进行转动 齿轮步进电机带动小齿轮转动 小齿轮 将转动传递给大齿轮环 大齿轮环带动变焦镜头进行转动 图 7 c 进而实现自动对焦 变焦相机精准的获取包含感兴趣目标体 A 的细节特征图像 并将细节特征图像传递给工控机子 系统中的图像处理子系统 获得感兴趣目标体 A 的细节特征 用于监测系统的判断及决策 若上述两种成像方法仍然不足以实现精准人脸识别的话 那么可以将定焦成像与变焦成像子系 统所获取到图像信息融合 对图像进行三维重构 图 8 a 再用人脸细微特征识别算法进行识别 图 8 b 如果复合视觉传感系统经过定焦成像与变焦成像子系统成像信息融合识别后 仍然没有识别 出人员信息 可进行多复合视觉传感系统图像信息融合识别 因本项目设计有四个复合视觉传感系统 各自独立工作 分别安放在空间的四周且各自的检测区域互有重合 所以不会出现监测盲区 并 且可对同一目标进行多角度实时成像 8 c 本方法除人为因素外 避免了因单一角度成像无法识 别的问题 b 激光测距 c 定焦成像子系统工作原理及自适应对焦 图 7 定焦 变焦部分成像子系统工作原理 综合各方面因素 本团队成员结合前期研究感兴趣目标的视觉跟踪等已有的研究成果 结合企 业现场调研及深入交流 针对大视场人员检测提出了一种 宏 微 相结合的复合视觉传感方法 图 8 d 14 a 图像信息融合工作原理 b 监测位置设计 c 人脸细微特征识别 d 复合视觉传感系统原理 图 8 复合视觉传感工作原理图组合 本项目确保除人为外不会因自然因素造成无法精准识别 保证识别的精准性 可靠性 和高效 性 3 建立 宏 微 复合视觉传感装置 3D 模型及研制实物模型 进行 宏 微 复合视觉传感装置 3D 建模 图 9 宏 微 复合视觉传感装置 3D 模型 研制实物模型 团队成员进行多条件下仿真模拟 得到光源 电子信号传输 空间位置调整 装置等系统装置所需的多项参数 依据现实场景的天气 人员密度 取景角度等相关因素进行相应的 计算 加以处理调整 最终得出一套适用于本项目所述场合的 宏 微 复合视觉传感装置的理论方 法 在这后再精密加工 研制出实物装置 并在多场景下实施实验检测 将所测得的相关数据搜集整 理作为依据 不断改进装置的应用性能 二二 面向 宏面向 宏 微 复合视觉传感系统感兴趣区域捕捉及自动对焦的自适应控制微 复合视觉传感系统感兴趣区域捕捉及自动对焦的自适应控制 图像中感兴趣区域捕捉及自适应跟踪 对焦是进行人脸识别的重要前提 正是这些技术的铺垫 才为后续的人体及人脸清晰成像 精确识别提供了可能 15 1 研究 宏 微 复合视觉传感系统感兴趣区域自适应跟踪控制方法 近年来为了解决大视场场景下视觉传感系统在跟踪目标物体使遇到外观变化等问题 自适应跟 踪控制是视觉跟踪领域的一个新研究方向 18 国内外专家基于视觉注意的计算建模取得了巨大进展 并应用于目标检测 目标识别和视频质量评估 19 等领域 使得将视觉注意机制引入到目标跟踪算法的 研究具备了可行性 在前人的基础上 结合人脸识别中感兴趣区域特征 归一化 特点 建立视觉注 意焦点数学模型 依据动态图像中感兴趣区域特征所覆盖面积大小的分布规律 确定感兴趣区域的大 小 研究出一种基于复合视觉传感的感兴趣区域视觉注意机制 图 10 a 再此基础上 依据定焦 成像子系统与变焦成像子系统空间转换装置 结合最小二乘法拟合目标运动轨迹在目前相机坐标平面 中的投影直线 20 完成相机矩阵自标定 实现定焦成像子系统与变焦成像子系统之间快速转换 然后 寻求最优的注意力自适应体系 解决变焦成像子系统感兴趣区域自适应跟踪难题 a 感兴趣区域视觉注意机制 b 自适应跟踪效果图 图 10 感兴趣区域视觉注意机制 a 原始位置 b 第一步转换 c 第二部转换 图 11 转换坐标系示意图 2 研究 宏 微 复合视觉传感系统自适应对焦控制方法 清晰图像的获取是图像进一步进行处理和分析的基础 将直接影响到整个测量系统的精度 制 约成像清晰的因素很多 如光照条件噪声干扰 景物几何形状和畸变 表面物理特性以及摄像机特性 等 21 而图像对焦的正确与否是其关键因素之一 针对这一关键因素 基于激光实时测距及自适应对焦调整装置的前期研究 提出一种大视场下 能适应不同影响 快速自适应对焦的方法 图 12 16 a 空间位置控制调整示意图 c 复合控制方法 图 12 自适应对焦控制方法示意图 三三 人体行为及人脸特征识别算法人体行为及人脸特征识别算法 上述 宏 微 复合视觉传感系统整体构建完成后 开始着手研发图像处理的人体行为及人脸特 征识别算法 人体行为及人脸特征识别解决的主要问题是 通过计算机对传感器 摄像机 采集的原 始图像或图像序列数据进行处理 分析 学习并理解其中人的动作行为 22 1 研究图像处理子系统的人体行为特征识别算法 团队成员为解决在低分辨率图像下感兴趣区域提取的难题 基于前者所研究的基于注意焦点算 法的基础上 提出了一种新的利用显着图筛选感兴趣区域并提取算法 在此基础上 进一步提出在视 觉注意转移机制下利用注意焦点及特征显着图精准获取感兴趣区域的方法 其整体框架及实验结果如 图 图 13 所示 最后 团队成员思考后决定根据 wang 等人 23 将静态特征和动态特征有效组合进行 分类识别的方法 采用其信息融合的思想 先提取人体运动及静止的周期和关键帧 而后通过 RBFNN 对行为特征进行识别分类 选取动态或静态人体的轮廓特征和肢体关节角度特征 从而 实现精准的 人体行为特征识别 图 14 17 a 感兴趣区域提取框架 b 感兴趣区域结果提取图 图 13 基于视觉注意机制的感兴趣区域提取框架 a 人体运动 4 个关键帧 b 人体 12 个肢体关节点示意图 图 14 人体特征提取及识别 2 研究人脸细微特征识别算法 如何有效提取人脸图像的细微特征是自动人脸识别过程中的关键问题 鉴于前人研究 针对本 项目应用的大视场成像场景 团队成员提出采用全局和局部特征融合提取的方法 图 15 它利用 Gabor 小波变换提取人脸局部特征 再用 PCA 24 方法对其进行降维处理 能够减少表情 光照等干扰 的影响 利用 PCA 提取人脸轮廓特征 突出了人脸的全局信息 全局和局部特征融合后的特征不仅 降低了特征数据间的冗余 而且保证了不会丢失有效决策信息 再之 融合特征不仅包含了丰富的人 脸图像纹理信息 而且能够有效描述人脸纹理图像的全局特征 二者结合实现了有效互补 本算法在 ORL 人脸库中具有较好的识别性能 表明了本算法在人脸细微特征识别上对表情 姿态等具有较好的 18 鲁棒性 满足大视场场景下针对人脸细微特征提取的基本要求 图 15 算法原理及效果 3 研究复合视觉传感系统成像信息融合算法 图像融合的算法研究较多 但都是就相应的应用展开研究 没有统一的理论 而大视场下人脸 识别过程中成像靶面具有干扰复杂 随机性强等特点 此外在高效 精确 稳定的人脸识别中对复合 视觉传感系统成像信息融合的实时性 稳定性有较高要求 现有的图像融合方法难以较好的应用 针 对这一技术难点 基于空间变换的图像配准技术 本项目提出一种复合视觉传感系统成像信息融合算 法 图 16 该方法对同一时刻采集到的非同源图像进行预处理 剔除冗余信息 提取每幅图像中 各自感兴趣特征 其次 依据双靶面配准规则 将每一成像靶面的成像特征映射到另一成像靶面的坐 标系中 接着 基于数组运算对变换后的双靶面图像进行扩展 得到基准 图幅大小一致的图像 最 后 建立双靶面成像模块的并行融合算法 实现人员检测区域非同源图像感兴趣信息的高效融合 经过上述成像信息融合达到人脸的三维重构 此时再次运用人脸细微特征识别算法 进行精准 人脸识别 图 16 复合视觉传感系统成像信息融合方法 研究 方法 研究研究方法方法 1 依托前期相关研究经验 研发大视场的环境下构建 宏 微 复合视觉传感系统 依托团队有关成员前期研究针对感兴趣区域跟踪等项目的相关经验 提出基于机器视觉的 宏 微 复合视觉传感系统 该系统包含定焦成像和变焦成像子系统两套系统 定焦成像子系统通过广焦 成像大范围监测 若定焦成像子系统所成图像无法识别 则通过空间位置转换装置 转换为变焦成像 子系统跟踪成像 变焦成像子系统依据图像处理子系统对广角成像的处理数据 自适应驱动步进电机 进而控制相机镜头自适应对焦 构建出一个自适应跟踪系统 从而使得定焦成像和变焦成像子系统能 19 自由切换 将定焦成像和变焦成像子系统融合起来构建一种 宏 微 复合视觉传感系统 2 依据大视场人员检测所需 研发感兴趣区域的自适应跟踪及对焦的控制方法 学术界和工业界在感兴趣目标跟踪方面开展了大量工作 并取得了一定的进展 25 然而由于大 视场目标及场景的动态变化 遮挡 相似物干扰或者光线剧烈变化等复杂外界环境的干扰 目标的突 变运动等因素的存在 使得大视场下的鲁棒实时目标跟踪仍然是一个具有挑战性的问题 团队成员结 合人脸识别中感兴趣区域特征 归一化 特点 建立视觉注意焦点数学模型 依据动态图像中感兴趣 区域特征所覆盖面积大小的分布规律 确定感兴趣区域的大小 之后调用定焦成像子系统对感兴趣目 标成像 定焦成像子系统成像不足以精确识别出该名人员身份 则会立即切换到变焦成像子系统 在 该系统工作时 该变焦子系统先在定焦成像子系统工作基础上依据图像 归一化 处理 视觉注意机 制建模等方式获取感兴趣区域 然后通过自适应跟踪系统来进行进一步的跟踪及对焦 自适应对焦的 方式有两个步骤 先通过激光测距的方式 获取到成像系统于待测物体的距离和空间位置等参数 然 后通过空间变换装置 步进电机驱动大齿轮来进行调焦 同时编码器检测然后通过控制小齿轮来调整 空间变换装置来进行自适应调焦 因此 通过先进的自适应跟踪 对焦技术 实现在复杂的大视场下清晰 稳定的成像 3 图像的细微特征识别 基于本项目的大视场场景及应用需求 本系统开发两套识别算法 人体行为特征识别和人脸细 微特征识别 开始先通过定焦成像子系统大范围成像 PCA 降维处理和小波变换等方式 26 获取多个感 兴趣区域 随即进行人体行为特征识别 通过获取感兴趣区域周期图像及关键帧 将获取的全局与局 部特征向融合 之后把静态特征和动态特征有效组合进行分类 然后进行人体轮廓和肢体关节角度特 征识别以区分人和物 当感兴趣区域选择后 立即运用人脸细微特征识别算法实施三维成像人脸识别 为复杂的大视场智能化人员监测提供理论基础及技术保障 将定焦成像和变焦成像子系统获取到的感兴趣区域图像 先进行人体行为特征识别 实施人与 物的区分 然后进行人脸细微特征识别的算法进行识别 达到识别的效果 此外对于上述方法的精确 性的保证我们还有补充 我们会在该视场中构建一个由四台监控系统组成的立体无死角监控网络 四 台相机监控区域各有重合 保证在无死角的情况下将各自的数据汇总然后进行分析 融合 和处理 多方位地保证了我们识别的精准性 可靠性 和高效性 综上所述 基于机器视觉的传感技术已经取得丰富的成果 并与其它方法一起加速推动着智能 装备从人工或半自动方式向全自动化方式 粗放型向高效精密型迈进 20 研究 基础 和 条件 一一 研究研究基础基础 开展前期开展前期预研预研工作工作 积极参与企业进行相关技术的调研 本团队成员 多次赴企业进行现场调研 了解到现有的定焦成像系统在复杂的大视场下 存在 视场区域光强动态比较大等干扰 所成图像分辨率较低 造成后续的图像处理子系统不能依据成像准 确获取感兴趣区域 进而无法精确细微特征的提取进行人脸识别 再者 现有的变焦成像子系统针对 动态物体自适应跟踪还存在诸多不足 譬如 无法完成感兴趣区域高效 稳定的自适应对焦 人脸细 微特征精确提取等 因此无论是 定焦式视觉检测 还是 变焦式视觉检测 的单一视觉传感方式 都难以在人脸识别过程中完全达到对所测目标的清晰 稳定成像 实现图像细微特征高效 精确的提 取以适应大视场中人脸识别技术的要求 于是 结合团队有关成员前期目标跟踪系统的研究成果 经 验 提出一种 宏 微 复合视觉传感系统 参与构建移动式焊接机器人软 硬件平台 指导老师所在的团队跟踪国内外移动式焊接相关技术发展现状 采用三维建模方式 建立 宏 微 复合视觉传感系统模型在此基础上 研制有 宏 微 复合视觉传感装置 图 17 b 基于台达 伺服电机 研华工控机 固高运动控制卡等固件 图 17 c 结合运动控制技术方面的研究积累 研制一套基于视觉信号的自适应控制系统 图 17 d 该软 硬件实验平台研制经验及技术积累为该 项目中感兴趣区域自适应跟踪的实验开展奠定基础 a 执行机构 3D 建模 b 执行机构硬件平台 c 运动控制硬件 d 运动控制软件 图 17 前期软 硬件实验平台 参与 宏 微 复合式感兴趣目标跟踪方法预研 在分析现有定焦成像子系统 变焦成像子系统跟踪方法优势与弊端的基础上 团队成员结合前 期研究感兴趣目标视觉跟踪 结合企业现场调研及深入交流 针对大型公共场合人员检测提出了一种 宏 微 相结合的复合视觉传感方法 通过以上的预研 首先确定了 宏 微 复合视觉传感方法能够弥补单一视觉传感方式中存在的 缺陷 在该项目后期研究中 对 宏 微 复合视觉传感工作原理及一体化监测装置开展研究 其次 明确要抓住影响成像的关键因素 复杂的大视场环境 简历相应的数学模型 实现清晰 稳定的成 21 像 最后 在该项目后期研究中开展图像感兴趣区域细微特征高效 稳定的提取算法研究 二二 研究研究条件条件 硬件硬件方面方面 拥有一系列高性能工业相机 高性能图像处理工作站 研华工控机 焊接电源等 图 18 a 高性能工业相机 b 工控机 图 18 硬件设施 项目团队目前在感兴趣区域跟踪系统 数控系统 图像处理系统及机器人应用技术等领域 积累 了丰富的经验 为本项目的顺利实施打下了坚实的基础 前期研制全数字智能弧焊电源 三轴数控自 动焊接平台 模块式机械臂 智能移动小车等新产品 8 项 项目已有的相应工作机制的建模项目已有的相应工作机制的建模 1 视觉注意机制建模 图 19 视觉注意机制计算方式建模示意图 a 亮度特征提取 设 r g b 分别表示原始图像中红色 绿色和蓝色通道则亮度I可有以下公式计 算出 3IRGB 22 a 实验原图 b 亮度特征图像 图 20 亮度特征提取 b 颜色特征提取 广义上的红 绿 蓝 黄四个通道及红 绿和蓝 黄通道的计算公式 r 2 2 2 Rgb Bbrg Yrgrgb RGRG BYBY a 红色通道 b 绿色通道 c 黄色通道 d 蓝色通道 图 21 颜色特征提取 C 方向特征的提取 方向特征一般用 Gabor 滤波器表示 212 2 exp exp kkk xyix k h x y 其中 与 分别为 x 和 y 方向上的标准方差 和分别为正弦波的波长和方向 k d 特征图计算 c c ccs I ccs RG ccs BY ccs ori MI cI cs MR cG cGsB cs MB cY cYsB cs MO cO cs 是一个跨尺度的差减算子 25 它通过将粗尺度图像插值到细尺度上并逐个像素相减来实现 这个 算子通过计算输入图像的素点与其周围的像素点的特征差异值来模拟视网膜中感受野的原理 随着参 数 c 和 s 的改变 可以得到不同尺度下的特征差异值 进而合并成特征图 27 e 方向特征合成 23 a 0 b 45 c 90 b 135 图 22 多角度方向特征合成 f 检测所有显著点 图 23 显著图 2 宏微复合视觉传感装置 3D 模型 图 24 宏微复合视觉传感装置 3D 模型 3 研发的人脸细微特征识别系统 图 25 监测系统界面图 24 4 团队相关成员前期研究成果 因此 该项目的依托平台完全具有本项目研究的硬件 软件条件及技术事例 可以为该项目的顺 利开展及解体提供有力的保障 文件类型 发明创造名称 申请号 申请日 发明专利 一种塑料管材表面缺陷检测装置及其检测方法 201711136238 7 2017 11 16 发明专利 一种面向岛礁水下形貌测量微型无人艇电推式舵机系 统 201711137298 0 2017 11 16 发明专利 一种面向装备零件仿制的 3D 打印系统及其方法 201711137300 4 2017 11 16 发明专利 一种宏微复合视觉监测系统及控制方法 201711306498 4 2017 12 11 发明专利 一种面向岛礁测绘薄壁浅水潜航器电池舱系统 201711306770 9 2017 12 11 发明专利 一种面向岛礁水下形貌测量的微型浮潜式多体巡航系统 201711307936 9 2017 12 11 实用新型 一种塑料管材表面缺陷检测装置 201721531087 0 2017 11 16 实用新型 一种面向岛礁水下形貌测量微型无人艇电推式舵机系 统 201721531661 2 2017 11 16 实用新型 机械损坏零部件 3D 打印设备 201721532195 X 2017 11 16 实用新型 一种薄壁浅水潜航器电池舱 201721709213 7 2017 12 11 实用新型 一种宏微复合视觉监测设备 201721709858 0 2017 12 11 实用新型 一种微型浮潜式多体巡航系统 201721710635 6 2017 12 11 实施 进度 安排 一一 为了本项目的顺利实施 设置项为了本项目的顺利实施 设置项目进度安排如下 目进度安排如下 第一阶段 2018 01 01 2018 01 31 分析前期研究基础及成果 制定针对本项目的前期改进完善计划及已有研究成果的使用计划 为 后期成套装备系统的示范应用及产业化奠定基础 项目启动 方案制定 技术论证 任务规划 第二阶段 2018 02 01 2018 08 31 宏 微 复合视觉传感装置的功能设计 轻量精密化结构设计 针对大视场人员检测 优化感兴趣区域自适应跟踪 对焦控制方法 并进行实验验证及完善 图像处理子系统低分辨率人体行为特征算法研究 图形处理子系统人脸细微特征识别算法研究 复合传感系统成像信息融合人算法研究 设计完善人脸识别数据库 第三阶段 2018 09 01 2018 12 31 多系统协同控制系统研发 大视场高效 精准人员检测功能实验及专家系统完善 申请专利 6 项 其中发明专利 3 项 发表论文 2 篇 撰写项目总结报告 结题验收 25 二 该项目预计完成的目标该项目预计完成的目标 通过该项目研究 完成一套面向大视场环境人脸识别的 宏 微 复合式视觉传感装置 完成一套基于 宏 微 复合视觉传感系统的大视场人员实时考勤 检测装置 完成一套适用于大视场人员实时检测的软件系统 针对以上装置工作后要实现的技术指标如下 定焦成像子系统图像处理速度不低于 5 张 秒 变焦成像子系统图像处理速度不低于 50 张秒 人脸识别速度在 0 01 秒以内 人脸识别精度控制在 99 5 以内 主要参考文献主要参考文献 1 张海波 原魁 周庆瑞 基于路径识别的移动机器人视觉导航 J 中国图像图形学报 2004 07 89 93 2 Xiao gang Wang and Xia oou Tang Hallucinating Face by Eigentransform ation J IEEE Transactions on Systems Man and Cybernetics 2005 425 434 3 Crete F Dolmiere T Ladret al The blur metric J Human vision and eletronic imaging 2007 4 492 4 4 Wei W An image quality asesterment method based on HVS J Security technology 2007 19 320 324 5 李奇 冯华君 徐之海 自动对焦系统中图像非均匀采样的实验研究 光子学 化 2003 32 12 199 1501 6 圣钱生 张桂英 吴有俊 基于 Davinci 的自动对焦算法研究及实现 J 通讯技术 2