双目立体视觉的三维人脸重建方法_图文

1、 智 能 系 统 学 报 第 卷 左右摄 像 机 采 集 标 定 模 板 图像 ： 择 ） 选 实验结 果 与分 析 基于双 目立体视 觉的三维 人脸重建 系统构成 的平 面棋 盘格作 为标 定 物 ， 盘 格 每个 小格 的尺寸 棋 为 图 为用 左 右摄像 机 同 时从不 同方位采 集到 的 幅标定 模板 图像 本 文 的研究 是 以双 目立 体 视 觉理 论 为基 础 ， 以 人脸 为研究对 象 ， 构建一 个三维人 脸重建 系统 系 该 统 的实验平 台如 图 所示 ， 主要 是 由 台 彩 色 视频摄 像 机 、 恒 图像 采 集 卡 大 视 频 电缆 、 白棋 盘 格 标 定 板

2、和 、 黑 算机组 成 计 （ ）左摄像机采集 副标定模板图像 （ ）右 摄 像 机 采 集 副标 定 模 板 图像 图 双 目摄像机采集标定模板图像 图 三维 人 脸 重 建 系统 实 验 平 台 角点检测 ： ） 对棋盘 格进行 角点 检测 ， 目的是 为 了得到角点的二维图像坐标 ， 作为标定过程 的数 据输 入 ， 测结 果精确程 度直接影响了整个系统 的标定精 检 度 以 ， 所 采用 的是 精度 很 高的基 于 子 的亚 算 像 素级 角点检 测算 法 为角点检 测的结果 图 内外 参数 标定 ： ） 由于所 采用 的 双 目摄像 机 是 固定焦距 的 ， 以在使 用 过 程 中其

3、 内部 参数 不会 发 所 生变 化 由上 述摄像 机 标 定算 法得 到 内外 参数 标 定 结果 见表 可见 ， 中采 用 的立体 视觉 系统 可 以认 文 为是 由 个完 全相 同的摄像 机组成 的平 行双 目立体 视觉 系统 表 摄 像 机 标定 结果 图 三 维 人脸 重 建 系 统流 程 图 摄 像 机 内外 参 数 内 参数 焦 主 左摄 像机 一 一 右 摄 像机 一 距 点 图 所 示为 整 个系 统 的流程 图 首先 利用 标定 的 台摄像机 获取 人脸 正 面图像 对 ， 通过 图像校 正 一 使 图像对 的极线对齐 在立体 匹配方 面 ， 结合 特征技 术 ， 用基于

4、区域生 长 的立 体 匹 配算法 得 到 整个 人 采 脸 区域 的视差 图 最后 ， 人脸 的三维点 云在二 维平 将 一 一 畸 变 一 面上进 行 三角 剖分 、 网格 细分 和光顺 处 理 来 重建 三维人脸模 型 外 参数 旋 转 向量 ， 平 移 向量 。 ； 摄像 机标定分 析 利用上 面介绍 的标定方 法对双 目摄像 机进 行 内 外参 数标定 ， 具体实 现如下 ： 误差 分析 ： 了表征 摄像机 标定 的测 量精度 ） 为 并对 误差 进行 定 量分 析 ， 入 了平均 绝对 误 差 ， 引 定义 如下 ： 第 期 贾 贝 贝 ， ： 目立 体 视 觉 的三 维 人 脸 重

5、 建 方 法 等 双 二、 一 一 以看 出 ， 该立体 匹配算法 获取 的人脸视 差 图比较 光滑 且能够反 映出人脸较为 明显 的视差 阶跃 （ ） 式 中 ： ， 棋盘格 角点 的实 际 图像 坐 标 ， （ ，）是 （ ）是通 过标 定 的双 目视 觉测 量 出来 的图像 坐标 ， 为测 量角点 的数 目 角点 坐标 重新投 影 到图像 中 ， 将 所 得误 差为 （ ）采 集 的 人脸 网像 对 （ （ 【 一 （ ） 生 长 算 法 牛 成 视 差 图 域 图 角 点 检 测 图 立体匹配牛成视筹图 图 为经过角 点畸 变校 正后 的重投 影误差 分 布 图 从图 中可以看 出，

6、经角点校正后 的图像误差分 布均 匀， 在和 方向上检测精度均不超过 像素 个 因此 从实验结果来看 ， 本摄像 机标定方法是有效的 三维人 脸重 建结 果 采 用上面介绍 的三 维人脸重建方 法 ， 即利用人脸 视差 图和摄像 机 内外 参 数 的结果 汁算 人脸 点 云的三 维坐标 采用 方法 对 散 乱 的 三维 点 云进 行 三 角剖分 ， 图 如 （ ） 而后 对初始 生成 的三角 形 网格 三维人脸 模型进行 了网格细化和光顺 处理 ， 到最终 得 的三维 人脸模型如 图 所 示 图 中可 以看 出 ， （） 从 初 始生成 的三维人脸模 型粗糙 而不平 滑 ， 经过 网格优化 后

7、， 对初始人 脸模 型进 行 了孑 洞 修 补 和平滑 处 理 ， 使 得三维人 脸主体部分 的重建效果真实感强 图 重 投 影 误 差分 析 立体 图像 匹配和 视差 图生 成 图 给 出了立体 匹 配 生成 视 差 图 为 双 图 （） 目摄像 机 拍 摄 的人 脸 图 像 对 ， 像 分 辨 率 为 图 首先利 用 基 于特 征技 术 得 到人 脸 边 缘 特征 点 个 ， 对边缘 特 征 点做 灰 度 相 关处 理 ， 到 准确 可 得 靠 的视差 然后选择 匹配 的边缘特 征点 个作 为种 子像素 ， 以种子像 素 的视 差作 为 区域 生 长 的视 差 ， 在 外 极线约束 、 单

8、调性 约束 以及对应 匹配 的边缘 特征点 的约束 下 ， 对与种子像 素相邻 的像 素点在 水平 扫描线 卜 行 区域生 长 ， 进 最终选 取 个种 子像 素从 而得 到整 个人脸 区域 的视 差图 将生成 的人脸 视差 图量化 到 ） （ 个灰 度级 ， 图 所 示 图中可 如 （） 从 秘 翟 够 哆 杈 一 （ ） 始 生 成 三 角形 网格 初 的 三维 人脸 模 型 （ ） 终 的 三维 人脸 模 型 最 图 多 视角 下 的三 维 人 脸 重 建 结 果 智 能 系 统 学 报 第 卷 ， 结 束 语 本 文从人类视 觉 机 理角 度 出发 ， 出一种 基 于 提 （ ）： ，

9、 ， 双 目立 体视觉 的三维 人脸 重 建 方法 先 利用 标 定 首 的 台摄 像机获 取人 脸 正 面 图像对 ， 过 图像 校 正 通 使 图像对 的极线对 齐 ， 然后 结合 特征技术 ， 选择具 有 准确可靠 视差 的人 脸 边缘 特 征 点作 为种 子 像 素 ， 以 种子像 素的视差作 为 区域 生 长 的视 差 ， 在水 平 扫描 线上进行 区域生 长 ， 提高 了匹配 的速度 和准确度 ， 从 而得到整个 人脸 区域 的视 差 图 后 根 据摄 像 机标 最 定和立体 匹配结果 计算 得 到 空 问点 的三 维 坐标 ， 通 过 对人脸 的 三维点 云进 行 三角 剖分 、

10、 网格 细分和光顺 处理 ， 到光滑 逼真 的三维人脸模 型 得 在今后 的研究 中， 主要 解 决 由于光 照 因素对 三 张广军机器视觉 北京 ： 科学出版社， ： ， （） ， ： ， ， ， （ ） ， ： 阮秋琦数字图像处理学 版北京 ：电子工业 出版 社 ， ： ， ： ， （ ） 维 人脸重建造 成的 影 响 ， 虑 采用 主 动光 源 对被 拍 考 摄 的人脸 区域 进行 照射 ， 同时进 行 人脸 图像 对 的采 集 ， 样可 以有 效地 减小 光 线 变化 对人 脸 图像 的影 这 响 ， 而达到在各 种 光照 条 件下 重 建 出具 有真 实 感 从 的三维 人脸模 型

11、张永春 ， 达飞鹏 ， 宋文忠三维散乱点集的曲面三角剖 分 中国图象图形学报 ， ） ， （ ： ， ， ， ， ）： （ 参 考 文献 ： ， ， ： ： ， ， （ ） ， ， ）： （ ， ， ， ， ： 作者简介： 贾 贝 贝 ， ， 年 生 ， 士 研 究 女 硕 生 ， 要 研 究 方 向 为 计 算 机 视 觉 、 字 主 数 图 像 处理 、 号 与信 息 处 理 信 ， ， ， ： ， ， ： ， 阮 秋 琦 ， ， 年 牛 ， 授 ， 士 男 教 博 生 导 师 ， 京 交 通 大 学 信 息 科 学 研 究 所 北 所长 ， 国务 院 学 位 委 员 会 学 科 评 议 组 成 ， ， ， 一 员， 高级会员主要研究方 向为图 像处理 、 计算 机视 觉 、 多媒体信息 处理 、 虚拟现实 、 算机支持 的协 同工作 曾 计 获国家教委科技进 步二等奖 、 铁道部科技进步二等奖和三等 奖等 ， 被评 为国家