20基于PC平台的AR系统技术_14讲49.ppt

基于PC平台的AR系统关键技术研究和基于VR培训系统开发 基于PC平台的AR系统关键技术研究基于VR培训系统开发 基于PC平台的AR系统关键技术研究 系统总体结构实时跟踪系统多通道交互技术场景融合技术AR开发平台Illusion虚拟物体制作和头盔显示虚拟魔幻屋的设计与实现 系统总体结构 实时跟踪系统 在AR系统中 实现虚拟信息和真实信息无缝集成要解决系统的静态和动态错误 解决静态错误所采用的技术方案解决动态错误所采用的技术方案 静态错误解决方案 基于计算机视觉理论的实时跟踪技术和跟踪系统的实现实时的 较好精度和鲁棒的动态定位计算模块简便的 自动的 高精度和鲁棒的摄像头定标技术多目视觉跟踪系统的设计原则和安装措施 返回 动态错误解决方案 人工标志的设计针对标志的图像跟踪算法基于并行机制的实时图像处理技术基于并行机制的实时图像绘制技术基于PC平台的实时 高性能的图形数据显示管理系统 两节点视觉跟踪系统 两节点跟踪系统基本结构 跟踪标志的设计 所有的图案点共面 每个圆点的半径相同 相邻圆点的圆心上下左右的距离相等 其中边缘两组点的圆心分别共线 并且这两条线互相垂直 点的颜色为白色 背底为黑色 人工特征点提取和匹配算法 原始图像 二值化图像 候选特征连通域 4 5 2 3 候选特征点及其中心坐标 特征点图像中基本点阵特征点的中心图像坐标和排列次序 扩展点阵特征点的中心图像坐标 标准图像中扩展点阵中点的中心图像坐标和排列次序 完成目标的识别 6 7 人工标志的空间姿态重建 Zc1 u1 v1 1 T M1 x y z 1 TZc2 u2 v2 1 T M2 x y z 1 T 单个人工标志物的跟踪和三维重建 左图像 右图像 重建结果 多目视觉系统 由于两个摄像头的有效跟踪范围有限 可采用多摄像头阵列的多目跟踪技术和姿态重建 本发明中采用了呈平面网格分布的多目立体视觉结构 每个摄像头的光轴垂直水平面 光心均匀的分布在网格点上 图中阴影部分为有效跟踪范围 在建立该多目视觉系统时 H为摄像头光心的安装高度 h为稳定的跟踪区域的高度 一般情况下 摄像头的两个方向的视角不同 设 为保证各个方向稳定的跟踪区域的高度h相等 网格的间距d1 d2应满足一定的约束 如下式所示 在实际安装多目立体视觉系统时 考虑到摄像头的参数和方向不可能完全一致 为保证稳定的跟踪区域的高度h 加入修正因子 h 可按下面两式的计算d1 d2 多目视觉系统构架 多通道交互技术 视觉通道AR系统通过视觉通道产生以用户本人为视点的包括各种景物和运动目标的场景 人通过头盔显示器 HMD 等立体显示设备进行观察 听觉通道在AR系统中加入三维虚拟声音 可以增强用户在虚拟环境中的沉浸感和交互性 项目中采用DirectSound技术完成了背景音乐 音效的三维声音定位 力反馈在本项目AR系统中 由引入力反馈 通过力学反馈操纵杆 让用户对增强现实环境有了一种 看得见摸得着 的感觉 用户的输入 零训练的语音识别系统 目前环绕语言技术的另一个领域就是如何把现有的语音识别技术应用到各个领域 让增强现实环境理解人的语言 可以提高人机交互的自然性 本项目中采用SparkSDK开发工具包 无须进行语音训练 即可识别定义好的语音命令 并与Internet控制技术相结合 实现了增强现实环境的交互 系统的结构如下图所示 场景融合技术 坐标转换真实场景视频采集真实摄像头参数求解摄像头标定和校正虚拟摄像头校正虚实融合 坐标转换 返回 真实场景视频采集 我们使用DirectShow构架的软件模块 通过视频采集卡采集外部视频信号 这个软件模块的滤镜图如下 返回 真实摄像头参数求解方法 摄像头模型标定算法畸变校正算法焦距 视角的计算 返回 AR开发平台Illusion AR开发平台Illusion的任务是完成AR项目所需要的实时图形显示和交互功能 AR项目需要实现的图形功能是真实场景数据和虚拟场景数据融合并显示 融合后场景的内容能够通过各种已知或者未知的方式进行交互 支持特效的扩展 支持动画 支持故事线等 AR开发平台Illusion具有以下特征 管理扩展模块的能力采用OpenInventor的显示机能支持视频融合分层式软件结构 采用核心层 扩展层和应用层三层结构 从而可实现灵活的模块化管理 开放的扩展体系 AR开发平台Illusion模块化结构 系统核心主要由DM FM IM三大模块组成 AR核心系统功能框图如下 模块划分 Studio 用于构造基础模块 iCom提供基于DirectPlay的通讯功能 iCore提供基础的模块和数据管理功能 iDeform提供变形计算 用于支持顶点动画 Illusion提供应用程序载体 Plugin 用于构造扩展模块 Animation提供具体的动画实现Camera模块提供Camera控制功能GA VA模块实现了具体的刚体动画 GA 顶点动画 VA 数据操作Illusion模块提供了基础启动管理功能 决定了整个系统的启动配置Video模块实现的是视频捕捉 至于捕捉以后的数据如何使用则是由iCore模块决定的 三维虚拟物体的制作 AR系统中包括虚实两方面的数据 虚拟的数据就是必须创造一个虚拟环境 这个虚拟环境包括三维模型 三维声音等 在这些要素中 因为在人的感觉中 视觉摄取的信息量最大 反应亦最为灵敏 所以创造一个逼真而又合理的模型 并且能够实时动态地显示是最重要的 虚拟现实系统构建的很大一部分工作也是建造逼真合适的三维模型 三维虚拟物体的制作 虚拟场景的构造主要有以下途径 基于模型的构造方法 1 多边形建模 2 NURBS建模 3 细分曲面技术 基于图像的绘制 IBR 增强现实中虚拟物体的创建技术 为了充分利用发挥艺术创作人员的创造力 允许他们利用熟悉的主流三维建模工具3DMax进行虚拟场景和物体进行建模 然后利用开发的专用转换插件实现三维虚拟物体的导出 并AR系统中加以利用 可以大大加快系统的开发进程 本系统中的三维模型利用3DMAX制作 导出 然后在Illusion平台进行调整和显示 整个制作流程包括如下4个部分 物体造型材质纹理动画制作合成导出 增强现实显示系统 Monitor based增强现实显示系统光学透视式 OpticalSee through 增强现实显示系统视频透视式 VideoSee through 增强现实显示系统 返回 Monitor based增强现实系统 返回 光学透视式增强现实系统 返回 视频透视式增强现实系统 头盔显示系统 I 本项目采用视频透视式头盔显示系统 为了实现良好的沉浸感 必须实现基于头盔双通道的立体显示技术 由于头盔具有两个微型液晶显示器 可以同时显示左右眼的图像 为了能够将增强场景立体显示出来 需要完成真实场景的立体视频采集和虚拟场景的立体渲染后 进行场景融合如下图所示 采用微软公司 Microsoft DirectShow的滤镜 Filter 技术与多线程技术的双通道视频数据采集 由于实时视频数据量很大 同时为了兼容多种不同的视频捕捉卡 所以采集视频数据时采用了滤镜技术 双通道的视频数据采集在两线程中分别进行 采集到的视频数据保存在两个视频缓冲区中 利用线程同步机制来保证采集的视频数据的同步 从而实现双通道视频数据的采集 这样有效地利用了CPU的资源 提高了系统的实时性 可在一般PC上实现 立体视频采集 虚拟场景的立体渲染 基于OpenInventor的立体渲染立体渲染有两种方式 旋转相机 该方法存在丢失集合一致性的问题 当两个摄像机旋转时 他们的投影轴就不同了 于是就会出现两种情况 由于两个视点的Z轴次序出现微小的差异 在两个视图中 形状方向就不能保持一致 该方法还要求当场景中的观察位置变化时 立体焦点也能一直变化 平移相机 该方法解决了上述问题 无扭曲实现所需的立体效果 通过增加与降低视景体的非对称 场景将相对屏幕发生移动 虚拟魔幻屋的设计与实现 虚拟魔幻屋是一个本项目研究成果的综合体现 结构图如下 基于VR培训系统开发 三维可视化驱动系统虚拟控制系统工程分析子系统结构 SHU 虚拟机床系统 虚拟机床由虚拟控制系统 三维可视化驱动系统构成 机床结构建模和运动学分析共同构成 其功能结构图如下 三维可视化驱动系统 包括了场景绘制模块 机床装配模块 机床模型导入模块 切削仿真模块 人机交互模块 网络通信模块等六个模块 其中 网络通信模块与虚拟数控系统进行通信 将操作指令传送给切削仿真模块 场景绘制模块负责图形场景的渲染 根据导入的机床模型与切削仿真 装配仿真的结果事实绘出制虚拟车床 人机交互模块则使操作者可以通过三位鼠标与立体眼镜等交互设备对虚拟车床场景进行漫游 仿真系统的基本数据结构 虚拟控制系统 本系统是仿上海开通数控的KT590 T控制系统而设计的虚拟数控系统 其可用于紧凑型机床的微处理器控制CNC连续轨迹控制系统 本虚拟数控系统是将KT590 T实现于PC平台上 并且通过网络将实时插补的数据输送基于OpenGL开发平台的虚拟机床上 实现对加工过程的仿真 功能模块选择示意如下图 工程分析子系统 包括数据读入模块 计算模块和可视化模块 通过将工程分析的参考数据读入系统 应用结点的参考数据或计算公式计算出工程分析结果 最后将工程分析结果采用可视化的手段表现出来 数据读入模块将工程分析的参考数据读入系统 参考数据是仿真图形结点的参考数据 他们是计算出结点的工程分析结果的基础 计算模块应用结点的参考数据或计算公式计算出工程分析结果 其中 工件的变形采用推导出的解析式可以直接求出 刀具的工程分析结果则需通过图形结点的参考值 结合插值等算法计算得出 可视化模块将工程分析结果采用可视化的手段表现出来 工件的变形通过轴线位移表示 刀具的工程分析结果则通过颜色的予以深浅反映 工程分析部分的基本数据结构 采用的关键技术 虚拟机床的控制系统系统集成及三维驱动采用的关键技术三维鼠标应用中采用的关键技术切削过程仿真的关键技术工程分析关键技术 软数控系统解决的关键问题 直线差补圆弧差补软数控通讯协议 系统集成及三维驱动解决的关键问题 车床模型的导入机床装配过程描述语言的设计 V代码 机床装配仿真与场景绘制模块的接口 三维鼠标技术 三维鼠标是一款真正的三维输入设备 它能够监测到手指施加其上的最轻微的力 并将其分解成 X Y Z的平移与转动 同步即时地操作3D图形 在操作三维图形或对象时 提供了良好的六自由度的交互控制 用户即能够通过三维鼠标控制机床的平移与旋转运动 也可以使用三维鼠标的视点控