便携式任意墙面触控装置系统设计

1、题 目便携式任意墙面触控装置系统设计目 录摘要1Abstract2前言3第一章 绪论41.1人机互动的发展与现状41.2任意墙面触控装置的研究意义与应用前景5第二章 便携式任意墙面触控装置系统简介72.1系统功能实现思路72.2系统功能实现步骤82.2.1确定互动区域82.2.2 确定触摸事件82.2.3触控事件分类92.2.4互动软件平台9第三章 便携式任意墙面触控装置系统硬件部分103.1系统硬件组成103.2系统硬件一体化方案12第四章 便携式任意墙面触控装置系统滤波算法144.1卡尔曼滤波原理介绍144.2卡尔曼滤波Matlab仿真154.3滤波算法改进164.4滤波效果19第五章 便

2、携式任意墙面触控装置系统实验验证215.1 滤波效果实验215.2系统功能实验验证22第六章 总结26参考文献27致谢29便携式任意墙面触控装置系统设计摘要人机互动技术作为一种人与计算机之间进行信息交互的技术，是一项十分热门的研究领域，并在近年来取得了不错的发展。但是，人们对于人机互动体验的要求也在逐渐的提升。在大屏幕的互动领域，投影技术应用广泛，可以展示相关文字、视频，达到的人机互动的效果。但是受限于键盘鼠标的操作方式，它并不能达到自然的互动效果，因而不能满足日益增长的互动需求。基于体感传感器的任意墙面触控与体感控制技术作为一种虚拟现实技术和动感捕捉技术，目前被广泛的运用在大屏幕人机互动系统

3、中。针对在大屏幕人机交互中可能出现的跟踪定位不精准，用户互动体验差等问题，本文提出了一种基于3D传感器（Kinect）的联合滤波算法。该系统采用Kinect，对一个投影面进行扫描，然后通过Kinect的深度摄像头接受红外信号，并将这些信号经过联合滤波处理发送给控制主机，从而达到与计算机进行实时的人机交互的需求。关键词：人机交互 Kinect体感技术 投影互动 虚拟现实AbstractHuman-computer interaction technology as a technology for information exchange between people and computers

4、 is a very popular research field, and has achieved good development in recent years. However, people's requirements for human-computer interaction experience are also gradually increasing. In the interactive field of large screens, projection technology is widely used to display related text an

5、d video and achieve the effect of human-computer interaction. However, it is limited by the operation methord of the keyboard and mouse. It does not achieve natural interactive effects and thus cannot meet the increasing interactive needs.As a virtual reality and motion capture technology, somatosen

6、sory control based on 3D sensor is being widely used in large-screen human-machine interactive system.Aiming at the problem of poor positioning and poor user interaction in human-computer interaction, this paper proposes a joint filtering algorithm based on 3D sensor kinect. The system uses kinect t

7、o scan a projection plane, and then receives the infrared signal through the depth camera of kinect, and sends these signals to the control host through the combined filtering processing so as to achieve the purpose of human-computer interaction with the computer and can realize the required real-ti

8、me interaction.Key words: Human-computer interaction Kinect technique Gesture recognition Virtual reality前言人机交互技术简单地来说就是人与计算机之间进行信息交换的技术，既是计算机给人提供信息的通道，也是使用者控制计算机的途径。作为这样一种连接人与计算机的重要技术，它一直受到计算机行业的密切关注，并且引起了相关领域的激烈竞争。随着计算机和多媒体技术的不断发展，人机交互也在逐渐趋向自然化与智能化。而体感与触控技术的出现，更是将人机交互技术的发展推动到了一个新的阶段。作为一种虚拟现实技术，体感控

9、制技术与现有多媒体技术的结合无疑将变革现有的人机交互方式，并且在今后的教育、会议、娱乐等各行业都将具有广阔的发展空间。除此之外，体感与触控技术的应用还将大大改进用户的互动体验，借助体感传感器与多媒体技术，使用者可以摆脱键盘鼠标的限制，以一种更加直接、自然的方式进行计算机的操作。对比原有的互动方式，这种方式显然更加地引人入胜。本文所介绍的便携式任意墙面触控装置系统将借助Kinect传感器，对任意墙面投影上的红外笔或者是手势进行动作捕捉，并结合自主开发的人机互动软件平台，实现以红外笔或是手势直接在投影面上操作计算机的功能。同时结合电子白板等技术，让使用者可以随时进行书写画图等操作，达到实时自然的人

10、际互动效果。本文将详细介绍本系统的硬件设计与滤波算法部分设计，并根据实验验证本系统的使用性能是否能满足互动的需求。第一章 绪论1.1人机互动的发展与现状自上世纪60年代第一台计算机诞生以来，人机交互就开始逐渐发展起来1，从语言形式的交互界面到图形化的交互界面再到多媒体形式的交互界面，直至现在的自然化智能化的交互技术2。在最初的语言形式的用户界面中，由于计算机语言的专业性和复杂度，极大地限制了人们对于计算机的使用，只有掌握了计算机语言才能进行有效的人机交互操作，这也使得计算机的使用被局限在少部分专业人士手里。正因如此，人们不断探寻新的人机交互方式。而随着Windows这一图形用户界面系统的出现，

11、人机交互突破了专业性的限制，使得大部分人都可以通过轻松完成一些最基本的计算机操作。对比于原先的语言形式的人机交互，这种图形界面的操作方式显然更加符合人的认知习惯，更加直观而且易于操作。在近些年，多媒体技术的发展也使得人机交互的形式更加丰富多彩。多媒体技术可以满足人机交互所需的信息传输，交互等条件，其发展与人机交互的发展可以说是相互影响、相互促进3。现在，人机交互技术的发展正面临着新一轮的变革。一些新技术的不断发展和应用，比如体感技术、人工智能、虚拟现实技术等，能极大地提高人机的互动效果。从目前发展相对较迅速的体感控制技术来说。体感控制技术凭借其特性已经应用在医学、商业、计算机科学及机器人等很多

12、领域4。例如，在医学领域中，瑞士伯尼尔大学的Michael.Tully教授等研究人员借助Kinect传感器设计了一种可以浏览医学影像和信息的系统。该系统运用体感技术，可以直接用手控制图像浏览，利用Kinect非触摸的体感方式5可以有效的避免手术中可能出现的由于接触产生的感染，提高手术的安全性。又如远程手术技术，体感控制也起到了重要作用。西雅图华盛顿大学Biorobotics实验室的Chizeck等让Kinect传感器在远程手术过程中为外科医生提供触觉反馈，将Phantom Omni6触觉设备与Kinect设备连接，并且建立患者的3D模型，这样身在异地的医生可以通过装置为患者进行手术。在科技助残

13、方面，德国康斯坦茨大学的Michael.Zollner等开发的视觉障碍导航辅助（Navigational Aids for the Visually Impaired，NAVI）系统7就能够帮助盲人进行导航。使用者需要穿着一个头盔，其上固定有Kinect传感器，一条装有震动马达的腰带，以及一台放在背部的便携计算机，耳中再佩戴上蓝牙耳机，便可以接受导航。震动马达将会被连接到Arduino8主板上。在使用者前方出现障碍物时，Kinect就会探测到，信号经过专门的软件的处理之后，就会通过震动腰带对使用者发出提醒。如此多的技术发展与应用正不断地推动着人机互动领域的不断进步，并在其中发挥着越来越深入，越

14、来越重要的作用。同时，人机互动的发展也在改变着人们生活的方方面面。可以想见，在今后的发展中，越来越成熟的人机互动技术将会彻底改变人们的生活方式。1.2任意墙面触控装置的研究意义与应用前景当前的触控式人机交互系统大多局限于通过触控屏实现触控操作。诚然，在小屏幕的互动领域，触控屏的使用十分的便捷，多点触控技术的发展让触控屏能够流畅的完成人们所需的触控操作。但是，在大屏幕互动领域，触控屏就并不像它在小屏幕领域表现的那样优秀。在大屏幕的互动领域，现行的大屏幕显示技术分大屏幕投影与LED大屏幕显示技术9。应用LED屏的大屏幕互动系统，往往设计复杂，需要高昂的价格，并且不利于移动。一经安装，往往就需要使用

15、者在固定的地点进行操作，这无疑是不利于用户的互动体验的。本文所介绍的便携式任意墙面触控装置系统在需要大屏幕的人机互动时具有优势。通过投影仪与体感传感器Kinect，以投影面代替触控屏的显示功能，以Kinect的体感功能代替触控屏获取用户触控信息，这样的互动方式，可以摆脱触控屏的限制。与此同时，在多人的人机互动场合，如在传统教学互动、会议互动等模式中， 投影+体感技术这种新型互动方式的应用仍是一个空白，现在大多的大屏幕互动设备仍在沿用鼠标控制模式。而本文所介绍的这种新型人机交互系统在这方面有着自身独特的优势。对比于传统的键鼠操作电脑+投影显示以及触屏设备+投影显示的模式，本系统的优势在于它的自然

16、性。使用者直接在投影面上的书写与操作更加契合人与人之间面对面的交流习惯，同时也更易于展示人抓住被展示者的注意力，以达到更好的互动效果。与此同时，将投影机与Kinect整合在一起的一体化设计，简化了连接安装过程，也让本系统易于携带，使得使用者可以很便捷地将本装置移动到需要使用的地方，经过简单的调试就可以投入使用。可以想见，在未来的教学、会议、销售、演讲等领域，这种任意墙面的触控装置具有广阔的发展前景。第二章 便携式任意墙面触控装置系统简介2.1系统功能实现思路图2-1 系统实现方案思路如图2-1所示为任意墙面触控系统的实现方案的大致思路。当具有红外发射功能的触控笔在投影墙面上进行触控操作时，借助

17、触控带来的轻微按压使得笔尖激发红外光，从而在墙面上形成红外的光斑。然后Kinect的深度摄像头会对互动平面进行扫描，并把扫描到的信号传输到电脑中。电脑会先对收到的数据进行滤波处理，然后将处理好的数据传输到控制软件中，从而实现人机交互的功能。以下为本系统的互动功能框架图：图2-2 互动功能框架图2.2系统功能实现步骤2.2.1确定互动区域首先，将一体机放到合适位置并与计算机连接。然后打开投影仪，在墙面投影出一块大小，位置合适的投影区域，作为互动投影区域范围。之后打开Kinect，调整Kinect，使得其RGB摄像头覆盖到整个互动投影区域。在完成上述墙面投影的创建之后，我们只需要将墙面投影的图像位

18、置与Kinect摄像头采集的图像的映射关系确定下来，就可以将墙面投影上的每一个位置与深度图像对应起来，从而实现将触控笔尖与鼠标位置对应的功能。本系统通过如图2-3的黑白条纹来得到投影图像和成像图像上所有坐标点的对应关系10。图2-3黑白条纹校准图2.2.2 确定触摸事件在确定了投影图像坐标与Kinect摄像头采集到的图像坐标的映射关系之后，我们需要进一步确定四种触摸笔的触控事件以实现其对鼠标的替换，分别是单击、双击，右击与拖拽。我们使用一种红外笔作为触控笔，在笔尖受到轻微按压时，它就会激发红外光的。通过这种方式，当红外笔点在投影墙面上时，轻微的按压会使笔尖激发红外光，从而导致墙面接触位置反射的

19、红外光斑被Kinect捕获。具体情况如图2-4所示：图2-4触控笔图2.2.3触控事件分类我们通过使用时间计数器统计红外光斑持续的时间来区分这四种方式：如果该时间计数器捕捉到激光笔的反射光斑的值小于1秒，我们就认为这次的触碰属于单击（左机）。如果该时间计数器捕捉到激光笔的反射光斑的值的时间大于1秒，我们就认为这是一次右击。如果该时间计数器在第一次捕捉到反射光斑时间小于1秒，并且间隔时间小于0.5秒后又一次捕捉到同样的光斑，我们就认为互动者进行了一次双击。最后，如果时间计数器在捕捉到第一点反射光斑，并且接下去光斑一直存在，且位置在移动，我们就采集初始点位置坐标和结束点位置坐标，然后以这两点为矩形

20、对角坐标点，选中这片矩阵区域11。2.2.4互动软件平台在完成了上述步骤之后，本次设计通过互动软件平台来实现具体的触控功能，如：电子白板、软件操作、实时讲解等。下图2-5图2-6为互动软件平台的基本功能样图。图2-5互动平台图2-6互动平台功能图第三章 便携式任意墙面触控装置系统硬件部分3.1系统硬件组成上一章中所介绍的便携式任意墙面触控装置系统，在硬件上主要由以下三个部分组成：(1)Kinect3D体感摄影机(开发代号“Project Natal”)如图3-1所示，Kinect体感传感器有三个镜头，中间的镜头是 RGB 彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线C

21、MOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。本文主要利用Kinect的深度图像捕捉功能，来实现任意墙面触控功能。图3-1 Kinect摄像头示意图Kinect的相关参数如表3-1：外观尺寸（长×宽×高）28.2cm×6.3cm×7.0cm可视范围水平视角：57度垂直视角：43度机身转动范围±27度传感深度范围1.2-3.5米数据流深度感应镜头：320&

22、#215;240，16bit，30fps颜色感应镜头：640×480，32bit，30fps表3-1 Kinect参数表(2)投影仪本文所介绍的便携式任意墙面触控系统所需要使用的投影仪并没有特别的限制要求，在下文中的一体化方案中选用图3-2所示的投影仪为极米芒果小觅投影机，其主要参数如表3-2：投影画面尺寸40-180英寸标准分辨率1280X720dpi兼容最大分辨率1080P、2K投影光源LED显示技术DLP扩展支持U盘、可移动硬盘投射比例1.2：1屏幕宽高比例16:9投影方式正投/背投/吊顶梯形矫正垂直：±40°输入端子HDMI、USB3.0、USB2.0VG

23、A接口否USB接口USB3.0*1、USB2.0*1HDMI接口HDMI*1电源AC100-240V，50/60Hz整机功耗电池模式17-27W插上电源适配器30-45W净重0.62 (KG)尺寸214×114×25(mm)表3-2 投影仪参数表 图3-2：极米芒果小觅投影机 (3)计算机本文中，使用的是Win10系统的计算机，其作用主要是以下三点：运行互动软件平台，驱动投影仪和Kinect传感器，处理由Kinect得到的深度信息，位置信息等数据。3.2系统硬件一体化方案在日常的实验中，我发现由于投影仪以及Kinect的连接常常不需要更改而且其相对位置一旦确定，以后的每次实

24、验均不需要大幅度调整。因此想到通过设计一款一体机，以达到简化安装调试过程，同时节省空间的作用。如图3-3所示为本系统一体机的内部结构图，将各个部件按如下方式放置，并且将相关接线连接好，图3-4、图3-5分别为图3-3中的A、B两面的开孔示意图。图3-3 装置内部结构图 图3-4 A面开孔示意图 图3-5 B面开孔示意图 通过这样的一体化方式，可以让整个系统达到便携的效果，同时简化每次实验前的调试过程。第四章 便携式任意墙面触控装置系统滤波算法在按照第二章中介绍的方法实现本系统的基本功能之后，系统并不能很好地实现人机互动效果。因为太阳光具有极为宽阔的连续谱，其含有大量红外光成分，并且灯光中也存在

25、红外光部分，因此计算机得到的图像信息难免会掺入噪声，从而在系统确定真正的笔尖形成的光斑时产生干扰，以致无法定位笔尖位置。这时，我们就需要滤波来消除或者减小噪声，从而精确定位笔尖位置，实现触控功能。本节将首先介绍卡尔曼滤波的基本原理，并对其特点进行分析，之后简要介绍一个两步的滤波算法，通过它对本系统的深度图像进行去噪处理。4.1卡尔曼滤波原理介绍卡尔曼滤波（Kalman filtering）是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。卡尔曼滤波有两组基本的方程，需要预先给定，即系统

26、状态方程以及观测方程。系统状态方程为：Xk=AkXk1+BUk+Wk (4-1)系统观测方程为：Z(k)=H (k)X(k)+V(k) (4-2)系统状态方程中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量，A、B为系统状态转移矩阵；系统观测方程中，Z(k)是k时刻的观测值，H是观测矩阵。在以上两式中，W(k)和V(k)分别表示状态方程和观测方程的噪声，他们的协方差分别是Q，R。以上系统状态方程反映了k-1时刻目标的状态与k时刻目标状态之间的关系，而系统观测方程表示人们对于k时刻状态进行观测时，获取观测量的机制。首先利用状态方程预测下一状态的系统。假设当前时刻为k，可以基于系统的

27、上一状态而预测出现在状态：X(k|k1)=AX(k1|k1)+BU(k) (4-3)式(4-3)中，X(k|k1)是利用上一状态预测的结果，X(k1|k1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。通过以上公式，我们可以实现系统状态的更新，接下来就是更新系统的协方差矩阵：P(k|k1)=AP(k1|k1)A'+Q (4-4)式(4-4)中，P(k|k1)是X(k|k1)对应的协方差，P(k1|k1)是X(k1|k1)对应的协方差，A'表示A的转置矩阵，Q是系统过程的协方差。式子(4-3)，(4-4)就是卡尔曼滤波器对系统的预测。当第k时刻的观

28、测值Z(k)到达以后，我们希望利用它去修正第k个时刻的状态预测值。因此Z(k)HX(k|k1)就是新的信息。结合预测值和测量值，我们可以得到现在状态k的最优化估算值X(k|k)：X(k|k)= X(k|k1)+K(k)Z(k)HX(k|k1)(4-5) 其中K为卡尔曼增益(Kalman Gain)：K (k)= P(k|k1)H'H P(k|k1)H' + R(4-6)到现在为止，我们已经得到了k状态下最优的估算值X(k|k)。但是为了要令卡尔曼滤波器不断的运行下去直到系统过程结束，我们还要更新k状态下X(k|k)的协方差：Pkk=(IKkH)P(k|k1)(4-7)其中I 为

29、1的矩阵。当系统进入k+1状态时，P(k|k)就是式子(4-4)的P(k-1|k-1)。这样，算法就可以自回归的运算下去。4.2卡尔曼滤波Matlab仿真上一节中介绍了卡尔曼滤波的滤波原理，在本节中将通过Matlab仿真，借助一个简单的示例来测试卡尔曼滤波的效果。如图4-1所示为Matlab仿真实验结果，图中蓝色线表示系统状态，绿色线表示加了随机噪声的系统状态，红色线表示进行滤波之后的系统状态，由图可知，进过卡尔曼滤波处理之后，叠加上的噪声基本被消除，卡尔曼滤波在去噪时是十分有效的。图4-1卡尔曼滤波仿真图4.3滤波算法改进以上介绍了卡尔曼滤波的原理与仿真效果，虽然卡尔曼滤波能有效滤除噪声，但

30、仍存在部分噪声没有滤除完全。因此，本文将对滤波算法进行改进。在滤波算法的设计上，本文将分为两部分进行。第一部分是动态自适应滤波，便于消除外部噪声12。第二部分是无迹卡尔曼滤波，利用其无迹变换的原理，处理非线性的离散系统的协方差和均值的非线性传递问题。步骤一：kinect深度摄像头所接受的数据是红外线,但由于灯光中，太阳光中都会含有一定的红外线，因此这些外部噪声会在深度图像中形成干扰，因此我们需要将这些外部干扰滤除，对采集到的数据进行预处理。预处理的方式就是采用动态自适应滤波法。动态环境在线滤波对达到人机互动系统的实时性尤其重要。通过对采集到的数据进行实时比较，并与预先设置好的阈值进行比较过滤，

31、从而达到滤除干扰的效果。本文采用在线的动态自适应滤波法(简称DAF， Dynamic Adaptive Filter)消除外界环境噪声扰动13。依据感应测距系统的极坐标值(li,j,i,j)，数据分析窗口可设计为： li1,j1li1,jli1,j+1li,j1li,jli,J+1li+1,j1li+1,jli+1,j+1(4-8)上式中，表示人机互动系统感应测距数据的采样时刻；指的是一帧数据中测量点的编号。上述数据分析窗口中的9个测量值在空间和时间上有较大相关性，定义为和相邻测量值的差值，如下所示： lmin=minlt+i,s+jli,j,t,s=1,0,1&t0,s=0&

32、t=0,s0(4-9)如果lmin>(l,v)，则测量值li,j就被当作测量噪声而舍去。在动态环境中，动态目标运动速度的影响至关重要，则邻近差值阈值可设计定义如下：l,v=l+125vgoal(4-10)式中，是3D传感器系统感应测量的标准差，由不同互动系统感应测量距离值数据得到。vgoal为动态环境目标的运动速度。为了对当前时刻的数据进行判别，必须先将当前时刻的测量值置于缓存器中，等待下一时刻的测量数据被接受，才能实现DAF处理。因此该滤波的数据更新会比实际的数据延迟一个周期，但这一延迟对系统的整体影响不大。步骤二：进行了预处理之后的数据是高阶的离散系统，在纯方位的运动目标跟踪中，无迹

33、卡尔曼滤波的效果良好，因此我们选用无迹卡尔曼滤波进一步的对数据进行滤波处理。无迹卡尔曼滤波（Unscented Kalman Filter,UKF）摒弃了对非线性函数进行线性化的传统做法，采用了卡尔曼线性滤波的框架，对于一步预测方程，运用无迹变化的方法来处理协方差以及均值的非线性传递问题14,15。UKF算法是对非线性函数的概率密度分布进行近似，用一系列确定样本来逼近状态的后验概率密度分布，而不是像扩展卡尔曼滤波一样对非线性函数进行线性化的近似。因此该滤波算法不需要对Jacobian矩阵进行求导。UKF没有把系统的高阶项忽略，因此对于非线性分布的统计量有较高的计算精度，有效地克服了扩展卡尔曼滤

34、波的稳定性差，估计精度低的缺点。具体实现流程：利用公式（4-11）和（4-12）获得一组采样点，利用公式（4-11）算出其对于权值。&X0=X,i=0&Xi=X+n+Pi,i=1n&Xi=Xn+Pi,i=n+12n(4-11) &wm(0)=n+&wc(0)=n+(12+)&wm(i)=wm(i)=2(n+),i=1n(4-12)Xikk=X(k|k)Xkk+(n+)PkkXkk(n+)Pkk (4-13)利用公式（4-14）计算2n+1个Sigma点集的一步预测。Xik+1k=fk,Xi(k|k)(4-14)利用公式（4-15）（4-16）计算

35、系统状态量的一步预测及协方差矩阵。Xk+1k=i=02nwiXi(k+1|k)(4-15) Pk+1k=i=02nwiXk+1kXik+1kXk+1kXi(k+1|k)T+Q (4-16)根据一步预测值再次进行UT变换，产生新的sigma点集。 将步骤预测的sigma点集代入观测方程，得到预测的观测量，如公式（4-17）所示。Zik+1k=Xi(k+1|k)(4-17) 由步骤得到sigma点集的观测预测值，通过加权求和得到系统预测的均值和协方差，如公式（4-18）（4-19）（4-20）所示。Zk+1k=i=02nwiZi(k+1|k)(4-18)Pzkzk=i=02nZik+1kZk+1k

36、Zik+1kZk+1kT+R(4-19)Pxkzk=i=02nwiXik+1kZk+1kZik+1kZk+1kT(4-20)利用公式（4-21）计算Kalman增益矩阵。Kk+1=PxkzkPzkzk1(4-21)最后，计算系统的状态更新和协方差更新。如公式（4-22）（4-23）所示。Xk+1k+1=Xk+1k+K(k+1)Zk+1Zk+1k(4-22)Pk+1k+1=Pk+1kKk+1PzkzkKT(K+1)(4-23)4.4滤波效果在上一小节中，我介绍了本次设计采用的两步滤波算法的滤波原理，而在本节中，我将通过调取互动软件中滤波前后的深度图像来确认上述滤波算法的滤波效果。打开互动软件，并

37、将红外笔开关按下，使得红外笔所发出的红外光投影在互动平面上。然后调出kinect传感器所捕捉到的未滤波的深度图像，如图4-2所示。图4-2 未滤波的深度图像由图4-2，我们可以发现未滤波的深度图像上有非常多的密集白点，其中最亮最大的白点就是红外笔尖所投影的光圈，其他的白点是灯光或者太阳光中所包含的红外线。这些噪声对于互动系统的效果都有着很大的干扰。通过上一小节介绍的两部分滤波处理，可以得到经过滤波之后的系统的深度图像，如图4-3所示。图4-3滤波后的深度图像由图4-3可以发现，未滤波时的深度图像上的密集白点已经被去除，仅剩下笔尖所对应的最大光圈。对比图4-2与图4-3可知，滤波算法的效果能够满

38、足滤除噪声的要求。第五章 便携式任意墙面触控装置系统实验验证本章将对本次设计的系统的实际使用效果进行实验验证，将首先测试使用滤波算法之后，系统的使用效果的提升，以确定实际滤波性能。之后将测试系统的各项功能是否能够正常使用，如电子白板、实时讲解等。5.1 滤波效果实验在上一章，我介绍了滤波算法的相关内容。本节将对上一章介绍的滤波算法的效果进行实验，对比采用滤波算法前后的系统书写效果，以验证滤波算法的滤波性能。如图5-1所示为未加滤波时，系统的对触控笔尖的定位不精准问题：图5-1未加滤波笔尖定位不精确图如图5-2所示为未加滤波时，使用触控笔书写时产生的断点现象：图5-2未加滤波书写断点图如图5-3

39、所示，在添加了滤波算法之后，书写与定位效果就可以达到比较良好的状态：图5-3滤波后书写与定位效果5.2系统功能实验验证首先，我们将第三章中介绍的一体机放置到合适位置，以获取大小合适的投影画面。之后接通一体机电源，打开投影仪，并将一体机与电脑相连。再调整投影仪，获取清晰的投影画面。如图5-4所示：图5-4系统装置放置图在完成上述的基本硬件连接之后，我们就可以启动预先安装的自主互动软件平台，如图5-5所示。在进行自动校准之前，需要微调Kinect位置，以使得Kinect的摄像头可以包括整个投影区域。图5-5中软件平台启动界面上显示的就是Kinect摄像头采集到的区域，以上要求就是要是投影区域全部包

40、括在该区域中。图5-5互动平台启动图接下来就是对系统功能的验证，首先是代替鼠标的功能，如图5-6所示通过触控笔直接在投影面上进行文档打开操作，可以通过双击，也可以通过图示的右键方式进行操作。图5-6文档打开操作之后就是在文档中的实时标注画图功能，本次试验打开的是Excel表格，如图5-7所示，在进行标注时可以选择不同颜色和粗细的笔形，有利于进行讲解，同时还有点擦除、区域擦除和全部清除三种方式，便于随时进行更改。图5-7实时讲解图除此以外，还可以直接打开电子白板以进行更加细致的讲解，并且对书写的内容进行保存，如图5-8所示。图5-8电子白板功能经过以上实验,验证了本系统的使用功能能满足人机互动的功能需求，在会议，教学，展出等场合中使用本系统，可以让使用者更好地进行交流展示，达到很好的效果14。第六章 总结人机互动在现在这个技术快速进步的时代有着十分广阔的进步空间，基于体感技术、虚拟现实等技术的人机交互方式正在蓬勃发展，人机互动也在逐渐摆脱生硬、单调的互动方式，向着更具自然性与艺术感染力的方式发展，提升了人们的互动体验。就本次设计的便携式任意墙面触控装置系统而言，投影技术与体感控制技术的结合能够很大程度上解放人们被鼠标键盘的束缚，让人机互动更加自然。此外，借助Kinect实现手势控制的功能，将是下阶段的研究方向，如果能够仅通过手势就完成全部计算机的控制，无疑能进一步提