简单实时约束流体条件下用户界面的图像处理研究

1、 简单实时约束流体条件下用户界面的图像处理研究 Steve ann多伦多大学电气与计算机工程系 摘要 喷水池（TM）是一种新的输入设备，用户输入数据通过与流体（一个或更多的空气或者水喷嘴）直接相互作用。通常会有一个精密测量仪对着每一个喷射流，可以准确测量出液体流动的多少，这种随时间变化的精密测量仪还提供大量液体输出到另一个水管。例如，根管子的精密测量仪是直接提供一个水管作为乐器，乐器里的音符是通过阻断流体（空气或者水）来演奏，而声音则从61个铜管乐器的孔间发出。当用户接触液体，特别是当喷泉或喷雾被照亮时，可以在对液体进行图像处理的基础上建立起一个液体用户界面。这种方法利用了液体开始减弱时的的独

2、特光学表现来显示光学的独特性质，提出了一种输入设备的新方法。从美学上来讲最值得注意的是，这种照明形式最可取的原因是可以用来处理简单图像。用这种方法，创建一个非常适合于处理实时图像的互动环境，产生的液体用户界面能被一个或者更多的的人使用，比如通过与水流的阻断，部分阻断，或者其他方式来进行互动。 1. 简介 对水的图像处理中使用波塞冬系统 1 、溺水的预警系统 2 、和水上保护系统，结合这三种商业模式的成果可以用来提供计算机对溺水的检测，例如粒子图像测速仪，例如利用存在的激光干涉管进行流量监测的其他工作，图像处理的方法也可以用来启动液体的流动（例如自动化冲洗厕所的过程中打开水龙头等） 3 。然而，

3、先前使用图像处理的用户界面或输入设备，它们对流体流动的跟踪工作还没有完成。最近水喷嘴的事态发展，已经导致水喷嘴在薄层中喷水时的外观（和光学特性）像玻璃棒一样。到目前为止，开发这水喷嘴的光学特性显示的美学是其他方法所不能比的。然而，通过特定的水流以及水液滴来增加自己的光学特性非常适用于图像处理。特别是，对水安排相同的光照和分层而生成理想的外观，也能够向相机系统集中照明，使水可以通过图像处理而很容易的被跟踪。 本文的目标是在图像处理的基础上设计和实现简单的水喷射系统，它可作为输入设备而用于各种不同的环境，如在潮湿的环境中打字或浏览信息（如网页）。这些环境中最成功的例子是通过水射流而发明一种在舞台上

4、表演的新乐器，典型的舞台照明恰好可以充分利用薄层水射流和水滴的特殊光学性质来达到理想效果，这就是理想的图像处理结果。 2.水喷雾和射流的光学特性图1显示了2个通过不同照明但在本质上基本相同的主题：一个人在一个喷水的公共区域上奔跑。浪溅区由安装在地面上型号是六百脉冲编码调824型的喷嘴将水向上射出。这些喷雾剂由艺术家Dan Euser进行整理。对于那些有审美价值观，以及跑步和参加音乐会的人在炎热的夏天容易降温。拿最左边的照片面向东方，通过观察摄影的一般规律，我们知道那光线应该总是在摄影师的背后。场景中的所有元素都很可能暴露和被看见。最右边的照片是朝西的，与题材在午后的阳光中。在这种情况下，故意打

5、破摄影的基本规则，也就是说将太阳的射线射入一个人的轮廓里而创造更多激动人心的镜头。因为水喷雾的行为像一个镜头，所以有些弯曲的阳光最终被折射直接进入相机。 图一：人与水射流相互作用的正面光照（最左边）、背光（最右边）。背光，喷雾和水滴的表现常常像不完美的镜头，它们在足够范围内的光线折射角度下能使水比在现场的其他东西轻。通过竖井的每一滴水都要比现场的其他任何东西轻得多。右边的镜头是一个被各种报纸选作的出版物。 这一简单比较的目的是为了表明，最终光照被首选的原因是它非常适合于水的图像处理。因为在这些照明条件下（在右边的图片），水最终变得比其他任何场景都轻。 3.一种立式喷水舞台的照明/性能 一种简单

6、的现场舞台表演乐器是由一个水的喷射流和一个限流器组成。一个演奏者通过用她或他自己的手去阻断水的喷射来演奏不同的音符，在不同的高度用不同的方式来限制喷射。舞台设置如图2所示。灯垂直布置，因为水的层流射流作为一个圆柱形的透镜，弯曲的光主要在方位角，但还是远小于发生在高海拔时的弯曲。这灯光布置给了所有的观众最好的美学，因为当观众们坐在一架飞机上时，虽然方位角的变化多样，但在高海拔上的观点基本一致。为了安全和便携性，小电池供电是用一个视频捕捉卡连接到12伏微的摄像机，用于实时图像处理和限流器控制。整个系统包括音乐合成都是用一个12伏汽车电池的阳离子放大器来运行，除了舞台灯，一般电气模型灯都是6伏。 4

7、.结果 图3是在现场表演中捕获的四个样本图片。这些快照例子的水柱高度是通过实时图像处理系统计算出的（时变为液基测量器的测量） 图2：水喷泉系统的舞台设置。九个舞台灯中的每一个灯光都表示一个聚光箭头，它们分别设置成指向观众以及相机，用于实时图像处理。这一安排为观众提供了最佳的审美观，以及对水射流进行了最佳的图像处理。为简单起见，九个灯中只有一个灯光是完整的。锁定放大器是用来调节灯光的，它是用于舞台照明标准是DMX512协议（标准数字接口控制调光器）的剧院，采光板一般用在摇滚音乐会等。 图3：用四帧的视频播放一个典型的歌曲。，在摄像机视图里标注三个不同乐器之间的不同，包括右边多喷口的仪器。事实上所

8、有被处理的仪器都是来自同一个摄像机。在左侧视频帧里的单喷流乐器是可见的。目前左边的框架0000显示的喷流上是没有手的。这是一种没有音符时的状态。下一个框架139显示的手是接触最高喷水时发出的声音，这可能是最高的音符。最右边的两框架195和320显示的喷流封锁在较低的高度来提供较低的音符。随着图像处理，它可以因此创建一个非常敏感的限流器。这种乐器合成系统对声音频率数的输入与水柱高度是成正比的。只有一小部分图像的宽度是50像素，高度是300像素。它们是用于这些单喷射乐器中的。其他的图像是用于另外两个乐器的，这两者在视频帧中都可以被视作为右边的水喷雾。在表演空间中，水射流的左边是一堵墙，它可以直接减

9、弱舞台灯光照明的效果，但是视频摄像头具有足够的对比辨别能力，故这个障碍对于图像处理系统的运作是可避免的。图像中的这些狭窄部分对应于水射流，它们是在动态范围里第一个扩大的。这是运用了反同态过滤器 4 5 的第一步。反同态图像处理作品是被非线性响应函数解开的，对于相机（扩充范围已经压缩在动态范围的图像中）恢复轻了重量Q，然后运用简单的图像处理，最后就是用再压缩（动态范围）的结果。动态范围扩展的图像狭窄部分如图4所示，它是连同一个简单的喷雾算法而绘制的结果。显示的图像在旋转，在他们的两侧（喷气指向右边），所以他们将在图上对应着相匹配的方向。 图4：在图3四个水射流中的每一个图像都是反同态图像处理的结

10、果。在这个图案的顶部相应部分显示这些扩展动态范围的规模。这些都是横向显示来配合这些图案。这些水柱清晰可见。左边部分是喷嘴和它的反馈控制系统，它们在可见图像的底部。在较低的2个图中，水射流末端的右边是用户的手。请注意，当播放低音时，手更加清晰可见，因为把手进一步向下伸展到湿的地方，那里是被手堵住的水射流柱的末端。如图像显示，作为一个函数的水柱高度（归一化到像素），每个喷射的像素和的对数的喷射，总是垂直于水的方向。简单：首先，一个自适应背景减法是基于统计模型中的环境。背景减法是众所周知的。托雅玛等人发现对各种背景减除方法可以进行一个很好的总结 6 。因为相机是固定的（固定的安装），所以就提出了一种

11、简单的背景建模方法 7 。 此外，反同态图像处理的第一步是动态范围的扩展，它们有向较轻的图像区域倾向的趋势，即水喷雾的效果。因此这个动态范围扩展功能很像一个克服背景区作用的软阈值，即那些在我们的情况下比水滴和喷雾剂更暗的背景。下一个窗口中的应用是强调该区域的图像，在图像里该窗口具有从整个图像中选择所期望喷射区域的效果，例如，这有助于在表演空间中从其他水性乐器选择中一个喷射器。这个窗口也减少了背景噪声的影响。一个窗口的综合效果即W（x,y）和使用的动态范围扩展图像q（x，y），而不是f（q（x,y）它是倾向于两个空间域（x,y）的本地化和幅度域的空间窗口 8 （本地化在域的函数）和幅度域信号处理

12、 4 5 。它们（在一个功能范围内的本地化）都在其他地方的研究文献中有所描述。这个声调的定位是固定的，因为我们了解水射流在图像中的位置，我们也知道了光的量，所以我们在生产时知道水射流存在的时间和地点。这个喷雾只能向上喷射。我们希望测量的距离为Y值，有足够量的光为Q（x，y）考虑到有水在这样的高度。在水平方向中每一行的图像通过求和后，它就被空间中窗口定位了。通常使用截断的高斯窗口，这样有望水射流可以倾向于产生类似的结果。由于喷射流向上，穿过图像的行基本上垂直于喷射流方向。所以在每一行中的窗口是一维的。因为美学的原因，喷射流是有点稍微倾斜的，所以水曲线的上升是轻微的弧。这不是一个问题，因为自适应背

13、景减法仍然可以找到它。虽然是小角度，但是整个图像的水平行跨越是在一个正确的角度上。轻微倾斜的喷射只是意味着窗口中心需要进行调整。例如，在图3所示的图像中，该窗口的中心大概是25像素再进一步向左下方喷射的地方，比它是在喷射流的顶部。在每一行300x225像素的图像中加重求和： (1)在每个高度大约给多少水喷雾Y。注意函数的作用，再用它来压缩动态范围。原来一个令人满意的功能是相机的响应函数，但更通常的对数被发现工作同样好，给出： （2） 这个配方还提供了一个有意义和能解释的工程师比看似随意更熟悉的（虽然可压缩）相机响应函数f。 对应于喷嘴射流的前40个像素，和各种控制系统仪表（反馈回路保持恒定的喷

14、射高度时，用户与系统是不相互作用的，以及提供提供触觉反馈给用户）被截断，所以我们只希望看到克值从40到299之间。这些定义的音阶的值是260，在大约两个倍频程范围内，选择相匹配的表演者的音域（S）。这给了大约十或十一的标准的一个解决方案，同样调节12时注意每一个八度规模对应一个半音像素。（在特定的歌曲没有这样一个完整的范围内的情况下，表演者往往会把水的流动，如图中所示，水射流不会去所有顶部的图像区域。） 图4中是明显的，我们可以很容易地从中寻找一个区域的连续值超过一定的阈值，从y= 40，得到的值y= 282的顶图，y= 275是为下一个情节，然后在y=197，最后y= 144（最后）的图。这

15、些价值观是强大的，由于反对同态处理的效果，所以他们取决于选择弱的阈值。事实上任何阈值从克（）= 1克到（）= 4克基本上产生相同的结果然而，负衍生物的克（）被使用，用更正式的方式找到水的点的喷射流的端部。 （3）用这发现的高度值，作为是下降最快的值（即高度变量最突然的喷雾结束的数量）。这些价值观也大概同意上面的值，例如底部的情节，dy（y）/ dy最多有4.7位于y = 144。此外，为了得到亚像素精度的函数g（y），采用负导数的第一时刻。 5.进一步本文中一些简单的方法被应用到一些其他的乐器和设备，对于用户输入的流体图像处理也会用到这种方法。例如，齿状的实现，当中的每个喷射都被分配了。 图5

16、：新版本的乐器结合图像处理与嵌入管液基计量器：一个图像处理的新应用。这个新乐器演奏很简单。最左边：一位2岁的音乐家演奏这首著名的歌曲“铃儿响叮当” 计算机系统对它进行实时检测、处理，并对生成的每一个音符的响度性和精确性进行强烈的响应。一个单独的音符和振幅，被控制在每个喷流上（图5）。根据这些齿状工具，再结合本文介绍的单喷嘴被用在一些成功的演出中，实时图像处理被认为是强大的并且可靠的。 6.结论 通过对标准灯光舞台的设置安排，当应用到水的审美表现时，音乐家和表演者可以创造了一个特别适合图像处理的环境。水的审美表现的结果是通过一个非常简单的图像处理算法而实现的，这是的以液体为介质而进行实时跟踪设计

17、的用户界面，它工作时的电量都是一个计算机的小电池提供的。这会产生一个新的安全有效的输入设备，例如，作为一个新的乐器使用。 7.引用1 Meniere, “System for monitoring a swimming pool to prevent drowning accidents,” in U.S. Pat. No. 6,133,838, October 2000.2 How-Lung Eng, Kar-Ann Toh, Alvin H. Kam, Junxian Wang, and Wei-Yun Yau, “An automatic drowning detection surve

18、illance system for challenging outdoor pool environments,” in IEEE ICCV, 2003.3 S. Mann, “Intelligent bathroom fixtures and systems,” Leonardo, vol.36, no. 3, June 2003.4 S. Mann, “Comparametric equations with practical applications in quantigraphic image processing,” IEEE Trans. Image Proc., vol. 9, no. 8, pp. 13891406, August 2000, ISSN 1057-7149.5 F. M. Candocia, “A least squares approach for the joint d