基于安卓平台的注解和可视化 -- 一款提供教育和实时信息的应用

基于安卓平台的注解和可视化一款提供教育和实时信息的应用基于安卓平台的注解和可视化一款提供教育和实时信息的应用【内容摘要】：当用户与真实物体进行交互时，用户通过增强现实感的应用可以获得更多信息。智能手机的等现代设备的互联网连接的普及，为这类应用提供最佳的组合，从而其可以从异构数据源获取内容。本文的目标是展示AR的结构以及一个显示信息（评论）的AR应用程序的原型的基本实现，这些信息是关于其他已经离开了的用户留下的关于这些地点的评论，同时这也促进合作现场创作内容。类似的这些应用程序也可以使用在提高学生和地点的交互，获取现象，或相关联的测验到一个个特定的位置，旅游指南，促销活动等等。 【关键词】：提高现实性；安卓；交互；注释；可视化；智能手机；教育1 简介增强现实技术（AR技术）应用使互联网使用者通过覆盖计算机生成内容得到更多关于现实存在的信息。这不同于虚拟现实技术虚拟现实技术中无论是整个世界还是客观存在都是由计算机完全覆盖2。AR技术并不是一个新颖的技术。自20世纪60年代以来，就有许多相关的研究，比如Ivan Sutherland27 , Jun Rekimoto22, Hirokazu Kato and Mark Billinghurst7所做的研究中就开始将基础放在用现有硬件实现的可能性3,10。Emmanuel Dubois在AR技术上运用了分类学(如图1.1)，其中可以有两种类型的系统：聚焦任务和性质增强。前者指的是将存在包含使用者下的任务中；而后者值得是可以由客观存在完成的动作集。图 Error! No text of specified style in document.1 AR系统的两个类型几乎当今所有的AR系统主要着眼于对真实存在的注释，这同时也是图层画板13这样的应用的主要前提，随后建立这种原型。使用者可以得到更多的信息但他们无法修改存在。也有像Expedition Schatzsuche26的应用展示了现实世界的虚拟目录并且让使用者与这些目标相互影响，这些是AR数码出版的基础，比如由德国报纸南德日报12出版的那份。这些图像覆盖被运用在卢浮宫16或维也纳26这类博物馆中以强调AR应用的培训角色。另一层面，AR Quake30或Time Warp6这类游戏强调运用技术，使用者通过硬件来在城市里“看到”被蹭强的可用信息而非限制于某个房间或一幢大楼中。现今，智能手机和移动数据成为主流；这两个要素为基于用户所在位置而提供信息的质量和数量提升、用户之间实时共享信息开启了新的方向。现代生活方式与人们准确、普遍消费实时信息的愿望紧密相连：这是所有移动设备提供更多途径来上网，使用户能够通过公共网络分享、消费、与他人交流的主要原因。到了陌生的环境，一个用户该如何收集当地的相关信息？这样的目录如何可视化？该用户该如何生成这个目录？自从“科技成为建设和显示现代城市显示的重要手段”，媒介体系结构与互动空间拓展人类感知的巨大潜力28。环境感知让用户预先获取一些基于用户物理位置的信息，这是一个对室外和室内的AR应用都十分有益的长处。由于从传感器（WIFI，GPS）收集的信息，使信息可以基于用户的位置展示。虽然有环境感知的应用程序，让用户“发现”或获得周围环境的信息，并且已有进行中的研究定义方法在环境信息1的基础上来收集数据的应用程序。但在应用程序的范围内，它不重叠到真正的对象以提供服务的利益。第一个利用移动增强现实技术（MAR技术）来向用户展示信息的尝试是通过HUD向用户提供信息的图灵机8。最近我们有类似Arbela Layers Uncovered24和Astrids Steps18之类的应用，主要依赖于在这些应用被设计使用的地点的历史遗迹来让用户发现这些具体地点的秘密。这些成为信息被统筹、获取和运用的方法23，如何获得更好的地理标记图像个体3111，如何更好才做基于GPS定位的159，同时也是如何使用例证应用的地理定位数据以运用于建筑学教育25或虚拟旅行21。关于用户对AR信息技术和地理定位游戏192917的期待的研究不但强调了供给用户的环境意识和可用信息的重要性，也揭示了与已知和未知的联系人合作的重要性。有趣的是，在大部分案例中显示，用户们表达了这样的观点：在商场创建有个性增强视图，例如利用装饰使环境更加令人惬意或加入其它用户的评论，尤其是在国外时当地用户的评论19。De Michelis4和 Ramrez20在文中谈到用技术和现实感增强来促进合作的重要性；人们会获取到自己需要的内容的这一事实（可能时基于超过这种原型范围的角色）对促进合作（地点注释，保持旅游/学术/商业等方面的知识）变得更加顺利来说也很重要。像有人谈到的那样，一款为用户设定准确的角色来创建评论和提供用户消费的应用程序，能够划清已经有评论的地点和实际用户消费的地点的界限。图 Error! No text of specified style in document.2 智能手机的时间信息本文的目标是展示一个户外AR应用基本结构，这个应用促进用户对GPS所定位的地点进行注释。世界的基本注释将会被黄色的方块所代表（像一条发布的信息）。这样的话，其他用户可以看到这些信息并且决定这个地点是否值得他/她花时间来参观。用户通常会在一些餐厅的外墙上做一些涂鸦来作为评论，但是用户不能评论博物馆或者商店，这就是为什么AR能够解决这个问题，因为AR所提供的评论是虚拟的，并且能够被定位得到。这类注释是作为一种收集信息手段，而且还作为一个交互的装置“引发社会的相互作用和他们的潜力来改造现有配置的公共空间”28。剩下内容如下：在第二部分，我们涉及开发框架，第三部分描述原型的结构，第四部分我们谈到项目实施。最后第五部分显示的是总结基于原型的应用的未来的发展趋势。2 开发框架开发AR可以使用一些工具：安卓平台的软件开发工具包，复杂的应用和生态圈，这个生态圈让AR技术来观察生物，获取信息并把它叠加到用户身上。虽然这些工具都不尽相同，但他们的核心思想却是一样的：把信息显示给用户的方式，运行应用程序的操作系统，并且允许自由创建一些内容。由于这个一样的核心思想，我们对几个已经被考虑在内的框架进行了评论：公开性：如果不给特权的情况下，这个框架是否对开发开放？GPS定位：这个框架能否通过GPS来定位用户的位置？内容的生成：用户能生成他/她自己的内容？原位标注：用户能否生成她/他想要生成的地点内容？基于这些特点，我们对以下框架进行了评估：Wikitude, TagWhat, Metaio/Junaio, Layar, 和 KHARMA。结果如图2.1：图 2.2 体系框架我们所评估的框架中，没有一个提供了开发原型所需要的整个范围，尽管TagWhat和KHARMA所提供的东西已经跟所提的要求很接近了，但是它们还是没能满足需要，前者只能在美国使用，或者不支持安卓系统。由于我们所评估的框架中没有一个可以使用安卓平台的软件开发工具包作为开发工具来开发原型是基于以下几点：大部分的框架都是封闭的，内容的创建时是基于在线模板的，并且它的交互受限，这是由于用户不能控制他/她想要发表评论的地方。大部分的框架都拥有比应用程序本身开发需要多的东西，比如在封闭的系统中，他们依靠第三方的数据库来获取信息。不借助框架来开发原型对用户来说是一个很好的机会来探究软件开发工具包和了解所有开发工具，这些只是都能被应用到将来的项目当中。了解第一手的方式来实现应用程序所有的需求，这就相当于在解决不同应用程序的相同问题。这个原型可作为更大应用程序的基础，它可以利用那些信息来为用户提供旅游信息或者旅游方面的教育工具。3 体系结构为了达到创建一个AR应用程序的原型来让用户对地点进行评论和进行交互目标，我们必须利用软件开发工具包中的一些工具来和传感器进行通信，从而实现定位（GPS）和方向的确定，每部智能手机几乎都有这些功能。用户能够提供她/他的地理位置，创建一个地点（为了防止这个地点不在数据库中）并且对这个地点进行描述。其他用户能过以黄色方框覆盖在实体身上的形式来看到这些描述。用户也可以阅读这些描述来和这些信息进行交互。该体系结构有五个组件，这五个组建集成在模型视图控制器（MVC）模式中（如图3.1）图 3.3 体系结构模型包括了所有与系统在任何时候的状态相关的信息。在这个模式里面我们可以找到可以承载在设备内部或外部的数据存储。理想情况下，它应该在服务里里面，为了让更多用户能获取到它。用户所创建的信息都存储在这里。对于原型来说，这个组件会在移动手机中，但是所有方法会通过接口的方式被暴露，所以我们要降低实施过程中的耦合度，因此这些模型可以在服务器中实现而不用修改实际上的结构。数据库方面我们使用的是SQLite数据库管理系统，尽管如上所述，可以使用任何数据库。对于每张表来说我们定义一个POJO（普通的java对象），因此我们可以把数据库里的信息转变成应用中需要的对象。定位组件拥有和方向和定位设备有关的所有元素，这些元素也是系统状态的一个部分。，当我们谈到定位，实际上我们指的是设备在地球表面的位置。这个位置信息会被GPS定位卫星所获取。基于以上的位置，用户可以创建一个新地点，这个地点将会被评论。至于方向，它是用户所指设备的方式的信息，在该设备中，用户在朝向哪个方向或保持这个方向。接下来这些信息会被用来显示对地点的描述信息，好像这些信息真的跟这些地点相匹配。安卓平台已经创建了一些用于和传感器通信的接口。对于GPS来说，我们实现了定位监听器和GPS状态的监听器。在安卓的应用接口中，这些接口的使用有一定的指导原则，也就是最好的做法，让开发者使用最高效的传感器和资源系统（即：电池）。对于原型来说，由于应用应该被实时定位，所以我们时刻在请求交换手机位置信息。这也很有用，如果将来系统升级了，用户希望记录下所走过的路线，并且强调和注释他/她所走的地方。对于方向传感器来说，传感器事件监听器的接口让用户和传感器实现交互，反过来，使用加速计和磁场信息，以了解用户是如何移动/持有的设备，并将此信息转换为设备的坐标系统。这很重要，因为它决定了应用程序计算如何显示地理描述信息，所以用户真的以为他们就在那里。随着我们开发技术的发展，我们发现，由于传感器点到顶部的设备，所以指向北方的垂直位置和旋转的手机到一个景观模式，由于那个 “顶部”手机会根据我们的需要指向东或者指向西来做出相应的修正。视图包括了真实感增强组件，并且在视图中为用户显示了所有的信息并且他/她可以进行交互。基于GPS信息，一个地点被检索到，并且作为响应，所有信息显示给用户。当用户带着设备经过那个地方时，由于方向传感器的信息，相应的地点信息将会显示。基于安卓系统的屏幕上，所有的这些都集成在一个Activity中。这个Activity持有所有传感器的信息，于摄像头通过Surface holder和回调接口捕获的时间信息，后启动一个视图。一旦我们知道摄像头能看到什么，我们可以显示我们自己的信息，二维物体，用更为复杂的方式表示注释的可能性，从图片到三维的物体。为了显示所有物体，那个信息应该从从视图开始拓展，在Draw()方法中我们定义如何根据设备的位置来呈现物体。我们用来查看和显示内容的层可以概括为（如图3.2）：图 3.2 AR组件正如我们所看到的，我们用两个视图，一个覆盖在另一个上面。这样的话，当用户触摸到屏幕，最上层可以检测到手指触摸的位置，并且知道用户点击的是否是信息。如果说他/她确实想要和信息进行交互（对于原型来说，点击一条信息的方式就是阅读它），这触发了程序员定义的动作。通过这些方法，我们能保证如果用户点击了一条叫做信息1的信息，接着这条信息的内容将会被呈现，而不是出现随机的动作。并且Activity(也就是在安卓所有的屏幕上的名字) 是封闭的，因为它们是用户与系统通信的方式的一部分。最后，控制器中我们定义一个实用程序组件，在这个组件在中，我们把相同的元素和控制原型内的信息流动作集成起来。常数。具有固定值的元素。使用静态变量的接口，以便更有效。我们可以找到错误信息，日志信息等。数据共享。这是解决Activity（屏幕）之间信息共享的解决方案。最重要的信息是位置信息，需要从传感器传递到新的信息或新的屏幕位置，然后到数据库。监听器。它们监听了原型中每个按钮的所有行为。对于每一个按钮，一个动作被触发，在这个听者中，我们可以知道按钮开始动作，然后触发正确的动作。4 项目实施一旦原型就绪，首先进行测试，检查所有的传感器的工作，然后进行两个阶段的测试，第一个是正确显示（无论是在景观和肖像模式）虚拟信息验证：对来自摄像头的图片进行显示。图片根据设备的旋转而旋转。信息与用户输入框的覆盖和交互。在这些测试当中我们发现这些信息没有正确显示，由于来自于传感器的信息并不能正确地转换到设备。由于它们太精细，太敏感，调整是为了使他们不那么敏感，所以过度对于用户来说能变得更加顺利。至于图像，我们必须作出更正来保证图像能够正确地旋转，因为我们发现，当用户从景观模式切换到肖像模式时，我们需要旋转的图像来正确地显示它。最后的测试，我们遵从一下步骤：创建一个新地点（如图4.1）。创建地点信息（如图4.2）。拥有信息的地点（如图4.3）。与信息交互。图 4.4 创建地点图 4.2 创建信息图 4.3 景观模式的信息所有这些动作都没有瑕疵。地点被创建，并且生成相关的信息。一旦信息被检索，它们好像被固定在墙上，并且它们能和用户顺利的进行交互。对于用户点击的每一条信息，那条信息的内容会出现在他/她眼前。总结AR应用程序不只是运用在移动设备，然而在这个装置奠定了最大的增长潜力，因为新的软件开发工具包和该设备的普及让他们狂热的用户和开发者的当中推广开来。通过观察我们就能从医学应用，游戏，协作工具和硬件开发中，为寻找一个物体和属性铺平道路；想象一下，去到一家商店就会知道多大码的衣服最适合你，为家购置家具只要通过在摆放从线上来的虚拟的物体就能和你卧室进行交互，和在教育当中，让学生知道更多在普通教室见不到的东西，或者培训工程师如何维修引擎，或者是培训医生如何注意到虚拟的病人。这种原型用了智能手机的特点，不仅来展示关于地点的信息，而且还鼓励用户产生原位的信息，这信息将会展示给其他人，由于触摸屏的关系，让用户在真实环境中与虚拟对象进行交互。该原型的灵活度可以用来作为更复杂的应用的基础，比如一个旅游指南，这让用户创建关于有趣的线路的内容，建筑的面貌，和值得呆的地方，好吃的或者纪念品等的推荐。其他应用可以是有关教育信息的，比如说比较有历史性的地方，在这些应用中，只要把设备指向你想要定位的地方，它就能为学生提供重要的信息或者对其进行原位测试，让它们和真实地方进行交互，这样，它们就能理解并且接收发送给它们的信息。所提出的架构可以利用数据组织领域中所做的所有研究，是开放的使用外部和静态的数据来源来满足AR的内容关于完善使用用户创建的内容。尽管这样，数据保存在本地，从服务器中查找数据和让数据变得更好更广泛，如果做到这一点，我们就有所提升，如果有些应用真的能提供相类似的特点，AR技术就是一个新的市场。像谷歌眼镜一样，有些应用从原型阶段发展到大量生产和消费阶段，事实上，把这种普遍的技术被提供给选定的开发商，这能给我们一个提示随着时间的推移，哪个趋势会更受欢迎。并且随着每一项技术、硬件、软件的升级，让我们不禁会去想，未来将会给AR带来什么。因为这是一个最后的想法，必须采取正确的隐私和版权措施，以保证所有当事人的安全。避免安全漏洞成为主要暴露信息的方式。参考文献1 Amato, A., B. D. Martino, et al.; Semantic Brokering of Multimedia Contents for Smart Delivery of Ubiquitous Services in Pervasive Environments; International Jorunal of Interactive Multimedia and Artificial Intelligence (2012) pp. 16-25.2 Azuma Ronald; “A Survey of Augmented Reality”; Presence: Teleoperators and Virtual Environments 6, 4 (Agosto 1997); pp. 355 385.3 Benefon; “Benefon Esc! NT 2002”; http:/www.benefon.de/products/esc/ (accesed on 2013/04/30).4 De Michelis Gio, De Faoli Flavio, Pluchinotta Constanza y otros; “Weakly Augmented Reality: observing and designing the work-place of creative designers”; Proceedings of DARE 2000 on Designing augmented reality environments (2000); pp. 81-915 Dubois Emmanuel, Nigay Laurence; “Augmented Reality: Which Augmentation for Which Reality?”; Proceeding of DARE 2000, Design Augmented Reality Environments, ACM (2000); pp. 165-1666 Herbst Iris, Braun Anne-Kathrin, McCall Rod y otros; “Time Warp: Interactive Time Travel with a Mobile Mixed Reality Game”; MobileHCI (Septiembre 2,5 2008); pp. 234-2447 Hirokazu Kato, Mark Billinghurst, Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System; 2nd IEEE and ACM International Workshop on Augmented Reality 1999; pp.858 S. Feiner, B. MacIntyre, T. Hllerer y otros; “A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment”; Proceedings of First IEEE International Symposium on Wearable Computers (ISWC 97); 1997; pp 74819 Garca, C. M., and G. M. Ortega; Route planning algorithms: Planific Project; International Journal of Artificial Intelligence and Interactive Multimedia (2009); pp. 57-6610 ImpressCorporation;“KetaiWatch:J-SH04”;http:/k-tai.impress.co.jp/cda/article/showc ase_top/3913.html (accesed on 2013/04/30)11 Jong-Seung Park, Ramesh Jain; “Identification of scene locations from geotagged images”; ACM Transactions on Multimedia Computing, Communications, and Applications (TOMCCAP) TOMCCAP Homepage archive (Volume 9 Issue 1, February 2013); Article No. 512 Junaio/Metaio; “Press Release: SZ Magazin and metaio develop Mobile AR Special”; 2010;/press/press-release/2010/sueddeutsche-zeitung-sz-magazin/ (accesed on 2013/04/30)13 Layar; “What is Layar?; 2012; /what-is-layar/ (accesed on 2013/04/30)14 Lee Rainie, Susannah Fox. Just-in-time Information through Mobile Connections. PewInternet&AmericanLifeProject,May7,2012,/Reports/2012/Just-in-time/Main-Report/Findings.aspx (accessed on 2013/01/10)15 Magnusson Charlotte, Rassmus-Grhn Kirsten, et al.; “Navigation by pointing to GPS locations”; Personal and Ubiquitous Computing archive, Volume 16 Issue 8 (December 2012); pp. 959-97116 Miyashita T, Meier P, Tachikawa T; “An Augmented Reality Museum Guide”; ISMAR 08 Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality (2008); pp. 103-10617 Neustaedter Carman, Tang Anthony, et al., “Creating scalable location-based games: lessons from Geocaching”; Personal and Ubiquitous Computing archive, Volume 17 Issue 2 (February 2013); pp. 335-34918 NilssonSusanna, Arvola Mattias, et. al “Exploring place and direction: mobile augmented reality in the Astrid Lindgren landscape”; OzCHI 12 Proceedings of the 24th Australian Computer-Human Interaction Conference (2012); pp. 411-41919 Olsson Thomas, Lagerstam Else, et al., “Expected user experience of mobile augmented reality services: a user study in the context of shopping centres”; Personal and Ubiquitous Computing archive, Volume 17 Issue 2 (February 2013); pp. 287-30420 Ramirez, J. J.; Collaborative Geographic Information Systems for Business Intelligence; International Journal of Artificial Intelligence and Interactive Multimedia (2009); pp. 94-9721 Realinho Valentn, Teresa Romo, et al; “Building mobile context-aware applications for leisure and entertainment”; ACE 11 Proceedings of the 8th International Conference on Advances in Computer Entertainment Technology (2011), Article No. 2922 Rekimoto Jun, Nagao Katashi; “The World Through the Computer: Computer Augmented Interaction with Real World Environments”; Proceedings of UIST 95 14-17 (Noviembre 1995) pp. 29-36 via 123 Rodrguez Snchez, Martnez Romo, et al; “GAT: Platform for automatic context-aware mobile services for m-tourism”; Expert Systems with Applications: An International Journal archive. Volume 40 Issue 10, (August, 2013); pp. 4154-416324 Rozhen Kamal Mohammed-Amin, Richard M. Levy, et al. “Mobile augmented reality for interpretation of archaeological sites”; PATCH 12 Proceedings of the second international ACM workshop on Personalized access to cultural heritage (2012); pp 11-1425 Snchez Albert, Redondo Ernest, et al; “Developing an augmented reality application in the framework of architecture degree”; UXeLATE 12 Proceedings of the 2012 ACM workshop on User experience in e-learning and augmented technologies in education (2012); pp. 37-4226 Schmalstieg Dieter, Wagner D