动物在AR科普图书中的呈现与交互

动物在AR科普图书中的呈现与交互摘要增强现实（AR）是能够将真实世界与虚拟世界的信息相结合的一项技术，此项技术的革新，对我国各行行业的发展都将会产生一定的影响。本文将主要介绍AR技术应用于图书行业的可行性与实现方法，并通过交互设计来实现虚拟与现实相结合的体验式阅读。关键词：增强现实（AR），AR图书，交互注：本设计（论文）题目来源于教师的省部级科研项目目录1. 绪论 21.1 题目背景 21.1.1 增强现实（AR）技术的发展现状 21.1.2 AR图书发展现状 21.2 技术概念及设计目的 31.2.1 增强现实（AR）技术的概念 31.2.2 AR图书的概念 41.2.3 设计目的 41.3 题目设计方法 61.3.1 Unity平台介绍 61.3.2 Vuforia插件介绍 61.3.3 C#脚本语言简介 91.4 论文构成及研究内容 112 交互设计1 113 交互设计2 11参考文献 11致谢 11绪论题目背景增强现实（AR）技术的发展现状AR技术在我们国内发展，从硬件支持上来看，以支持AR功能的手机和眼镜为主；从AR应用场景上来看，在C端以游戏和娱乐为主，而在B端市场AR应用发展得更为红火，尤其是在产品营销展示、医疗、教育、电商、工业维修等行业，AR技术的应用得到了普遍认可，特别是场景营销领域，AR已经有了很多成功案例。目前AR技术的发展至关重要，国内的巨头厂商诸如阿里、腾讯、百度、网易、京东等待都在发展自己的AR领地，形成独特优势。举例说，阿里巴巴和京东将AR技术应用于电子商务，并推出AR购物平台，进行品牌营销活动；腾讯则通过AR开放平台免费为开发者提供识别、追踪、展现等基础技术；而百度也推出AR/VR搜索和AR地图导航。除了软件技术开发外，各大厂商也进入了投资AR领域，阿里巴巴投资了显示技术和AR眼镜方面，腾讯和京东投资的公司类型主要是硬件AR眼镜，百度投资收购的公司则侧重于人工智能、自动驾驶及显示技术，这也与各自的优势领域相重合。而这些技术，似乎还是离我们的日常生活有点遥远，目前国内AR领域创业方向主要集中在硬件类和企业服务类上，市场普及程度还不高，其主要因素是硬件产品和AR基本技术。目前AR眼镜价格贵、缺乏刚性需求，价格昂贵加之没有突破刚性需求的门槛，使得用户难以为AR技术买单。一副AR眼镜普遍的市场价格在4000-200000元不等，而且这种眼镜不适合长久地佩戴，让其市场接受度难以提升。虽然AR生活化还有很长的路走，但这是未来AR技术发展的趋势与方向，需要我们共同努力。本文所要介绍的AR图书，则是对AR生活化的一次尝试与探索。本文将探讨怎样通过人手一部的手机来便捷地实现虚拟与现实的交互，来实现AR图书的技术。AR图书发展现状我国已经进入了智能媒体的时代，文化产业与人工智能在很多方面都结合了起来，在各行各业中，AR技术也得到了越来越多人的认同。由于AR技术对硬件设备的要求，随着技术的发展越来越低，近几年来，AR技术也不断应用到了图书出版物的行业上。目前，AR技术应用到图书的表现方式主要分为两种，一种是3D实时互动书籍，一种是游戏剧情类书籍。3D实时互动书籍，要求读者预先下载一个商家制作的AR图书软件，然后通过移动终端设备，如手机，平板电脑等，瞄准获取纸质书籍上的文字或者图片等图标，获取后，移动设备会将识别出的平面化内容融入更为立体现实的形象，给读者带来更为丰富的阅读体验。简单来说，就是利用AR技术，将纸质书籍上的文字或者图片，与音频、视频、3D模型等虚拟信息相匹配，在相应的移动设备上呈现出来。国内对此项技术的应用较晚，直到2013年，浙江少年儿童出版社才首次将此项技术引进国内，并出版了国内第一本带有AR技术的纸质书籍《孩子的科学》。游戏剧情类AR书籍，这类书籍在实体印刷页面基本没有有效的文字信息，取而代之的是众多的标记信息，用移动端设备作为交互体，通过摄像头来识别获取相应的标记信息，进而在移动设备端产生具体虚拟场景，读者可以通过肢体动作对移动端画面进行创建与操控，带来沉浸式体验。该项技术早在2012年便在《哈利·波特》系列《奇幻之书：魔咒之册》有所应用。技术概念及设计目的增强现实（AR）技术的概念增强现实（AugmentedReality，简称AR）技术，是通过计算机模拟仿真技术，将本不存在于某个现实场景中的信息，如音频、视频、3D模型、图片或者文字等，叠加到该现实场景中，实现虚拟信息与现实世界的结合。用户通过相应的移动端设备进行实时互动，不仅能体验到原有的现实场景，还能体验到通过计算机仿真叠加上来的虚拟信息，虚拟与现实相融，使体验者拥有了比现实更为丰富的感官体验。简单来说，AR技术需要具备以下三大特征：虚拟现实融合——用虚拟信息叠加在现实环境上来增强现实场景，实时交互——使用者通过相应设备与增强后的现实环境进行实时性的交互，三维注册——计算机生成的虚拟信息要和现实环境一一对应，必须要维持正确位置、尺寸关系。AR图书的概念AR图书是通过相关设备，如手机，并借助已经整合好在纸质书籍界面上预设相关虚拟信息，如图片、音频、视频、3D模型等的软件，在纸质书籍的基础上，与相关虚拟信息进行实时交互的全新的阅读方式。这种方式可以充分调动读者的感官，给读者一种超乎想象、身临其境的体验。设计目的AR图书的优点：丰富阅读体验，激发读者阅读兴趣在3D实时互动书籍中导入的虚拟信息不仅可以是通过计算机仿真出逼真的三维图像，还可以是通过摄像机拍摄的关于现实世界的真实场景内容，读者可以通过相关设备，与书籍上的虚拟信息进行实时交互，比如可以切换成不同的角度观察各部分的内容，又或者通过肢体动作来控制图书中的情节故事发展。从以上特点来看，与普通出版物相比，AR图书将以更加逼真形象的形式，给读者带来更加丰富的阅读体验。在游戏剧情类AR图书中，通过AR技术，将交互与阅读融合在了一起，让读者在阅读的过程中，可以通过自己的想法，与剧情进行互动，给读者带来了立体式交互的阅读体验，让读者能够有机会沉浸在AR图书所构建的虚拟的平行世界中。可以看出，AR图书可以给予读者丰富的阅读体验，激发读者的阅读兴趣。这对于当下以数字碎片化阅读为主的阅读方式有极大的改善，让人们重新有兴趣去沉浸在一本书籍的内容当中。让人们对AR技术有更深的了解目前，国内AR领域创业方向主要集中在硬件类和企业服务类上，市场普及程度还不高，AR图书的出现，则将AR技术的基本内容带进普通人的视野当中，带进日常人们的生活当中，这对人们了解AR技术有很好的促进作用。更好地防止盗版书籍的出现以往，传统纸质书籍的盗版现象很严重，这不仅损害了作者以及出版机构的利益，还对读者的阅读质量造成了影响。AR技术在图书上的应用，则可以通过采用特殊的识别信息来进行防伪，而且与AR技术相结合的移动端交互功能，也使盗版的难度大大提高。AR图书的不足技术刚起步，同质化明显AR图书的技术在近几年才逐渐在国内发展应用，处于刚起步的阶段，目前市面上大多数AR图书，内容上AR的元素较少，真正融入AR技术的只有很少一部分，大部分都只是以AR为销售宣传噱头操作相比传统图书略复杂AR图书不仅需要纸质图书，还需要下载相应的软件，利用移动端设备，如手机，平板电脑等进行识别相应信息，这比以往拿起一本书就可以阅读来说，要复杂一点。而且移动端设备在进行信息识别的时候，需要网络，耗电量也会比平时增多，这也在一定程度上影响了阅读体验长期使用会影响视力AR图书需要借助一定的电子设备来进行识别传统图书中的信息，并作为显示屏来显现出虚拟增强现实的内容，长时间使用的话，会使使用者产生视觉疲劳，影响视力。增强现实替代不了亲身体验AR图书旨在丰富读者的阅读体验，而并非剥夺读者的全部感受，增强现实是替代不了亲身体验的，就好比一些实验性质需要动手操作的内容，虽然通过AR技术也可以在移动端设备上实现出来，但手指触摸屏幕与亲自动手操作体验也是大不一样的，而且这些都是人为设置好的，实验中可能会出现的差错是没办法体现出来的，只有自己去亲手操作才会有所感受小结虽然AR图书技术在国内处于刚刚起步的阶段，技术尚不成熟，但是在现如今智能化的时代背景下，AR图书是顺应时代发展需求的，不仅如此，AR图书还能改善当下人们以数字碎片化阅读为主要阅读方式的状况，丰富读者阅读的体验，培养人们阅读的自发积极性，使阅读更加体系化。题目设计方法Unity平台介绍Unity3D是由UnityTechnologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。其编写的程序可发布游戏至Windows、Mac、Wii、iPhone、WebGL（需要HTML5）、Windowsphone8和Android平台。也可以利用Unitywebplayer插件发布网页游戏，支持Mac和Windows的网页浏览。它的网页播放器也被Mac所支持。unity可以说是游戏开发领域最轻量级的游戏开发工具了，入门简单，界面简单（就好像VB一样），安装，调试，发布都非常的方便，语言采用c#或者JS作为脚本语言，学习成本低（.net开发人员可以很容易转行过来），官方的文档相当完善，并且给出了相对的demo。自己有自己的AssetStore，社区活跃且有相当多的资源可供下载。开发效率高。一个硬币分两面，unity也有很多相当的缺点，最突出被大家吐槽的就是光影渲染效果差（相对于虚幻4引擎），材质复杂，而且内置的工具不完善，很多都需要第三方插件来完成。作为一个游戏开发或者AR开发的入门者，untiy是一个非常非常不错的入门工具，初级游戏开发或者AR开发，Unity绰绰有余，但是开发高端领域的游戏，虚幻4或者是osg则是必须要学习掌握的。如果要想长久在该领域发展，仅仅是一个Unity远远不够，虚幻4，osg等工具也是要学会使用的，模型工具例如3Dmax也是必须掌握的。Vuforia插件介绍目前世界上主流的ARSDK提供厂商，国外的主要是Vuforia、Metaio，国内的主要是EasyAR。其中Metaio在2015年5月已被Apple重金收购，之后就没有再对外公开过SDK，经过两年的封闭开发，Apple已经打造出了强大的ARKit，能够基于庞大的iOS和iPad设备生产出各种惊艳的AR产品。Vuforia也在2015年11月被PTC公司重金收购，但是后续一直在更新并提供SDK，因此在ARKit普及之前，Vuforia一直是开发者最青睐的ARSDK，众多的功能以及高质量的识别技术，使得Vuforia早已深入人心。Vuforia主要由三大部分组成：Vuforia引擎。这个引擎是一个静态链接库，作为客户端封装进最终的App中，用来进行最主要的识别功能，支持iOS、Android和UWP，并且根据不同的平台开放出了不同的SDK，可以根据需要从AndroidStudio、Xcode、VisualStudio以及Unity中任选一种作为开发工具。本系列是以Unity为开发工具，因为Unity本来就是个游戏引擎，对3D模型的导入以及控制非常方便，非常适合开发AR程序；一系列工具。Vuforia提供了一系列的工具，用来创建对象、管理对象数据库以及管理程序licenses。TargetManager是一个网页程序，开发者在里面创建和管理对象数据库，并且可以生成一系列的识别图像，用在AR设备以及云端上。LicensesManager用来创建和管理程序licenses，因为每一个AR程序都有一个唯一的licenses。VuforiaObjectScanner是Vuforia近段时间新出的工具，用来进行十分黑科技的功能--实物扫描，但是很遗憾目前只支持某些Android设备。云识别服务。当你的AR程序需要识别数量很庞大的图片对象，或者你的对象数据库需要经常更新，可以选择Vuforia的云识别服务。VuforiaWebServices可以让你很轻松的管理数量庞大的对象数据库，并且可以建立自动的工作流。根据功能的不同，Vuforia支持很多类型的AR识别类型，主要有以下几种：ImageTargets这是最常用、也是最简单的识别对象，即单一静态的平面图像，比如打印的图片或者产品包装；VuMark这是Vuforia自己研发的一种新型条形码，并且被称为下一代条形码，你能够自己随意设计这种条形码的样式，并且在其中融入相关的数据信息；Multi-Targets多对象识别，可以同时识别多张ImageTargets，并且可以把它们和几何立体物体结合起来，比如一个纸盒子，或者任意形状的平面；CylinderTargets是形状类似于圆柱形的图片，可以将这些图片贴到一些圆柱形物体上比如瓶子、杯子等等，进行识别；TextRecognization(Nativeonly)文字识别，可以识别大约10万个英文单词，对于一些英语教育产品很是实用。但是很遗憾，不支持中文汉字识别，只支持英文；ObjectRecognization实物识别，这是Vuforia在今年前不久推出的一种新型识别，识别对象已经从简单的图像中跳出来了，可以基于现实生活中的实物模型进行扫描识别，很是黑科技，这也代表着AR的未来。但是很遗憾目前只支持三星S7等少数Android手机，不过随着技术的进步，不久的未来一定会全平台覆盖；SmartTerrain这是一项突破性的技术，可以基于用户的真实物理环境重新建造虚拟的3D环境，可以打造出新型种类的游戏以及很真实的视觉效果，这种产品中的元素可以和真实世界中的物理实体以及平面进行互动，非常酷炫，真正做到了虚拟和现实相互融合。三种不同类型Database的比较Vuforia提供了三种类型的Database，分别是Device、VuMark和Cloud。这三种类型都各有自己的优势，在开发产品时需要根据需求来选择不同的Database：DeviceDatabase：包含了安装在设备本地的图片以及3D模型对象的数据库，可以开发ImageTarget（图片识别）、MultiTargets（多对象识别）、CylinderTargets（圆柱图像识别）以及ObjectTarget（3D模型识别）。当你的产品需要最快速的图像识别，而且图片对象小于1000张，并且数据库中的对象不会经常更新，那么DeviceDatabase就是最好的选择。如果需要开发识别真实3D物体识别的产品，那就只能选择Device类型的。CloudDatabase：包含了存储于网络云服务器上的对象的数据库，需要通过网络进行获取。Cloud类型的数据库可以包含数量百万级别的对象，因此当识别对象超过1000个，而且对象需要经常进行更新时，CloudDatabase是最好的选择。需要注意的是，CloudDatabase只支持单一的图像识别，并不支持Multitarget和CylinderTarget。因为是通过网络识别，因此采用Cloud进行识别的话需要根据网络情况花费一定时间。VuMark：这是Vuforia自家研发的条形码，被誉为下一代条形码。和目前市面上通用的条形码不一样的是，VuMark的外观可以完全自主定制，只要符合VuMark的相关规范就行，而且VuMark中还能包含诸如字符串之类的数据信息，非常适合于企业级产品的开发。C#脚本语言简介长久以来，游戏引擎开发都采用底层语言如C++来进行，这对于游戏上层开发来说，并不友好。很难想象如果使用一款引擎修改某个人物的动作，还需要直接调用C++底层的接口，这样既不安全，也不方便。因此，一般引擎从设计之初就会把封装好的绘制接口通过某些上层语言暴露出来，给游戏制作方使用。这些上层语言就叫做游戏脚本语言。lua是脚本语言里面比较流行的一种，因其虚拟机小巧、API丰富、可灵活定制而深受游戏引擎开发商的喜爱。Unity使用了C#和UnityScript（现已废弃）来作为脚本语言。C#语言因为建立在.NETIL之上而具有跨平台扩展性。这样，游戏开发者只需要一套代码就可在多个平台运行。IL（IntermediateLanguage，在.NET平台下是CIL，CommonIntermediateLanguage）是一种中间语言格式，类似于Java的字节码（bytecode），这种格式的代码需要一个虚拟机来“解释”执行。IL的所有指令都是基于虚拟堆栈的：调用函数前，先将参数push到虚拟堆栈里面；函数执行的时候，从虚拟堆栈里面取出参数，然后将结果压入虚拟堆栈。由于调用方式简单，IL语言的指令集也比较精简。IL作为脚本语言的独到之处在于可以将C#上层语言的各种特性（如泛型、协程等）转换成基本的IL指令集，但是这样的转换也是有代价的—转换后的IL指令比普通的函数调用多出数倍。因此，在游戏开发中，不宜在每一帧中都进行这一类的调用。另外，IL语言执行需要一个虚拟机翻译成目标平台的机器码，虽然.NET虚拟机已经比较高效了（可参考.NET与Java的对比），但是和平台原生代码比起来，依然有一些差距。在iOS平台上，由于苹果禁止使用JIT方式，IL指令需要预先编译成目标平台库文件，然后在最终二进制文件打包的时候作为第三方库链接进去。Unity游戏几乎所有的游戏逻辑都是通过脚本来实现的，一个大型游戏，成千上万个脚本，AOT方式打包造成的效率低下，是不得不考虑的问题。因此，Unity在5.3.4版本中引入了il2cpp技术。顾名思义，il2cpp就是把中间语言转换成cpp代码的工具。上面我们讲到，在iOS平台上，由于无法使用JIT方式执行IL指令，所以需要先将游戏脚本打包成.NETManagedA