AR技术在特定图标转视频演示中的研究与开发——毕业论文

毕业设计(论文) 论文题目 AR技术在特定图标转视频演示中的研究与开发 Research and Development of AR Technology in Demonstration of Specific Icons学 生 姓 名： 学 号： 二级学院名称： 电子信息学院 专 业： 广播电视工程 指 导 教 师： 职 称： 讲 师 合作/企业教师： 职 称： AR技术在特定图标转视频演示中的研究与开发摘要:在新兴数字媒体急速发展的背景下，传统媒体面临诸多困境，在自身转型问题上亟需进行拓展及效率的提高。AR增强现实技术对于传统媒体的转型而言更是一次机遇。传统媒体可借助AR技术实现多样立体化、全媒体交互式传播，进而实现新的跨越发展。本课题主要讨论的是AR技术在特定图标转视频演示中的研究与开发，其实现过程可归纳为以下三步，第一步：在报刊、 图书上印刷经过AR 处理的 “交互式图片”，这些图片嵌入了通向视频、游戏等多媒体内容的接口；第二步：读者通过手机或计算机摄像头扫描图片，连通报刊、图书的后台数据库；第三步：数据库中每张图片所对应的多媒体信息，将虚拟的多媒体形象叠加到静态图片上，从而实现增强现实的效果。最后，本文分别用两套开发环境为系统搭建了实验平台，完成了测试实验，实验结果表明，传统媒体在AR技术的支持下可以有效的优化用户体验，增强传统媒体所欠缺的现场感和互动感。关键词：增强现实；转型；交互式图片；虚拟叠加The research and development of AR technology in the video display of specific iconAbstract: under the background of the rapid development of the new digital media, the traditional media is facing many difficulties, and it needs to expand and improve the efficiency of the transformation. Augmented reality technology is an opportunity for the transformation of traditional media. Traditional media can use AR technology to achieve a variety of three-dimensional, all media interactive communication, and thus achieve a new leap forward development.This paper is mainly about the AR technology to the research and development of video presentation in a particular icon, the process can be divided into the following three steps, the first step: the newspapers and books printed by AR processing interactive pictures, these pictures were embedded to video games and other multimedia content interface; the second step: the reader through the mobile phone or computer camera to scan pictures, newspapers and books with the background database; the third step: the multimedia information corresponding to each image in the database, the virtual multimedia image superimposed to the static image, so as to achieve the effect of augmented reality.Finally, this paper used 2 sets of development environment to build an experimental platform for the system, complete the test experiment, the experimental results show that the traditional media can effectively optimize the user experience with the support of AR technology, enhances the traditional media lack of sense and sense of interaction.Key words: augmented reality; transformation; interactive image; virtual overlay目 录1 绪论11.1 选题背景与意义11.2 国内外研究现状21.3 研究目的与意义31.4 本文主要研究内容32 AR技术在特定图标转视频演示中的总体方案设计32.1 系统功能和需求分析32.2 系统总体结构4 2.2.1 标签（2D标识图）检测技术4 2.2.2 标记内容获取与呈现技术53 AR技术在特定图标转视频演示中的实现步骤分解63.1 2D标识图制作模块63.2 虚拟物件叠加模块63.3 终端预览模块74 AR技术在特定图标转视频演示中的实验与测试84.1运行环境84.2实验成果展示84.2.1成果一 由Metaio SDK支持84.2.2成果二 由Vuforia支持，Unity 3D加以实现95 总结与展望125.1总结125.2展望12致谢13参考文献14浙江传媒学院本科毕业论文 AR技术在特定图标转视频演示中的研究与开发1 绪论面对新兴数字媒介对传统纸媒的读者分流、市场分割、渠道挤压以及影响力侵蚀，人们普遍寄希望于将新兴媒介与传统纸媒进行多元化、多层次地嫁接、捆绑和组合，但结果也正如这些盲目的行为本身，带来的是纸媒媒介融合从理论到实践的迷惘构造了一种非融合的搭配、一种为融合而融合的绑定、一种“刑散神也散”的媒介结构、一种小舢板欲捆绑成大航母的幻灭1。值此之际，一种技术正逐渐进入人们的视线，名为增强现实(Augmented Reality，简称AR)，它将引领一股新的改革潮流。1.1 选题背景与意义AR技术对于传统媒体创新信息传播模式是一次机遇；如今传媒行业变革激荡，新兴媒体发展迅速，传统媒体面临诸多困境，一是生存之困，市场占有率和盈利能力不断下降；二是转型之困，面对新媒体、自媒体的强烈冲击，传统媒体的信息传播模式亟待改变。AR技术的出现，无疑是传统媒体运用新技术新应用创新媒体传播方式的一次机会，报纸、电视本身就具备了丰富的内容，如果能很好与AR技术融合起来，借助AR技术实现多样化、立体化、交互式、全媒体式传播，将有利于引导其逐步转型，实现新的跨越发展2。AR技术有助于优化用户体验；在培养纸媒读者阅读兴趣、激发读者互动热情等方面的应用前景值得期待，百度创始人李彦宏首次提出互联网思维后，业界对此有着较多的议论和不同的观点，但有一点基本达成共识，那就是重视和优化用户体验。AR增强现实与虚拟之间的互动，使读者在阅读时，纸媒能有更多信息被展示出来，区别以往报纸呆板的形象，给了读者以全新的视听体验，这对于培养纸媒读者新的阅读兴趣点，吸引更多的读者重新拿起报纸，显然具有一定的推动作用3。AR技术有助于增强电视与视频节目的现场感和互动感；2008年CNN对美国总统大选的电视报道中就很好地运用了AR技术，在大选现场的记者并不是通过普通的连线进行报道，而是电视台利用AR技术，使他的三维影像同时“出现”在了演播室，与主持人进行讨论。从这个案例可以看出，电视节目利用AR技术，整合了时间与空间，将虚拟的形象放置于真实的环境之中，使真实与虚拟结合，给观众身临其境的感觉，这对于增强电视节目的现场感，激发观众互动参与的热情，将起到巨大的推动作用4。AR技术还可以应用到媒体融合集成产品生产、移动客户端推广等领域；近年来，传统媒体在坚持“内容为王”的原则下，通过对新闻内容的“再编辑、再加工、再包装”，组织策划了多种形式的媒体融合集成产品，不断探索创新网络信息时代条件下新的传播模式，在如今这个网民占主导的Web2.0时代，“互动性”日益成为产品传播的制胜关键，而“参与度”极高的AR技术，通过虚拟三维影像等方式与受众的感官现实相结合，实现产品与用户的立体化互动，为传统媒体创新融合集成产品的表现形式，逐步实现互动式传播方式提供了可借鉴的思路5。随着传统媒体向新媒体转型融合步伐的加快，基于智能手机等移动终端载体的客户端产品如雨后春笋般涌现出来，如何在这些客户端产品中脱颖而出，除了坚持打造高品质新闻信息聚合服务平台的理念外，还可将AR增强现实等先进技术与移动客户端的优质内容互为补充，先期可通过对部分互动性较强的栏目内容进行AR应用开发，吸引受众参与，这也有助于增加用户对移动客户端的依赖性和黏合度，进而进一步扩大传统媒体的影响力和传播力。1.2 国内外研究现状1.2.1 国外研究现状增强现实是在虚拟现实的发展过程中应运而生的，它的诞生一方面是应运了时代的发展，另一方面是为了弥补虚拟现实完全脱离现实而独自呈现的不足。自1990年波音公司的研究员Thomas Caudell创造增强现实以来，越来越多的研究所、高校以及企业都开始对增强现实展开大量的研究，并取得了一定的科研成果。目前，哥伦比亚大学的Steve Feiner团队使用AR制造了一套激光打印机维修系统，用户戴上这套系统就能通过系统中的操作指示对打印机进行维护，如去下纸托盘等6。最早提出增强现实概念的是波音公司，他们为了节约时间和成本，用AR技术开发了一套数字化操作系统用来帮助技术人员安装组成飞机电路系统的线束，如果这项技术能成功运用到工厂中，将会带来巨大的收益。在12年4月4号，这款具有微型显示器功能可为智能手机提供多种服务，并可将信息传到镜片通过可穿戴设备进行控制的眼镜，它就是名声大噪的谷歌眼镜。此外谷歌的另一个竞争对手横空出世，此款AR眼镜可通过手势进行识别，配备了低延迟的三维摄像机以及可穿戴式双眼显示器，涵盖众多优点的产品还由爱普生生产商保驾护航，虽本款产品还处于研发阶段，但势必对谷歌造成一定程度上的威胁哦。1.2.2 国内研究现状在20年代90年代初我国的虚拟现实技术才算是起步了，相较于其他发达国家而言速度算是慢的了，故随之而出的增强现实技术也稍晚于其他国家，但近年来，为了赶超其他国家的发展水平，我国出题了一系列推进措施，社会各界也都给了高度重视，包含各大高校都纷纷参与了AR技术的研究。华中科技大学对基于增强现实的遥操作关键技术进行了研究，提出了一种基于视觉的增强现实跟踪注册方法和基于实时定标策略的虚实配准方法，设计了一种基于标示角点与全局单应性矩阵相结合的三维注册方法。上海交通大学提出了空间增强现实流水线概念；浙江大学以基于定位标记的视频检测为基础，从增强现实环境中的阴影生成方法和光线检测算法入手，提出以场景管理为核心的增强现实软件框架ARSGF7。国内企业视辰信息科技（上海）有限公司自主研发独立的AR引擎Easy AR，同时，基于Easy AR有独立研发出AR一系列产品（AR浏览器，AR编辑器，AR情境教育产品等等）8。除此之外，从2012春晚开始，AR增强现实开始进入大家的视野，并更多的应用于媒体界，这使得媒体节目更具有观赏性。1.3 研究目的与意义本课题的目标是想解决或缓解传统纸媒在转型过程中遇到的转型难、转型慢、受新媒体冲击大等客观存在的问题。主要应用于传统纸媒与AR的技术融合，借助于AR技术将纸媒与媒体素材库建立关联实现纸媒的多样化、立体化、交互式、全媒体式传播，有利于引导其逐步转型，实现新的跨越发展。例如在报纸这类传统纸媒中，读者安装我们的AR软件后，通过摄像头扫描报纸中的2D标识图，报纸上平面单调的文字形态就会以立体逼真的视频、音频甚至3D影像等多媒体形态呈现在手机屏幕上，让读者以立体、交互的方式阅读，实现在报纸上看视频新闻、听歌、购物、玩游戏等，让新闻可以更新更快更全面，广告可以更新颖更有趣，实现全媒体的立体传播效果9。1.4 本文主要研究内容增强现实技术，是利用计算机技术生成一种逼真的视、听、触和动等感觉的虚拟环境，通过各种传感设备使用户“沉浸”到该环境中，把虚拟的图像、视频和文字讯息与现实生活景物结合在一起，实现用户和环境直接进行自然交互10。 本次课题想达到的项目效果如下：以阅读报纸为例，读者安装AR软件后，通过摄像头扫描报纸，报纸上平面单调的文字形态就会以立体逼真的视频、音频甚至3D影像等多媒体形态呈现在手机屏幕上，让读者以立体、交互的方式阅读，实现在报纸上看视频新闻、听歌、购物、玩游戏新闻可以更新更快更全面，广告可以更新颖更有趣，实现全媒体的立体传播效果11。传统读物 AR 应用实现的过程是： 1、在报刊、 图书上印刷经过AR 处理的 “交互式图片”。这些图片嵌入了通向视频、游戏等多媒体内容的接口； 2、读者通过手机或计算机摄像头扫描图片，连通报刊、图书的后台数据库； 3、数据库中每张图片所对应的多媒体信息，将虚拟的多媒体形象叠加到静态图片上，从而实现增强现实的效果。2 AR技术在特定图标转视频演示中的总体方案设计2.1 系统功能和需求分析AR技术的出现，无疑是传统媒体运用新技术新应用创新媒体传播方式的一次机会。因报纸、电视本身就具备了丰富的内容，如果能很好与AR技术融合起来，借助AR技术实现多样化、立体化、交互式、全媒体式传播，有利于引导其逐步转型，实现新的跨越发展9。 故本次课题需达到的项目效果如下： 以阅读报纸为例，读者安装AR软件后，通过摄像头扫描报纸，报纸上平面单调的文字形态就会以立体逼真的视频、音频甚至3D影像等多媒体形态呈现在手机屏幕上，让读者以立体、交互的方式阅读，实现在报纸上看视频新闻、听歌、购物、玩游戏新闻可以更新更快更全面，广告可以更新颖更有趣，实现全媒体的立体传播效果12。传统读物 AR 应用实现的过程是： 1、在报刊、 图书上印刷经过AR 处理的 “交互式图片”。这些图片嵌入了通向视频、游戏等多媒体内容的接口； 2、读者通过手机或计算机摄像头扫描图片，连通报刊、图书的后台数据库；3、数据库中每张图片所对应的多媒体信息，将虚拟的多媒体形象叠加到静态图片上，从而实现增强现实的效果。2.2 系统总体结构本项目主要涉及的技术总结至如下2点：2.2.1标签（2D标识图）检测技术移动设备增强现实与图片交互的应用主要通过标签（2D标识图）检测来确定虚拟内容。扫描结果准确率取决于标签检测技术的有效性。本次项目我们采用图形转换成数字矩阵并同数据库实时匹配的双重技术来保障标签检测技术的准确性。一重保障：在Vuforia官网中为一张2D标识图申请一个唯一的ID，此处的ID是自动生成的，也是数据库中存储与获取数据的唯一主键。双重保障：当用户开启应用的时候，移动设备通过摄像头捕捉画面（即2D标识图），直接将数据流交给底层进行图像转换，转换成数字矩阵，通过矩阵同数据库中的ID匹配来检测标识图后所叠加的虚拟物件。匹配成功后返回给用户终端一个特定编码，终端根据编码向服务器申请访问相应的媒体资源，服务器响应后将摄像头捕捉到的数据流一同虚拟信息绘制到屏幕上，实现预览虚拟物体在现实环境中的效果的目的（如图2.1）。图2.1 2D标识图检测识别过程2.2.2标记内容获取与呈现技术标签检测完毕以后终端设备会根据标签所携带的信息进行解析，将解析得到的数字、字符串等内容发送到服务器，服务器接收到数字、字符串后，将对应的特定编号 返回给移动设备。移动设备再通过特定编号获取相应资源。虽然图片可以直接存储特定编号，但是会增加图形的密集度，从而导致识别率的降低。将每个特定编号对应唯一一个标签 ID，并存储到服务器，可以有效地减少标签的数据量。并且可以方便地修改对应内容，内容的更新只用更新服务器数据库表中 ID 对应的特定编号即可。这样原本的特定编号所对应的内容也就无需更改了，既保留了原始数据，又可以将新内容替换到移动设备中。移动设备获得服务器返回的数据后，将根据不同的数据类型以不同的控件呈现到屏幕上。数据类型是音频的，移动设备就呈现音频控件，数据类型也是视频的，移动设备就呈现视频控件（如图2.2）。图2.2 标记内容获取与呈现流程3 AR技术在特定图标转视频演示中的实现步骤分解3.1 2D标识图制作模块 2D标识图在本项目中承担一个“桥梁”的作用，用来连接终端显示和服务器上的数据库。因为我们是在Vuforia提供的开发接口之上进行二次开发，所以我们需要在Vuforia官网中为一张2D图片申请一个唯一的ID，此处的ID是自动生成的，也是数据库中存储与获取数据的唯一主键。将申请的ID与选取的2D标识图一一对应生成一个unity3D数据包导出。2D标识图制作流程图如图3.1所示。图3.1 2D标识图制作流程3.2 虚拟物件叠加模块在unity集成开发环境中，改写相应接口将虚拟物件（3D模型或是视频等）叠加在2D标识图上，当用户使用APP扫描2D标识图时，即可在终端界面上体验观看我们叠加在2D标识图上的3D模型或视频等。因此，在unity已有的数据接口上，我们只需导入相应的3D模型或视频等元器件库，并同时导入事前制作好的2D标识图，利用唯一的标识图ID进行虚拟物件与标识图的一对一关联。再将关联完成的场景以特定编号存入数据库中，等待用户的读取。虚拟物件叠加（以添加3D模型为例）流程图如图3.2所示：图3.2 虚拟物件叠加（以添加3D模型为例）流程图3.3 终端预览模块移动设备通过摄像头拍摄印刷在纸媒上的2D标识图，通过标签（2D标识图）检测技术，将标签所携带的信息进行解析，将解析得到的数字、字符串等内容发送到服务器，服务器接收到数字、字符串后，将对应的特定编号返回给移动设备。每个特定编号对应唯一一个标签 ID，存储到服务器，可以有效地减少标签的数据量。移动设备再通过特定编号获取相应资源，从而达到预览虚拟物体在现实环境中的效果的目的。APP终端预览过程如图3.3所示：图3.3 APP终端预览过程4 AR技术在特定图标转视频演示中的实验与测试4.1运行环境 （1）安卓手机：（2）操作系统：Windows 8 旗舰版32位（Service Pack1 ）（3）系统型号：Compaq Presario CQ40 Notebook PC（4）处理器：Pentium(R)Dual-Core CPU E5300 2.60GHz （5）内存：2048MB RAM（6）显卡：NVIDIA GeForce(R) 610M（7）硬盘：500G4.2实验成果展示4.2.1 成果一：由Metaio SDK支持APP界面主体是全屏显示的摄像头，外加右下角的三个按钮，界面简洁直观。三个按钮的作用分别是：拍照、重置、保存。我们把三个按钮一并放在 Fragment类里统一进行碎片化处理。如图4.1所示图4.1 APP界面图本次我们选取“浙江传媒学院”校徽作为2D标记图片，打开app扫描2D标记图点击“拍照”键，即会在页面左上角显示我们自主添加在标记图上的3D模型，根据程序的复杂程度我们可以实现在一张2D标识图上添加一个或多个3D模型。点击左上角相应的模型图标即会默认在界面中央出现相应的3D模型。为了实现更好的用户体验，我们还加入了交互式功能，即用户可以通过手指触碰3D模型，按喜好放大缩小或旋转模型。另外调整摄像头的位置也可以相应变换3D模型出现的角度（如图4.2、4.3所示）： 图4.2 水平拍摄显示效果 图4.3 垂直拍摄显示效果 此外我们还增加了一个附属功能，即一键保存功能。用户可以实时保存当前APP界面上所显示的场景，并统一将照片存入 SQLite 数据库中。安卓系统相机 会读取这些图片，保存后还可以在本地相册查看所存照片。如图4.4所示图4.4 一键保存功能4.2.2 成果二：由Vuforia支持，Unity 3D加以实现APP界面主体是全屏显示的摄像头，外加右下角的三个按钮，界面简洁直观。如图4.5所示。图4.5 APP界面图本次我们选取“浙江传媒学院”校徽作为2D标记图片，3D模型选用的是一段.avi歌曲视频名为：薛之谦的丑八怪。打开app将摄像头对准2D标记图，即可展现出添加在标识图上的视频，点击“播放”键，即可播放，因为视频所占内存较大，会存在1到2秒的缓存时间，但这并不影响观看哦。并且我们增加了记忆功能，即下次扫描图片时视频会从上次结束的位置开始，这样会有很好的延续性，并可依序重复播放（如图4.6所示）：图4.6 演示过程1截图此外，对于2D标识图的摆放位置以及方向我们都做了可适应功能，让用户有更多选择视角，效果不必多言，如下图4.7所示：图4.7 演示过程2截图成果二主要是在2D标识图上添加视音频文件，那相较于成果一的难点主要在于视频文件的播放控制，这里主要分析一下Auto Play的原理（如图4.8所示）：图4.8 Auto Play原理实现过程如果video不等于空并且设置了AutoPlay，那么即可自如实现视频的播放与暂停功能了。5 总结与展望5.1总结AR技术的新颖，应用的广泛，结合效果的突出，让其势必成为技术界的下一个风口。就本课题重点研究的AR技术在特定图标转视频演示中的研究与开发而言具有一定的商业与学业价值13。传统出版领域应用 AR ，不仅能为读者带来更加丰富、立体的阅读体验，还可能孕育出创新的商业模式。首先，增强现实技术带来了广告经营模式的创新。AR 为互动营销发展带来了巨大契机，它在一种轻松活跃的环境中，使用户与品牌产生零距离的接触。 纸质出版物的增强现实广告由传统上依附于媒体的、平面静态的形式变得更直观、更多样化，给消费者带来虚实交融的体验，可延长广告起作用的时间，提高广告的价值14。增强现实技术还能增强商家和用户的互动性，更好地把用户的需求反馈给广告主， 使广告投放更加精准。目前作为纸媒线上线下入口广泛应用的二维码，在建立商家与用户之间、商品与用户之间关系方面存在不足。因为二维码需要打开网站才能显示内容，因此只能记录 IP 地址，而无法记录手机号码。这样一来，二维码所有者和传播者（广告商）无法得知其宣传效率如何，也无法进行后续跟踪销售15。现在AR 使这一状况发生了改变。读者可以通过点击纸质印刷媒体来做他们想做的事。比如，读者可借助AR直接向厂家打电话询问，将产品分享到微博中，甚至购买。纸质出版物由此从单一的信息传播平台变为传播和销售的综合平台，其以往主要依赖发行和广告收入的赢利模式也可能随着发生变化，实现了线上经营与线下经营的结合，创造出丰富的经营想象空间16。5.2展望由于时间和水平有限，本论文的研究和工作难免存在不足之处，因而对今后有待重点研究和改进的地方所作的几个设想：（1） 如何更快更简便的提高本标签识别速度与准确率，次项目我们采用图形转换成数字矩阵并同数据库实时匹配的双重技术来保障标签检测技术的准确性；（2） 如何在同一个标识图上叠加多个3D物件且不会大幅占用存储空间；（3） 就成果二所示，如何调整视频的播放进度以及起始位置等问题都是需要今后努力研究的方向。致谢“劝君惜取少年时”，这是临近毕业最大的感触。回想起大学求学的四年，心中充满无比感恩和留恋之情。感谢能在母校学习四年，使我们在这个环境中学会做事学会做人。这次毕业论文设计，我得到了老师们和众多同学的帮助，首先感谢我的导师老师。李老师不仅在学业上言传身教，以其容纳万象的专业知识一路上给与我学习的动力，李老师幽默风趣中带有哲学智慧的人格魅力对我影响深远。不仅使我在专业学习上建立浓厚的兴趣、掌握了基本的知识研究方法，还使我明白了许多课堂以外，生活之中简单而深刻的道理。在此谨向李老师致以真挚的感谢。本文的写作更是直接得益于李老师的悉心指点，从论文的选题到课题完成的进度安排，老师耐心细致地给予指导意见，并做出适当的引导，使我对毕业课题的研究内容与方法得到充分的理解。犹记得大学的二分之一时光都贡献给实验室，我难以忘怀昔日在实验室里李老师教授我的一切对我而言都是鲜活、有趣的知识。尽管有时会觉得枯燥、甚至沮丧，但也有因为成功实现一个自己的想法而兴奋得跳起的时刻，所有这些都成为我大学生活里面最真实可感、又值得被记住与珍惜的岁月。另外，我必须感谢一帮共同度过完成毕业论文过程的小组同学们，一群人为了同一种目的一起努力奋斗的感觉非常棒。这可能是大学阶段最后一回拼搏的时光吧，彼此间交流想法意见，然后通过实验验证，一路过关斩将解决大大小小的问题，直至本文的顺利完成。 最后，再一次感谢曾经关心和帮助过我的老师、同学和朋友们，感谢你们在我学习和生活上的支持和帮助。将来的日子里，希望大家一切顺利，我也会更加努力的继续学习和积极工作