6.2 备课笔记-unity虚拟交互工具介绍

编号32-01【了解交互设计中虚拟现实类产品、游戏交互设计师岗位工作流】编号32-01学习任务二、unity3D虚拟交互工具介绍一、课程说明与要求1.课程说明本阶段课程分为两个部分，第一部分为VR原理讲解及开发入门，介绍了VR效果实现的原理；第二部分为Unity3D虚拟交互工具，介绍虚拟使用的开发引擎工具，重点说明虚拟交互设计开发引擎工具Unity3D的特点；通过学习VR实现原理以及交互工具Unity3D的介绍，学生可以全方面VR实现原理，以及虚拟交互工具的使用特点。2.工具材料准备说明本课的实践环节需要同学们提前准备一些素材，教师提供软件以及虚拟案例下载链接。工具材料下载链接备注Unity3D2018.3.14/releases/full/2018#d0e9f15437b1每台电脑安装虚拟分布式教学系统每个都可下载二、学情分析与课程导入1.学情分析本课程为VR原理与虚拟交互工具认知课程，需要学生在学习过程中，结合实际的虚拟现实相关案例，分析各个案例中实现VR的技术特点以及交互设计的方式区别。在学习虚拟现实原理与交互工具的同时，要不断思考虚拟现实在技术上可以做到的基础需求，思考Unity3d引擎工具在进行虚拟开发时需要的技术储备，这是非常重要的。此外，针对学生对Unity引擎工具认知不深，强调进行应用引导教学，融入市场多元化理念。2.课程导入我们之前学习了虚拟现实分类与虚拟现实采用交互方式相关知识。那么，在经过前期梳理虚拟现实交互理论后，我们需要通过某种开发引擎来实现我们的虚拟交互设计，上节课在了解了虚拟现实相关基础知识后，本节课我们将对虚拟现实引擎开发原理以及工具进行介绍。三、理论知识讲解（一）VR原理讲解及开发入门早期他们基本是平面显示器，或者将产生的画面投影到一个弧形甚至是球形屏幕上；或者在这些屏幕上叠加左右眼分别的图像，从而产生更加立体的效果。而这类装置往往很大型，也很昂贵。而近几年发展起来的VR头戴显示器，则达到了更好的使用效果：更好的沉浸感和更便宜的价格。1.VR沉浸感的原理VR眼镜，主要通过三方面来达到沉浸感的目的：1）通过凸透镜来放大人眼看到的即时图像范围，现在的VR眼镜大概会产生90-120度范围的图像视野，这样的视野大概和一个良好的三通道环幕投影系统产生的效果差不多，不过VR眼镜要更加贴近人眼一些，人眼被干扰的可能性大大降低。编号32-02编号32-022）通过头部的陀螺仪，当人转动头部时，陀螺仪能够及时的通知图像生成引擎，及时的更新画面，从而使人感觉到，自己是在看一个环绕的虚拟空间，从而产生360度的三维空间感。3）左右眼每一时刻看到的图像是不一样的，是两幅区别左右眼位置的不同头像，从而产生很强烈的立体纵深感。2.关于沉浸感和交互作用的定义1）所谓沉浸感使用户处于一个四维的虚拟世界之内，用户各种感觉器官、特别是视觉器官对虚拟世界发生适应性正向反馈。就目前的VR眼镜来讲，主要通过两方面来达到沉浸感的目的：一是通过经过放大的显示屏技术，能够在用户眼前显示出一个放大的局部虚拟时间景象，目前显示视场角在90-110度左右，在这个显示范围内，主要通过三维引擎技术，产生实时的立体图像。二是通过和头部的位姿传感采集的数据配合，让三维引擎响应头部转动方向（和当前头部位置变化），以很高的频率实时改变显示的三维头像，用户头部转动的角度刚好和三维引擎模拟的三维画面视觉一致，让用户觉得放佛是通过一个大窗口在观察一个虚拟的三维世界。2）所谓交互作用用户通过动作、手势、语言等人类自然的方式能够与虚拟世界进行有效的沟通。编号32-03编号32-03通常来讲，用户的双手动作，双脚行走，在虚拟世界中产生用户能够理解的变化，用户就认为该虚拟世界对用户发生了反馈，那么用户的动作和虚拟世界对用户的反馈，组合在一起，就形成一次交互作用3.生成VR要求的虚拟世界：【思政融入（用全景技术，赋能数字化时代，加快各个领域数字建设，提升国家软实力）】要达到目前VR眼镜所具有的沉浸互动效果，是需要有一整套软件和内容的配合。生成一个三维的虚拟世界，自从三维游戏诞生时，就不缺乏工具，基本可以认为，凡是具备三维构建和渲染能力的图形学引擎，都可以生成三维的虚拟图像世界，很多引擎拥有完整的游戏引擎功能，不仅仅限于图像方面，还能够产生声音，模拟物理现象等功能，这些引擎都是基于计算机操作系统API和显卡驱动接口构建的，目的是方便上层应用开发人员快速生产内容，在引擎和操作系统之间，其实普遍还有一层中间件，基础图形接口：在windowsPC和移动操作系统上，是directx基础图像api在工业领域，在linux、苹果PC和IPhone上，在安卓操作系统上，是一系列OpenGL基础图形接口（移动端为openglES，是简化的opengl版本）目前最为流行和最适合开发VR内容的三大引擎为：unityUnrealEngine编号32-04编号32-04CryEngine三种引擎对VR的支持力度如何UnityUnrealEngineCryEngine内置steamVR插件内置OSVR插件内置SteamVR插件内置OSVR插件内置OSVR插件上述引擎由于其难易程度，功能完善度，开发成本等原因，在经历了长时间的兴衰过程后，目前最为流行和最适合开发VR内容的三大引擎为：基于Unity引擎创作的游戏包括：《王者荣耀》、《马里奥赛车》《奇异世界：灵魂风暴》《炉石传说》《暗影之枪：战争游戏》、《神庙逃亡》《崩坏3》《纪念碑谷》、《完美世界》。基于UnrealEngine引擎创作的游戏包括：绝地求生：大逃杀（端游吃鸡），绝地求生：刺激战场&绝地求生：全军出击（手游吃鸡），堡垒之夜等网游。cryengine引擎创作的游戏包括：孤岛危机系列《孤岛危机3》为《孤岛危机》系列三步曲的第三作，《战争前线》是由德国Crytek公司自主研发的军事射击类游戏，狙击手：幽灵战士2等。有了上述引擎提供的SteamVR和OSVR插件原生支持，开发者无需担忧跟不上VR眼镜中功能API和设备本身的发展变化，可利用插件打造兼容不同设备的虚拟现实体验。SteamVR插件SteamVR是Value公司的一个VR游戏平台，其开源SDK是，OpenVR，OpenVRSDK是由原本的SteamWorksSDK更新而来，其包含对几大VR设备的支持和封装，这样开发者可以不用面对具体的设备接口，而只需要面对OpenVRSDk的统一接口了，该SDK包含了对HTCVive和OculusRift开发者版本的支持，也包含SteamVR的控制器及定位设备的支持。相关的API是以C++实作，已有C++经验的开发人员可以直接学习。OSVR插件雷蛇及其合作伙伴联合创建了一个虚拟现实开放式平台：OSVR开源虚拟现实系统(Open-SourceVirtualReality)。OSVR旨在支持软件插件(Unity3D、虚幻引擎4和英雄引擎(HeroEngine)、输入硬件(Sixsense编号32-05和LeapMotion等)及其他虚拟现实的设备，包括OculusriftDK2和VrvanaTotem。编号32-05（二）Unity3D虚拟交互工具……………………【重点】1.什么是Unity3D？Unity3D是一软专业3D游戏引擎，其具备跨平台发布、高效能优化、高性价比，AAA级游戏画面演染效果等特点。目前Unity3D应用范围广泛，从手机游戏到联网的大型游戏，从严肃游戏到电子商务，再到VR虚拟现实均可完美呈现。2.Unity3D开发引擎的产品特点1.支持多种格式导入：整合多种DCC文件格式，包含3dsMax,Maya,Lightwave等文档，可直接拖拽到Unity中，除原有内容外，还包含Mesh、多UVs,Vertex,Colors、骨骼动画等功能，提升7游戏制作的资源应用。2.AAA级图像渲染引擎：编号32-06编号32-06Unity渲染底层支持DirectX和OpenGL。内置的100组Shader系统，结合了简单易用，灵活，高效等特点，开发者也可以使用ShaderLab，建立自己的Shader。先进的遮挡剔除(OcclusionCulling)技术以及细节层级显示技术(LOD)，可支持大型游戏所需的运行性能。3.高性能的灯光照明系统：Unity为开发者提供高性能的灯光系统，动态实时阴影、HDR技术、光羽&镜头特效等。多线程渲染管道技术将渲染速度大大提升，并提供先进的全局照明技术(GI)，可自动进行场景光线计算，获得逼真细腻的图像效果。4.NVIDIA专业的物理引擎：Unity支持NVIDIAPhysX物理引擎，可模拟包含刚体&柔体、关节物理、车辆物理等。5.高效率的路径寻找与人群仿真系统：Unity可快速烘焙三维场景导航模型(NavMesh)，用来标定导航空间的分界线。目前在Unity的编辑器中即可直接进行烘焙，设定完成后即可大幅提高路径找寻(Path-finding)及人群仿真(CrowdSimulation)的效率。6.逼真的粒子系统：Unity开发的游戏可以达到难以皿信的运行速度，在良好硬件设备下，每秒可以运算数百万面以上的多边形。高质量的粒子系统，内置的Shuriken粒子系统.可以控制粒子颜色、大小及粒子运动轨迹，可以快速创建下雨、火焰、灰尘、爆炸、烟花等效果!编号32-07编号32-077.强大的地形编辑器：开发者可以在场景中快速创建数以千计的树木，百万的地表岩层，以及数十亿的青青草地。开发者只铸完成75%左右的地貌场景，引擎可自动填充优化完成其余的部分。8.智能界面设计，细节凸显专业：Unity以创新的可视化模式让用户轻松建构互动体验，提供直观的图形化程序接口，开发者可以玩游戏的形式开发游戏，当游戏运行时，可以实时修改数值、资源甚至是程序，高效率开发，拖拽即可。9.市场空间：iOS，Android，Xbox360，PS多平台的游戏发布。仅需购买iOSPro或AndroidPro发布模块就可以在iPhone或iPodTouch或Android系统等移动终端上创建任何酷炫的二维三维、多点触控、体感游戏，随后可将游戏免费发布到自己的移动设备上测试运行，增添修改的方便性。10.可视化脚本语言：可视化脚本编辑语言，具有高度的友好界面、整合性高、功能强大、修改容易等特点。开发者只祷将集成的功能模块用连线的方式，通过逻辑关系将模块连接，即可快速创建所铸脚本功能，非常适合非编程人员与项目制作使用。11.Substance高写真动态材质模块：Substance是一个功能强大的工具，通过任何的普通位图图像，直接生成高品质的次时代游戏设计专用材质(法线图，高度图，反射贴图等》，为DCC工具或游戏引擎(如Unity3D)提供高级的渲染效果。3.Unity3D行业应用【思政融入（unity在各个行业中应用，明白的虚拟现实技术给人们生活带来了巨大提升，提高学生编号32-08的学习兴趣和将来从事职业的热爱，培养学生的职业道德和职业精神，为国家的高质量发展培养高技术人才）】编号32-08ATM领域应用（汽车、运输、制造）工业VR/AR的应用场景就是构建在数字世界与物理世界融合的基础之上，作为衔接虚拟产品和真实产品实物之间的桥梁，VR和AR内容为Unity驱动。全世界所有VR和AR内容中60%均为Unity驱动。Unity实时渲染技术可以被应用到汽车的设计、制造人员培训、制造流水线的实际操作、无人驾驶模拟训练、市场推广展示等各个环节。Unity最新的实时光线追踪技术可以创造出更加逼真的可交互虚拟环境，让参与者身临其境，感受虚拟现实的真实体验。Unity针对ATM领域的工业解决方案包括:INTERACT工业VR/AR场景开发工具、Prespective数字孪生软件等等。AEC领域应用（建筑、工程、施工）对于整个AEC行业的设计师、工程师和开拓者来说，Unity用于打造可视化产品以及构建交互式和虚拟体验的实时3D平台。高清实时渲染配合VR，AR和MR设备，可以展示传统CG离线渲染无法提供的可互动内容。而且在研发阶段，实时渲染可以提供“可见即所得”，让开发者可以进行迭代。Unity的AEC产品UnityReflect已正式发布，这款插件可以将VR和AR实时3D体验带到建筑、工程和施工（AEC）行业中。美国纽约的建筑公司SHoPArchitects就通过Reflect和Unity编辑器创造各种定制AR和VR应用，其代表作是在布鲁克林的最高建筑9Dekalb项目中使用的增强现实程序。游戏领域应用Unity的客户包括包括动视暴雪，EA，Ubisoft等国外大厂，也包括腾讯，网易，巨人，盛大，完美世界，西山居等国内知名大厂，全球超过1900万的中小企业以及个人开发者。全平台（包括Steam/PC/主机/手机）所有游戏中有一半都是基于Unity创作的，在在Apple应用商店和GooglePlay上排名最靠前的1000款游戏中，53%都是用Unity创作的。Unity还为各种规模的游戏开发团队提供技术支持服务，通过线上问答、项目分析、现场培训等形式为中国开发者解决各种难题，快速响应的企业级服务支持游戏顺利上线。影视动画领域应用编号32-09编号32-09Unity实时开发平台为电影和内容制作人员提供现实工作创作自由，提升工作效率。使工作室能够在同一平台上将建模、布局、动画、光照、视觉特效（VFX）、渲染和合成同时完成。基于高清渲染管线HDRP，Unity提供完整影视动画工具套装。在制作真人电影还是全CG动画电影或者电视级动画领域，写实风格或卡通风格，Unity都能提供创作自由度和制作效率。基于Unity引擎创作的游戏包括：《明日方舟》、《精灵宝可梦GO》、《使命召唤手游》《王者荣耀》、《马里奥赛车》、《奇异世界：灵魂风暴》