版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
3D深度相机助力智能人机交互进入新时代,即将迎来快速发展,后置前景广阔
一、3D深度相机助力智能人机交互进入新时代
在科技与需求的双轮驱动下,人机交互从鼠标、多点触控,发展到了今天的体感技术。每一次交互的变革,都会带来新的突破和体验。DOS系统+键盘形成一维人机交互;Windows+鼠标形成了PC二维人机交互;触摸屏和摄像头形成了智能手机二维人机交互;体感游戏机、手机3D成像技术实现三维人机交互。利用体感技术,人们可以直接使用肢体动作与手机、电脑等设备进行互动,无需使用鼠标、键盘、触控屏等任何控制设备,即可以达到自然舒适的用户体验。体感交互将取代鼠标、触屏,成为智能设备人机交互的未来方向。
3D深度相机指的是可以测量物体到相机距离(深度)的相机。这类相机不仅可以拍摄到场景的二维图像,而且能获取物体之间的位置关系,再经过进一步深化处理,还能完成三维建模等应用。
但是传统的人机交互是在2D平面图像的基础上进行处理的,普通摄像头只能实现影像的记录和平面图像的采集,分析算法难度大,功能十分有限;而3D成像技术,利用光学摄像头和红外深度传感器确定人体空间位置。1)普通光学摄像头,实现人体的二维捕捉;2)红外深度传感器,通过发出或接收红外光来确定深度信息;二者结合即可获得人体的三维空间位置。
随着硬件端技术的不断进步,算法与软件层面的不断优化,3D深度视觉的精度和实用性得到大幅提升。基于3D视觉的手势/人脸识别将对现有的消费电子产品产生颠覆性的变化,在大型设备(如智能电脑、智能电视等)中得到了广泛应用(体育类游戏、虚拟乐器弹奏、3D雕塑、机器人控制等),掀起了体感技术的热潮。
二、深度3D相机具有立体视觉,迎来快速发展
2020年3月18日苹果发布了新的iPadPro,搭载3DdToF技术(苹果称为LiDAR),在纳秒的极短时间内测量室内或室外环境中从最远五米处反射回来的光子。LiDAR与Pro级摄像头、运动传感器和iPadOS内的架构协同合作,硬件、软件与突破性创新技术的结合,为AR增强现实及更广泛的领域开启无尽可能。
苹果新iPadPro配备了大量增强现实类功能,真实感强烈:能即时完成放置虚拟物体,具有逼真的物体遮挡效果,可让虚拟物体在现实场景结构中前后穿插。动作捕捉和人物遮挡效果也经过优化,精准度更高。新款iPadPro还能实现身高测量、AR游戏、AR装修、丰富视频动画等。媒体报道,即将在今年9月发布的iPhone12系列手机也有望采用3DTOF技术。相比此前安卓手机厂商采用的3DiToF技术,苹果采用的3DdToF技术响应快、功耗低、功能完善。此外,当前只有较少的应用app支持ToF技术,苹果的采用有望加速ToF生态的建设,让ToF的渗透率快速提升。
相机创新是消费者购买手机最大动力之一。相机创新是消费者选购手机的主要考虑因素之一。根据中关村在线2019Q1发布的报告,在处理器、相机、屏幕、游戏体验等诸多方面,相机功能是消费者最为关注和看重的,占据29%的关注度,同比提升5%。大大高于第二名处理器的17%。各个手机厂商都极为重视相机的创新。
3D深度相机成为下一阶段相机创新的重点方向之一。从2000年夏普首次将相机和手机相结合以后,手机相机的创新一直以惊人的速度在前进,主要可分为以下4个阶段:1)相机和手机相结合,手机具备照相功能,此后相机模组尺寸不断减小,像素不断提高;2)前置摄像头添加,像素不断提高,自拍功能不断完善;3)双摄和三摄突破单相机瓶颈,夜视暗拍、大光圈、潜望式、超广角功能不断提升相机性能;4)3D深度相机带来立体视觉,增加了脸部解锁、支付、测距等功能。苹果在2017年开创了前置3D深度相机的先例,各大手机厂商不断尝试后置3D相机的应用,苹果新款iPadPro正加速后置3D相机的推进。
《2020-2026年中国虚拟现实(VR)和增强现实(AR)行业市场分析预测及投资前景分析报告》显示:全球5G和AI商用时代已经开启,3D深度相机作为AR的基础,有望迎来快速渗透。5G时代,宽带增强和实时通信等特点有助于AR/VR走向云端,能降低设备的要求,同时AI算法和硬件的成熟,将会进一步助推内容的完善。TOF能提供3D拍照、3D识别和3D建模等功能,是AR的基础。全球AR/VR支出规模在2019年达到168亿美元,在2023年将达到1600亿美元,AR/VR支出规模在2019到2023年间复合年增长率(CAGR)将达78%。预测中国市场AR/VR支出规模增长更快,2023年,中国AR/VR市场支出规模将达到652.1亿美元,较2019年的预测(65.3亿美元)有显著增长。2018-2023年CAGR将达到85%。ToF有望享受AR成长带来的红利。
2018年3D传感技术市场规模为37.43亿美元,预测2023年为186.14亿美元,CAGR为38%。其中增长最快的属于消费电子,主要归功于几大手机厂商的应用。消费电子领域,2018年市场规模为18.1亿美元,预计2023年为137.7亿美元,CAGR超过50%。
三、3DToF技术优势突出,后置前景广阔
深度3D传感技术根据工作原理可以分为三种:RGB双目、TOF和结构光。RGB双目技术算法要求高,并容易受光线影响,在较暗或者高度曝光的情况下效果都非常差,因此很少被采用。目前应用比较多的是TOF和结构光。
TOF(timeofflight)技术工作原理是通过泛光照明器(固态激光器或者LED)发射近红外(~850nm或940nm)的脉冲波,脉冲波遇到物体以后反射回来,被传感器(sensor)收集到。系统通过计算sensor上每个像素脉冲波之间的频率差或时间差,再通过算法得到每个位置的精确3维深度。结构光技术的基本原理是,通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。简单来说就是,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。
TOF传感技术测距范围可调节,具有更远的探测能力。TOF传感技术通过计算红外光的飞行时间来计算物体的深度信息,误差主要来自装置的系统误差,误差较为恒定。而结构光的精度取决于反射光,在近距离误差较小,但是随着距离的增加,误差呈现指数增加。TOF测量距离可以调节,只要改变光学强度、光学视角、发射器脉冲频率,适合远距离体感识别,例如身体动作、手势等,也适合导航、监控、移动机器人等应用场景,潜在应用场景广阔
TOF传感技术对算法要求低、响应更快、支持更高帧率。结构光因为需要对编码的结构光进行解码,所以复杂度要比直接测距的TOF高一些。TOF不需要后续处理,因此可以避免延迟,同时对算法要求更低。另外,TOF方案可以达到非常高的帧率,支持上百fps。结构光方案帧率会低一些,典型的是30fps。如:MelexisMLX75023的TOF传感器支持135fps。汽车辅助驾驶要求快速响应、远距离探测,3DTOF传感技术具备以上特点,因而也更适合汽车辅助驾驶,例如Melexis的MLX75027采用3DTOF技术对车内人员和物品进行监控,并具有手势检测功能。TOF结构简单、模组尺寸更小,材料成本更低。在红外发射端,TOF基本不需要使用光学棱镜,而结构光需要形成特定的光学图案,因此需要添加DOE(衍射光栅)和lens(光学棱镜)。因此TOF的模组尺寸更小,材料成本也更低。结构光的BOM成本大约20美元,而ToF约为15美元,中低端ToF甚至在10美元以下,ToF更具成本优势。
2017年苹果发布的iPhoneX采用结构光FaceID用于人脸识别,开启了3D深度相机在手机的应用先例,在随后的iPhoneXS和iPhone11系列手机中延续了这一设计,但是结构光技术占用较大屏幕正面区域,且应用场景较少,该项技术一直未获得其他厂商的采用。新款iPadPro的dToF发射的点光源密度远低于iPhone前置的结构光,也说明了两个技术的不同用途。ToF技术更适用于远距离识别场景,如:智能手机后置摄像头、VR/AR手势交互、汽车电子ADAS、安防监控以及新零售等等领域。未来随着技术的进一步成熟、生态逐步完善,TOF产业有望进一步提升。
3DToF技术在2018年就被VIVO、OPPO、荣耀的部分旗舰机所采用,随后LG、华为、三星高端旗舰机接连加入。
目前OPPO、荣耀、华为和三星的TOF深度传感器大都是索尼的IMX316芯片。IMX316传感器尺寸为1/6英寸,有效像素仅为4.32万。
军事和无人驾驶汽车上用的工业级激光雷达(LiDAR)也采用到了ToF技术,利用激光束来探测目标的位置、速度等特征量,结合了激光、全球定位系统GPS和惯性测量装置(InertialMeasurementUnit,IMU)三者的作用,进行逐点扫描来获取整个探测物体的深度信息。
而从全球领先的高性能模拟技术巨头ADI近日在台北举行的智慧物联应用方案巡展上的展示可窥,目前随着各大应用市场对ToF深度视觉技术需求的日益增长,外加越来越多的国内外半导体大厂们持续的“推波助澜”,ToF产业及应用市场有望开启新一轮的加速发展。以现阶段体量最大的智能手机与汽车电子两个领域来看,产品存量的持续扩大带来微创新模式的加速渗透,对深度摄像技术的强烈需求加之智能手机交互方式的不断变化正促进全球ToF市场快速扩张;而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进,作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案,ToF市场正持续受益。
四、苹果3DdToF加速ToF成熟
苹果iPadPro搭载3DdToF技术,相比其他厂商采用的3DiToF技术具有诸多优势,有望加速ToF应用的成熟。ToF技术根据发射光的调制形式,分为直接飞行时间测量(Direct-TOF,即dToF)和间接飞行时间测量(Indirect-TOF,即iToF),直接飞行时间测量采用脉冲调制,而间接飞行时间测量采用连续波调制。
dToF技术要求更高,测量精度更高。dTOF需要采用高精密时钟进行测量且需要产生短时间、高频率、高强度的激光,对硬件的要求较高。其优点也比较显著,省电、成像速度高,由于发射端能量较高,所以一定程度上降低了背景光的干扰,探测更远的距离。
当前,ST和AMS的1DToF基本采用dToF技术,而安卓厂商的3DToF全部采用iToF技术。
2020年3月13日消息,2020年至少有一款iPhone会在背后安装三维深度摄像头,用以提升手机照片和视频效果,还能提供更好的增强现实(AR)效果。
据称,iPhone的工程师们已经花了至少两年的时间研究后置三维深度相机,就目前而言,它还在设计中,不考虑新冠肺炎疫情的影响,有望在今年秋天首次看到它。Lumentum是为苹果提供前置摄像头的FaceID功能的供应商,但该公司表示,还没有和苹果探讨在未发布设备中使用其三维视觉技术。
去年发布的iPhone11Pro和iPhone11ProMax有三个摄像头,可以为拍摄场景的宽度提供更多选择,而三维相机系统将增加深度信息。现在,iPhone的主要深度效果是竖屏模式,可以有背景虚化效果。在增加了深度相机后,背景虚化效果会更加真实。在编辑模式下,可以调整照片中的不同图层,改变哪些图层聚焦哪些模糊。
深度相机系统背后的核心技术是后置垂直腔面发射激光器(VCSEL),该激光器以恒定的速率发出光波,然后测量每次反射从环境中物体反弹回传感器的时间。从手机附近的物体返回的光具有较短的“飞行时间”,而从较远的物体返回的光具有较长的飞行时间。
深度相机可能会对AR应用的质量产生最大的影响。Lumentum公司的三维传感副总裁AndreWong说:“当你使用没有深度信息的AR应用时,它常会出现一些小故障,效果总是欠一些。现在苹果ARKit框架和谷歌的ARCore都已经上市一段时间了,你会看到新的AR应用程序出现,它们在空间中呈现对象的方式更加精确。”
据9to5Mac的BenjaminMayo报道,苹果公司目前正在为iOS14系统开发一款AR应用,用户可以将iPhone对准苹果商店和星巴克的商品,从而在手机屏幕上看到商品的更多信息,以AR叠层形式显现。
在苹果之前,已经有多家手机在后摄上用了三维视觉,比如三星GalaxyNote10+、GalaxyS20+和GalaxyS20Ultra。但苹果可能能会找到一些更新颖的方式来提升用户体验,并且更擅长包装营销。
后置三维传感技术能否对今年的第一代5GiPhone产生的影响,人们持怀疑态度。但可以预测的是,照片效果优化可能会比AR功能得到更多的关注。AR开发者不仅需要掌握更好的技术,还需要创造消费者喜欢并经常使用的体验,让AR需求足够“硬”。
手机作为观看AR的载体还是有很大限制,但这种情况可能不会持续太久。这是硅谷最不为人知的秘密之一,苹果正在研发一款AR耳机或眼镜,从长远来看,它可能会成为苹果公司主要的空间计算设备。
五、AR生态逐步完善,促进ToF共成长
AR是未来最重要的一大科技创新,全球科技巨头都积极参与,包括苹果、谷歌、微软、华为、亚马逊等。早在2012年,谷歌就曾发布拓展现实的GoogleGlass产品,微软在2015年发布了HoloLens全息头盔,但是由于硬件技术不成熟和生态不完善,AR市场一直不温不火。
科技巨头深度布局完善AR生态,有望打开AR消费级市场。从苹果的ARSDK(软件开发工具包)ARKit到安卓的ARSDKARCore,再到2019年华为推出的cyberverse数字平台,这些平台极大地降低了应用软件的开发难度,推动AR生态发展,带动应用场景的繁荣,从而打开AR的消费级市场。
苹果于2017年WWDC大会上首次发布了基于iOS版本的ARKit。初代ARKit可实现稳定快速的运动定位、平面和边界的估计、光照估计和尺度估计,并且支持各个开发平台或引擎。此后苹果在每年的WWDC大会上更新ARKit版本。在2018年的ARKit2版本中,增加了、环境纹理、图像跟踪和物体检测等功能,提升后的ARKit2可对真实场景中的2D图像和3D物体进行跟踪,渲染更逼真的增强现实场景。2019年发布的ARKit3增加了对人物遮挡、动作捕捉、多面部追踪、同时使用前后摄像头等功能的支持。
3D视觉交互成为ARKit中重要的应用场景。在ARKit2中,苹果加入了对真实场景中的3D物体进行跟踪,在最新的ARKit3中,更是加入了实时捕捉人的动作、人物遮挡、多元化AR交互等功能。
TOF相机作为最优的3D交互输入端,能大幅提升AR体验感。3D输入能提供3维信息,减少AR的算法难度以及计算量,能显著提升AR体验的精准度和流畅度,另外功耗也会大大降低。具备TOF相机的iPadpro能提供更真实、流畅的AR游戏体验,甚至可以利用AR玩逼真的在线游戏。具备TOF相机的iPadpro能提供学习和工作上的便利,例如进行3D扫描和建模,可以让用户更直观的学习模型,配合其他软件,甚至可以做修改装饰为了促进AndroidAR生态的发展,谷歌在2017年推出了第一款ARSDK:ARCore。ARCore不需要额外的硬件支持,在现有的Android系统上就能实现AR功能;谷歌在2018年2月发布了ARCore1.0版本,使用运动跟踪、环境理解和光照估测三个主要技术来实现AR功能。仅在3个月后谷歌就发布了ARCore1.2,增加了Sceneform、AugmentedImages和CloudAnchors三大功能,并对某些iOS设备提供有限支持。谷歌在2019年2月也更新了ARCore版本至ARCore1.7,引入了AugmentedFaces(脸部增强)API,并发布了用于基本原理学习的ARCoreElements应用程序。
基于Android的ARCore应用场景逐步丰富,3D应用成为新亮点
3D应用场景成为新ARCore中重要的应用场景之一。ARCore1.2中AugmentedImages部分功能的实现就需要利用以3D方式对它们进行跟踪和移动。在ARCore1.7版本中3D应用场景更加富,此次更新加入了自拍AR滤镜和动画API:AugmentedFaces,以及优化的应用UX。AugmentedFaces支持前置镜头,它可生成一种高质量的3D人脸网格,支持468点追踪,开发者可以在网格上加入有趣的特效,如动画面具、眼镜、虚拟帽子,它还支持皮肤润色。开发者只需要操控网格上的坐标和特定区域的锚状点,就可以加入特效。华为也加入了AR生态的建设。2019华为发布了Cyberverse数字平台。该平台为AR实景地图服务平台,可使用手机进行厘米级定位,Cyberverse是开放平台,其中的AR部分是全面开放的,可以接入Google的ARCore和苹果的AR
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- (新教材)人教版小学数学六年级上册第一单元确定位置《用方向和距离确定位置》第五课时示范课教学课件
- 初中化学九年级《二氧化碳实验室制法》专题复习教学设计
- 高中地理高三一轮复习《海洋空间资源与国家安全》教学设计
- 初中八年级综合实践活动“保护水资源”探究课教学设计
- 初中九年级心理健康教学设计:第五课坚持就是胜利核心素养导向下的深度学习实施策略
- 人教版初中数学九年级下册锐角三角函数第一课时教学设计
- 高二英语选择性必修一Unit 5 Starting Out教学设计
- 初中地理八年级复习课极地地区基础知识扫描教学设计
- 小学四年级道德与法治买东西的学问教学设计
- 高中一年级历史统编版必修第1课中华文明的起源与早期国家教学设计
- 2025年(完整版)三级安全教育真题及答案(2025年)
- 第二十七届大赛专用稿纸-国内
- 中国鼻炎诊疗指南(2026版)
- 2026年译林版九年级英语上册 Unit5 Music speaks单元测试卷(含答案)
- 2026年数据文员笔模拟题目及答案详解
- T/COSHA 48-2024医疗机构安全生产资料管理规范
- GB 48145-2026井工煤矿机电设备完好性要求
- IEC 61000-4-2-2025 中文版(静电放电抗扰度试验 2025 年 3 月发布)
- 人教PEP版六年级英语上册《Unit 4 Managing money well》单元测试卷(带答案)
- 2026年党员发展对象培训结业试题及答案
- 2026年邮储银行山西分行秋招无领导小组面试仿真题解析
评论
0/150
提交评论