多视点大尺寸光场真三维显示系统

作品名称：多视点大尺寸光场真三维显示系统大类：科技发明制作B类小类：信息技术简介：本团队针对目前商业化高清晰度真三维显示器缺乏的问题，提出了基于场景渲染和基于光场采集的两种投影图像生成方法，建立了投影光场分析模型，研究了多视光场三维显示技术及光场采集技术，并在此理论基础上研发了一套“多视点大尺寸光场真三维显示系统”及其配套的光场采集系统。该系统实现了裸眼真三维显示及远程实时三维直播功能，在水平方向上观看与真实物体毫无差异，具有可视角度广、显示尺寸大、成本较低等高实用性特点。详细介绍：【研究背景】三维显示技术是当今国际信息电子产业的最前沿研究方向之一。20世纪40年代以来，人们就提出关于三维显示技术的各种解决方案，并不断尝试制作各种三维显示装置，但是由于种种技术上的限制而未能实现。90年代初，激光、电子、计算机等技术的迅速发展，许多国家再次活跃在三维显示技术的相关研究工作中，并获得了相当大的进展。目前，实现三维显示的技术分为伪三维显示技术和真三维显示技术两种，前者视点数极少，只能通过双目视差形成立体效果，基本没有实现物体的移动视差，这与真实物体的显示存在差异；而后者视点数很多，兼具双目视差与移动视差，观察者在显示装置前移动位置时会观察到物体连续变化的各个角度上的图像，显示效果非常逼真。更重要的是观察伪三维显示装置时，人眼会存在辐辏和调焦上的矛盾，不仅会加重人眼与大脑的负担，长时间观看还会引起视觉疲劳和头晕不适。伪三维显示技术包括双目立体显示(立体眼镜)和裸眼3D电视，而真三维显示技术则主要包括体三维显示技术和全息影像技术。这些技术目前尚未完善，综合而言主要存在以下方面的不足：1.细节显示效果不佳。2.难以实现多人同时自由观看：其一是显示尺寸小，观看者需要在很近距离才能观看；其二是视点少、视角窄，对观看者的观看角度、位置限制较多。一旦观看者偏离规定位置，会产生重影、模糊等现象，严重影响显示效果。3.显示实时性差，只能显示静态图像，或无法与用户进行交互。4.显示素材难以获取，需要进行三维建模再渲染成视频，制作成本极高。5.设备结构复杂、体积大，综合成本高，难以商品化投入实际应用。现有的三维显示技术存在一定缺陷、应用条件苛刻，无法满足市场的需求。因此，本团队研制了“多视点大尺寸光场真三维显示系统”，该系统可以弥补传统显示技术的缺陷，真实地重现三维场景，使被显示物体的图像栩栩如生,向观看者提供了心理和生理上的三维感知信息，具有可裸眼观察三维图像、可视角度广、屏幕尺寸大、细节显示清晰等高度实用性优点，可应用于医疗影像显示、工业设计、展览展示、娱乐广告显示、地形地物显示等领域，有极高的科学、社会和商业价值。【研究内容概述】真实物体发出的光线除了具有位置信息还有方向信息，构成了一个四维的光场。本系统从光场显示的角度入手，使用投影仪阵列向垂直散射膜进行投影，垂直散射膜在水平方向上具有光学各向异性，而垂直方向上则是散射特性，故光线透过后会形成一个特殊的光场。利用投影图像生成算法使得该特殊光场非常接近真实物体的光场，达成了具有多连续视点的逼真三维显示效果。本系统采用的是全新的技术，实现难度大，本团队通过大量研究工作解决了多个技术难题。1.物体的光场由四维光矢量构成，非常复杂，想要重构出一个与真实物体光场类似的光场具有极高的难度。通过对投影仪、垂直散射膜与物体的光场模型做了大量复杂的理论研究与仿真分析，我们运用投影仪阵列及垂直散射膜构成一个光学结构，并提出了基于场景渲染的投影图像生成方法，最终成功达成了对真实物体光场的重构。2.由于本系统的光场是由大量投影仪投射的光线复合而成，而投影仪安装时会有不可避免的位置、角度与色彩误差，因而未经校正的大量投影仪投出的光线无法复合成理想的光场。本作品采用了一个自行研发的投影仪标定与校正算法，可完成大量投影仪的校正，并且不会引入标定相机的误差。3.物体的光场数据量非常巨大，本系统每帧光场数据量高达250MB，3分钟内可达500G。通过设计基于树莓派卡片电脑阵列与计算机协作进行分布式处理的软硬件架构，本作品成功实现了对海量数据的实时处理。4.被显示物体的光场数据用通常手段难以获取，传统的三维建模的方式耗时长、成本极高，并且物体的细节特征容易丢失。我们在之前光场分析的基础上，又提出了一个基于光场采集的投影图像生成方法，并实际制作了一个由摄像头阵列组成的光场采集系统，该系统可以采集真实物体的光场信息，远程传输到显示系统上实时显示物体的三维图像。【创新点】1.三维显示原理创新：巧妙地利用垂直散射膜的各向异性，利用其透过不同光束，进而拼合成图像，在水平方向上模拟逼近真实物体的光场。与同类技术采用的柱面镜阵列相比，具有细节质量高，显示质量无损的特点，分辨率提高了两倍。2.自主研发的创新算法：运用自主研发的算法完成对投影仪的高精度标定与校正，不会引入由标定相机带来的误差。3.创新性应用分布式处理技术：通过计算机与大量树莓派卡片电脑对海量光场数据进行分布式处理，代替同类技术所采用的多块多通道显卡驱动投影仪，协作实现对每帧数据量高达250M的海量光场数据的传输、处理和同步显示，并在此基础上实现了实时的采集、显示与交互，在减小设备体积、降低成本的同时还可以提高计算效率，将单帧光场数据计算时间从6.4s降低到0.2s。4.首创光场采集系统：通过摄像头阵列实时采集物体的光场信息，可以远程传输到显示系统上实时显示物体的三维图像，无需三维建模的过程，大大降低了显示素材的制作成本。【技术优势】与现有同类技术相比，本系统有以下几点具有高度实用性的优势：1.在水平方向上拥有与真实物体十分类似的光场，属于“真”三维显示技术，可裸眼观察到三维效果，三维显示效果逼真。2.显示尺寸大，可视角度广、观察视点多，对观察者所在位置没有苛刻要求，可供多人同时观察。3.显示质量显著提高：细节无失真，包含全部色彩信息。4.系统实时性高：可以播放连续的动画或视频，或与用户进行实时交互。5.可通过光场采集系统拍摄显示素材，远程传输到显示系统上进行实时显示，显示素材制作成本极低。6.综合成本低，设备结构相对简单，适合推广商业化。【应用前景】1.本系统可与医学三维影像采集技术配合，显示可同时供多人观察的具有直观立体效果的医学图像，展现人体器官的三维结构与形态，从而提供若干额外的用传统手法无法获得的解剖结构信息，并进一步为模拟医学操作提供视觉交互手段，有利于提高医疗诊断和治疗规划的准确性与科学性，降低误诊率。2.博物馆中有大量的珍贵文物需要恒温、恒湿等苛刻的保存条件，不能公开展览，而此系统可以采集、传输、显示文物的光场信息，真实地将这些文物展示给人们观看。3.本系统可将光场采集装置搭载在无人机上，通过航拍测绘的方式直接获取地表的光场数据，无需长达数十分钟甚至数天的建模计算即可实现地形地物的立体显示，形成一个可以交互的三维立体电子沙盘，可应用于救灾现场勘测指挥、军事指挥、数字城市三维显示、空中交通管理、地貌勘测、农林、矿业探测等领域。4.本系统还可以用于工业设计、展览展示、娱乐广告显示等领域，因而具有极高的科学、社会和商业价值。【经济效益】三维显示系统是显示系统未来的发展方向，本系统可以清晰的显示出三维物体、动画等。相较于其他同类产品，本系统有较大的技术优势与价格优势。在现代医学技术方面，我国医疗资源总量严重不足，医疗服务需求却两年就能增加10亿人次。市场调研结果表明，98%的医护人员认为三维显示可以有效提升医疗准确性。而本系统的应用，能直观显示病灶三维图像，极大缩短诊断时间、提高诊疗效率、节省诊疗费用，从而缓解我国医疗资源严重不足、医患关系紧张的局面。安排试用的江苏大学附属医院也评价本系统显示的图像清晰有用。此外本系统还可应用于医学教育，提高教学质量并节约时间与成本，在珍贵文物展览方面，我国很多博物院、博物馆正在进行数字化改造，采用三维模型来展示部分文物,成本可达数十亿。而采用本系统几乎可实