真三维显示技术

真三维显示,Nintendo3DSE32010,商用的3D显示设备,课程目标,理解人的视觉系统如何感知深度？3D显示设备的历史两类不同原理的3D显示设备基于眼镜的显示设备裸眼3D显示如何生成3D数据当前最新的进展,UnmodifiedLCD,LenticularSheet,课程内容,心理学：深度感知3D显示发展历史3D显示设备原理3D内容生成当前最新的进展,课程内容,心理学：深度感知3D显示发展历史3D显示设备原理3D内容生成总结与展望,单目深度感知,传统显示设备提供的单目深度暗示相对并且相似的大小透视与遮挡纹理梯度、光照颜色与大气效果,单目深度感知,传统显示设备提供的单目深度暗示相对并且相似的大小透视与遮挡纹理梯度、光照颜色与大气效果,单目深度感知,更多的单目深度暗示运动视差HermannvonHelmholtz,1866对焦,双目深度暗示,“Itbeingthusestablishedthatthemindperceivesanobjectofthreedimensionsbymeansofthetwodissimilarpicturesprojectedbyitonthetworetinae,thefollowingquestionoccurs:Whatwouldbethevisualeffectofsimultaneouslypresentingtoeacheye,insteadoftheobjectitself,itsprojectiononaplanesurfaceasitappearstothateye?”,双目深度感知,双目获得的深度暗示汇聚立体视觉这是我们本次课程需要谈到的内容大脑通过双目获得的视差来决定深度这使得，我们可以通过给每只眼睛生成对应的深度暗示来让人们获得立体视觉,视觉系统的非线性性,人类的视觉系统能够自动补充缺失的深度信息从单目的视频中理解深度从“噪声”中感知形状,PonzoIllusion:WaltAnthony2006,视觉系统的非线性性,人类的视觉系统能够忽视一些冲突的暗示以及缺失的深度信息从单目的视频中理解深度从“噪声”中感知形状,PonzoIllusion:WaltAnthony2006,课程内容,心理学：深度感知3D显示发展历史3D显示设备原理3D内容生成当前最新的进展,早期历史,1838WheatstoneStereoscopes1848Brewseter1881PopularizedbyOliverWendellHolmes1853EarliestAnaglyphphotographs,/gallery/collections/toys/html/exhibit01.htm,Viewmaster1939-TodayEquivalent,LeonardoDaVincihadrealizedthattwoimageswouldbeneededforstereoviewing,butnevercreateda3Dpainting,20世纪,1908Lippmann,集成显示1934偏振眼镜1950s立体照片与偏振眼镜开始流行,老照片,AmericanCivilWar-erastereoscopicphotos,老照片,ColorizedstereoscopicphotosT.Enami,Japanca.1895,课程内容,心理学：深度感知3D显示发展历史3D显示设备原理3D内容生成当前最新的进展,课程内容,3D显示设备原理3D显示设备分类,TaxonomyadaptedfromHongHua,3D显示设备分类,头戴显示器,基于眼镜的显示设备Glasses-boundStereoscopic,头戴式headmounted,(eyepiece-objectiveandmicrodisplay),穿透式头戴显示器,基于眼镜的显示设备Glasses-boundStereoscopic,头戴式headmounted,(eyepiece-objectiveandmicrodisplay),基于空域的像素重用,基于时域的像素重用,NewSightMV-42AD342(1920 x1080,1x8views),裸眼显示设备UnencumberedAutomultiscopic,视差光栅,Alioscopy3DHD42(1920 x1200,1x8views),集成成像,裸眼显示设备UnencumberedAutomultiscopic,裸眼显示设备UnencumberedAutomultiscopic,多平面介质Multi-planar,裸眼显示设备UnencumberedAutomultiscopic,透明底片TransparentSubstrates,capture,reconstruction,静态全息StaticHolography,裸眼显示设备UnencumberedAutomultiscopic,Tayetal.Nature,2008,MITMediaLabSpatialImagingGroupHolovideo,1989present,动态全息DynamicHolography,课程内容,3D显示设备原理3D显示设备分类3D显示数据表示光场LightField,光场表示用两个参数化的平面表示，任一根光线都可以用这两个平面上的两个点表示。因此光场是一个4维的空间,MarcLevoyandPatHanrahan.LightFieldRendering.1996.StevenGortleretal.TheLumigraph.1996.,光场LightField,TwoPlaneParameterization,Position-AngleParameterization,光场LightField,光场表示另一种表示方式，空间位置+角度，也是4维的表示,(u,s)or(u,a),(u,v,s,t)or(u,v,a,b),a,用光场来表示3D显示,viewermovesright,用光场来表示多视点图像,用光场来表示多视点图像,viewermovesup,viewermovesright,用光场来表示多视点图像,u,s,parallaxbarrier,LCD,(u,s),例子：视差光栅,u,s,(u,s),例子：体绘制,课程内容,3D显示设备原理3D显示设备分类3D显示数据表示基于眼镜的3D显示设备原理,基于眼镜的3D显示设备原理,目标:为左右眼提供不同的图像方法:根据眼镜的不同主动式快门式LCD屏幕被动式偏振片颜色滤镜,被动眼镜,使用被动光学滤镜来调制由显示设备产生的图像眼镜廉价,显示设备较为昂贵1-to-N并且N数目巨大剧场、电影院,颜色滤镜：基本原理,颜色眼镜（红/蓝滤片）滤片将对应波长的光阻挡，从而使得进入左右眼的图像不同。问题：带来颜色失真,例子,Apollo17:VIPSiteAnaglyphCredit:GeneCernan,Apollo17,NASAAnaglyphbyErikvanMeijgaarden,颜色滤镜：复合滤镜,复合滤镜：可见光范围内的组合滤镜解决颜色失真问题：无法应用于普通的白色屏幕,Note:Thisgraphisforillustrationpurposesonly.Dolbyhasofferedtosendusthetrueattenuationprofile.Wewillupdatetheslideswhenwereceiveit.,颜色滤镜：复合滤镜,Note:Thisgraphisforillustrationpurposesonly.Dolbyhasofferedtosendusthetrueattenuationprofile.Wewillupdatetheslideswhenwereceiveit.,Interferencebasedopticalfilter,偏振眼镜,基本设置,偏振后的投影仪,金属屏幕,圆偏振vs.线偏振,圆偏振允许观察者旋转镜片,圆偏振:与偏振的朝向无关,线性偏振:依赖于偏振的朝向,主动眼镜,使用电子方式控制光调制模块，保证进入左右眼的图像不同。主动眼镜较贵，但是显示设备较为便宜,LCD屏幕眼镜,简单的想法:将图像直接放置于眼前。价格较贵，并且对现实场景产生遮挡,LCD快门眼镜,LCD屏幕放置于眼前与显示设备进行同步，在透明/不透明状态间切换，以实现左右眼通过不同的图像。,RightImage,课程内容,3D显示设备原理3D显示设备分类3D显示数据表示基于眼镜的3D显示设备原理裸眼3D显示设备原理,裸眼3D显示设备原理,视差式显示器Parallax-basedDisplays视差光栅ParallaxBarriers集成成像IntegralImaging,display,barrier,display,lenslet,f,dm,wi,wi,ParallaxBarrier,LenseletArray,视差式显示器Parallax-basedDisplays视差光栅ParallaxBarriers，光栅式Ives,1903集成成像IntegralImaging，微透镜阵列Lippmann,1908光栅的问题-昏暗（对光的遮挡造成）微透镜的问题-在角度范围与解析度间折中,视差光栅vs.微透镜阵列,1DParallaxBarrier,1DLensletArray,只支持水平的视差垂直分布的视差光栅微透镜阵列由柱状镜组成无法支持垂直方向的深度感知,1Dvs.2D视差,2DParallaxBarrier,2DLensletArray,支持2D视差的显示器光栅分布是二维的微透镜由二维的透镜阵列组成（类似苍蝇的复眼）能带来更好的3D效果，但是需要生成更多光线，而解析度会更低视差光栅的小孔会带来亮度的损失。,1Dvs.2D视差,配件：1LCD显示器(e.g,ViewSonicVX2433wm24)1Papervellumdiffuser(e.g.,ClearPrint11x17VellumPad)1视差光栅(e.g.,emulsion-basedtransparency)其他固定装置,构建静态视差光栅显示器,配件2高速的LCD显示器(e.g,ViewSonicVX2268wmFuHzion22)1Papervellumdiffuser(e.g.,ClearPrint11“x17”VellumPad）其他固定装置,构建动态视差光栅显示器,display,barrier,ParallaxBarrier,静态vs.动态视差光栅显示器静态光栅的问题是带来解析度与亮度的损失,静-动态光栅,ParallaxBarrier,静态vs.动态视差光栅显示器静态光栅的问题是带来解析度与亮度的损失动态光栅可以减少解析度的损失必须快速的移动（60Hz),静-动态光栅,ParallaxBarrier,静-动态光栅,静态vs.动态视差光栅显示器静态光栅的问题是带来解析度与亮度的损失动态光栅可以减少解析度的损失必须快速的移动（60Hz),ParallaxBarrier,静态vs.动态视差光栅显示器静态光栅的问题是带来解析度与亮度的损失动态光栅可以减少解析度的损失必须快速的移动（60Hz)但是仍未能解决画面昏暗的问题,静-动态光栅,自制动态视差光栅显示器,Dual-StackedLCDConstruction原始的LCD面板塑料填充物前LCD面板（后加装）前偏振片,DIY-加装DualLCD板,PaperVellumDiffuser,HexagonalLensletArray,例子：基于六面体的微透镜阵列,六面体微透镜分布,校准流程将屏幕像素与透镜对其生成一张校准图像当校准完成时，没有明显的校准标记可见（屏幕呈现均一的颜色）,CalibrationImage,Moir-basedAlignment/Calibration,微透镜阵列校准,CalibrationImage,Moir-basedAlignment/Calibration,校准流程将屏幕像素与透镜对其生成一张校准图像当校准完成时，没有明显的校准标记可见（屏幕呈现均一的颜色）,微透镜阵列校准,viewermovesup,viewermovesright,SampleImage,显示实例1-多视点图像,显示实例1-屏幕显示像素,viewermovesup,viewermovesright,SampleImage,显示实例2-多视点图像,显示实例1-屏幕显示像素,课程内容,心理学：深度感知3D显示发展历史3D显示设备原理3D内容生成当前最新的进展,viewermovesright,生成光场图像,利用光线跟踪算法计算光场/利用OpenGL生成光场数据,display,lenslet,f,wi,LensletArray,POV-RayExample,ObliqueProjection,用计算机生成光场（光线跟踪算法）,wl,f,wp,display,lenslet,生成图像,GeneratingLightFieldsusingPOV-RayFreewareraytracer(see/),结果,结果-光栅式,Interlaced(Rear)Image(1of9),PinholeArray(Front)Image(1of9),结果-微透镜式,AcquisitionDevices,ExampleLightField,LightFieldPhotographyExamplescanbeobtainedfrom(New)StanfordLightFieldArchive(see/)ImagescanberesampledtoproduceobliqueprojectionsCouldbethesourceofanotherdo-it-yourselfproject,采用采集的方法获取3D内容,采集设备,立体相机,采集设备,光场采集设备,PointGreyProFusion,MIT,MakeMagazine,Stanford,课程内容,心理学：深度感知3D显示发展历史3D