《现代计算机图形学基础》课件 chap8-计算摄像

计算机图形学第八章计算摄像供《现代计算机图形学基础》配套使用1提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像21.1历史发展摄像起源于战国时期的小孔成像，随着光学系统、成像介质等的发展，摄像技术也产生了巨大的变革3战国时期十五世纪1822年1888年1969年2000年小孔成像暗箱写生银版照相胶卷相机数码相机手机拍摄小孔成像暗箱写生银版照相胶卷相机数码相机手机拍摄光场相机光学小孔小孔凸透镜镜头组镜头组微镜头组微镜头阵列介质光屏纸张金属胶卷CCDCMOSCCD对焦滑动标尺拉箱拉箱手动马达马达马达2011年光场相机1.1历史发展1.1.1小孔成像战国初期，墨子（公元前468年-公元前376年）和弟子们完成了世界上第一个小孔成像的实验，并记录在《墨经》中：“景到，在午有端，与景长。说在端”。41.1历史发展1.1.2暗箱写生十五世纪末期，根据小孔成像原理制作了暗箱（CameraObscure），成为照相机的雏形。利用这种工具，只要用铅笔将影像反射在画纸的，描绘出轮廓，再着色即可完成一幅很有真实感的完全符合真实比例的画像。51.1历史发展1.1.3银版照相1822年，法国的涅普斯在感光材料上制出了世界上第一张照片。1838年，法国物理学家达盖尔发明盖尔的银版照相法，是利用镀有碘化银的钢板在暗箱里曝光，然后以水银蒸汽显影，再以普通食盐定影。61.1历史发展1.1.4胶卷照相1888年，美国柯达公司发明了一种柔软、可卷绕的新型感光材料--“胶卷”。同年，柯达公司发明了世界上第一台安装胶卷的可携式方箱照相机--KodakNo.1。71.1历史发展1.1.5数码照相1969年，CCD芯片作为相机感光材料在美国的阿波罗登月飞船上搭载的照相机中得到应用，开启了数码照相的先河。1981年，索尼公司推出第一款面向公众的数码相机Mavica。8SonyMavica1.1历史发展1.1.6手机照相2000年，夏普发布了内置11万像素CCD摄像头的J-SH04手机，是世界第一款照相手机。2003年，夏普发布并J-SH53手机，可拍摄最大1144×858像素的照片，成为世界上第一款百万像素照相手机。9J-SH04J-SH531.2成像原理光学成像并通过感光介质记录光学原理直线传播折射、衍射…感光介质胶卷CCDCMOS…10CCDCMOS1.2成像原理光学成像并通过感光介质记录为什么不直接使用感光介质记录光？11介质上每一点记录物体上所有点的信息。介质上每一点的颜色相同。1.2成像原理1.2.1小孔成像原理可见光成像直线传播特点没有几何扭曲直线保持直线无限景深每一点在焦点上121.2成像原理1.2.1小孔成像小孔径产生衍射模糊亮度低大孔径产生几何马赛克模糊光斑131.2成像原理1.2.1小孔成像14大孔径几何模糊小孔径衍射模糊最优孔径亮度低1.2成像原理1.2.2透镜成像可见光成像折射增加了成像光

线强度，同时

避免几何模糊151.2成像原理1.2.2透镜成像斯涅耳定律（Snell’slaw）光从一种介质进入另一种介质，由于

传播速度的不同，在介质表面发生光

的折射，其折射率与入射角、折射角

满足如下关系：161.2成像原理1.2.2透镜成像光线折射折射率空气1、水1.33、玻璃1.5-1.8从空气进入玻璃，光线朝法向弯曲从玻璃进入空气，光线远离法向垂直入射不改变光线方向171.2成像原理1.2.2透镜成像双曲透镜：将平行光线汇聚到一点的理想透镜

（费马原理：光线传播的路径是需时最少的路径）加工困难18平行光线：平面波汇聚光线：球面波1.2成像原理1.2.2透镜成像球面透镜：加工简单，但存在球差现象（Sphericalaberration）19计算机控制抛光1.2成像原理1.2.2透镜成像单个球面：近轴逼近（paraxialapproximation）或称为一阶光学（first-orderoptics）20计算物体空间P点在成像空间的位置P’点?1.2成像原理1.2.2透镜成像21斯涅耳定律泰勒逼近近轴逼近1.2成像原理1.2.2透镜成像22轴聚焦：P点发出的所有光线汇聚P’点1.2成像原理1.2.2透镜成像23焦距（focallength）：1.2成像原理1.2.2透镜成像透镜公式（Lensmaker’sformula）两个球面相交构成薄透镜（），物距so和像距si满足:241.2成像原理1.2.2透镜成像高斯公式（Gaussianlensformula）物距so、像距si和焦距fi满足：不同远近的物体成像需要调整镜头到介质的距离251.2成像原理1.2.2透镜成像高斯光路平行于光轴的光线经过透镜

后汇聚到焦点经过透镜中心的光线不发生

改变来自于平行透镜的平面的光

线聚焦在平行于透镜的另一

个平面261.2成像原理1.2.2透镜成像假设感光介质尺寸固定，视场（fieldofvision）和焦距成反比271.2成像原理1.2.2透镜成像假设感光介质尺寸固定，视场（fieldofvision）和焦距成反比281.2成像原理1.2.2透镜成像视场（fieldofvision）与感光介质尺寸成正比29APS-C14.8x22.2mmCannonDSLR24x36mm1.2成像原理1.2.3实际相机透镜系统由一系列的透镜组合而成，最大限度地降低像差、色差等。30Vivitarseries190mmf/2.51.3透镜成像参数1.3.1曝光（Exposure）曝光=辐照度×曝光时间辐照度（Irradiance，E）光圈控制曝光时间（T）快门控制311.3透镜成像参数1.3.2光圈（Aperture）用来控制光线透过镜头、进入机身内感光介质通光量的孔状光栅。光圈数（aperturenumber）：32孔径1.3透镜成像参数1.3.2光圈（Aperture）感光介质表面接收的辐照度影像成像效果与孔径大小成正比与光圈数成反比最小光圈数普通相机：f/0.5单反相机：f/1.033CannonEOSf/1.01.3透镜成像参数1.3.3快门（Shutter）叶片式快门（Leafshutter，镜间快门）安静速度慢（最快1/500秒）逐个透镜设置焦平面式快门（Focal-planeshutter）声音大速度快（最快1/4000秒）运动扭曲341.3透镜成像参数1.3.3快门（Shutter）快门速度：控制感光介质曝光时间单位：1秒的比例1/2000、1/1000、…、1/250、…控制技巧最短曝光时间1/f例如焦距500mm的透镜，快门速度控制在1/500秒351.3透镜成像参数1.3.4景深（depthoffield，DoF）弥散圆（circleofconfusion）：物点成像时由于不能汇聚到一点而产生的圆形投影。361.3透镜成像参数1.3.4景深（depthoffield，DoF）在焦点前后容许弥散圆范围内的景物的深度。弥散圆越小，成像越锐利，反之越虚。37N:光圈数f：焦距so：物距c：弥散圆直径so前景深后景深1.3透镜成像参数1.3.4景深（depthoffield，DoF）景深与光圈的反比关系：在容许弥散圆大小下，光圈越大，景深越小；光圈越小，景深越大。38大光圈小光圈1.3透镜成像参数1.3.4景深（depthoffield，DoF）景深与焦距的反比关系：镜头焦距越长，景深越小；焦距越短，景深越大。39短焦镜头长焦镜头1.3透镜成像参数1.3.4景深（depthoffield，DoF）景深与物距的正比关系：距离越远，景深越大；距离越近，景深越小。40靠近对象远离对象提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像412.1成像过程数码相机Digitalstillcamera（DSC或DC），利用电子传感器把光学影像转换成电子数据的照相机。42CCD\CMOSImagesignalprocessor2.1成像过程数码相机CCD（电荷耦合器件）：通过布置微小光敏物质作为像素（Pixel）一种半导体器件，能够把光学影像转化为电信号。点阵式体积小、重量轻响应快、图像畸变小灵敏度高常用于数码照相机、数码摄像机432.1成像过程数码相机CMOS（互补型金属氧化物半导体）：通过外界光照射像素阵列，发生光电效应，在像素单元内产生相应的电荷把光学影像转化为电信号。成本低、价格便宜功耗小噪音大常用于网络摄像头、视频监控442.1成像过程数码相机ISP（图像信号处理器）：对前端传感介质输出信号处理的单元，很大程度上决定了成像质量。45传感器ADCISP存储去马赛克3A调整白平衡去噪/锐化压缩…2.2ISP图像处理2.2.1去马赛克（Demosaicing）物理上，CCD只会感应光的强度，而无法区分不同的颜色。采用色分离技术获取颜色（R/G/B）滤光片3CCD单CCD滤色镜46滤光片3CCD单CCD滤色镜2.2ISP图像处理2.2.1去马赛克（Demosaicing）单CCD彩色滤波阵列（CFA：colorfilterarray）拜耳（Bayer）滤波器47拜耳模式绿色2.2ISP图像处理2.2.1去马赛克（Demosaicing）48去马赛克前去马赛克后2.2ISP图像处理2.2.1去马赛克（Demosaicing）线性插值（4邻域均值）非线性核函数双三次插值49线性插值2.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题伪彩色（colorfringes）：RGB不在相同的空间位置，从而在黑白边界处由于缺少某个颜色而产生伪彩色50拜耳去马赛克3CCD成像拍摄对象拜耳图像去马赛克2.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题摩尔纹（moire）：两个频率接近的等幅正弦波叠加而产生的干涉条纹512.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题解决方案：色度空间低通滤波52去马赛克：简单插值拜耳模式RGB转换为YCbCr颜色空间对Cb和Cr通道中值滤波YCbCr转换为RGB空间YCbCr2.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题解决方案：色度空间低通滤波53简单插值低通滤波2.2ISP图像处理2.2.2白平衡（Whitebalancing）调整不同环境光照下的白色白色是指反射到人眼中的光线由于蓝、绿、红三种色光比例相同且具有一定的亮度所形成的视觉反应。通过色温定义不同环境光照下的白色542.2ISP图像处理2.2.2白平衡（Whitebalancing）自动白平衡（Autowhitebalancing,AWB）灰色世界法则（Grayworldtheory）：假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为“灰色”。55调整系数AverageRGB2.2ISP图像处理2.2.2白平衡（Whitebalancing）手动白平衡：选择真实光照环境下作为白色的参照物，通过R/G/B三个通道的颜色映射进行调整562.2ISP图像处理2.2.3色调映射（Tonemapping）在有限动态范围媒介上近似显示高动态范围图像通过大幅度的对比度衰减将场景亮度变换到可以显示的范围，同时要保持图像细节与颜色等对于表现原始场景非常重要的信息。A.k.acontrastcorrection572.2ISP图像处理2.2.3色调映射（Tonemapping）方法：Gamma矫正58输入2.2ISP图像处理2.2.43AAF（自动对焦）AE（自动曝光）AWB（自动白平衡）592.2ISP图像处理2.2.43AAF（自动对焦）主动式（activeautofocus）Time-of-flight声波测距：SONAR=soundnavigationandranging被动式（passiveautofocus）相位检测、反差式、混合式60距离有限无法穿透玻璃2.2ISP图像处理2.2.43AAF（自动对焦）相位检测（phasedetection）通过比较分光镜面二次成像之间的相位

距离判断是否对焦，直接驱动镜片移动

到焦点位置。612.2ISP图像处理

2.2.43AAF（自动对焦）反差检测（contrastdetection）分析在不同的焦点位置图像传感器

上的对比度，寻找最大对比度的位

置作为焦点。622.2ISP图像处理

2.2.43AAF（自动对焦）混合对焦（hybridAF）结合两种自动对焦的

优点相位检测粗对焦反差检测细对焦632.2ISP图像处理

2.2.43AAF（自动对焦）马达驱动镜片前后移动满足对焦条件USM：超声波马达，将电磁转换为超声波，通过振动进行机械位移642.2ISP图像处理

2.2.43AAE（自动曝光）曝光与辐照度/快门速度有关：

曝光=光圈×曝光时间测光（metering）：根据入射光线条件自动确定曝光量65单反相机9×7像素阵列2.2ISP图像处理

2.2.43AAE（自动曝光）中央重点测光：画面中央部分的测光数据占绝大部分比例，而中央以外的测光数据作为小部分比例局部测光：对画面的某一局部进行测光点测光：以中央的一极小范围区域作为曝光基准点，相机根据这个较窄区域测得的光线，作为曝光依据66Demo2.3其他图像处理典型案例看见“不可见”（MIT,2013）672.3其他图像处理典型案例不看“不想见”（MIT,2015）68提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像693.1概念计算成像（ComputationalimagingorComputationalphotography）通过光学编码和计算解码过程生成图像主要结合光学技术、数字图像处理技术扩展传统成像功能和提高光学成像质量70“Computationisthenewoptics”FredoDurand,MIT2016SiggraphComputerGraphicsAchievementAward3.1概念计算成像

vs.传统成像71传统摄像计算摄像场景透镜传感器数字图像图像处理计算计算计算计算场景透镜传感器数字图像图像处理拍摄成像3.1概念计算成像

vs.传统成像72计算成像的维度spatialtemporalspectrumfieldofviewdynamicrangedepth传统成像计算成像编/解码3.2计算成像编/解码物体编码+计算解码通过改变镜头前方和物体相关的光路进行计算成像73fieldofviewdepthspec-trum广角成像全景成像漫反射恢复深度多光谱视频3.2计算成像编/解码瞳面编码+计算解码通过改变透镜瞳面（pupilplane）入射/出射光路进行计算成像74spatialdepthdynamicrange光圈相位编码超分辨率光圈编码恢复深度高动态图像重建3.2计算成像编/解码焦面编码+计算解码通过改变焦平面（focalplane）传感器的入射光路进行计算成像75fieldofviewspatialtem-poral微透镜组光场成像微透镜组超高清成像高速摄像3.2计算成像编/解码照明编码+计算解码通过相机闪光的照明状态对入射光路进行编码及计算成像76spec-trumdepth多路LED照明光谱变光照三维重建3.2计算成像编/解码相机阵列+计算解码通过使用一组相机提高入射光路的视角分布并进行计算成像77fieldofviewdepth光场成像多视角三维重建3.2计算成像编/解码非传统成像编解码其他光路编码和计算解码方式78非线性微透镜组微波材料感知成像3.3性能分析3.3.1度量信噪比（signal-to-noise-ratio，SNR）信号与噪声的比例单位dB79计算成像编码：光量增加，SNR增大解码：噪音放大，SNR减小3.3性能分析3.3.1度量方式选择计算成像和传统成像都能处理的应用场景进行信噪比量化80去离焦模糊（EDOF）去运动模糊（motiondebluring）多路复用光场（lightfielddemultiplex）观测数据原始信号编码掩膜噪音计算成像：传统成像：3.3性能分析3.3.2分析计算成像vs.传统成像81<125lux光照环境下，计算成像相比于传统成像将产生更优的信噪比。3.3性能分析3.3.2分析计算成像vs.传统成像82去离焦模糊去运动模糊多路复用光场提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像834.1光场成像4.1.1光场编码光场：光在每一个方向通过每一个点的光量全光函数84全光函数波长时间方向位置4.1光场成像4.1.1光场编码光场函数：有限视场范围内对于当前时刻、固定强度光线的描述（4维）85全光函数光场函数RGB通道帧有限视场主镜头成像平面4.1光场成像4.1.2基于光场成像的重对焦传统相机：记录某一时刻焦平面的信息光场相机：记录某一时刻不同平面的信息864.1光场成像4.1.2基于光场成像的重对焦传统相机：记录光线强度，丢失光线方向874.1光场成像4.1.2基于光场成像的重对焦光场相机：记录光线强度和光线方向884.1光场成像4.1.2基于光场成像的重对焦光场编码光线强度和光线方向（四维光场函数）计算解码光场重新参数化，积分成像894.1光场成像4.1.2基于光场成像的重对焦结果（Demo）90第一代第二代先拍照后对焦4.2光圈编码成像4.2.1散焦模糊(Defocusblur)景深以外的物体成像点没有落在焦平面，形成具有一定面积的成像区域91In-focusOut-of-focus弥散圆4.2光圈编码成像4.2.1散焦模糊(Defocusblur)清晰图像局部卷积924.2光圈编码成像4.2.2基于光圈编码的去散焦模糊去散焦模糊(Defocusdeblurring)模糊图像反卷积93d??傅里叶变换4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊圆形光圈成像的反卷积问题削弱高频信息核函数在频域有多个零值点关键在于圆半径r的选择94爱里斑Airydisc4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊编码光圈消除不同尺度光圈的影响954.2光圈编码成像4.2.2基于光圈编码的去散焦模糊编码光圈消除不同尺度光圈的影响频域零值点区间大小决定模糊核大小96空域频域4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊编码光圈vs.圆形光圈圆形光圈：零值点彼此交叉覆盖编码光圈：零值点分开，容易选

择尺度974.2光圈编码成像4.2.2基于光圈编码的去散焦模糊去散焦模糊：最大后验概率优化的反卷积98Wiener反卷积4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊结果99提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像1005.1概念5.1.1光谱（spectrum）光学频谱，是复色光经过色散系统（如棱镜、光栅）分光后，被色散开的单色光按波长（或频率）大小而依次排列的图案。1015.1概念5.1.1光谱分类按照波长区域紫外光谱可见光谱红外光谱微波（雷达）1025.1概念5.1.1光谱分类按照产生方式发射光谱物体自行发光形成的光谱吸收光谱连续光谱被吸收部分波长光后的光谱散射光谱光照射物质形成的非弹性散射光谱1035.1概念5.1.2光谱成像光谱提供物质的属性信息104太阳光源大气分子/悬浮颗粒物大气分子石油、岩石、植被…光谱属性5.1概念5.1.2光谱成像以遥感成像为例遥感传感器接收的光谱是经过大气过滤（散射、吸收）波长超过近红外的光谱一般不考虑大气影响1055.1概念5.1.2光谱成像以遥感成像为例对地观测的遥感系统主要通过散射和地表发射光谱获取信息太阳辐射散射热红外雷达波成像1065.1概念5.1.2光谱成像以遥感成像为例光谱反射率（spectrumreflectance）1075.1概念5.1.2光谱成像问题空间分辨率：图像细节，表示为像素单元覆盖的地面尺度谱分辨率：可区分的波长范围辐射分辨率：量化光谱强度的位数解决方案传感器性能计算光谱成像1085.1概念5.1.3计算光谱成像109多光谱：(Multispectra)高光谱：(Hyperspectra)波段少；谱带宽波段多；谱带窄LandSat-8EO-1220spectralbandsWavelength0.4-2.5um5.1概念1105.1.3计算光谱成像（Computationalspectralimaging,CSI）在传统色散型光谱成像技术的基础上，通过在光路中引入适当的编码模板采集调制数据，然后采用图像处理解码，实现空间与光谱信息的高效成像解决传统光谱成像技术光通量低、逐行扫描成像时间长等缺点5.2计算光谱成像方法5.2.1基于掩膜分光镜的多光谱成像问题：利用分光镜对复色光分解成像后产生频谱重叠111多光谱成像5.2计算光谱成像方法5.2.1基于掩膜分光镜的多光谱成像方法：通过掩膜空间调制，增加分光后频谱的成像间隔，实现多光谱成像1125.2计算光谱成像方法5.2.1基于掩膜分光镜的多光谱成像经过分光镜后的频谱宽度1135.2计算光谱成像方法5.2.1基于掩膜分光镜的多光谱成像通过掩膜调制频谱空间分布1145.2计算光谱成像方法5.2.1基于掩膜分光镜的多光谱成像装置115Pointgreygrayscale相机2248x2048@15fps洞径：0.2mmx1mm洞距：5mm5.2计算光谱成像方法5.2.1基于掩膜分光镜的多光谱成像应用皮肤检测116提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像117手机摄像苹果iPhone11华为Mate

30谷歌Pixel4拍摄模式Zeroshutterlag（ZSL：零快门延时）NonZSLZSLViewfinder拍摄模式Zeroshutterlag（ZSL：零快门延时）SingleshotBurstmode基于Burstmode计算摄像数字变焦（Superzoom）基于Burstmode计算摄像数字变焦（Superzoom）Demo基于Burstmode计算摄像暗光增强基于Burstmode计算摄像暗光增强Demo参考文献Renner,E.,PinholePhotography(2nded.),FocalPress,2000.Hecht,E.,Optics(4thed.),Pearson/Addison-Wesley,2002.Nayar,S.,Computationalcameras:approaches,benefitsandlimits.TechnicalReport,2011.125参考文献DemosaickingmethodsforBayercolorarrays.R.Ramanath,W.Snyder,G.Bilbro.JournalofElectronicImaging,2002.Automaticwhitebalancefordigitalstillcamera.Y.-C.Liu,W.-H.Chan,Y.-Q.Chen.IEEETransactionsonConsumerElectronics,1995.Atheoryofsingle-viewpointcatadioptricimageformation.Baker,S.&Nayar,S.InternationalJournalofComputerVision,1999.Dept