《现代计算机图形学基础》课件 chap7-图形学方法的影像处理；chap8-计算摄像

计算机图形学第七章图形学方法的影像处理供《现代计算机图形学基础》配套使用1传统图像与图形的区别图像位图，以像素为单位记录色彩信息2图形矢量图，以图元为单位记录色彩、形状等信息基本组成元素：像素基本组成元素：非像素提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑31.1概念1.1.1分割与抠图将图像或视频划分为多个区域的过程4分割（segmentation）:硬分割‘0’或‘1’抠图（matting）:软分割‘0~1’1.1概念1.1.1分割与抠图对于微小特征的物体，抠图提供了更加精细的划分方式运动模糊或者微小的特征，比如头发引起的像素的部分遮挡5超级采样像素像素1.1概念1.1.1分割与抠图6分割

合成结果抠图合成结果原图像1.1概念1.1.2抠图定义对每个像素赋予‘0~1’的值

明确的背景

明确的前景否则是混合的71.1概念1.1.2抠图定义高度“病态”问题：对每个像素而言，有7个未知量，但是只有3个方程1.2图像抠图方法基本策略引入先验知识作为约束，将病态问题转化为可求解问题减少未知量的数目，最优化抠图函数91.2图像抠图方法蓝屏抠图（背景已知）自然图像抠图（背景未知）基于Trimap输入贝叶斯抠图泊松抠图基于笔画输入最小二乘抠图闭形式抠图闪光抠图101.2图像抠图方法1.2.1蓝屏抠图思想：指定单一的背景颜色，将待抠取的物体置于背景前面方法：早期采用蓝色背景，后来绿色更为流行50年代，PetrosVlahos发明了蓝屏抠图ultimatte®，曾获奥斯卡终身成就奖111.2图像抠图方法1.2.1蓝屏抠图背景颜色和前景部分颜色作为已知条件BR=0,BG=0抠图函数：对于每个像素具有4个未知量，3个方程12已知已知1.2图像抠图方法1.2.1蓝屏抠图如果前景物体不含B通道颜色FB=0简化方程为3个未知数依次计算，，13已知已知1.2图像抠图方法1.2.2自然图像抠图输入：1个输入图像，背景未知先验：用户交互输入Trimap输入笔画优化贝叶斯泊松最小二乘法闭形式141.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-1贝叶斯抠图输入：Trimap图初始前景(F)和背景(B)颜色：复制来自相邻像素的颜色来猜测在混合区域中的F值、B值15给定F，B，求解用

估计F，B使用F，B更新1.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-1贝叶斯抠图抠图函数：贝叶斯函数16给定待求区域像素与前景相似性与背景相似性1.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-1贝叶斯抠图抠图函数：贝叶斯函数17给定待求区域像素最大似然概率贝叶斯定律1.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-1贝叶斯抠图结果181.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-2泊松抠图思想：假设前/背景区域的颜色变化均匀，抠图值

的梯度模拟图像的梯度191.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-2泊松抠图抠图函数：泊松方程假设Fp和Bp取自最近

前景和背景像素的颜

色值关于抠图值的优化

函数20未知区域前景区域背景区域1.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-2泊松抠图抠图函数：泊松方程假设Fp和Bp取自最近

前景和背景像素的颜

色值关于抠图值的优化

函数更新Trimap图211.2图像抠图方法1.2.2自然图像抠图：基于Trimap图1.2.2-2泊松抠图结果22输入贝叶斯抠图泊松抠图1.2图像抠图方法1.2.3自然图像抠图：基于笔画图1.2.3-1最小二乘优化抠图思想：以笔画抠图值作为先验，并作为前景和背景合成的预估值，优化其与像素值之间差异；相邻像素具有相近的抠图值231.2图像抠图方法1.2.3自然图像抠图：基于笔画抠图1.2.3-1最小二乘优化抠图抠图函数：最小二乘函数24N

是像素数N(p)定义p的一个邻域

对给定的的估计颜色值1.2图像抠图方法1.2.3自然图像抠图：基于笔画抠图1.2.3-2闭形式抠图思想：在局部窗口范围内，

前景F和背景B近似常数25对于每个像素i1.2图像抠图方法1.2.3自然图像抠图：基于笔画抠图1.2.3-2闭形式抠图抠图函数：26正则化项

误差函数1.2图像抠图方法1.2.3自然图像抠图：基于笔画抠图1.2.3-2闭形式抠图对于彩色图像，局部窗口范围内颜色位于一条颜色线271.2图像抠图方法281.2.3自然图像抠图：基于笔画抠图1.2.3-2闭形式抠图抠图函数：观察:F、B在局部窗口的颜色是位于一条颜色线上1.2图像抠图方法291.2.3自然图像抠图：基于笔画抠图1.2.3-2闭形式抠图结果291.2图像抠图方法1.2.4自然图像抠图：基于闪光图思想：同时拍摄正常/闪光图像增加约束条件301.2图像抠图方法1.2.4自然图像抠图：基于闪光抠图方法：31闪光图像非闪光图像仅闪光图像

仅闪光的图像的背景是黑的贝叶斯抠图1.2图像抠图方法321.2.4自然图像抠图：基于闪光图结果1.3视频抠图方法视频抠图思想：结合视频运动在帧间传播抠图值33输入视频关键帧图插值图1.3视频抠图方法视频抠图方法：以关键帧的抠图值作为初始值，通过双向传播插值中间帧的抠图值，并进一步精细处理，生成中间帧抠图结果34提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑352.1概念图像/视频在不同终端显示时，面临画面尺寸变化的问题。通过缩放减少或者扩展图像的大小去适应不同的显示屏幕。362.1概念图像处理（不）等比例缩放、裁剪图形处理内容感知的画面增删或变形37不等比例缩放等比例缩放裁剪缝隙增删2.2图像缩放方法2.2.1缝隙增删思想：通过在图像中增加水平和竖直方向连续的缝隙进行扩大或缩小图像缝隙：图像中连通的低能量像素通路，并且每行或者每列只包含一个像素382.2图像缩放方法2.2.1缝隙增删方法定义缝隙为图像中穿过较低视觉显著性区域的连线39缝隙梯度图视觉显著性2.2图像缩放方法2.2.1缝隙增删方法定义缝隙为图像中穿过较低视觉显著性区域的连线动态规划寻找符合条件的缝隙40竖直线最优缝隙2.2图像缩放方法2.2.1缝隙增删方法定义缝隙为图像中穿过较低视觉显著性区域的连线动态规划寻找符合条件的缝隙删除缝隙，调整图像尺寸412.2图像缩放方法2.2.1缝隙增删结果(Demo)42局限性效率低难以保持图像结构2.2图像缩放方法2.2.2网格变形思想：以目标尺寸为约束，对原始图像进行结构保持的变形432.2图像缩放方法2.2.2网格变形方法：变形网格的相似变换442.2图像缩放方法2.2.2网格变形方法：变形网格的相似变换45均匀缩放比例缩放边界条件2.2图像缩放方法2.2.2网格变形方法：结构图像梯度+图像显著度梯度：图像局部结构分部显著度：视觉注意区域在变形时保持结构较少的变化46梯度图显著图结构图原始图2.2图像缩放方法2.2.2网格变形方法：求解自适应网格设置：更具结构重要性图放置网格顶点简单缩放作为初值：472.2图像缩放方法2.2.2网格变形

结果(Demo)48原始图缝隙增删网格变形局部线结构扭曲2.3视频缩放方法视频缩放的难点逐帧进行缝隙增删导致了严重的扭曲缺乏时序的一致性思想视频看做立方体，寻找时空一致的缝隙增删49?2.3视频缩放方法基于图割优化的缝隙增删最优缝隙的特点单调性：每行一个像素连通性：每条缝隙将图像划分为两个连通区域502.3视频缩放方法基于图割优化的缝隙增删视频立方体的三维图构造：单帧单向边的权值回溯方向边的权值51STpi+1,jpi,jpi+1,j+1pi,j+1

y

x

x

ypi,jpi,j+1pi+1,jpi+1,j+1

y

y

x

xpijpi,j+1pi+1,jpi+1,j+1∞∞∞∞E1E1∞∞单帧图割优化等价于动态规划缝隙2.3视频缩放方法基于图割优化的缝隙增删视频立方体的三维图构造52FrametFramet+1Framet+2时间视频体2.3视频缩放方法基于图割优化的缝隙增删视频立方体的三维图优化53源点终点ST原图和目标图分别通过无限加权的弧被创建和连接到图像的最左最右列的像素里。2.3视频缩放方法基于图割优化的缝隙增删

结果(Demo)54提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑553.1概念3.1.1图像/视频融合（Image/videoblending/composition）将图像/视频中提取的对象合成到另外一张图像/视频，生成视觉上自然的新图像/视频563.1概念3.1.1图像/视频融合（Image/videoblending/composition）通过透明度alpha融合，可以消除不同图像之间的边界，生成连续的画面57无融合透明度融合3.1概念3.1.2融合方式简单透明度融合58自适应内容融合3.2图像融合方法3.2.1泊松融合思想：原图像的梯度嵌入到目标图像，根据目标图像的颜色恢复原图像中物体59简单融合泊松融合原图像目标图像3.2图像融合方法3.2.1泊松融合方法原图像梯度：目标图像颜：重叠区域：60重叠区域融合3.2图像融合方法3.2.1泊松融合方法：融合函数转化为泊松方程61关于融合图像颜色的线性方程组3.2图像融合方法3.2.1泊松融合结果62简单融合泊松融合3.2图像融合方法3.2.2基于均值坐标插值的融合思想：将图像融合转化为给定边界的插值问题，通过插值过程生成融合结果63输入插值函数融合结果3.2图像融合方法3.2.2基于均值坐标插值的融合方法多边形的均值坐标643.2图像融合方法3.2.2基于均值坐标插值的融合方法多边形的均值坐标覆盖区域的边界为多边形进行插值65Delaunay三角化加速插值计算3.2图像融合方法3.2.2基于均值坐标插值的融合结果（Demo）663.3视频融合方法视频融合的难点融合后保持原视频物体的结构，同时和目标视频背景形成连续边界过渡融合后保持帧间混合的连续性其他影响运动模糊阴影673.3视频融合方法基于梯度域的视频融合思想：在梯度域上混合原视频物体和目标视频背景，以保持物体结构；通过光流进行运动物体对其和帧间重叠区域边界的连续变化683.3视频融合方法基于梯度域的视频融合方法帧间连续的重叠区域边界693.3视频融合方法基于梯度域的视频融合方法重叠区域帧间连续的边界变化重叠区域帧间连续的梯度变化基于均值坐标的插值快速求解泊松方程70高斯滤波重叠区域第i个像素梯度3.3视频融合方法基于梯度域的视频融合结果（Demo）71提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑724.1概念4.1.1图像/视频拼接（stitching）组合两张或者更多张具有重合区域的图像/视频，生成一张更大视角范围的图像/视频734.1概念4.1.1图像/视频拼接（stitching）组合两张或者更多张具有重合区域的图像/视频，生成一张更大视角范围的图像/视频普通相机FOV=50x35人眼FOV=200x120全景FOV=360x180猫狗兔人4.1概念4.1.1图像/视频拼接（stitching）硬件方案鱼眼相机固定相机阵列固定配置散乱配置75成本高，使用不方便4.1概念4.1.1图像/视频拼接（stitching）软件方案基于运动信息的在线方案基于特征匹配的离线方案76扭曲、重影、计算效率等问题4.1概念4.1.2一般算法检测特征点（SIFT）匹配特征点（RANSAC）计算图像间变换投影到共同区域774.2图像拼接方法4.2.1尽可能单应变换拼接方法思想：采用空间分布的局部单应变换集合取代单一的整体单应变换进行拼接（as-projective-as-possible）78整体单应变换局部单应变换4.2图像拼接方法4.2.1尽可能单应变换拼接方法方法：通过移动直接线性变换（movingdirectlineartransformation）描述不同位置的最优单应变换传统单应变换计算DLT794.2图像拼接方法4.2.1尽可能单应变换拼接方法方法：通过移动直接线性变换（movingdirectlineartransformation）描述不同位置的最优单应变换移动DLT：每个位置定义关于匹配特征点的单应变换804.2图像拼接方法4.2.1尽可能单应变换拼接方法结果814.2图像拼接方法4.2.2形状保持的半单应变换拼接方法思想：重合区域减小特征匹配误差，非重合区域保持形状（shape-preservinghalf-projective）82单应变换单应+相似变换（SPHP）4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法方法：重合区域采用单应变换，非重合区域采用从单应变换到相似变换的渐变变换83扭曲4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换的坐标系转换84线性映射HScaleupScaledown4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换到相似变换对于单应变换，随着u增大，扭曲变大给定常值u，单应变换是线性85HScaleupScaledown相似变换H4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换到相似变换的直接混合86HS产生突变4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换到相似变换的连续渐变S区域：相似变换T区域：渐变区域H区域：单应变换874.2图像拼接方法4.2.2形状保持的半单应变换拼接方法结果88输入AutoStitchSPHP单应变换4.2图像拼接方法4.2.3自适应变换拼接方法思想：通过局部单应变换和相似变换的混合，实现特征匹配和形状保持89移动DLT自适应拼接4.2图像拼接方法4.2.3自适应变换拼接方法方法局部单应变换：线性化移动DLT通过Taylor展式，将局部单应变换进行线性化90边界加权4.2图像拼接方法4.2.3自适应变换拼接方法方法整体相似变换：根据匹配的特征点计算最优平移、旋转和伸缩因子，生成整体相似变换914.2图像拼接方法4.2.3自适应变换拼接方法方法自适应插值单应变换与相似变换92参考图像中心目标图像中心4.2图像拼接方法4.2.3自适应变换拼接方法结果934.3视频拼接方法视频拼接的难点不同视角拍摄视频的视差大视差的视频帧拼接容易产生重影现象拼接视频帧间的时空连续性各帧单独拼接容易产生帧间视觉跳跃944.3视频拼接方法4.3.1基于三维重建的视频拼接思想：基于图像的三维重建获取相机空间运动路径，然后生成新的拼接视频的相机路径，重构拼接视频帧序列954.3视频拼接方法4.3.1基于三维重建的视频拼接方法CoSLAM重建三维场景及相机运动路径合成拼接视频相机运动路径964.3视频拼接方法4.3.1基于三维重建的视频拼接方法CoSLAM重建三维场景及相机运动路径合成拼接视频相机运动路径特征保持的视频帧变形97FeatureTermLineTermEpipolarTermCoherenceTermframet-1frametframet+1二次函数4.3视频拼接方法4.3.1基于三维重建的视频拼接结果984.3视频拼接方法4.3.2基于内容保持的时空变形拼接思想：采用时空连续的局部内容保持的变形，实现视频帧的帧间连续拼接994.3视频拼接方法4.3.2基于内容保持的时空变形拼接方法整体预对齐100同一视频相邻帧不同视频同时刻帧4.3视频拼接方法4.3.2基于内容保持的时空变形拼接方法整体预对齐局部内容保持的变形101特征点对齐相邻网格点相邻局部变形帧间特征点帧间网格点帧间局部变形4.3视频拼接方法4.3.2基于内容保持的时空变形拼接方法整体预对齐局部内容保持的变形时空三维图割优化计算拼接线1024.3视频拼接方法4.3.2基于内容保持的时空变形拼接结果1034.4图像/视频拼接矩形化4.4.1拼接边界的矩形规则化处理图像/视频拼接后，往往产生不规则的边界，需要进一步规则化处理，恢复矩形边界，更好地播放内容104不规则边界矩形边界4.4图像/视频拼接矩形化4.4.2图像的矩形规则化处理矩形边界约束的网格变形具有矩形边界的网格（增加缝隙，局部变形）网格驱动的保形变形（全局变形）1054.4图像/视频拼接矩形化4.4.2图像的矩形规则化处理矩形边界约束的网格变形具有矩形边界的网格（增加缝隙，局部变形）网格驱动的保形变形（全局变形）线约束106

4.4图像/视频拼接矩形化4.4.2图像的矩形规则化处理结果1074.4图像/视频拼接矩形化4.4.2视频的矩形规则化处理借助运动估计建立帧间连续的矩形化网格变形特征点跟踪线匹配108

形状保持线保持运动保持边界约束4.4图像/视频拼接矩形化4.4.2视频的矩形规则化处理结果109提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑1105.1概念图像/视频编辑定义通过图像/视频的颜色、形状、结构等信息的改变，生成新形式的图像/视频111+=颜色迁移形状变形编辑传播5.1概念图像/视频编辑要求图像内容的一致性视频帧间的连续性认知理解的正确性1125.2颜色迁移5.2.1定义从其他图像或用户交互中提供的色彩作为模板，修正目标图像的颜色，使其满足模板色彩1135.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移思想：在色相、色温等颜色特征空间按照图像内容的连续性进行迁移114色相色温5.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移算法流程115色相空间部分通过基于二值匹配的算法学习空间连贯性处理输入输出5.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移方法：色相划分将两个极小值点之间的部分作为一个直方图块，即容器。源图像和模板图像做同样的划分迁移过程是将源图像的每个容器都映射到模板中找到对应容器1165.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移方法：色相匹配117对应容器块之间的能量源色调值迁移至模板色调值5.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移方法：通过去除伪边界效应提高空间连续性1185.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移结果119输入模板结果输入模板失败的结果Yellowsky5.2颜色迁移5.2.2方法5.2.2-2基于笔画约束的颜色迁移思想：用户交互的笔画颜色值作为种子，迁移至对应的区域（灰度图着色）1205.2颜色迁移5.2.2方法5.2.2-2基于笔画约束的颜色迁移方法：灰度相近的相邻像素，在迁移后具有相近的颜色；以笔画颜色作为约束，优化局部颜色相似性121相邻像素的相似性视频邻域5.2颜色迁移5.2.2方法5.2.2-2基于笔画约束的颜色迁移结果1225.3编辑传播5.3.1定义将图像/视频局部编辑的结果传播到其余部分，从而只需要用户输入较小的信息集，便可实现图像/视频编辑1235.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播思想：相似外观的区域接受相近的编辑，或者构造颜色、空间等相似区域进行编辑1245.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播方法：优化图像空间的相似性函数125空间位置像素表观：局部颜色均值/方差等5.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播方法：优化图像空间的相似性函数126编辑区域有相似的表现满足用户编辑g的约束wj:指定满足约束条件像素的权重没有第二项有第二项5.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播结果1275.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播思想：通过空间自适应剖分加快传播函数的计算速度，提高编辑传播效率1285.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播方法：将图像映射到特征空间（坐标+颜色），对特征空间进行K-D树划分，建立层次结构129appearancepositions特征空间特征向量输入图像5.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播用户交互映射到特征空间130用户交互5.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播用户交互映射到特征空间特征空间的K-D树划分相似的编辑在特征空间具有相似关系连续性体现在相似关系的特征空间131每个叶节点作为一个簇编辑传播在K维树单元转角5.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播用户交互映射到特征空间特征空间的K-D树划分线性插值K-D树节点快速生成编辑传播后特征映射回图像空间，得到编辑结果1325.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播结果（Demo）133K-DTreespace:45M

time:13sAppPropspace:33G

time:70min5.4图像变形5.4.1定义通过操控图像定义域，改变图像中物体的几何形状，实现图像整体或局部的变形像素域（图像方法）参数域（图形方法）1345.4图像变形5.4.1定义像素域（图像方法）变形根据变形函数逐像素改变输入图像，生成变形后的图像135h原图相似仿射投影5.4图像变形5.4.1定义像素域（图像方法）变形相似变形136二维尺度、旋转和平移变换的组合。允许一个正方形被转换成任何旋转的矩形。线之间的夹角被保留自由度为4（a，b，c，d）逆是相同的表示（相似性）。通过2x3矩阵的逆来给出5.4图像变形5.4.1定义像素域（图像方法）变形仿射变形137二维尺度、旋转、剪切和平移变换的组合。允许一个正方形扭曲成任何平行四边形。自由度为6（a，b，c，d，e，f）逆是相同表示（也就是仿射）。通过3x3矩阵的逆给出在二维的3个点，6个自由度控制一个三角形的扭曲是良好的。5.4图像变形5.4.1定义像素域（图像方法）变形投影变形138线性分子和分母如果G=H=0，那么你一个特殊情况的仿射允许一个正方形被扭曲成任何四边形自由度为8（a-h）。我们可以选择i

=1或者任意逆是同一形式（也就是投影）。在二维空间的4个点确定自由度为8，来控制四边形扭曲。5.4图像变形5.4.1定义参数域（图形方法）变形通过控制点或嵌入网格顶点的变形，驱动图像进行相应的变形变形后的图像满足控制点位置的几何约束1395.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形思想：采用多重局部几何变换的加权作用，实现图像的整体变形，满足控制点约束140单一整体几何变换多重局部几何变换5.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形方法：给定每一个像素，计算变形函数，在最小二乘优化意义下满足控制点约束1415.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形方法：给定每一个像素，计算变形函数，在最小二乘优化意义下满足控制点约束142局部定义变形满足几何性质插值光滑控制点不变性5.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形仿射变换的显式解143其中5.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形相似变换的显式解144其中5.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形刚性变换的显式解1455.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形仿射变换、相似变换、刚性变换1465.4图像变形5.4.2方法移动最小二乘（movingleastsquare）变形结果（Demo）1475.5视频去抖5.5.1定义借助硬件或者算法处理视频帧序列，使得运动环境下拍摄的视频仍能够具有平稳的帧间运动148TripodDollySteadicam硬件方法5.5视频去抖5.5.1定义借助硬件或者算法处理视频帧序列，使得运动环境下拍摄的视频仍能够具有平稳的帧间运动149算法：数字去抖5.5视频去抖5.5.1定义数字去抖150运动平滑运动补偿运动估计帧间运动平滑路径图像变形5.5视频去抖5.5.2方法2维方法将帧间运动描述为平面光流或者几何变换序列，借助低通滤波（高斯滤波）进行运动平滑5.5视频去抖5.5.2方法3维方法借助三维重建恢复三维空间中的相机运动路径，并通过路径平滑处理，获得运动稳定的帧图像Demo5.5视频去抖5.5.2方法延时视频去抖Timelapse，缩时摄影或这缩时录影，将时间压缩制作视频形式连续播放1535.5视频去抖5.5.2方法延时视频去抖Hyperlapse，拍摄位置发生变化的延时视频3维去抖方法154三维空间路径估计及平滑平滑路径上的重绘制拼接与融合Demo参考文献Bluescreenmatting.Smith,A.R.andBlinn,J.F.Siggraph,1996.Softedgechroma-keygenerationbaseduponhexoctahedralcolorspace.Y.Mishima.U.S.Patent5355174,1993.ABayesianapproachtodigitalmatting.Y.Chuang,B.Curless,D.Salesin,andR.Szeliski.CVPR2001.Alphaestimationinnaturalimages.Ruzon,M.A.andTomasi,C.CVPR,2000.Poissonmatting.J.Sun,J.Jia,C.Tang,H.Shum.SIGGRAPH2004.Aniterativeoptimizationapproachforunifiedimagesegmentationandmatting.J.Wang,M.Cohen.ICCV2005.Spectralmatting.A.Levin,A.Rav-Acha,D.Lischinski.CVPR2006.Easymatting:astrokebasedapproachforcontinuousimagematting.Y.Guan,W.Cheny,X.Liang,Z.Ding,Q.Peng.Eurographics2006.Aclosedformsolutiontonaturalimagesmatting.A.Levin,D.LischinskiandY.Weiss.CVPR2006.Digitalphotographywithflashandno-flashimagepairs.G.Petschnigg,M.Agrawala,H.Hoppe,R.Szeliski,andM.Cohen.Siggraph,2004.155参考文献Imagesnapping.M.Gleicher.SIGGRAPH1995.Intelligentscissors.EricMortensenandWilliamA.Barrett.SIGGRAPH1995.Lazysnapping.Y.Li,J.Sun,C.-K.Tang,H.Shum.SIGGRAPH2004.Videoobjectcutandpaste.Y.Li,J.Sun,H.-Y.Shum.SIGGRAPH2006.Interactivevideocutout.J.Wang,P.Bhat,A.Colbun,etal.SIGGAPH2005.Naturalvideomattingusingcameraarrays.N.Joshi,W.Matusik,S.Avidan.SIGGRAPH2006.Imageandvideomatting:asurvey.J.Wang,F.Cohen.FoundationsandTrends.Anoverviewofimageandvideosegmentationinthelast40years.Y.-J.Zhang.2001.Imagesegmentation.A.-P.Dhawan.Medicalimageanalysis,2010.Videosegmentationanditsapplication.K.Ngan,H.-L.Li.Springer,2011.156参考文献Colortransferbetweenimages.E.Reinhard,M.Ashikhmin,B.Gooch,andP.Shirley.IEEEComput.Graph.Appl.,2001.Transferringcolortogreyscaleimages.T.Welsh,M.AshikhminandK.Mueller.ACMTOG,2002.Colorizationusingoptimization.A.Levin,D.Lischinski,Y.Weiss.ACMTOG,2004.Example-basedpaintingguidedbycolorfeatures.HuaHuang,YuZang,Chen-FengLi.TheVisualComputer,2010.Seamcarvingforcontentawareimageresizing.Avidan,S.,AndShamir,A.,ACMTOG,2007.Optimizedscale-and-stretchforimageresizing.Wang,Yu-ShuenandTai,Chiew-LanandSorkine,OlgaandLee.ACMTOG,2008Real-timecontent-awareimageresizing.HuaHuang,TianNanFu,PaulLRosin,andChunQi.ScienceinChinaSeriesF:InformationSciences,2009Improvedseamcarvingforvideoretargeting.RubinsteinM,ShamirA,andAvidanS.ACMTOG,2008.157参考文献As-Projective-As-PossibleImageStitchingwithMovingDLT.JulioZaragoza,Tat-JunChin,MichaelBrown,DavidSuter.CVPR,2013.Shape-PreservingHalf-ProjectiveWarpsforImageStitching.Che-HanChang,YoichiSato,Yung-YuChuang.CVPR,2014.AdaptiveAs-Natural-As-PossibleImageStitching.Chung-ChingLin,SharathchandraU.Pankanti.CVPR,2015.AppProp:all-pairsappearance-spaceeditpropagation.An,X.andF.Pellacini.ACMTrans.Graph,2008.EfficientAffinity-basedEditPropagationusingK-DTree.KXu,YLi,TJu,SMHu,TQLiu.ACMTOG.2009.Feature-basedimagemetamorphosis.T.Beier,S.Neely.SIGGRAPH1992.RepSnapping:efficientimagecutoutforrepeatedsceneelements.HuaHuang,LeiZhang,Hong-ChaoZhang.ComputerGraphicsForum2011EXCOL:AnEXtract-and-COmpleteLayeringApproachtoCartoonAnimationReusing.LeiZhang,HuaHuang,HongboFu.

TVCG,2012158参考文献VideoStitchingwithSpatial-TemporalContent-PreservingWarping.WeiJiang,JinweiGu.CVPR,2015.SeamlessVideoStitchingfromHand-heldCameraInputs.KaimoLin,ShuaichengLiu,Loong-FahCheong,BingZeng.Eurographics,2016.Motion-AwareGradientDomainVideoComposition.TaoChen,Jun-YanZhu,ArielShamir,Shi-MinHu.IEEETIP,2013.Full-framevideostabilization.MatsushitaY.,OfekE.,TangX.O.,ShumH.Y.

Proc.CVPR,2005.Content-preservingwarpsfor3Dvideostabilization.LiuF.,GleicherM.,JinH.L.,AgarwalaA.ACMTransactionsonGraphics,28(3),44:1-44:9,2009.159计算机图形学第八章计算摄像供《现代计算机图形学基础》配套使用160提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像1611.1历史发展摄像起源于战国时期的小孔成像，随着光学系统、成像介质等的发展，摄像技术也产生了巨大的变革162战国时期十五世纪1822年1888年1969年2000年小孔成像暗箱写生银版照相胶卷相机数码相机手机拍摄小孔成像暗箱写生银版照相胶卷相机数码相机手机拍摄光场相机光学小孔小孔凸透镜镜头组镜头组微镜头组微镜头阵列介质光屏纸张金属胶卷CCDCMOSCCD对焦滑动标尺拉箱拉箱手动马达马达马达2011年光场相机1.1历史发展1.1.1小孔成像战国初期，墨子（公元前468年-公元前376年）和弟子们完成了世界上第一个小孔成像的实验，并记录在《墨经》中：“景到，在午有端，与景长。说在端”。1631.1历史发展1.1.2暗箱写生十五世纪末期，根据小孔成像原理制作了暗箱（CameraObscure），成为照相机的雏形。利用这种工具，只要用铅笔将影像反射在画纸的，描绘出轮廓，再着色即可完成一幅很有真实感的完全符合真实比例的画像。1641.1历史发展1.1.3银版照相1822年，法国的涅普斯在感光材料上制出了世界上第一张照片。1838年，法国物理学家达盖尔发明盖尔的银版照相法，是利用镀有碘化银的钢板在暗箱里曝光，然后以水银蒸汽显影，再以普通食盐定影。1651.1历史发展1.1.4胶卷照相1888年，美国柯达公司发明了一种柔软、可卷绕的新型感光材料--“胶卷”。同年，柯达公司发明了世界上第一台安装胶卷的可携式方箱照相机--KodakNo.1。1661.1历史发展1.1.5数码照相1969年，CCD芯片作为相机感光材料在美国的阿波罗登月飞船上搭载的照相机中得到应用，开启了数码照相的先河。1981年，索尼公司推出第一款面向公众的数码相机Mavica。167SonyMavica1.1历史发展1.1.6手机照相2000年，夏普发布了内置11万像素CCD摄像头的J-SH04手机，是世界第一款照相手机。2003年，夏普发布并J-SH53手机，可拍摄最大1144×858像素的照片，成为世界上第一款百万像素照相手机。168J-SH04J-SH531.2成像原理光学成像并通过感光介质记录光学原理直线传播折射、衍射…感光介质胶卷CCDCMOS…169CCDCMOS1.2成像原理光学成像并通过感光介质记录为什么不直接使用感光介质记录光？170介质上每一点记录物体上所有点的信息。介质上每一点的颜色相同。1.2成像原理1.2.1小孔成像原理可见光成像直线传播特点没有几何扭曲直线保持直线无限景深每一点在焦点上1711.2成像原理1.2.1小孔成像小孔径产生衍射模糊亮度低大孔径产生几何马赛克模糊光斑1721.2成像原理1.2.1小孔成像173大孔径几何模糊小孔径衍射模糊最优孔径亮度低1.2成像原理1.2.2透镜成像可见光成像折射增加了成像光

线强度，同时

避免几何模糊1741.2成像原理1.2.2透镜成像斯涅耳定律（Snell’slaw）光从一种介质进入另一种介质，由于

传播速度的不同，在介质表面发生光

的折射，其折射率与入射角、折射角

满足如下关系：1751.2成像原理1.2.2透镜成像光线折射折射率空气1、水1.33、玻璃1.5-1.8从空气进入玻璃，光线朝法向弯曲从玻璃进入空气，光线远离法向垂直入射不改变光线方向1761.2成像原理1.2.2透镜成像双曲透镜：将平行光线汇聚到一点的理想透镜

（费马原理：光线传播的路径是需时最少的路径）加工困难177平行光线：平面波汇聚光线：球面波1.2成像原理1.2.2透镜成像球面透镜：加工简单，但存在球差现象（Sphericalaberration）178计算机控制抛光1.2成像原理1.2.2透镜成像单个球面：近轴逼近（paraxialapproximation）或称为一阶光学（first-orderoptics）179计算物体空间P点在成像空间的位置P’点?1.2成像原理1.2.2透镜成像180斯涅耳定律泰勒逼近近轴逼近1.2成像原理1.2.2透镜成像181轴聚焦：P点发出的所有光线汇聚P’点1.2成像原理1.2.2透镜成像182焦距（focallength）：1.2成像原理1.2.2透镜成像透镜公式（Lensmaker’sformula）两个球面相交构成薄透镜（），物距so和像距si满足:1831.2成像原理1.2.2透镜成像高斯公式（Gaussianlensformula）物距so、像距si和焦距fi满足：不同远近的物体成像需要调整镜头到介质的距离1841.2成像原理1.2.2透镜成像高斯光路平行于光轴的光线经过透镜

后汇聚到焦点经过透镜中心的光线不发生

改变来自于平行透镜的平面的光

线聚焦在平行于透镜的另一

个平面1851.2成像原理1.2.2透镜成像假设感光介质尺寸固定，视场（fieldofvision）和焦距成反比1861.2成像原理1.2.2透镜成像假设感光介质尺寸固定，视场（fieldofvision）和焦距成反比1871.2成像原理1.2.2透镜成像视场（fieldofvision）与感光介质尺寸成正比188APS-C14.8x22.2mmCannonDSLR24x36mm1.2成像原理1.2.3实际相机透镜系统由一系列的透镜组合而成，最大限度地降低像差、色差等。189Vivitarseries190mmf/2.51.3透镜成像参数1.3.1曝光（Exposure）曝光=辐照度×曝光时间辐照度（Irradiance，E）光圈控制曝光时间（T）快门控制1901.3透镜成像参数1.3.2光圈（Aperture）用来控制光线透过镜头、进入机身内感光介质通光量的孔状光栅。光圈数（aperturenumber）：191孔径1.3透镜成像参数1.3.2光圈（Aperture）感光介质表面接收的辐照度影像成像效果与孔径大小成正比与光圈数成反比最小光圈数普通相机：f/0.5单反相机：f/1.0192CannonEOSf/1.01.3透镜成像参数1.3.3快门（Shutter）叶片式快门（Leafshutter，镜间快门）安静速度慢（最快1/500秒）逐个透镜设置焦平面式快门（Focal-planeshutter）声音大速度快（最快1/4000秒）运动扭曲1931.3透镜成像参数1.3.3快门（Shutter）快门速度：控制感光介质曝光时间单位：1秒的比例1/2000、1/1000、…、1/250、…控制技巧最短曝光时间1/f例如焦距500mm的透镜，快门速度控制在1/500秒1941.3透镜成像参数1.3.4景深（depthoffield，DoF）弥散圆（circleofconfusion）：物点成像时由于不能汇聚到一点而产生的圆形投影。1951.3透镜成像参数1.3.4景深（depthoffield，DoF）在焦点前后容许弥散圆范围内的景物的深度。弥散圆越小，成像越锐利，反之越虚。196N:光圈数f：焦距so：物距c：弥散圆直径so前景深后景深1.3透镜成像参数1.3.4景深（depthoffield，DoF）景深与光圈的反比关系：在容许弥散圆大小下，光圈越大，景深越小；光圈越小，景深越大。197大光圈小光圈1.3透镜成像参数1.3.4景深（depthoffield，DoF）景深与焦距的反比关系：镜头焦距越长，景深越小；焦距越短，景深越大。198短焦镜头长焦镜头1.3透镜成像参数1.3.4景深（depthoffield，DoF）景深与物距的正比关系：距离越远，景深越大；距离越近，景深越小。199靠近对象远离对象提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像2002.1成像过程数码相机Digitalstillcamera（DSC或DC），利用电子传感器把光学影像转换成电子数据的照相机。201CCD\CMOSImagesignalprocessor2.1成像过程数码相机CCD（电荷耦合器件）：通过布置微小光敏物质作为像素（Pixel）一种半导体器件，能够把光学影像转化为电信号。点阵式体积小、重量轻响应快、图像畸变小灵敏度高常用于数码照相机、数码摄像机2022.1成像过程数码相机CMOS（互补型金属氧化物半导体）：通过外界光照射像素阵列，发生光电效应，在像素单元内产生相应的电荷把光学影像转化为电信号。成本低、价格便宜功耗小噪音大常用于网络摄像头、视频监控2032.1成像过程数码相机ISP（图像信号处理器）：对前端传感介质输出信号处理的单元，很大程度上决定了成像质量。204传感器ADCISP存储去马赛克3A调整白平衡去噪/锐化压缩…2.2ISP图像处理2.2.1去马赛克（Demosaicing）物理上，CCD只会感应光的强度，而无法区分不同的颜色。采用色分离技术获取颜色（R/G/B）滤光片3CCD单CCD滤色镜205滤光片3CCD单CCD滤色镜2.2ISP图像处理2.2.1去马赛克（Demosaicing）单CCD彩色滤波阵列（CFA：colorfilterarray）拜耳（Bayer）滤波器206拜耳模式绿色2.2ISP图像处理2.2.1去马赛克（Demosaicing）207去马赛克前去马赛克后2.2ISP图像处理2.2.1去马赛克（Demosaicing）线性插值（4邻域均值）非线性核函数双三次插值208线性插值2.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题伪彩色（colorfringes）：RGB不在相同的空间位置，从而在黑白边界处由于缺少某个颜色而产生伪彩色209拜耳去马赛克3CCD成像拍摄对象拜耳图像去马赛克2.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题摩尔纹（moire）：两个频率接近的等幅正弦波叠加而产生的干涉条纹2102.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题解决方案：色度空间低通滤波211去马赛克：简单插值拜耳模式RGB转换为YCbCr颜色空间对Cb和Cr通道中值滤波YCbCr转换为RGB空间YCbCr2.2ISP图像处理2.2.1去马赛克（Demosaicing）插值存在的问题解决方案：色度空间低通滤波212简单插值低通滤波2.2ISP图像处理2.2.2白平衡（Whitebalancing）调整不同环境光照下的白色白色是指反射到人眼中的光线由于蓝、绿、红三种色光比例相同且具有一定的亮度所形成的视觉反应。通过色温定义不同环境光照下的白色2132.2ISP图像处理2.2.2白平衡（Whitebalancing）自动白平衡（Autowhitebalancing,AWB）灰色世界法则（Grayworldtheory）：假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为“灰色”。214调整系数AverageRGB2.2ISP图像处理2.2.2白平衡（Whitebalancing）手动白平衡：选择真实光照环境下作为白色的参照物，通过R/G/B三个通道的颜色映射进行调整2152.2ISP图像处理2.2.3色调映射（Tonemapping）在有限动态范围媒介上近似显示高动态范围图像通过大幅度的对比度衰减将场景亮度变换到可以显示的范围，同时要保持图像细节与颜色等对于表现原始场景非常重要的信息。A.k.acontrastcorrection2162.2ISP图像处理2.2.3色调映射（Tonemapping）方法：Gamma矫正217输入2.2ISP图像处理2.2.43AAF（自动对焦）AE（自动曝光）AWB（自动白平衡）2182.2ISP图像处理2.2.43AAF（自动对焦）主动式（activeautofocus）Time-of-flight声波测距：SONAR=soundnavigationandranging被动式（passiveautofocus）相位检测、反差式、混合式219距离有限无法穿透玻璃2.2ISP图像处理2.2.43AAF（自动对焦）相位检测（phasedetection）通过比较分光镜面二次成像之间的相位

距离判断是否对焦，直接驱动镜片移动

到焦点位置。2202.2ISP图像处理

2.2.43AAF（自动对焦）反差检测（contrastdetection）分析在不同的焦点位置图像传感器

上的对比度，寻找最大对比度的位

置作为焦点。2212.2ISP图像处理

2.2.43AAF（自动对焦）混合对焦（hybridAF）结合两种自动对焦的

优点相位检测粗对焦反差检测细对焦2222.2ISP图像处理

2.2.43AAF（自动对焦）马达驱动镜片前后移动满足对焦条件USM：超声波马达，将电磁转换为超声波，通过振动进行机械位移2232.2ISP图像处理

2.2.43AAE（自动曝光）曝光与辐照度/快门速度有关：

曝光=光圈×曝光时间测光（metering）：根据入射光线条件自动确定曝光量224单反相机9×7像素阵列2.2ISP图像处理

2.2.43AAE（自动曝光）中央重点测光：画面中央部分的测光数据占绝大部分比例，而中央以外的测光数据作为小部分比例局部测光：对画面的某一局部进行测光点测光：以中央的一极小范围区域作为曝光基准点，相机根据这个较窄区域测得的光线，作为曝光依据225Demo2.3其他图像处理典型案例看见“不可见”（MIT,2013）2262.3其他图像处理典型案例不看“不想见”（MIT,2015）227提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像2283.1概念计算成像（ComputationalimagingorComputationalphotography）通过光学编码和计算解码过程生成图像主要结合光学技术、数字图像处理技术扩展传统成像功能和提高光学成像质量229“Computationisthenewoptics”FredoDurand,MIT2016SiggraphComputerGraphicsAchievementAward3.1概念计算成像

vs.传统成像230传统摄像计算摄像场景透镜传感器数字图像图像处理计算计算计算计算场景透镜传感器数字图像图像处理拍摄成像3.1概念计算成像

vs.传统成像231计算成像的维度spatialtemporalspectrumfieldofviewdynamicrangedepth传统成像计算成像编/解码3.2计算成像编/解码物体编码+计算解码通过改变镜头前方和物体相关的光路进行计算成像232fieldofviewdepthspec-trum广角成像全景成像漫反射恢复深度多光谱视频3.2计算成像编/解码瞳面编码+计算解码通过改变透镜瞳面（pupilplane）入射/出射光路进行计算成像233spatialdepthdynamicrange光圈相位编码超分辨率光圈编码恢复深度高动态图像重建3.2计算成像编/解码焦面编码+计算解码通过改变焦平面（focalplane）传感器的入射光路进行计算成像234fieldofviewspatialtem-poral微透镜组光场成像微透镜组超高清成像高速摄像3.2计算成像编/解码照明编码+计算解码通过相机闪光的照明状态对入射光路进行编码及计算成像235spec-trumdepth多路LED照明光谱变光照三维重建3.2计算成像编/解码相机阵列+计算解码通过使用一组相机提高入射光路的视角分布并进行计算成像236fieldofviewdepth光场成像多视角三维重建3.2计算成像编/解码非传统成像编解码其他光路编码和计算解码方式237非线性微透镜组微波材料感知成像3.3性能分析3.3.1度量信噪比（signal-to-noise-ratio，SNR）信号与噪声的比例单位dB238计算成像编码：光量增加，SNR增大解码：噪音放大，SNR减小3.3性能分析3.3.1度量方式选择计算成像和传统成像都能处理的应用场景进行信噪比量化239去离焦模糊（EDOF）去运动模糊（motiondebluring）多路复用光场（lightfielddemultiplex）观测数据原始信号编码掩膜噪音计算成像：传统成像：3.3性能分析3.3.2分析计算成像vs.传统成像240<125lux光照环境下，计算成像相比于传统成像将产生更优的信噪比。3.3性能分析3.3.2分析计算成像vs.传统成像241去离焦模糊去运动模糊多路复用光场提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像2424.1光场成像4.1.1光场编码光场：光在每一个方向通过每一个点的光量全光函数243全光函数波长时间方向位置4.1光场成像4.1.1光场编码光场函数：有限视场范围内对于当前时刻、固定强度光线的描述（4维）244全光函数光场函数RGB通道帧有限视场主镜头成像平面4.1光场成像4.1.2基于光场成像的重对焦传统相机：记录某一时刻焦平面的信息光场相机：记录某一时刻不同平面的信息2454.1光场成像4.1.2基于光场成像的重对焦传统相机：记录光线强度，丢失光线方向2464.1光场成像4.1.2基于光场成像的重对焦光场相机：记录光线强度和光线方向2474.1光场成像4.1.2基于光场成像的重对焦光场编码光线强度和光线方向（四维光场函数）计算解码光场重新参数化，积分成像2484.1光场成像4.1.2基于光场成像的重对焦结果（Demo）249第一代第二代先拍照后对焦4.2光圈编码成像4.2.1散焦模糊(Defocusblur)景深以外的物体成像点没有落在焦平面，形成具有一定面积的成像区域250In-focusOut-of-focus弥散圆4.2光圈编码成像4.2.1散焦模糊(Defocusblur)清晰图像局部卷积2514.2光圈编码成像4.2.2基于光圈编码的去散焦模糊去散焦模糊(Defocusdeblurring)模糊图像反卷积252d??傅里叶变换4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊圆形光圈成像的反卷积问题削弱高频信息核函数在频域有多个零值点关键在于圆半径r的选择253爱里斑Airydisc4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊编码光圈消除不同尺度光圈的影响2544.2光圈编码成像4.2.2基于光圈编码的去散焦模糊编码光圈消除不同尺度光圈的影响频域零值点区间大小决定模糊核大小255空域频域4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊编码光圈vs.圆形光圈圆形光圈：零值点彼此交叉覆盖编码光圈：零值点分开，容易选

择尺度2564.2光圈编码成像4.2.2基于光圈编码的去散焦模糊去散焦模糊：最大后验概率优化的反卷积257Wiener反卷积4.2光圈编码成像4.2.2基于光圈编码的去散焦模糊结果258提纲1.摄像的发展2.数码成像3.计算成像4.计算光场成像5.计算光谱成像6.实际中的计算摄像2595.1概念5.1.1光谱（spectrum）光学频谱，是复色光经过色散系统（如棱镜、光栅）分光后，被色散开的单色光按波长（或频率）大小而依次排列的图案。2605.1概念5.1.1光谱分类按照波长区域紫外光谱可见光谱红外光谱微波（雷达）2615.1概念5.1.1光谱分类按照产生方式发射光谱物体自行发光形成的光谱吸收光谱连续光谱被吸收部分波长光后的光谱散射光谱光照射物质形成的非弹性散射光谱2625.1概念5.1.2光谱成像光谱提供物质的属性信息263太阳光源大气分子/悬浮颗粒物大气分子石油、岩石、植被…光谱属性5.1概念5.1.2光谱成像以遥感成像为例遥感传感器接收的光谱是经过大气过滤（散射、吸收）波长超过近红外的光谱一般不考虑大气影响2645.1概念5.1.2光谱成像以遥感成像为例对地观测的遥感系统主要通过散射和地表发射光谱获取信息太阳辐射散射热红外雷达波成像2655.1概念5.1.2光谱成像以遥感成像为例光谱反射率（spectrumreflectance）2665.1概念5.1.2光谱成像问题空间分辨率：图像细节，表示为像素单元覆盖的地面尺度谱分辨率：可区分的波长范围辐射分辨率：量化光谱强度的位数解决方案传感器性能计算