《现代计算机图形学基础》课件 chap7-图形学方法的影像处理_第1页
《现代计算机图形学基础》课件 chap7-图形学方法的影像处理_第2页
《现代计算机图形学基础》课件 chap7-图形学方法的影像处理_第3页
《现代计算机图形学基础》课件 chap7-图形学方法的影像处理_第4页
《现代计算机图形学基础》课件 chap7-图形学方法的影像处理_第5页
已阅读5页,还剩154页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

计算机图形学第七章图形学方法的影像处理供《现代计算机图形学基础》配套使用1传统图像与图形的区别图像位图,以像素为单位记录色彩信息2图形矢量图,以图元为单位记录色彩、形状等信息基本组成元素:像素基本组成元素:非像素提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑31.1概念1.1.1分割与抠图将图像或视频划分为多个区域的过程4分割(segmentation):硬分割‘0’或‘1’抠图(matting):软分割‘0~1’1.1概念1.1.1分割与抠图对于微小特征的物体,抠图提供了更加精细的划分方式运动模糊或者微小的特征,比如头发引起的像素的部分遮挡5超级采样像素像素1.1概念1.1.1分割与抠图6分割

合成结果抠图合成结果原图像1.1概念1.1.2抠图定义对每个像素赋予‘0~1’的值

明确的背景

明确的前景否则是混合的71.1概念1.1.2抠图定义高度“病态”问题:对每个像素而言,有7个未知量,但是只有3个方程1.2图像抠图方法基本策略引入先验知识作为约束,将病态问题转化为可求解问题减少未知量的数目,最优化抠图函数91.2图像抠图方法蓝屏抠图(背景已知)自然图像抠图(背景未知)基于Trimap输入贝叶斯抠图泊松抠图基于笔画输入最小二乘抠图闭形式抠图闪光抠图101.2图像抠图方法1.2.1蓝屏抠图思想:指定单一的背景颜色,将待抠取的物体置于背景前面方法:早期采用蓝色背景,后来绿色更为流行50年代,PetrosVlahos发明了蓝屏抠图ultimatte®,曾获奥斯卡终身成就奖111.2图像抠图方法1.2.1蓝屏抠图背景颜色和前景部分颜色作为已知条件BR=0,BG=0抠图函数:对于每个像素具有4个未知量,3个方程12已知已知1.2图像抠图方法1.2.1蓝屏抠图如果前景物体不含B通道颜色FB=0简化方程为3个未知数依次计算,,13已知已知1.2图像抠图方法1.2.2自然图像抠图输入:1个输入图像,背景未知先验:用户交互输入Trimap输入笔画优化贝叶斯泊松最小二乘法闭形式141.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-1贝叶斯抠图输入:Trimap图初始前景(F)和背景(B)颜色:复制来自相邻像素的颜色来猜测在混合区域中的F值、B值15给定F,B,求解用

估计F,B使用F,B更新1.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-1贝叶斯抠图抠图函数:贝叶斯函数16给定待求区域像素与前景相似性与背景相似性1.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-1贝叶斯抠图抠图函数:贝叶斯函数17给定待求区域像素最大似然概率贝叶斯定律1.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-1贝叶斯抠图结果181.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-2泊松抠图思想:假设前/背景区域的颜色变化均匀,抠图值

的梯度模拟图像的梯度191.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-2泊松抠图抠图函数:泊松方程假设Fp和Bp取自最近

前景和背景像素的颜

色值关于抠图值的优化

函数20未知区域前景区域背景区域1.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-2泊松抠图抠图函数:泊松方程假设Fp和Bp取自最近

前景和背景像素的颜

色值关于抠图值的优化

函数更新Trimap图211.2图像抠图方法1.2.2自然图像抠图:基于Trimap图1.2.2-2泊松抠图结果22输入贝叶斯抠图泊松抠图1.2图像抠图方法1.2.3自然图像抠图:基于笔画图1.2.3-1最小二乘优化抠图思想:以笔画抠图值作为先验,并作为前景和背景合成的预估值,优化其与像素值之间差异;相邻像素具有相近的抠图值231.2图像抠图方法1.2.3自然图像抠图:基于笔画抠图1.2.3-1最小二乘优化抠图抠图函数:最小二乘函数24N

是像素数N(p)定义p的一个邻域

对给定的的估计颜色值1.2图像抠图方法1.2.3自然图像抠图:基于笔画抠图1.2.3-2闭形式抠图思想:在局部窗口范围内,

前景F和背景B近似常数25对于每个像素i1.2图像抠图方法1.2.3自然图像抠图:基于笔画抠图1.2.3-2闭形式抠图抠图函数:26正则化项

误差函数1.2图像抠图方法1.2.3自然图像抠图:基于笔画抠图1.2.3-2闭形式抠图对于彩色图像,局部窗口范围内颜色位于一条颜色线271.2图像抠图方法281.2.3自然图像抠图:基于笔画抠图1.2.3-2闭形式抠图抠图函数:观察:F、B在局部窗口的颜色是位于一条颜色线上1.2图像抠图方法291.2.3自然图像抠图:基于笔画抠图1.2.3-2闭形式抠图结果291.2图像抠图方法1.2.4自然图像抠图:基于闪光图思想:同时拍摄正常/闪光图像增加约束条件301.2图像抠图方法1.2.4自然图像抠图:基于闪光抠图方法:31闪光图像非闪光图像仅闪光图像

仅闪光的图像的背景是黑的贝叶斯抠图1.2图像抠图方法321.2.4自然图像抠图:基于闪光图结果1.3视频抠图方法视频抠图思想:结合视频运动在帧间传播抠图值33输入视频关键帧图插值图1.3视频抠图方法视频抠图方法:以关键帧的抠图值作为初始值,通过双向传播插值中间帧的抠图值,并进一步精细处理,生成中间帧抠图结果34提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑352.1概念图像/视频在不同终端显示时,面临画面尺寸变化的问题。通过缩放减少或者扩展图像的大小去适应不同的显示屏幕。362.1概念图像处理(不)等比例缩放、裁剪图形处理内容感知的画面增删或变形37不等比例缩放等比例缩放裁剪缝隙增删2.2图像缩放方法2.2.1缝隙增删思想:通过在图像中增加水平和竖直方向连续的缝隙进行扩大或缩小图像缝隙:图像中连通的低能量像素通路,并且每行或者每列只包含一个像素382.2图像缩放方法2.2.1缝隙增删方法定义缝隙为图像中穿过较低视觉显著性区域的连线39缝隙梯度图视觉显著性2.2图像缩放方法2.2.1缝隙增删方法定义缝隙为图像中穿过较低视觉显著性区域的连线动态规划寻找符合条件的缝隙40竖直线最优缝隙2.2图像缩放方法2.2.1缝隙增删方法定义缝隙为图像中穿过较低视觉显著性区域的连线动态规划寻找符合条件的缝隙删除缝隙,调整图像尺寸412.2图像缩放方法2.2.1缝隙增删结果(Demo)42局限性效率低难以保持图像结构2.2图像缩放方法2.2.2网格变形思想:以目标尺寸为约束,对原始图像进行结构保持的变形432.2图像缩放方法2.2.2网格变形方法:变形网格的相似变换442.2图像缩放方法2.2.2网格变形方法:变形网格的相似变换45均匀缩放比例缩放边界条件2.2图像缩放方法2.2.2网格变形方法:结构图像梯度+图像显著度梯度:图像局部结构分部显著度:视觉注意区域在变形时保持结构较少的变化46梯度图显著图结构图原始图2.2图像缩放方法2.2.2网格变形方法:求解自适应网格设置:更具结构重要性图放置网格顶点简单缩放作为初值:472.2图像缩放方法2.2.2网格变形

结果(Demo)48原始图缝隙增删网格变形局部线结构扭曲2.3视频缩放方法视频缩放的难点逐帧进行缝隙增删导致了严重的扭曲缺乏时序的一致性思想视频看做立方体,寻找时空一致的缝隙增删49?2.3视频缩放方法基于图割优化的缝隙增删最优缝隙的特点单调性:每行一个像素连通性:每条缝隙将图像划分为两个连通区域502.3视频缩放方法基于图割优化的缝隙增删视频立方体的三维图构造:单帧单向边的权值回溯方向边的权值51STpi+1,jpi,jpi+1,j+1pi,j+1

y

x

x

ypi,jpi,j+1pi+1,jpi+1,j+1

y

y

x

xpijpi,j+1pi+1,jpi+1,j+1∞∞∞∞E1E1∞∞单帧图割优化等价于动态规划缝隙2.3视频缩放方法基于图割优化的缝隙增删视频立方体的三维图构造52FrametFramet+1Framet+2时间视频体2.3视频缩放方法基于图割优化的缝隙增删视频立方体的三维图优化53源点终点ST原图和目标图分别通过无限加权的弧被创建和连接到图像的最左最右列的像素里。2.3视频缩放方法基于图割优化的缝隙增删

结果(Demo)54提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑553.1概念3.1.1图像/视频融合(Image/videoblending/composition)将图像/视频中提取的对象合成到另外一张图像/视频,生成视觉上自然的新图像/视频563.1概念3.1.1图像/视频融合(Image/videoblending/composition)通过透明度alpha融合,可以消除不同图像之间的边界,生成连续的画面57无融合透明度融合3.1概念3.1.2融合方式简单透明度融合58自适应内容融合3.2图像融合方法3.2.1泊松融合思想:原图像的梯度嵌入到目标图像,根据目标图像的颜色恢复原图像中物体59简单融合泊松融合原图像目标图像3.2图像融合方法3.2.1泊松融合方法原图像梯度:目标图像颜:重叠区域:60重叠区域融合3.2图像融合方法3.2.1泊松融合方法:融合函数转化为泊松方程61关于融合图像颜色的线性方程组3.2图像融合方法3.2.1泊松融合结果62简单融合泊松融合3.2图像融合方法3.2.2基于均值坐标插值的融合思想:将图像融合转化为给定边界的插值问题,通过插值过程生成融合结果63输入插值函数融合结果3.2图像融合方法3.2.2基于均值坐标插值的融合方法多边形的均值坐标643.2图像融合方法3.2.2基于均值坐标插值的融合方法多边形的均值坐标覆盖区域的边界为多边形进行插值65Delaunay三角化加速插值计算3.2图像融合方法3.2.2基于均值坐标插值的融合结果(Demo)663.3视频融合方法视频融合的难点融合后保持原视频物体的结构,同时和目标视频背景形成连续边界过渡融合后保持帧间混合的连续性其他影响运动模糊阴影673.3视频融合方法基于梯度域的视频融合思想:在梯度域上混合原视频物体和目标视频背景,以保持物体结构;通过光流进行运动物体对其和帧间重叠区域边界的连续变化683.3视频融合方法基于梯度域的视频融合方法帧间连续的重叠区域边界693.3视频融合方法基于梯度域的视频融合方法重叠区域帧间连续的边界变化重叠区域帧间连续的梯度变化基于均值坐标的插值快速求解泊松方程70高斯滤波重叠区域第i个像素梯度3.3视频融合方法基于梯度域的视频融合结果(Demo)71提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑724.1概念4.1.1图像/视频拼接(stitching)组合两张或者更多张具有重合区域的图像/视频,生成一张更大视角范围的图像/视频734.1概念4.1.1图像/视频拼接(stitching)组合两张或者更多张具有重合区域的图像/视频,生成一张更大视角范围的图像/视频普通相机FOV=50x35人眼FOV=200x120全景FOV=360x180猫狗兔人4.1概念4.1.1图像/视频拼接(stitching)硬件方案鱼眼相机固定相机阵列固定配置散乱配置75成本高,使用不方便4.1概念4.1.1图像/视频拼接(stitching)软件方案基于运动信息的在线方案基于特征匹配的离线方案76扭曲、重影、计算效率等问题4.1概念4.1.2一般算法检测特征点(SIFT)匹配特征点(RANSAC)计算图像间变换投影到共同区域774.2图像拼接方法4.2.1尽可能单应变换拼接方法思想:采用空间分布的局部单应变换集合取代单一的整体单应变换进行拼接(as-projective-as-possible)78整体单应变换局部单应变换4.2图像拼接方法4.2.1尽可能单应变换拼接方法方法:通过移动直接线性变换(movingdirectlineartransformation)描述不同位置的最优单应变换传统单应变换计算DLT794.2图像拼接方法4.2.1尽可能单应变换拼接方法方法:通过移动直接线性变换(movingdirectlineartransformation)描述不同位置的最优单应变换移动DLT:每个位置定义关于匹配特征点的单应变换804.2图像拼接方法4.2.1尽可能单应变换拼接方法结果814.2图像拼接方法4.2.2形状保持的半单应变换拼接方法思想:重合区域减小特征匹配误差,非重合区域保持形状(shape-preservinghalf-projective)82单应变换单应+相似变换(SPHP)4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法方法:重合区域采用单应变换,非重合区域采用从单应变换到相似变换的渐变变换83扭曲4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换的坐标系转换84线性映射HScaleupScaledown4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换到相似变换对于单应变换,随着u增大,扭曲变大给定常值u,单应变换是线性85HScaleupScaledown相似变换H4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换到相似变换的直接混合86HS产生突变4.2图像拼接方法4.2.2形状保持的半单应变换拼接方法单应变换到相似变换的连续渐变S区域:相似变换T区域:渐变区域H区域:单应变换874.2图像拼接方法4.2.2形状保持的半单应变换拼接方法结果88输入AutoStitchSPHP单应变换4.2图像拼接方法4.2.3自适应变换拼接方法思想:通过局部单应变换和相似变换的混合,实现特征匹配和形状保持89移动DLT自适应拼接4.2图像拼接方法4.2.3自适应变换拼接方法方法局部单应变换:线性化移动DLT通过Taylor展式,将局部单应变换进行线性化90边界加权4.2图像拼接方法4.2.3自适应变换拼接方法方法整体相似变换:根据匹配的特征点计算最优平移、旋转和伸缩因子,生成整体相似变换914.2图像拼接方法4.2.3自适应变换拼接方法方法自适应插值单应变换与相似变换92参考图像中心目标图像中心4.2图像拼接方法4.2.3自适应变换拼接方法结果934.3视频拼接方法视频拼接的难点不同视角拍摄视频的视差大视差的视频帧拼接容易产生重影现象拼接视频帧间的时空连续性各帧单独拼接容易产生帧间视觉跳跃944.3视频拼接方法4.3.1基于三维重建的视频拼接思想:基于图像的三维重建获取相机空间运动路径,然后生成新的拼接视频的相机路径,重构拼接视频帧序列954.3视频拼接方法4.3.1基于三维重建的视频拼接方法CoSLAM重建三维场景及相机运动路径合成拼接视频相机运动路径964.3视频拼接方法4.3.1基于三维重建的视频拼接方法CoSLAM重建三维场景及相机运动路径合成拼接视频相机运动路径特征保持的视频帧变形97FeatureTermLineTermEpipolarTermCoherenceTermframet-1frametframet+1二次函数4.3视频拼接方法4.3.1基于三维重建的视频拼接结果984.3视频拼接方法4.3.2基于内容保持的时空变形拼接思想:采用时空连续的局部内容保持的变形,实现视频帧的帧间连续拼接994.3视频拼接方法4.3.2基于内容保持的时空变形拼接方法整体预对齐100同一视频相邻帧不同视频同时刻帧4.3视频拼接方法4.3.2基于内容保持的时空变形拼接方法整体预对齐局部内容保持的变形101特征点对齐相邻网格点相邻局部变形帧间特征点帧间网格点帧间局部变形4.3视频拼接方法4.3.2基于内容保持的时空变形拼接方法整体预对齐局部内容保持的变形时空三维图割优化计算拼接线1024.3视频拼接方法4.3.2基于内容保持的时空变形拼接结果1034.4图像/视频拼接矩形化4.4.1拼接边界的矩形规则化处理图像/视频拼接后,往往产生不规则的边界,需要进一步规则化处理,恢复矩形边界,更好地播放内容104不规则边界矩形边界4.4图像/视频拼接矩形化4.4.2图像的矩形规则化处理矩形边界约束的网格变形具有矩形边界的网格(增加缝隙,局部变形)网格驱动的保形变形(全局变形)1054.4图像/视频拼接矩形化4.4.2图像的矩形规则化处理矩形边界约束的网格变形具有矩形边界的网格(增加缝隙,局部变形)网格驱动的保形变形(全局变形)线约束106

4.4图像/视频拼接矩形化4.4.2图像的矩形规则化处理结果1074.4图像/视频拼接矩形化4.4.2视频的矩形规则化处理借助运动估计建立帧间连续的矩形化网格变形特征点跟踪线匹配108

形状保持线保持运动保持边界约束4.4图像/视频拼接矩形化4.4.2视频的矩形规则化处理结果109提纲1.影像抠图2.影像缩放3.影像融合4.影像拼接5.影像编辑1105.1概念图像/视频编辑定义通过图像/视频的颜色、形状、结构等信息的改变,生成新形式的图像/视频111+=颜色迁移形状变形编辑传播5.1概念图像/视频编辑要求图像内容的一致性视频帧间的连续性认知理解的正确性1125.2颜色迁移5.2.1定义从其他图像或用户交互中提供的色彩作为模板,修正目标图像的颜色,使其满足模板色彩1135.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移思想:在色相、色温等颜色特征空间按照图像内容的连续性进行迁移114色相色温5.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移算法流程115色相空间部分通过基于二值匹配的算法学习空间连贯性处理输入输出5.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移方法:色相划分将两个极小值点之间的部分作为一个直方图块,即容器。源图像和模板图像做同样的划分迁移过程是将源图像的每个容器都映射到模板中找到对应容器1165.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移方法:色相匹配117对应容器块之间的能量源色调值迁移至模板色调值5.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移方法:通过去除伪边界效应提高空间连续性1185.2颜色迁移5.2.2方法5.2.2-1基于特征匹配的颜色迁移结果119输入模板结果输入模板失败的结果Yellowsky5.2颜色迁移5.2.2方法5.2.2-2基于笔画约束的颜色迁移思想:用户交互的笔画颜色值作为种子,迁移至对应的区域(灰度图着色)1205.2颜色迁移5.2.2方法5.2.2-2基于笔画约束的颜色迁移方法:灰度相近的相邻像素,在迁移后具有相近的颜色;以笔画颜色作为约束,优化局部颜色相似性121相邻像素的相似性视频邻域5.2颜色迁移5.2.2方法5.2.2-2基于笔画约束的颜色迁移结果1225.3编辑传播5.3.1定义将图像/视频局部编辑的结果传播到其余部分,从而只需要用户输入较小的信息集,便可实现图像/视频编辑1235.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播思想:相似外观的区域接受相近的编辑,或者构造颜色、空间等相似区域进行编辑1245.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播方法:优化图像空间的相似性函数125空间位置像素表观:局部颜色均值/方差等5.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播方法:优化图像空间的相似性函数126编辑区域有相似的表现满足用户编辑g的约束wj:指定满足约束条件像素的权重没有第二项有第二项5.3编辑传播5.3.2方法5.3.2-1基于区域相似性的编辑传播结果1275.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播思想:通过空间自适应剖分加快传播函数的计算速度,提高编辑传播效率1285.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播方法:将图像映射到特征空间(坐标+颜色),对特征空间进行K-D树划分,建立层次结构129appearancepositions特征空间特征向量输入图像5.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播用户交互映射到特征空间130用户交互5.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播用户交互映射到特征空间特征空间的K-D树划分相似的编辑在特征空间具有相似关系连续性体现在相似关系的特征空间131每个叶节点作为一个簇编辑传播在K维树单元转角5.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播用户交互映射到特征空间特征空间的K-D树划分线性插值K-D树节点快速生成编辑传播后特征映射回图像空间,得到编辑结果1325.3编辑传播5.3.2方法5.3.2-2基于K-D树的快速传播结果(Demo)133K-DTreespace:45M

time:13sAppPropspace:33G

time:70min5.4图像变形5.4.1定义通过操控图像定义域,改变图像中物体的几何形状,实现图像整体或局部的变形像素域(图像方法)参数域(图形方法)1345.4图像变形5.4.1定义像素域(图像方法)变形根据变形函数逐像素改变输入图像,生成变形后的图像135h原图相似仿射投影5.4图像变形5.4.1定义像素域(图像方法)变形相似变形136二维尺度、旋转和平移变换的组合。允许一个正方形被转换成任何旋转的矩形。线之间的夹角被保留自由度为4(a,b,c,d)逆是相同的表示(相似性)。通过2x3矩阵的逆来给出5.4图像变形5.4.1定义像素域(图像方法)变形仿射变形137二维尺度、旋转、剪切和平移变换的组合。允许一个正方形扭曲成任何平行四边形。自由度为6(a,b,c,d,e,f)逆是相同表示(也就是仿射)。通过3x3矩阵的逆给出在二维的3个点,6个自由度控制一个三角形的扭曲是良好的。5.4图像变形5.4.1定义像素域(图像方法)变形投影变形138线性分子和分母如果G=H=0,那么你一个特殊情况的仿射允许一个正方形被扭曲成任何四边形自由度为8(a-h)。我们可以选择i

=1或者任意逆是同一形式(也就是投影)。在二维空间的4个点确定自由度为8,来控制四边形扭曲。5.4图像变形5.4.1定义参数域(图形方法)变形通过控制点或嵌入网格顶点的变形,驱动图像进行相应的变形变形后的图像满足控制点位置的几何约束1395.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形思想:采用多重局部几何变换的加权作用,实现图像的整体变形,满足控制点约束140单一整体几何变换多重局部几何变换5.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形方法:给定每一个像素,计算变形函数,在最小二乘优化意义下满足控制点约束1415.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形方法:给定每一个像素,计算变形函数,在最小二乘优化意义下满足控制点约束142局部定义变形满足几何性质插值光滑控制点不变性5.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形仿射变换的显式解143其中5.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形相似变换的显式解144其中5.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形刚性变换的显式解1455.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形仿射变换、相似变换、刚性变换1465.4图像变形5.4.2方法移动最小二乘(movingleastsquare)变形结果(Demo)1475.5视频去抖5.5.1定义借助硬件或者算法处理视频帧序列,使得运动环境下拍摄的视频仍能够具有平稳的帧间运动148TripodDollySteadicam硬件方法5.5视频去抖5.5.1定义借助硬件或者算法处理视频帧序列,使得运动环境下拍摄的视频仍能够具有平稳的帧间运动149算法:数字去抖5.5视频去抖5.5.1定义数字去抖150运动平滑运动补偿运动估计帧间运动平滑路径图像变形5.5视频去抖5.5.2方法2维方法将帧间运动描述为平面光流或者几何变换序列,借助低通滤波(高斯滤波)进行运动平滑5.5视频去抖5.5.2方法3维方法借助三维重建恢复三维空间中的相机运动路径,并通过路径平滑处理,获得运动稳定的帧图像Demo5.5视频去抖5.5.2方法延时视频去抖Timelapse,缩时摄影或这缩时录影,将时间压缩制作视频形式连续播放1535.5视频去抖5.5.2方法延时视频去抖Hyperlapse,拍摄位置发生变化的延时视频3维去抖方法154三维空间路径估计及平滑平滑路径上的重绘制拼接与融合Demo参考文献Bluescreenmatting.Smith,A.R.andBlinn,J.F.Siggraph,1996.Softedgechroma-keygenerationbaseduponhexoctahedralcolorspace.Y.Mishima.U.S.Patent5355174,1993.ABayesianapproachtodigitalmatting.Y.Chuang,B.Curless,D.Salesin,andR.Szeliski.CVPR2001.Alphaestimationinnaturalimages.Ruzon,M.A.andTomasi,C.CVPR,2000.Poissonmatting.J.Sun,J.Jia,C.Tang,H.Shum.SIGGRAPH2004.Aniterativeoptimizationapproachforunifiedimagesegmentationandmatting.J.Wang,M.Cohen.ICCV2005.Spectralmatting.A.Levin,A.Rav-Acha,D.Lischinski.CVPR2006.Easymatting:astrokebasedapproachforcontinuousimagematting.Y.Guan,W.Cheny,X.Liang,Z.Ding,Q.Peng.Eurographics2006.Aclosedformsolutiontonaturalimagesmatting.A.Levin,D.LischinskiandY.Weiss.CVPR2006.Digitalphotographywithflashandno-flashimagepairs.G.Petschnigg,M.Agrawala,H.Hoppe,R.Szeliski,andM.Cohen.Siggraph,2004.155参考文献Imagesnapping.M.Gleicher.SIGGRAPH1995.Intelligentscissors.EricMortensenandWilliamA.Barrett.SIGGRAPH1995.Lazysnapping.Y.Li,J.Sun,C.-K.Tang,H.Shum.SIGGRAPH2004.Videoobjectcutandpaste.Y.Li,J.Sun,H.-Y.Shum.SIGGRAPH2006.Interactivevideocutout.J.Wang,P.Bhat,A.Colbun,etal.SIGGAPH2005.Naturalvideomattingusingcameraarrays.N.Joshi,W.Matusik,S.Avidan.SIGGRAPH2006.Imageandvideomatting:asurvey.J.Wang,F.Cohen.FoundationsandTrends.Anoverviewofimageandvideosegmentationinthelast40years.Y.-J.Zhang.2001.Imagesegmentation.A.-P.Dhawan.Medicalimageanalysis,2010.Videosegmentationanditsapplication.K.Ngan,H.-L.Li.Springer,2011.156参考文献Colortransferbetweenimages.E.Reinhard,M.Ashikhmin,B.Gooch,andP.Shirley.IEEEComput.Graph.Appl.,2001.Transferringcolortogreyscaleimages.T.Welsh,M.AshikhminandK.Mueller.ACMTOG,2002.Colorizationusingoptimization.A.Levin,D.Lischinski,Y.Weiss.ACMTOG,2004.Example-basedpaintingguidedbycolorfeatures.HuaHuang,YuZang,Chen-FengLi.TheVisualComputer,2010.Seamcarvingforcontentawareimageresizing.Avidan,S.,AndShamir,A.,ACMTOG,2007.Optimizedscale-and-stretchforimageresizing.Wang,Yu-ShuenandTai,Chiew-LanandSorkine,OlgaandLee.ACMTOG,2008Real-timecontent-awareimageresizing.HuaHuang,TianNanFu,PaulLRosin,andChunQi.ScienceinChin

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论