计算摄像学专题第七讲.ppt

计算摄像学专题第七讲多视角立体动态三维重建,戴琼海李坤清华大学自动化系,第五讲提纲,2.1多摄像机系统的几何和颜色校准,2.2动态场景三维重建方法,2.3动态场景高帧率三维重建,真实物体的“数字副本”允许我们观察物体细节衡量一些属性重新生成不同材质应用文化资产保存计算机游戏和电影城市建模电子商务三维物体识别/场景分析,三维模型,应用：文化资产,应用：艺术,DomainSeriesDomainVIIICrouching1999Mildsteelbar81x59x63cm,BlockWorksPrecipitateIII2004Mildsteelblocks80 x46x66cm,应用：结构设计,?,应用：三维检索,应用：大尺度建模,Pollefeys08,Furukawa10,Goesele07,Cornelis08,扫描技术,激光扫描仪，坐标测量仪非常精确非常昂贵运用复杂,Minolta,ConturaCMM,“Michelangelo”project,结构光,Zhang02,扫描技术,多视角立体方法,给定同样的材质、视角和光照，估计一个可以产生与输入图像相同效果的三维模型,几何,图像,?,Real,Replica,多视角立体方法,给定同样的材质、视角和光照，估计一个可以产生与输入图像相同效果的三维模型,效果主要依赖于材质和光照,刚性,可变形,有纹理,无纹理,多视角立体方法,无纹理,有纹理,刚性,可变形,效果主要依赖于材质和光照,多视角立体方法,多视角立体方法是:实用的快速的无需外界介入的低成本容易扩展到室外低精度结果依赖于材质,多视角立体方法,图像获取,多视角立体框架,图像获取,工作室可控环境不可控环境手持设备未知光照互联网未知内容视频帧间运动小数据量大,工作室图像获取,室外图像获取,互联网图像获取,.,视频图像获取,多视角立体框架,摄像机位姿,摄像机位姿,机器臂标记由运动恢复形状(SfM)从无序图片中恢复形状,小场景,大场景,三维重建=三维分割,多视角立体框架,三维点的图像一致性对应,一致的点,不一致的点,三维点的图像一致性对应,三维点的图像一致性对应,图像一致性的挑战,摄像机可见性比较法则失效重复的纹理缺少纹理镜面反射,多视角立体方法,比较与评测：AComparisonandEvaluationofMulti-ViewStereoReconstructionAlgorithms,S.Seitzetal.,CVPR2006,vol.1,pages519-526.早期的算法：RepresentingstereodatawiththeDelaunaytriangulation,O.Faugerasetal.,ArtificialIntelligence,44(1-2):41-87,1990.Amultiple-baselinestereo,M.OkutomiandT.Kanade,TPAMI,15(4):353-363,1993.Object-centeredsurfacereconstruction:Combiningmulti-imagestereoandshading,P.Fua,Y.Leclerc,InternationalJournalofComputerVision,vol.16:35-56,1995.Aportablethree-dimensionaldigitizer,Y.Matsumotoetal.,Int.Conf.onRecentAdvancesin3DImagingandModeling,197-205,1997.PhotorealisticSceneReconstructionbyVoxelColoring,S.M.SeitzandC.R.Dyer,CVPR.,1067-1073,1997.Variationalprinciples,surfaceevolution,PDEs,levelsetmethodsandthestereoproblem,O.FaugerasandR.Keriven,IEEETrans.onImageProcessing,7(3):336-344,1998.,比较与评测：AComparisonandEvaluationofMulti-ViewStereoReconstructionAlgorithms,S.Seitzetal.,CVPR2006,vol.1,pages519-526./mview/最新的算法非常好的精确性和完整性很多都是针对视角少的情况离线算法，没有反馈,多视角立体方法,不同方法*,变分,区域增长,深度图融合,Kolev08Campbell08Vogiatzis07Hernandez04,Furakawa07Habecke07Goesele07Lhuillier02,Yoon10Gargallo07Pons05Jin05Keriven98,Bradley08Pollefeys08Kolmogorov02,Strecha06,局部全局,3dDelaunay,Labatut07,Vu09,*声明:分类三维算法是很有挑战性的,最灵活的算法,优点,特点,缺点,第五讲提纲,多视角视频重建动态三维场景,二,2.1多摄像机系统的几何和颜色校准,2.2动态场景三维重建方法,2.3动态场景高帧率三维重建,直径米,40个相机,颜色校准物,600个LED,MVML(多光照多相机)采集系统，实现动态光场的可控采样,硬件系统设计及校准,多视角视频数据发布,数据库发布,多摄像机系统的几何校准,某些元素空缺,解决方法：合理分组,分组方法以每个摄像机为顶点，以边相连，边的权重为所连两摄像机之间的公共姿态数分组条件每组中任意两摄像机的权重需大于或等于t不同组间的i对相邻摄像机中有多于i-1对的权重大于或等于t分组的数目i越小越好分为i组时的最优分法对应的值应该最大,多摄像机系统的颜色校准,目标单相机调整颜色响应，与标准颜色空间建立已知关系多相机保证相机之间的颜色一致性方法硬件调整(PAMI07)后处理(IMT07)二者兼有(ICCV05),大规模摄像机阵列的颜色校准,从单相机到多相机场景统计(RingCam)调整每个相机的增益和亮度来匹配预定的黑水平和平均亮度值再次调整这些量来匹配相邻相机重叠区域的颜色值对预定值的选择敏感仅能保证相邻相机间的颜色一致性,大规模摄像机阵列的颜色校准,从单相机到多相机标准颜色板第一个保证相机间颜色一致性的多相机颜色校准方法(Joshi等)线性拟合34变换迭代闭环方法(Ilie等),仅适用于平面摄像机阵列系统,大规模摄像机阵列的颜色校准,对于非平面系统多视角立体+校准(PAMI07)Yamamoto等(IMT07)非硬件调整人工参与,大规模摄像机阵列的颜色校准,本课题方法设计一种新的全向颜色校准物全自动、不需要人工参与精确建立全局对应关系将问题转化为线性方程组求解保证所有相机间的颜色一致性通过动态范围整形保证采集图像的高对比度软硬件迭代求解，减小误差，提高求解精度,全新全向颜色校准物,一张具有朗伯反射表面的硬纸160(820)色块6cm6cm方块H:6cm;V:3cm,全局对应的建立,43,SIFT局部描述子+基于区域的相关性将成对的匹配串成全局对应,线性方程组的建立,相机间颜色一致性对于全局对应em中的所有相关相机，有,线性方程组的建立,45,动态范围整形计算每个全局对应的平均值将所有全局对应的平均值以升序排列选择排序后的前t%和后t%个全局对应作为黑水平集合和白水平集合对于,线性方程组的建立,相机参数设置PointGreyFlea2相机软硬件迭代次数5,实验结果,在真实系统上的实验,在合成图像上的实验,实验结果合成图像,48,实验结果合成图像,实验结果平面系统,实验结果平面系统,实验结果非平面系统,实验结果非平面系统,实验结果非平面系统,第五讲提纲,多视角视频重建动态三维场景,二,2.1多摄像机系统的几何和颜色校准,2.2动态场景三维重建方法,2.3动态场景高帧率三维重建,国内外研究现状,静态三维重建三维激光扫描仪昂贵、耗时、被扫描者需在扫描期间保持静止不动由X恢复形状（ShapefromX）由阴影恢复形状（Shapefromshading）由轮廓恢复形状（Shapefromsilhouette）由立体匹配恢复形状（Shapefromstereo）光度立体多视角立体,2.2动态场景三维重建方法,动态三维重建运动捕捉带标记的方法附着许多光学标记或者在衣服上印刷标记图案需穿紧身衣服需要额外的人工后处理工作耗时无标记的方法运动学骨骼使用三维扫描仪双手握拳，褶皱保留,国内外研究现状,多视角视频输入,深度点云生成,基于低秩内在特性融合优化参数化表面,保体积运动恢复,空间数据感知,基于多视角视频序列的动态场景重建,运动数据感知,所提出的优化函数对极几何约束亮度一致性约束梯度一致性约束光滑约束多尺度求解策略避免陷入局部最小,空间数据感知：多视角立体静态三维重建,所提出的优化函数,空间数据感知：多视角立体静态三维重建,数值解法两种非线性非线性的数据项约束非平方项惩罚因子：泰勒展开+两层定点迭代多尺度求解策略：避免陷入局部最小非线性+非凸仔细初始化的重要性可视化凸壳等,空间数据感知：多视角立体静态三维重建,针对现有三维重建不能同时保证精确性和完整性的问题，提出了基于变分的“分离”+“融合”的三维重建方法，评测国际排名第七,空间数据感知：多视角立体静态三维重建,实验结果,空间数据感知：多视角立体静态三维重建,空间数据感知：多视角立体静态三维重建,空间数据感知：多视角立体静态三维重建,运动数据感知：基于矩阵恢复的运动估计和体变形,初始运动估计,相邻两个视角求取场景流光流场，通过解线性系统求解三维场景流（最小二乘方法）,Highaccuracyopticalflowestimationbasedonatheoryforwarping(ECCV04)T.Brox,A.Bruhn,N.Papenberg,andJ.Weickert,Three-dimensionalsceneflow(PAMI05)SundarVedula,SimonBaker,PeterRander,RobertCollinsandTakeoKanade,光流,Jacobian矩阵,场景流,运动数据感知：基于矩阵恢复的运动估计和体变形,利用矩阵恢复优化,运动数据感知：基于矩阵恢复的运动估计和体变形,空时联合选择位置约束,运动数据感知：基于矩阵恢复的运动估计和体变形,空域一致性时域一致性运动平滑性约束,迭代拉普拉斯体变形表面mesh体mesh：TetGen交替迭代给定初始v0，找到最优的旋转Ri建立相关矩阵S=VVTSVD:S=UWTRi=UWT给定Ri（固定不变），通过最小化以下能量函数来找到新的v,Aqualitytetrahedralmeshgeneratorandthree-dimensionaldelaunaytriangulator(TR04)H.Si,运动数据感知：基于矩阵恢复的运动估计和体变形,运动数据感知：基于矩阵恢复的运动估计和体变形,运动数据感知：基于矩阵恢复的运动估计和体变形,运动数据感知：基于矩阵恢复的运动估计和体变形,运动数据感知：基于矩阵恢复的运动估计和体变形,第五讲提纲,多视角视频重建动态三维场景,二,2.1多摄像机系统的几何和颜色校准,2.2动态场景三维重建方法,2.3动态场景高帧率三维重建,国内外研究现状,高速动态三维重建高速摄像机(ACMToG2009)低速摄像机+时空间插采样(ACMToG2005),平面光场,价格高、存储有限,动态场景高帧率三维重建,空时采样,空时采样空间采样：摄像机采样间隔，摄像机位置时间采样：各个摄像机的拍摄时刻分组间插采样：时空相关性，连续性，冗余性；时间采样率空间采样率=C,时间插值,Motion:Texture:,空间插值,Motion:Texture:,空时融合,2-DDWT基函数,顶行：实部底行：虚部,2-DDDWT基函数,2-DDWT缺少方向性时移变换性2-DDDWT多方向性时移不变性冗余性2m:1对于m维信号,基于双树离散小波变换能量谱的关键点提取,基于形状上下文的关键点匹