计算机辅助文物复原中的若干问题研究ppt课件.ppt

计算机辅助文物复原中的若干问题研究 1 基础知识 1图形学的研究内容23Ddatatypes32 DData4Reconstruction5RangeAcquisitionMethods 2 3 MainThemes ImagingRepresenting2DimagesModelingRepresenting3DobjectsRenderingConstructing2Dimagesfrom3DmodelsAnimationSimulatingchangesovertime 4 Modeling Design GraphicsforEngineeringandArchitecturalSystem AutoCAD2002 InteriorDesign 5 Modeling Reconstruction 6 3DDataTypes PointData Pointclouds Advantage simplestdatatypeDisadvantage noinformationonadjacency connectivityVolumetricDataRegularly spacedgridin x y z voxels Foreachgridcell storeOccupancy binary occupied empty DensityOtherpropertiesPopularinmedicalimagingCATscansMRI 7 3DDataTypes Advantages Can seeinside anobjectUniformsampling simpleralgorithmsDisadvantages LotsofdataWastesspaceifonlystoringasurfaceMost vision sensors algorithmsreturnpointorsurfacedata 8 3DDataTypes SurfaceDataPolyhedralPiecewiseplanarPolygonsconnectedtogetherMostpopular trianglemeshes SmoothHigher order quadratic cubic etc curvesB zierpatches splines NURBS subdivisionsurfaces etc 9 3DDataTypes Advantages UsuallycorrespondstowhatweseeUsuallyreturnedbyvisionsensors algorithmsDisadvantages Howtofind surface fortranslucentobjects Parameterizationoftennon uniformNon topology preservingalgorithmsdifficultImplicitsurfaces cf parametric Zerosetofa3DfunctionUsuallyregularlysampled voxelgrid Advantage easytowritealgorithmsthatchangetopologyDisadvantage wastedspace time 10 2 DData Imagestoresanintensity coloralongeachofasetofregularly spacedraysinspaceRangeimagestoresadepthalongeachofasetofregularly spacedraysinspaceNotacomplete3Ddescriptiondoesnotstoreobjectsoccluded fromsomeviewpoint View dependentscenedescription 11 2 DData Thisiswhatmostsensors algorithmsreallyreturnAdvantagesUniformparameterizationAdjacency connectivityinformationDisadvantagesDoesnotrepresententireobjectViewdependent 12 2 DData RangeimagesRangesurfacesDepthimagesDepthmapsHeightfields2 DimagesSurfaceprofilesxyzmaps 13 RelatedFields ComputerVisionPassiverangesensingRarelyconstructcomplete accuratemodelsApplication recognitionMetrologyMaingoal absoluteaccuracyHighprecision provableerrorsmoreimportantthanscanningspeed completecoverageApplications industrialinspection qualitycontrol modeling 14 RelatedFields ComputerGraphicsOftenwantcompletemodelLownoise geometricallyconsistentmodelmoreimportantthanabsoluteaccuracyApplication animatedCGcharacters 15 Terminology Rangeacquisition shapeacquisition rangefinding rangescanning 3DscanningAlignment registrationSurfacereconstruction 3Dscanmerging scanintegration surfaceextraction3Dmodelacquisition 16 RangeAcquisitionTaxonomy Rangeacquisition Contact Transmissive Reflective Non optical Optical IndustrialCT Mechanical CMM jointedarm Radar Sonar Ultrasound MRI Ultrasonictrackers Magnetictrackers Inertial gyroscope accelerometer 17 RangeAcquisitionTaxonomy Opticalmethods Passive Active ShapefromX stereomotionshadingtexturefocusdefocus ActivevariantsofpassivemethodsStereow projectedtextureActivedepthfromdefocusPhotometricstereo Timeofflight Triangulation 18 TouchProbes JointedarmswithangularencodersReturnposition orientationoftip FaroArm FaroTechnologies Inc 19 OpticalRangeAcquisitionMethods Advantages Non contactSafeUsuallyinexpensiveUsuallyfastDisadvantages SensitivetotransparencyConfusedbyspecularityandinterreflectionTexture helpssomemethods hurtsothers 20 Stereo Findfeatureinoneimage searchalongepipolarlineinotherimageforcorrespondence 21 Stereo Advantages PassiveCheaphardware 2cameras EasytoaccommodatemotionIntuitiveanaloguetohumanvisionDisadvantages Onlyacquiregooddataat features Sparse relativelynoisydata correspondenceishard BadaroundsilhouettesConfusedbynon diffusesurfacesVariant multibaselinestereotoreduceambiguity 22 ActiveOpticalMethods Advantages UsuallycangetdensedataUsuallymuchmorerobustandaccuratethanpassivetechniquesDisadvantages Introduceslightintoscene distracting etc Notmotivatedbyhumanvision 23 PulsedTimeofFlight Basicidea sendoutpulseoflight usuallylaser timehowlongittakestoreturn 24 PulsedTimeofFlight Advantages Largeworkingvolume upto100m Disadvantages Not so greataccuracy atbest 5mm Requiresgettingtimingto 30picosecondsDoesnotscalewithworkingvolumeOftenusedforscanningbuildings rooms archeologicalsites etc 25 AMModulationTimeofFlight Modulatealaseratfrequency m itreturnswithaphaseshift Notetheambiguityinthemeasuredphase Rangeambiguityof1 2 mn 26 AMModulationTimeofFlight Accuracy workingvolumetradeoff e g noise 1 500workingvolume Inpractice oftenusedforroom sizedenvironments cheaper moreaccuratethanpulsedtimeofflight 27 Triangulation Mostscannersmountcameraandlightsourcerigidly movethemasaunitMovingtheCameraandIllumination 28 Triangulation Extendingto3D Possibility 1 addanothermirror flyingspot Possibility 2 projectastripe notadot Object 29 TriangulationScannerIssues AccuracyproportionaltoworkingvolumeScalesdowntosmallworkingvolume e g 5cm workingvolume 50 m accuracy Two line of sightproblem shadowingfromeithercameraorlaser Triangulationangle non uniformresolutioniftoosmall shadowingiftoobig usefulrange 15 30 30 TriangulationScannerIssues Materialproperties dark specular SubsurfacescatteringLaserspeckleEdgecurlTextureembossing 31 Multi StripeTriangulation Togofaster projectmultiplestripesButwhichstripeiswhich Answer 1 assumesurfacecontinuityAnswer 2 coloredstripes ordots 32 Multi StripeTriangulation Answer 3 time codedstripes 33 Time CodedLightPatterns Assigneachstripeauniqueilluminationcodeovertime Posdamer82 Space Time 34 InSpeck3D DF 35 内容 1绪论2平面碎片的拼接3曲面碎片边界线的提取4旋转型曲面碎片旋转轴和母曲线的估计5旋转型曲面碎片的拼接6总结与展望 36 文物 文物是人类在历史发展过程中遗留下来的具有历史 艺术 科学价值的遗物和遗迹 珍贵的文物经受了不同程度的破坏和损害 每一次考古发现都会带来大量残缺 破碎的文物 37 文物修复 文物修复是指从残缺 破碎的文物碎片中清理 修复出完整的文物 还原其本来面目 修复后的文物可以用于考古研究 博物馆展览 商业文化交流等活动中文物修复一般经过清理 拼接 粘合 补缺 全色几道工序 38 文物修复的困难 文物修复技术性强 修复任务十分繁重 全国现有2000多万件破损文物 操作不当会造成珍贵文物的进一步磨损和破坏 大型文物的搬运 拼接 粘合都比较困难 39 考古现场的文物碎片 40 计算机辅助文物复原 加快文物复原的速度避免修复过程对文物的损害降低文物修复的难度把复原文物的数字模型直接应用于数字博物馆的文物展示和检索中 实现资源共享 在古生物学 事故分析 医学手术 刑事侦查 娱乐游戏 地理分析 自动装配 计算机辅助设计 化学等领域也有应用背景 41 辅助修复的内容 拼接 补缺和全色可以利用计算机辅助进行 数据获取二维图像 图像配准三维数据 多视数据配准缺片填补Imageinpainting技术基于样本的纹理合成几何数据的空洞填充碎片拼接预处理 提取特征局部拼接整体重建 42 国内外研究现状 美国stanford大学的FormaUrbisRomae项目美国Brown大学的SHAPE项目英国Brunel大学与欧洲十几所大学3DMuraleSiggraph2005上MarkPauly的反问题浙江大学潘云鹤院士敦煌壁画保护与修复西北大学周明全教授兵马俑复原 43 平面碎片拼接的研究现状 自动拼版游戏 jigsawpuzzle 拼版大小均匀 形状规则边界拼版完全匹配AndrewGlassner彩色照片碎片利用了颜色信息曲线匹配计算碎片间连续匹配的子曲线碎片之间是完全匹配吗 44 曲面碎片拼接的研究现状 多视数据配准 multiviewregistration 依据视图的重叠部分空间曲线曲面匹配曲线的曲率和挠率曲面的特殊性质如何提取碎片的边界线 如何计算边界线的曲率 45 边界检测的研究现状 没有被三角形链包围的点基于采样点的Voronoi图递归最小二乘法Pearson卡方检验和遗传算法最小生成树法精确 整体最优的边界 46 旋转型曲面碎片 旋转型曲面碎片出土最多 使用最广泛最容易破碎可靠的记时器形制和装饰的变化反映了文化的分布和传播考古学家认为陶器是历史的脊柱 47 旋转型曲面碎片的研究现状 三维Hough变换估计旋转轴M estimator方法估计旋转轴向量枚举法估计旋转轴分两步求解两个自由参数的最小化问题 实现拼接陶器表面的小装饰物 重叠检测 最优拼接 48 本文的工作基础 山东大学考古数字博物馆1万余件文物藏品的数字化100多件文物精品三维数据文物信息管理系统网站内容采编系统虚拟展馆及交互漫游系统基于Web的多媒体展示系统计算机辅助文物建模系统 49 计算机辅助文物建模系统 50 本文的研究内容 平面碎片的特征提取边界线的特征点边界线的曲率平面碎片的拼接曲面碎片的特征提取边界线的提取边界线的曲率旋转型曲面碎片的旋转轴和母曲线旋转型曲面碎片的拼接 51 内容 1绪论2平面碎片的拼接3曲面碎片边界线的提取4旋转型曲面碎片旋转轴和母曲线的估计5旋转型曲面碎片的拼接6总结与展望 52 平面碎片的拼接 非常薄的平面文物碎片一般采用二维图像表示重点考虑碎片之间一般是不完全匹配的特点 53 拼接流程 碎片的接合一般有Y和T两种类型接合点至少是其中一条曲线的特征点 54 基于移动向量的数字曲线曲率计算 利用曲线的Taylar展开 55 56 数字曲线特征点的提取 构造尺度 特征曲线用双曲线拟合尺度 特征曲线双曲线顶点对应的尺度作为自适应尺度值 计算特征点 57 所有最长公共子序列的检测 最长公共子序列问题是最长公共子串问题的一般形式 在匹配字符串时允许插入 删除字符 可以用来估计两个字符串的相似程度 相当于允许对曲线进行拉伸 缩短操作 符合物体碎片的拼接情况 但是一般的LCS算法 只能求出其长度和一个LCS 为了避免丢失正确的拼接情况 需要找出碎片之间所有可能的合理拼接情况 需要检测所有的最长公共子序列 ALCS 基于单位四元数的绝对定位方法 根据找出的LCS 计算刚体变换矩阵 58 重叠检测 59 度量标准 距离度量 变换后的匹配点之间的剩余距离之和越小越好 长度度量 轮廓曲线的匹配部分越长越好 变化度量 曲率变化比较大的同样的两条子轮廓曲线 更可能是正确的匹配 60 实验结果 61 62 内容 1绪论2平面碎片的拼接3曲面碎片边界线的提取4旋转型曲面碎片旋转轴和母曲线的估计5旋转型曲面碎片的拼接6总结与展望 63 曲面碎片 用三维扫描仪对碎片表面采样 可以得到稠密均匀的采样点集 称为点云点集开曲面表示的碎片是指外表面为曲面 厚度非常薄的空心文物的碎片 点云表示三维碎片比网格表示具有很多优势 64 主要步骤 根据一个点周围的k个最邻近点 计算每个点的边界概率 为了找到真正的边界点 根据点的边界概率和局部邻近关系构造一个赋权无向图 利用最大圈算法寻找边界线 保证提取的边界线是封闭的 且是整体最优的 65 度量标准 最大角度量半圆盘度量形状度量综合标准 66 典型数据的边界概率值 67 封闭边界线的提取 对邻近点在最小二乘平面上的投影进行Delaunay三角化 如果两个点属于同一个三角形 则定义为相邻 点云作为无向图的顶点集合点的局部邻接关系作为无向图的边集合边的权值提取封闭边界曲线就转换为在赋权无向图中寻找最大圈问题 68 最大圈算法 构造另外一个赋权无向图 69 寻找赋权无向图G的最大圈的问题归约到寻找赋权无向图G 的最大完全匹配问题 这可以利用Edmonds给出的多项式时间最大完全匹配算法 散乱点集的边界线包含的边界点数一般都要大于某个阈值 低于该阈值的边界线不是要寻找的真正的边界线 因此最大圈中包含的顶点数也必须大于这个阈值 70 实验结果 71 72 最小生成树方法vs最大圈方法 73 内容 1绪论2平面碎片的拼接3曲面碎片边界线的提取4旋转型曲面碎片旋转轴和母曲线的估计5旋转型曲面碎片的拼接6总结与展望 74 旋转体 通过旋转轴 母曲线可以完全描述旋转体的几何结构避免陶器表面小装饰物的影响 75 主要步骤 计算碎片上各个点的法线 并用Plucker坐标表示采用RANSAC方法估计旋转轴的自由参数把三维点及其法向量变换到一个通过旋转轴的二维平面上 采用多项式曲线拟合母曲线 76 法向量的计算 基于Delaunay或Voronoi性质的组合方法采用最优化的数值计算方法二次曲面片法完全最小二乘法 奇异值分解 其最小的奇异值对应的单位向量就是要估计的单位法向量 77 直线的Plucker坐标 三维欧氏空间中的一条直线可以由直线上的一个点和单位方向向量确定 直线的矩向量与直线上点的选择无关 单位方向向量和矩向量组成的拼六小组称为直线的标准Plucker坐标 78 RANSAC算法 RANSAC RANdomSAmplingConsensus 是一种健壮的估计方法 基本思想 针对问题设计一个目标函数随机取样估计该函数的参数值把所有的数据划分为所谓的 内点 和 外点 寻找最大内点数对应的参数值 用所有的 内点 重新计算和估计函数的参数值 79 母曲线的拟合 把每个点及其法向量绕着旋转轴旋转到平面坐标中平面次隐式多项式的一般形式线性最小二乘问题 80 实验结果 81 82 内容 1绪论2平面碎片的拼接3曲面碎片边界线的提取4旋转型曲面碎片旋转轴和母曲线的估计5旋转型曲面碎片的拼接6总结与展望 83 旋转型曲面碎片的拼接流程 检测碎片的边界线估计旋转轴和母曲线把两块碎片的旋转轴对齐在两个自由度的搜索空间中 利用边界线 母曲线匹配实现拼接 84 旋转轴的对齐 变换矩阵 85 边界线的处理 计算边界线的曲率根据边界线的特征点