基于双目视觉的口内扫描系统关键技术探究与实践

基于双目视觉的口内扫描系统关键技术探究与实践一、绪论1.1研究背景与意义1.1.1数字化口腔医疗发展趋势在科技迅猛发展的当今时代，数字化技术正以前所未有的速度渗透到各个领域，口腔医疗行业也不例外。从数字化诊断到数字化治疗，再到数字化管理，口腔数字化的发展趋势愈发明显。数字化技术的广泛应用，为口腔医疗带来了革命性的变化，显著提升了诊疗的精度和效率，为患者提供了更加舒适和个性化的治疗体验，已然成为口腔医学发展的必然趋势。在口腔医疗的临床实践中，数字化技术的应用极大地改变了传统的诊疗模式。例如，数字化诊断技术通过先进的成像设备和计算机辅助诊断软件，能够更准确地检测和分析口腔疾病，为医生提供更全面、详细的病情信息。在口腔修复领域，数字化技术可以实现修复体的精准设计和制作，提高修复效果和患者满意度。在口腔正畸方面，数字化技术能够为患者制定更加个性化的正畸方案，实现更精准的牙齿移动控制。随着人们生活水平的提高和健康意识的增强，对口腔医疗服务的需求也日益增长，不仅要求治疗效果，还追求治疗过程的舒适化和个性化。数字化口腔医疗技术正好满足了这些需求，它能够通过数字化手段获取患者口腔的精确数据，为每个患者量身定制治疗方案，实现个性化治疗。同时，数字化技术的应用还能减少患者在治疗过程中的不适感，如数字化印模技术相较于传统的硅橡胶印模，无需患者长时间张口，避免了恶心等不适反应。在口腔医疗行业，口内扫描系统作为数字化口腔医疗的关键设备，发挥着举足轻重的作用。它能够直接在患者口腔内获取牙齿、牙龈、黏膜等软硬组织的三维形貌及彩色纹理信息，将口腔印模的获取方式由传统的物理取模转变为数字化取模，颠覆了临床制取印模、翻制石膏模型的传统操作流程。这不仅提高了取模的精度和效率，还降低了材料和人工成本，医生可直接获取数字牙模，简化了临床操作流程。而且，很多口内扫描系统生成的逼真彩色模型，能更好地展示牙齿结构和牙龈纹理信息，还具备分析牙齿和牙龈颜色变化等功能，为口腔医疗的精准诊断和治疗提供了有力支持。1.1.2双目视觉技术对口内扫描的革新作用双目视觉技术作为计算机视觉领域的重要研究方向，通过模拟人类双眼的视觉原理，利用两个摄像头从不同角度获取图像，从而实现对物体的三维信息感知。在口内扫描系统中引入双目视觉技术，为其带来了诸多革新，具有重要的研究意义和应用价值。从精度提升方面来看，双目视觉技术能够利用两个相机获取的图像之间的视差信息，通过三角测量原理精确计算物体的三维坐标，从而实现对口腔内软硬组织的高精度三维重建。与传统的单目视觉口内扫描技术相比，双目视觉技术能够有效提高扫描精度，减少误差。研究表明，采用双目视觉技术的口内扫描系统在某些情况下，扫描精度可以达到亚毫米级，这对于口腔正畸、种植牙等对精度要求极高的治疗项目来说，具有至关重要的意义。高精度的扫描数据能够为医生提供更准确的口腔结构信息，有助于制定更精确的治疗方案，提高治疗成功率。双目视觉技术还为口内扫描系统带来了功能拓展。基于双目视觉的口内扫描系统不仅能够获取口腔内的三维形貌信息，还能够通过对不同角度图像的分析，获取更多的细节信息，如牙齿的表面纹理、牙龈的健康状况等。这些丰富的信息可以为医生提供更全面的口腔状况评估，辅助医生进行更准确的诊断。双目视觉技术还可以实现对口腔内动态变化的实时监测，如在正畸治疗过程中，实时观察牙齿的移动情况，为治疗效果的评估和调整提供依据。在当前数字化口腔医疗快速发展的背景下，研究基于双目视觉的口内扫描系统关键技术，有助于推动口内扫描系统的技术升级，提高口腔医疗的数字化、智能化水平，为患者提供更优质的医疗服务。同时，这也有助于打破国外在高端口内扫描系统领域的技术垄断，促进国内口腔医疗设备产业的发展。1.2国内外研究现状1.2.1口内扫描系统的发展历程与现状口内扫描系统的发展是口腔医疗领域数字化进程中的重要里程碑，其发展历程见证了技术的不断革新与进步。自20世纪80年代末、90年代起，数字化技术开始在口腔医学领域崭露头角，口内扫描系统也应运而生。早期的口内扫描系统受限于当时的技术水平，存在诸多不足。例如，扫描精度较低，无法满足临床对高精度模型的需求；扫描速度缓慢，导致患者需要长时间保持张口姿势，增加了不适感；设备体积庞大，操作不便，限制了其在临床中的广泛应用。随着计算机技术、光学技术、传感器技术等相关领域的飞速发展，口内扫描系统也得到了显著的改进和完善。在扫描精度方面，现代口内扫描系统采用了先进的光学成像技术和高精度的传感器，能够获取更细腻、准确的口腔三维数据。一些高端口内扫描系统的精度已经达到了微米级别，为口腔正畸、种植等复杂治疗提供了可靠的基础。扫描速度也有了大幅提升，如今的口内扫描系统能够在短时间内完成口腔内的全面扫描，大大缩短了患者的就诊时间，提高了治疗效率。设备的小型化和便携化也取得了显著进展，使得口内扫描系统可以更方便地在临床中使用，适应不同的诊疗环境。在国内外市场上，目前已经涌现出众多知名的口内扫描系统品牌和产品。在国际市场上，德国西诺德（Sirona）的瓷睿刻椅旁口内扫描设备凭借其强大的销售网络和完善的培训机制，在全球范围内得到了广泛的应用和认可。该设备不仅具备高精度的扫描能力，还能够与冠桥椅旁加工设备无缝对接，实现了从口腔扫描到修复体制作的一站式服务，极大地提高了临床工作效率。丹麦3Shape公司的口内扫描设备以其出色的扫描精度和丰富的功能而闻名，其生成的三维模型具有高度的逼真度，能够清晰地展示牙齿和牙龈的细节信息，为医生的诊断和治疗方案制定提供了有力支持。美国AlignTechnology公司的iTero口内扫描仪则在正畸领域表现突出，其扫描数据能够直接对接隐形矫治平台，简化了正畸治疗的流程，缩短了治疗周期，受到了正畸医生和患者的青睐。在国内市场，随着对口内扫描仪技术研究的深入，取得技术突破的企业越来越多，国产口内扫描仪正逐步打破国外品牌垄断的局面。广东朗呈、广州菲森、美亚光电等企业纷纷涉足口内扫描仪市场，并推出了一系列具有竞争力的产品。美亚光电的Myscan口内扫描仪采用先进的光学成像技术和AI算法，扫描精度优于15微米，在同类产品中处于领先地位。该设备能够快速、准确地获取患者口腔内部的三维数据，结合AI技术的智能分析功能，医生可以更高效地制定个性化的治疗方案，提升患者的治疗体验。这些国产口内扫描系统在性能上不断提升，逐渐缩小了与国外产品的差距，同时在价格上具有一定的优势，为国内口腔医疗机构提供了更多的选择。1.2.2双目视觉技术在医疗领域的应用进展双目视觉技术作为一种能够实现三维信息感知的重要技术，在医疗领域展现出了广泛的应用潜力和独特的优势，近年来取得了显著的应用进展。在医学成像领域，双目视觉技术被广泛应用于手术导航、医学影像分析等方面。在手术导航中，通过将两个相机放置在不同的角度，医生可以实时监控患者的手术部位，获取更全面的信息，从而更准确地进行手术操作。在神经外科手术中，双目视觉技术可以帮助医生实时观察大脑的结构和血管分布，避免手术过程中对重要神经和血管的损伤，提高手术的安全性和成功率。在医学影像分析方面，双目视觉技术可以用于检测视网膜疾病，如青光眼、黄斑变性等。通过比较两个眼睛的图像，能够检测出任何异常区域，为疾病的早期诊断和治疗提供依据。在医疗机器人领域，双目视觉技术也发挥着关键作用。例如，磅策医疗研发的第一代植发机器人HAIRO运用双目视觉识别技术，搭载高稳定性和高准确性的机械臂系统，结合智能化算法，实现了手眼一体的手术场景。该机器人在植发手术中，能够通过双目视觉系统准确识别毛囊的位置和方向，实现精准的毛囊提取和种植，提高了毛囊的成活率，优于人工植发7%以上。在口内扫描系统中，双目视觉技术的应用研究也在不断深入。一些研究致力于利用双目视觉技术提高口内扫描的精度和速度，通过优化相机标定、图像校正、立体匹配等关键技术，实现对口腔内复杂结构的高精度三维重建。还有研究探索如何利用双目视觉技术获取更多的口腔信息，如牙齿的颜色、透明度等，以满足临床对口腔美学修复的需求。目前，虽然基于双目视觉的口内扫描系统尚未广泛应用于临床，但相关研究成果已经展示出了其在提高扫描精度、拓展功能等方面的巨大潜力，有望成为未来口内扫描系统的发展方向。1.3研究内容与方法1.3.1关键技术研究范畴本研究聚焦于基于双目视觉的口内扫描系统关键技术，涵盖多个重要研究范畴，旨在全面提升口内扫描系统的性能和功能。双目视觉原理是本研究的基础。深入理解双目视觉通过两个摄像头模拟人眼视觉获取图像，并利用视差信息计算物体三维坐标的原理，是后续研究的基石。通过对双目视觉原理的深入剖析，能够为相机标定、图像校正、立体匹配等关键技术的研究提供理论依据，确保整个口内扫描系统的设计和实现符合双目视觉的基本原理，从而实现高精度的三维重建。相机标定是获取相机内部参数和外部参数的关键步骤。准确的相机标定能够消除相机镜头的畸变，确定相机的焦距、主点位置等内参，以及两个相机之间的相对位置和姿态等外参。这些参数对于后续的图像校正和立体匹配至关重要，直接影响到口内扫描系统的精度。本研究将探索高效、准确的相机标定方法，以满足口内扫描系统对高精度标定的需求。图像校正是为了使双目相机获取的图像对满足极线约束，从而简化立体匹配过程，提高匹配精度。在口内扫描过程中，由于口腔环境复杂，光线不均匀，获取的图像可能存在各种畸变和噪声。本研究将研究针对口内扫描图像特点的校正算法，有效消除图像中的畸变和噪声，提高图像的质量和一致性，为后续的立体匹配提供良好的图像基础。立体匹配是双目视觉技术的核心环节之一，其目的是在双目图像中寻找对应点，计算视差，进而获取物体的深度信息。在口内扫描系统中，由于口腔内结构复杂，存在牙齿的半透性、高反光表面以及口腔软组织的动态变化等问题，立体匹配面临着诸多挑战。本研究将研究适用于口内扫描图像的立体匹配算法，如基于特征匹配、区域匹配或深度学习的匹配算法，提高立体匹配的准确性和鲁棒性，确保能够准确获取口腔内各点的深度信息。三维重建是根据立体匹配得到的视差图，恢复口腔内物体的三维形状和结构。本研究将研究高效的三维重建算法，能够将视差信息转化为精确的三维模型，同时考虑如何对重建后的三维模型进行优化和后处理，提高模型的质量和精度，使其能够满足口腔医疗临床的实际需求。1.3.2技术路线与实验设计本研究采用的技术路线如下：首先，进行广泛的文献调研，深入了解双目视觉技术和口内扫描系统的研究现状，明确研究的重点和难点。基于调研结果，选择合适的双目相机，并对其进行详细的性能测试和参数分析，为后续的实验奠定基础。在相机标定环节，采用张正友标定法等经典标定方法，并结合口内扫描的实际需求进行改进和优化。通过拍摄多组不同角度的标定板图像，利用标定算法计算相机的内参和外参，并通过实验验证标定的准确性。对于图像校正，根据相机标定得到的参数，采用基于极线约束的图像校正算法，对双目相机获取的图像进行校正处理。通过对比校正前后的图像，评估校正效果，确保图像满足立体匹配的要求。在立体匹配阶段，选择多种匹配算法进行实验对比，如基于区域的块匹配算法、基于特征的尺度不变特征变换（SIFT）算法以及基于深度学习的匹配算法等。根据口内扫描图像的特点，分析不同算法的优缺点，选择最适合的匹配算法，并对其进行优化和改进，提高匹配的准确性和效率。利用立体匹配得到的视差图，采用合适的三维重建算法进行口腔内物体的三维重建。在重建过程中，考虑如何处理噪声和空洞等问题，对重建后的三维模型进行平滑、滤波等后处理操作，提高模型的质量。为了验证基于双目视觉的口内扫描系统关键技术的有效性和可行性，设计了一系列实验。准备多个口腔模型，包括正常牙齿模型、龋齿模型、正畸模型等，模拟不同的口腔临床场景。利用搭建的双目视觉口内扫描系统对这些模型进行扫描，获取图像数据。对获取的图像数据进行处理和分析，对比不同算法在相机标定、图像校正、立体匹配和三维重建等环节的性能指标，如精度、速度、稳定性等。邀请专业的口腔医生对重建后的三维模型进行评估，从临床应用的角度评价模型的准确性和可用性，根据评估结果对技术进行改进和优化。二、双目视觉基本理论2.1相机成像模型2.1.1参考坐标系及其变换在双目视觉系统中，为了准确描述物体的位置和姿态，以及相机的成像过程，需要引入多个参考坐标系，主要包括世界坐标系、相机坐标系、图像坐标系和像素坐标系。这些坐标系之间存在着特定的转换关系，理解并掌握这些关系是进行相机标定、图像校正和三维重建等工作的基础。世界坐标系是一个全局坐标系，用于描述现实世界中物体的位置和姿态，通常用O_w-X_wY_wZ_w表示。在口内扫描的应用场景中，世界坐标系可以将患者的口腔整体作为一个参考空间，其原点位置可以根据实际需求设定，例如可以将口腔的某个特定位置（如中切牙的中心点）作为原点，坐标轴的方向可以按照标准的解剖学方向定义，X轴可以定义为从口腔的左侧指向右侧，Y轴从口腔的前方指向后方，Z轴从口腔的底部指向上方。世界坐标系为整个扫描和重建过程提供了一个统一的参考框架，使得不同患者的口腔数据能够在相同的坐标系下进行比较和分析。相机坐标系是以相机的光心为原点，Z_c轴与相机的光轴重合，X_c轴和Y_c轴分别与图像平面的水平和垂直方向平行，用O_c-X_cY_cZ_c表示。在口内扫描系统中，相机坐标系用于描述相机所拍摄到的物体相对于相机的位置。相机坐标系与世界坐标系之间的转换关系通过旋转矩阵\mathbf{R}和平移向量\mathbf{t}来表示，这种转换关系被称为刚体变换，它只与相机的外参数有关，与内参数无关。从世界坐标系到相机坐标系的转换公式为：\begin{bmatrix}X_c\\Y_c\\Z_c\end{bmatrix}=\mathbf{R}\begin{bmatrix}X_w\\Y_w\\Z_w\end{bmatrix}+\mathbf{t}其中，\mathbf{R}是一个3\times3的正交单位矩阵，它描述了相机坐标系相对于世界坐标系的旋转角度；\mathbf{t}是一个三维平移向量，它描述了相机坐标系原点相对于世界坐标系原点的平移量。图像坐标系是以相机光轴与成像平面的交点为原点，x轴和y轴分别与成像平面的水平和垂直方向平行，单位为毫米，用O-xy表示。图像坐标系是相机成像平面上的物理坐标系，用于描述物体在成像平面上的位置。相机坐标系与图像坐标系之间的转换属于透视投影关系，是从三维空间到二维平面的转换。根据小孔成像原理，假设相机的焦距为f，空间点P在相机坐标系中的坐标为(X_c,Y_c,Z_c)，在图像坐标系中的坐标为(x,y)，则它们之间的转换关系可以表示为：x=\frac{fX_c}{Z_c}y=\frac{fY_c}{Z_c}这种转换关系表明，图像坐标系中的点坐标与相机坐标系中的点坐标之间存在着比例关系，比例因子为相机的焦距f和Z_c。像素坐标系是以图像的左上角为原点，u轴和v轴分别与图像的列和行方向平行，单位为像素，用O_0-uv表示。在实际的图像处理中，我们通常使用像素坐标系来表示图像中的像素位置。像素坐标系和图像坐标系都在成像平面上，但它们的原点和度量单位不同。图像坐标系的单位是毫米，属于物理单位，而像素坐标系的单位是像素。假设图像坐标系中一个点的坐标为(x,y)，像素坐标系中对应的点坐标为(u,v)，并且已知每个像素在x和y方向上的物理尺寸分别为dx和dy，则它们之间的转换关系为：u=\frac{x}{dx}+u_0v=\frac{y}{dy}+v_0其中，(u_0,v_0)是图像坐标系原点在像素坐标系中的坐标，通常为图像的中心位置。这个转换关系将物理坐标系下的图像坐标转换为数字图像中的像素坐标，方便后续的图像处理和分析。通过上述四个坐标系之间的转换关系，可以将世界坐标系中的三维点坐标转换为像素坐标系中的二维点坐标，从而实现物体在图像中的成像描述。在实际应用中，这些转换关系需要通过相机标定来准确获取相机的内外参数，以确保成像模型的准确性。2.1.2摄像机模型摄像机模型是理解相机成像原理和进行相关计算的重要基础，其中针孔摄像机模型是一种最基本且常用的模型，它能够直观地解释光线如何通过相机镜头在成像平面上形成图像。针孔摄像机模型基于小孔成像原理，假设相机镜头为一个理想的小孔，光线从物体上的点出发，通过小孔后沿直线传播，在成像平面上形成倒立的实像。在这个模型中，相机坐标系的原点O_c位于小孔处，即光心位置，Z_c轴与光轴重合，指向成像平面的后方，X_c轴和Y_c轴与成像平面平行，分别指向水平和垂直方向。成像平面位于光心的另一侧，距离光心的距离为焦距f。对于空间中的任意一点P(X_w,Y_w,Z_w)，在世界坐标系下描述其位置，根据前面介绍的世界坐标系与相机坐标系的转换关系，首先将其转换到相机坐标系下的坐标(X_c,Y_c,Z_c)。然后，根据针孔成像原理，该点在成像平面上的投影点p(x,y)（在图像坐标系下）满足以下关系：x=\frac{fX_c}{Z_c}y=\frac{fY_c}{Z_c}这表明，空间点在成像平面上的投影位置与该点在相机坐标系中的坐标以及相机的焦距有关。从这个关系可以看出，针孔摄像机模型将三维空间中的点映射到二维成像平面上，实现了从三维到二维的投影转换。针孔摄像机模型中的参数对成像有着至关重要的影响。焦距f决定了相机的视角和成像的缩放比例。焦距较短时，相机的视角较大，能够拍摄到更广阔的场景，但图像中的物体相对较小；焦距较长时，相机的视角较小，能够对远处的物体进行放大拍摄，使物体在图像中显得更大，细节更清晰。在口内扫描中，选择合适的焦距可以确保能够完整地获取口腔内的结构信息，同时又能保证关键部位的细节清晰可辨。例如，对于拍摄牙齿的整体形态，可能需要一个适中的焦距来涵盖整个牙齿区域；而对于拍摄牙齿表面的细微裂纹等细节，则可能需要较长的焦距来放大图像，突出细节。相机的内参还包括主点坐标(u_0,v_0)，它表示相机光轴与成像平面的交点在像素坐标系中的位置，通常位于图像的中心位置。主点坐标的准确性对于图像的校正和后续的图像处理非常重要，如果主点坐标存在偏差，可能会导致图像的几何变形和位置偏移，影响三维重建的精度。在实际应用中，通过相机标定可以准确确定主点坐标以及其他内参，从而提高成像模型的准确性。在实际的相机成像过程中，由于镜头的制造工艺和物理特性等原因，图像往往会产生畸变，这使得实际的成像情况与理想的针孔摄像机模型存在差异。常见的畸变包括径向畸变和切向畸变。径向畸变是由于镜头的径向不对称性导致的，使得图像中的点在径向方向上偏离理想位置，表现为桶形畸变（图像边缘向外凸起）或枕形畸变（图像边缘向内凹陷）。切向畸变则是由于镜头与成像平面不完全平行等原因引起的，使得图像中的点在切向方向上发生偏移。为了补偿这些畸变，需要在相机模型中引入畸变参数，通过数学模型对畸变进行校正，以获得更准确的成像结果。在口内扫描中，由于对精度要求较高，准确校正畸变对于获取高质量的口腔三维模型至关重要。通过对相机进行精确的标定，获取准确的畸变参数，并采用合适的畸变校正算法，可以有效减少畸变对成像的影响，提高口内扫描系统的精度和可靠性。2.2双目立体视觉系统2.2.1系统结构与数学模型双目立体视觉系统通过模拟人类双眼的视觉原理，利用两个摄像机从不同角度获取物体的图像，从而实现对物体三维信息的感知和重建。该系统的硬件结构主要由两个摄像机和一个图像采集与处理单元组成。两个摄像机通常按照一定的方式布置，它们的光轴相互平行或者成一定角度。在口内扫描的应用中，为了能够全面、准确地获取口腔内的结构信息，两个摄像机的布置需要考虑口腔的特殊形状和扫描需求。它们需要能够覆盖口腔内的各个部位，同时要保证在扫描过程中不会对患者造成不适。摄像机的参数，如焦距、分辨率等，也需要根据具体的应用场景进行选择。较高分辨率的摄像机可以获取更详细的图像信息，但同时也会增加数据处理的负担和成本；合适的焦距则能够确保在一定的工作距离下，能够清晰地拍摄到口腔内的物体。图像采集与处理单元负责控制两个摄像机的同步拍摄，采集图像数据，并对这些数据进行后续的处理和分析。它通常包括图像采集卡、计算机等设备。图像采集卡用于将摄像机输出的模拟图像信号转换为数字信号，并传输到计算机中进行存储和处理。计算机则运行相应的软件算法，实现相机标定、图像校正、立体匹配、三维重建等功能。双目立体视觉系统基于视差原理实现三维信息的获取。视差是指空间中同一点在左右两个摄像机图像平面上的投影点之间的位置差异。假设两个摄像机的光心分别为O_1和O_2，它们之间的距离为基线b，焦距均为f。空间中的一点P在左摄像机图像平面上的投影点为P_1(u_1,v_1)，在右摄像机图像平面上的投影点为P_2(u_2,v_2)。由于两个摄像机的光轴平行，根据三角几何关系，可以得到以下公式：\frac{Z}{f}=\frac{b}{u_1-u_2}其中，Z为点P到摄像机平面的距离，即深度信息；u_1-u_2为视差。通过这个公式可以看出，只要能够准确计算出视差，就可以根据已知的基线b和焦距f计算出点P的深度信息。在实际应用中，还需要将图像坐标系下的坐标转换为世界坐标系下的坐标，以得到点P在三维空间中的完整位置信息。结合前面介绍的相机坐标系与世界坐标系、图像坐标系与像素坐标系之间的转换关系，可以推导出从像素坐标到世界坐标的转换公式。假设点P在世界坐标系下的坐标为(X_w,Y_w,Z_w)，在左摄像机图像平面上的像素坐标为(u_1,v_1)，在右摄像机图像平面上的像素坐标为(u_2,v_2)，经过一系列的坐标转换和推导，可以得到：X_w=\frac{(u_1-u_0)}{dx}\frac{Z}{f}Y_w=\frac{(v_1-v_0)}{dy}\frac{Z}{f}Z_w=Z其中，(u_0,v_0)为图像坐标系原点在像素坐标系中的坐标，dx和dy分别为每个像素在x和y方向上的物理尺寸。通过这些公式，就可以根据双目图像中的对应点坐标计算出空间点的三维坐标，实现对物体的三维重建。2.2.2极线几何极线几何是双目立体视觉中的一个重要概念，它描述了双目视觉系统中两个摄像机图像平面之间的几何关系，对于理解立体匹配和三维重建过程具有关键作用。在双目立体视觉系统中，设左右两个摄像机的光心分别为O_1和O_2，连接两个光心的直线O_1O_2称为基线。对于空间中的任意一点P，它与两个光心O_1和O_2确定一个平面，这个平面称为极平面。极平面与左摄像机图像平面的交线l_1称为左极线，与右摄像机图像平面的交线l_2称为右极线。基线与左摄像机图像平面的交点e_1称为左极点，与右摄像机图像平面的交点e_2称为右极点。极线几何的重要性质在于，空间点P在左摄像机图像平面上的投影点P_1，其在右摄像机图像平面上的对应点P_2必然位于右极线l_2上；反之，P_2在左摄像机图像平面上的对应点P_1必然位于左极线l_1上。这一性质为立体匹配提供了重要的约束条件，大大减少了匹配的搜索空间。在进行立体匹配时，只需要在极线上搜索对应点，而不需要在整个图像平面上进行搜索，从而提高了匹配的效率和准确性。在实际应用中，极线几何的应用主要体现在以下几个方面。在特征匹配阶段，利用极线约束可以快速排除大量不可能的匹配点，缩小匹配范围，提高匹配速度。通过计算图像中的特征点在另一幅图像中的极线位置，只在极线上寻找对应的特征点，能够显著减少计算量。在图像校正过程中，极线几何可以用于将原始图像校正为满足极线平行的图像对，使得立体匹配更加容易实现。通过对图像进行几何变换，将极线调整为水平或垂直方向，进一步简化匹配算法的设计和实现。2.2.3本质矩阵和基础矩阵本质矩阵和基础矩阵是描述双目视觉中两个摄像机图像之间几何关系的重要数学工具，它们在立体匹配、三维重建等任务中发挥着关键作用。本质矩阵\mathbf{E}是一个3\times3的矩阵，它描述了两个摄像机坐标系之间的相对运动关系，包括旋转和平移。假设两个摄像机的外参数分别为(\mathbf{R}_1,\mathbf{t}_1)和(\mathbf{R}_2,\mathbf{t}_2)，则本质矩阵可以表示为：\mathbf{E}=[\mathbf{t}]_{\times}\mathbf{R}其中，\mathbf{R}=\mathbf{R}_2\mathbf{R}_1^{-1}表示两个摄像机之间的旋转矩阵，[\mathbf{t}]_{\times}是平移向量\mathbf{t}=\mathbf{t}_2-\mathbf{t}_1的反对称矩阵，定义为：[\mathbf{t}]_{\times}=\begin{bmatrix}0&-t_z&t_y\\t_z&0&-t_x\\-t_y&t_x&0\end{bmatrix}本质矩阵\mathbf{E}具有以下性质：它是一个秩为2的矩阵，并且满足\mathbf{t}^T\mathbf{E}=0和\mathbf{E}\mathbf{t}=0，其中\mathbf{t}是平移向量。本质矩阵只与摄像机的外参数有关，即只涉及两个摄像机之间的相对位置和姿态，而与图像的具体内容无关。基础矩阵\mathbf{F}也是一个3\times3的矩阵，它描述了两个图像平面之间的对应点关系，考虑了摄像机的内参数和外参数。基础矩阵与本质矩阵之间存在如下关系：\mathbf{F}=\mathbf{K}_2^{-T}\mathbf{E}\mathbf{K}_1^{-1}其中，\mathbf{K}_1和\mathbf{K}_2分别是左右两个摄像机的内参矩阵。基础矩阵\mathbf{F}同样是秩为2的矩阵，并且对于一对对应点(\mathbf{x}_1,\mathbf{x}_2)（分别为左、右图像中的点，以齐次坐标表示），满足\mathbf{x}_2^T\mathbf{F}\mathbf{x}_1=0。这一方程表示了两个图像中对应点之间的几何约束关系，是利用基础矩阵进行立体匹配和三维重建的基础。计算本质矩阵和基础矩阵通常需要已知一组对应点。在实际应用中，首先通过特征检测算法（如SIFT、SURF、ORB等）在左右两幅图像中检测出特征点，并利用特征匹配算法（如FLANN匹配器、BF匹配器等）找到这些特征点的对应关系。然后，利用这些对应点对，采用最小二乘法、8点法或RANSAC算法等方法来估计本质矩阵和基础矩阵。RANSAC算法由于能够在存在噪声和误匹配点的情况下稳健地估计矩阵，因此在实际中得到了广泛应用。它通过随机抽样的方式，多次估计矩阵，并根据内点数（满足矩阵约束的点对数量）来选择最优的估计结果，从而提高了矩阵估计的准确性和三、相机标定及图像校正3.1相机标定概念相机标定是确定相机内部参数和外部参数的过程，其目的在于获取相机成像的几何模型参数，从而建立起空间物体表面点的三维几何位置与图像中对应点之间的准确关系。在双目视觉系统中，相机标定是实现高精度三维重建和测量的基础，具有至关重要的作用。从相机成像原理可知，相机的成像过程涉及多个坐标系的转换，包括世界坐标系、相机坐标系、图像坐标系和像素坐标系。相机的内部参数决定了相机从三维空间到二维图像的投影关系，主要包括焦距、主点坐标、像素尺寸以及畸变系数等。焦距影响图像的放大比例，主点坐标是成像平面上光线交点的位置，像素尺寸决定了成像传感器上每个像素的实际物理尺寸，而畸变系数则用于描述成像过程中的几何失真，如径向畸变和切向畸变。这些内参对于准确理解相机的成像特性至关重要，它们直接影响着图像的几何和光学特性。相机的外部参数则确定了相机坐标系与世界坐标系之间的相对位置关系，由旋转矩阵和平移向量组成。旋转矩阵描述了相机坐标系相对于世界坐标系的旋转角度，平移向量则表示相机坐标系原点相对于世界坐标系原点的平移量。通过外部参数，可以将世界坐标系中的点转换到相机坐标系中，进而实现对物体在三维空间中的位置和姿态的描述。在双目视觉系统中，准确的相机标定是实现精确三维测量的关键。如果相机标定不准确，会导致三维重建结果出现误差，影响测量的精度和可靠性。例如，在口内扫描系统中，如果相机的内参不准确，可能会导致牙齿的三维模型出现形状失真，影响医生对患者口腔状况的准确判断；如果外参不准确，可能会导致左右相机获取的图像之间的匹配出现偏差，从而无法准确计算视差，影响三维重建的精度。因此，为了获得准确的三维重建结果，必须进行精确的相机标定，以确保相机的内外参数能够准确反映相机的成像特性和在世界坐标系中的位置关系。3.2基于圆阵列标定块的平面标定法3.2.1图像间的单应矩阵在基于圆阵列标定块的平面标定法中，图像间的单应矩阵起着关键作用，它描述了两个平面之间的映射关系，在相机标定、图像拼接等领域有着广泛的应用。假设存在两个平面，平面P_1和平面P_2，以及分别从这两个平面获取的两幅图像I_1和I_2。对于平面P_1上的任意一点X_1=[x_1,y_1,1]^T，在平面P_2上存在对应的点X_2=[x_2,y_2,1]^T，它们之间的映射关系可以通过单应矩阵\mathbf{H}来表示：X_2=\mathbf{H}X_1其中，\mathbf{H}是一个3\times3的非奇异矩阵，可表示为：\mathbf{H}=\begin{bmatrix}h_{11}&h_{12}&h_{13}\\h_{21}&h_{22}&h_{23}\\h_{31}&h_{32}&h_{33}\end{bmatrix}将上式展开可得：x_2=\frac{h_{11}x_1+h_{12}y_1+h_{13}}{h_{31}x_1+h_{32}y_1+h_{33}}y_2=\frac{h_{21}x_1+h_{22}y_1+h_{23}}{h_{31}x_1+h_{32}y_1+h_{33}}这表明，平面P_1上的点通过单应矩阵\mathbf{H}的线性变换，可以映射到平面P_2上的对应点。在实际应用中，通常需要至少四个不共线的点对来求解单应矩阵\mathbf{H}。假设已知n组（n\geq4）对应点(X_{1i},X_{2i})（i=1,2,\cdots,n），可以将单应矩阵的求解转化为一个线性方程组的求解问题。将X_2=\mathbf{H}X_1展开并进行齐次化处理，得到：x_{2i}(h_{31}x_{1i}+h_{32}y_{1i}+h_{33})=h_{11}x_{1i}+h_{12}y_{1i}+h_{13}y_{2i}(h_{31}x_{1i}+h_{32}y_{1i}+h_{33})=h_{21}x_{1i}+h_{22}y_{1i}+h_{23}对于每一组对应点，都可以得到两个方程，n组对应点则可以得到2n个方程。通过最小二乘法等方法求解这个线性方程组，即可得到单应矩阵\mathbf{H}的各个元素。在基于圆阵列标定块的平面标定法中，利用圆阵列标定块上已知的特征点（如圆心）在不同图像中的对应关系，计算出图像间的单应矩阵。这些特征点在世界坐标系中的位置是已知的，通过相机拍摄标定块得到的图像中，可以准确检测出这些特征点的像素坐标。通过这些对应点对来计算单应矩阵，从而建立起图像坐标系与世界坐标系之间的联系，为后续求解相机的内外参数提供重要依据。单应矩阵还可以用于图像的校正和配准，通过将一幅图像根据单应矩阵进行变换，使其与另一幅图像在几何上对齐，从而实现图像的拼接、融合等操作。3.2.2内参约束条件相机内参约束条件是提高基于圆阵列标定块平面标定法精度的重要因素，深入分析这些约束条件对于准确求解相机内参至关重要。相机内参矩阵\mathbf{K}通常表示为：\mathbf{K}=\begin{bmatrix}f_x&0&u_0\\0&f_y&v_0\\0&0&1\end{bmatrix}其中，f_x和f_y分别是相机在x和y方向上的焦距，u_0和v_0是图像的主点坐标。在实际应用中，存在一些关于内参的约束条件，可以利用这些条件来提高标定精度。考虑到相机成像过程中的一些物理特性和几何关系，通常假设相机的像素是正方形，即f_x=f_y=f，这是一种常见的约束条件。在许多情况下，相机的制造工艺和设计目标使得像素在水平和垂直方向上的尺寸较为接近，通过这种假设可以减少需要求解的参数数量，简化计算过程，同时在一定程度上提高标定的稳定性。还可以利用相机的径向畸变约束条件。径向畸变是由于镜头的曲率不均匀等原因导致的，使得图像中的点在径向方向上偏离理想位置。通常用径向畸变系数k_1、k_2等参数来描述径向畸变。在基于圆阵列标定块的平面标定法中，可以通过检测标定块上圆的形状变化来估计径向畸变系数。假设标定块上的圆在理想情况下应该是标准的圆形，但由于径向畸变的存在，在图像中可能呈现出椭圆等变形形状。通过分析这些圆的变形程度和特征，可以建立起关于径向畸变系数的约束方程。例如，对于一个在世界坐标系中半径为r的圆，在图像中由于径向畸变的影响，其半径在不同方向上可能发生变化，通过测量图像中圆的长轴和短轴长度等参数，可以得到关于径向畸变系数的方程，从而对径向畸变系数进行估计和约束。切向畸变约束条件也不容忽视。切向畸变是由于镜头与成像平面不完全平行等原因引起的，使得图像中的点在切向方向上发生偏移。通常用切向畸变系数p_1、p_2来描述切向畸变。同样，可以通过分析标定块上特征点在图像中的切向偏移情况来估计切向畸变系数。例如，在标定块上选取一些具有特定几何关系的特征点对，观察它们在图像中的相对位置变化，由于切向畸变的存在，这些特征点对在图像中的连线可能不再平行于理想情况下的方向，通过测量这种方向偏差和特征点对之间的距离变化等信息，可以建立起关于切向畸变系数的约束方程，进而对切向畸变系数进行估计和约束。通过合理利用这些内参约束条件，将其融入到相机内参的求解过程中，可以有效提高标定精度。在基于最小二乘法等方法求解相机内参时，将这些约束条件作为附加的约束方程，与通过对应点对建立的方程一起进行求解，使得求解结果更加符合相机的实际成像特性，从而提高标定的准确性和可靠性。3.2.3内外参的求解基于圆阵列标定块的平面标定法求解相机内外参的过程，是实现高精度双目视觉测量的关键步骤，它涉及到多个步骤和算法，需要综合考虑各种因素以确保标定的准确性。准备工作是使用圆阵列标定块拍摄多幅不同角度的图像。圆阵列标定块上具有一系列已知位置的圆形特征点，这些特征点在世界坐标系中的坐标是精确已知的。通过在不同位置和角度摆放标定块，使用相机拍摄多组图像，以获取丰富的标定数据。在拍摄过程中，要确保标定块能够完全覆盖相机的视野范围，并且图像清晰、无模糊和遮挡，同时尽量保证不同图像之间的视角差异较大，以提高标定的鲁棒性。然后进行特征点提取。对于拍摄得到的每幅图像，利用图像处理算法提取圆阵列标定块上的圆形特征点。常用的特征点提取算法包括基于边缘检测的方法和基于模板匹配的方法等。基于边缘检测的方法，首先通过边缘检测算法（如Canny边缘检测）检测出图像中圆的边缘，然后利用椭圆拟合等算法确定圆心的位置；基于模板匹配的方法，则是预先定义一个圆形模板，通过在图像中搜索与模板匹配度最高的区域来确定圆心位置。在提取特征点时，要注意算法的准确性和稳定性，避免误检测和漏检测，以保证后续标定的精度。接下来是单应矩阵计算。根据提取到的特征点，计算不同图像之间的单应矩阵。如前文所述，通过至少四组不共线的对应点对，利用最小二乘法等方法求解单应矩阵。对于每幅图像与标定块上的特征点之间的对应关系，建立线性方程组，通过求解方程组得到单应矩阵的各个元素。在计算过程中，可以采用一些优化算法，如RANSAC（随机抽样一致性）算法，来提高单应矩阵计算的鲁棒性，去除误匹配点的影响，确保单应矩阵能够准确反映图像之间的几何变换关系。在得到单应矩阵后，利用单应矩阵与相机内外参之间的关系，求解相机的内参和外参。假设相机内参矩阵为\mathbf{K}，外参矩阵为[\mathbf{R}|\mathbf{t}]（其中\mathbf{R}是旋转矩阵，\mathbf{t}是平移向量），单应矩阵\mathbf{H}与相机内外参之间满足以下关系：\mathbf{H}=\lambda\mathbf{K}[\mathbf{R}|\mathbf{t}]其中，\lambda是一个尺度因子。通过对这个方程进行分析和求解，可以逐步得到相机的内参和外参。通常先利用一些约束条件（如前文提到的内参约束条件）简化方程，然后通过迭代优化算法（如Levenberg-Marquardt算法）来求解相机的内外参。在迭代过程中，不断调整内外参的值，使得重投影误差最小化。重投影误差是指将世界坐标系中的点通过求解得到的内外参投影到图像平面上，与实际检测到的特征点之间的误差。通过最小化重投影误差，可以确保求解得到的内外参能够准确地描述相机的成像特性和在世界坐标系中的位置关系。在求解过程中，还可以结合其他信息和算法来提高标定的精度和可靠性。可以利用多幅图像之间的一致性约束，对求解结果进行验证和优化；可以采用多次标定取平均值等方法，减少随机误差的影响。通过以上步骤和算法的综合应用，可以准确地求解相机的内外参，为基于双目视觉的口内扫描系统提供可靠的参数基础。3.3双目视觉立体校正原理3.3.1畸变校正相机畸变是影响图像质量和测量精度的重要因素，深入分析相机畸变的原因，并采用合适的算法和原理进行校正，对于提高双目视觉系统的性能至关重要。相机畸变主要分为径向畸变和切向畸变。径向畸变是由于镜头的径向不对称性导致的，其产生原因主要与镜头的制造工艺和光学特性有关。在镜头的制造过程中，很难保证镜头的曲率在各个方向上完全均匀一致，这就导致光线在通过镜头时，不同位置的光线折射角度存在差异。在镜头中心附近，光线的折射较为规则，但在镜头边缘，光线的折射角度可能会发生较大变化，使得图像中的点在径向方向上偏离理想位置。这种偏离表现为桶形畸变（图像边缘向外凸起）或枕形畸变（图像边缘向内凹陷）。在拍摄一个正方形的物体时，如果存在桶形畸变，图像中的正方形会呈现出边缘向外弯曲的形状；如果存在枕形畸变，正方形则会呈现出边缘向内弯曲的形状。切向畸变则是由于镜头与成像平面不完全平行等原因引起的。在相机的组装过程中，可能会出现镜头与成像平面之间存在一定的倾斜角度，或者镜头的安装位置存在偏差。这些因素会导致光线在成像平面上的投影点在切向方向上发生偏移，使得图像中的物体形状发生扭曲。当镜头与成像平面不平行时，原本平行的线条在图像中可能会出现不平行的情况，产生一种拉伸或扭曲的效果。为了校正相机畸变，通常采用基于数学模型的方法。常见的畸变模型包括Brown-Conrady模型和OpenCV中采用的简化模型等。以Brown-Conrady模型为例，该模型通过引入径向畸变系数k_1、k_2、k_3和切向畸变系数p_1、p_2来描述镜头的畸变特性。对于图像中的一个点(x,y)，其畸变校正后的坐标(x_{corrected},y_{corrected})可以通过以下公式计算：x_{corrected}=x\cdot(1+k_1\cdotr^2+k_2\cdotr^4+k_3\cdotr^6)+2\cdotp_1\cdotx\cdoty+p_2\cdot(r^2+2\cdotx^2)y_{corrected}=y\cdot(1+k_1\cdotr^2+k_2\cdotr^4+k_3\cdotr^6)+p_1\cdot(r^2+2\cdoty^2)+2\cdotp_2\cdot(x^2-y^2)其中，r^2=x^2+y^2，表示点(x,y)到图像中心的距离的平方。在实际应用中，首先需要通过相机标定获取这些畸变系数。通常使用标定板（如棋盘格标定板或圆点标定板）进行标定，将标定板放置于相机视野范围内，采集多张不同角度和距离的图像。利用计算机视觉算法（如OpenCV中的相机标定函数）检测标定板上的角点或圆点，通过这些特征点的实际位置和在图像中的位置关系，计算出相机的内参矩阵和畸变系数。得到畸变系数后，就可以根据上述公式对图像中的每个像素点进行畸变校正，从而得到校正后的图像。在进行畸变校正时，还需要注意图像的边界处理和插值算法的选择。由于校正后的图像可能会出现一些空洞或边界变形的情况，需要采用合适的插值算法（如双线性插值、双三次插值等）来填充空洞和修复边界，以保证校正后图像的完整性和质量。3.3.2立体校正立体校正是双目视觉系统中的重要环节，其目的在于将双目相机获取的图像对进行处理，使其满足极线约束，即让两幅图像中的对应点位于同一水平线上，从而简化立体匹配过程，提高匹配精度和效率。在实际的双目视觉系统中，由于相机的安装误差、制造工艺等因素的影响，很难保证两个相机的光轴完全平行且图像平面完全共面。这就导致在进行立体匹配时，对应点在两幅图像中的位置关系较为复杂，搜索对应点的过程变得困难且容易出现误差。通过立体校正，可以将实际的双目系统校正为理想的双目系统，使得两幅图像中的极线平行且位于同一水平线上，这样在进行立体匹配时，只需要在同一行上搜索对应点，大大减少了匹配的搜索空间，提高了匹配的准确性和效率。实现立体校正的方法有多种，常见的包括基于标定的方法和基于特征匹配的方法。基于标定的方法通常利用相机标定得到的内外参数来计算校正矩阵。假设已经通过相机标定得到了左右相机的内参矩阵\mathbf{K}_l、\mathbf{K}_r，以及它们之间的旋转矩阵\mathbf{R}和平移向量\\##四、预处理及立体匹配\##\#4.1图像预处理\##\##4.1.1图像灰度化在基于双目视觉的口内扫描系统中，图像灰度化是图像预处理的重要环节。由于采集到的原始图像通常为彩色图像，包含红（R）、绿（G）、蓝（B）三个颜色通道的信息，这不仅增åŠ

了数据处理的复杂度，还可能引入一些与目æ

‡ä¿¡æ¯æ—

关的干扰å›

ç´

。将彩色图像转换为灰度图像，可以有效简化数据，降低计算量，同时保留图像的关键结构和纹理信息，为后续的图像处理和分析提供便利。实现图像灰度化的方法有多种，åŠ

权平均法是一种常用且效果较好的方法。该方法基于人眼对不同颜色的敏感度差异，对RGB三个通道的值按照特定的权重系数进行åŠ

权求和，从而得到灰度值。在人眼的视觉感知中，对绿色的敏感度最高，对红色次之，对蓝色最低。å›

此，一种常见的权重分配是将红色通道的权重设为0.299，绿色通道设为0.587，蓝色通道设为0.114。具体的计算公式为：\[Gray=0.299\timesR+0.587\timesG+0.114\timesB\]通过这个公式，将彩色图像中每个像ç´

的RGB值转换为一个灰度值，从而得到灰度图像。在一幅包含牙齿和口腔软组织的彩色图像中，经过åŠ

权平均法灰度化后，牙齿的形态和纹理信息依然能够清晰地保留在灰度图像中，而颜色信息的去除使得图像的数据量大幅减少，便于后续的处理。与其他灰度化方法相比，åŠ

权平均法具有明显的优势。最大值法将RGB三个通道中的最大值作为灰度值，这种方法会导致图像的整体亮度偏高，丢失了很多细节信息，在口内扫描图像中，可能会使牙齿的一些细微纹理和特征æ—

法清晰显示。最小值法将最小值作为灰度值，则会使图像整体偏暗，同æ

·ä¸åˆ©äºŽåŽç»­çš„分析。而åŠ

权平均法综合考虑了人眼对不同颜色的敏感度，能够更准确地反æ˜

图像的亮度信息，保留更多的细节，为后续的图像分析和处理提供更有利的条件。在立体匹配等后续步骤中，灰度图像能够更准确地反æ˜

图像的特征，减少å›

颜色信息干扰而导致的匹配错误，提高匹配的准确性和可é

性。\##\##4.1.2平滑滤波平滑滤波是图像预处理中的关键步骤，其主要目的是减少图像中的噪声和细节，使图像变得更åŠ

平滑，从而改善图像的质量，为后续的图像处理和分析提供更可é

的基础。在基于双目视觉的口内扫描系统中，由于口腔环境复杂，光线不均匀，以及相机本身的噪声等å›

ç´

，采集到的图像往往包含各种噪声，如椒盐噪声、高斯噪声等。这些噪声会对图像的特征提取、立体匹配等后续处理产生严重的干扰，导致结果不准确。均值滤波是一种常见的平滑滤波算法，它的原理是将每个像ç´

点的值替换为其周围一定邻域内所有像ç´

值的平均值。假设以当前像ç´

为中心，选取一个\(n\timesn的邻域窗口，该窗口内所有像素的灰度值之和为S，则当前像素的新灰度值Gray_{new}为：Gray_{new}=\frac{S}{n\timesn}均值滤波能够有效地去除图像中的高斯噪声，因为高斯噪声是一种服从正态分布的噪声，通过对邻域内像素值的平均，可以在一定程度上平滑这种随机分布的噪声，使图像变得更加平滑。但均值滤波也存在明显的缺点，它在去除噪声的同时，会使图像的边缘和细节信息变得模糊。这是因为均值滤波对邻域内的所有像素一视同仁，无论是边缘像素还是非边缘像素，都进行了相同程度的平均处理，导致边缘的灰度变化被平滑掉，图像的清晰度下降。中值滤波则是一种非线性的平滑滤波算法，它用邻域内像素值的中位数来替换中心像素的值。在一个n\timesn的邻域窗口内，将所有像素的灰度值按照从小到大的顺序排列，取中间位置的灰度值作为中心像素的新值。中值滤波在去除椒盐噪声方面具有出色的表现，椒盐噪声表现为图像中的一些孤立的亮点或暗点，通过中值滤波，可以有效地将这些噪声点的灰度值替换为周围正常像素的灰度值，从而去除噪声。而且中值滤波能够较好地保留图像的边缘信息，因为边缘处的像素灰度值变化较大，在排序过程中，噪声点的灰度值往往会被排除在中间位置之外，从而不会对边缘造成明显的模糊。在一幅受到椒盐噪声污染的口内扫描图像中，中值滤波可以清晰地保留牙齿的边缘和纹理细节，同时去除噪声，使图像更加清晰。高斯滤波是基于高斯函数的加权平均滤波算法，它通过一个高斯函数确定的权重对邻域内像素值进行加权平均。高斯函数的形式为：G(x,y)=\frac{1}{2\pi\sigma^2}e^{-\frac{(x^2+y^2)}{2\sigma^2}}其中，\sigma是高斯函数的标准差，它决定了高斯滤波器的平滑程度。\sigma值越大，滤波器的平滑效果越强，但同时也会使图像的细节损失更多；\sigma值越小，平滑效果越弱，但能更好地保留图像的细节。在高斯滤波中，距离中心像素越近的像素，其权重越大；距离越远，权重越小。这种加权方式使得高斯滤波在去除高斯噪声方面具有很好的效果，同时相比均值滤波，能够更好地保留图像的边缘和细节信息。因为它对邻域内像素的加权处理更加合理，不会像均值滤波那样对所有像素进行简单平均，从而在一定程度上减少了对边缘的模糊。在基于双目视觉的口内扫描系统中，应根据图像中噪声的类型和特点选择合适的平滑滤波算法。如果图像主要受到高斯噪声的影响，高斯滤波是一个较好的选择；如果图像中存在较多的椒盐噪声，则中值滤波更为适用。在实际应用中，也可以结合多种滤波算法的优点，先使用中值滤波去除椒盐噪声，再使用高斯滤波进一步平滑图像，以达到更好的去噪效果。4.1.3直方图处理直方图处理是图像增强的重要手段，它通过对图像的直方图进行调整，改变图像中各灰度级的分布情况，从而达到增强图像对比度、改善图像视觉效果的目的。在基于双目视觉的口内扫描系统中，由于口腔环境的复杂性，采集到的图像可能存在对比度低、细节不清晰等问题，直方图处理可以有效地解决这些问题，使图像更易于后续的分析和处理。直方图是表示数字图像中每一灰度级与其出现频数间统计关系的图形。在直角坐标系中，横坐标表示灰度级，纵坐标表示该灰度级出现的频数。对于一幅灰度图像，其灰度级通常在0到255之间（8位图像）。通过统计图像中每个灰度级的像素数量，就可以绘制出图像的直方图。如果一幅图像的直方图集中在灰度级的某一区域，说明图像的大部分像素集中在该灰度范围内，图像的对比度较低，可能会丢失一些细节信息。直方图均衡化是一种常用的直方图处理方法，其基本思想是改变原始图像像素的灰度值，对在图像中像素个数较多的灰度级进行扩展，而对像素个数较少的灰度级进行缩减，使图像对应的直方图变换为均匀分布的形式，从而增强图像的整体对比度。假设原始图像的灰度级为[0,L-1]，其直方图为h(i)（i=0,1,\cdots,L-1），表示灰度级i出现的频数。首先计算累积分布函数cdf(j)：cdf(j)=\sum_{i=0}^{j}\frac{h(i)}{N}其中，N是图像的总像素数。然后根据累积分布函数对原始图像的灰度值进行变换，得到新的灰度值s_j：s_j=round((L-1)\timescdf(j))经过直方图均衡化处理后，图像的灰度级分布更加均匀，对比度得到显著增强。在一幅对比度较低的口内扫描图像中，经过直方图均衡化后，牙齿的边缘和表面纹理更加清晰，原本模糊的细节变得可见，这有助于医生更准确地观察牙齿的状况，也为后续的图像分析和处理提供了更清晰的图像基础。直方图规定化是另一种直方图处理方法，它可以使图像的直方图匹配特定的形状。在口内扫描系统中，可能需要将采集到的图像直方图调整为与标准图像直方图相似的形状，以提高图像的一致性和可比性。其基本原理是先对原始图像进行直方图均衡化，得到均衡化后的图像和其直方图。然后根据目标直方图的形状，通过一定的映射关系，将均衡化后的图像灰度值进行重新映射，使图像的直方图与目标直方图尽可能接近。假设目标直方图为h_{target}(i)，通过计算目标直方图的累积分布函数cdf_{target}(j)，并与原始图像均衡化后的累积分布函数cdf(j)建立映射关系，从而得到新的灰度值映射表，对原始图像的灰度值进行变换，实现直方图规定化。直方图规定化可以根据具体的需求对图像进行定制化的增强，使图像在特定的应用场景中表现更优。4.1.4预处理实验及分析为了验证图像预处理对基于双目视觉的口内扫描系统中立体匹配的影响，进行了一系列实验。实验选取了多组包含口腔模型的双目图像，这些图像在不同的光照条件和口腔环境下采集，以模拟实际的口内扫描情况。首先对原始图像进行灰度化处理，采用加权平均法将彩色图像转换为灰度图像。从处理后的图像效果来看，灰度图像有效地简化了数据，去除了颜色信息的干扰，同时保留了口腔模型的关键结构和纹理信息，为后续处理提供了更简洁的图像数据。接着对灰度图像进行平滑滤波，分别采用均值滤波、中值滤波和高斯滤波算法。通过对比发现，均值滤波虽然能够在一定程度上平滑图像，但同时也使图像的边缘和细节变得模糊，在处理后的图像中，牙齿的边缘变得不清晰，一些细微的纹理特征也被平滑掉。中值滤波在去除椒盐噪声方面表现出色，能够有效地保留图像的边缘信息，经过中值滤波处理的图像，牙齿的边缘清晰可见，椒盐噪声得到了很好的去除。高斯滤波在去除高斯噪声的同时，相对较好地保留了图像的细节，图像的平滑效果较为自然，牙齿的纹理和边缘在保持一定清晰度的同时，噪声得到了有效抑制。然后对平滑后的图像进行直方图均衡化处理。处理后的图像对比度明显增强，原本对比度较低的区域变得更加清晰，牙齿的表面细节和牙龈的纹理更加突出，这对于后续的立体匹配和三维重建具有重要意义。为了进一步分析预处理对立体匹配的影响，将预处理前后的图像分别进行立体匹配，并对比匹配结果。采用基于区域的立体匹配算法，通过计算匹配代价、代价聚合、视差计算和视差优化等步骤得到视差图。从视差图的效果来看，经过预处理的图像在立体匹配中表现更好，视差图中的噪声明显减少，视差的计算更加准确，匹配错误的点明显减少。在未经过预处理的图像中，由于噪声和对比度低等问题，立体匹配算法在计算视差时出现了较多的错误，视差图中存在大量的噪声点和错误匹配区域，导致后续的三维重建结果不准确。而经过灰度化、平滑滤波和直方图均衡化预处理后的图像，立体匹配得到的视差图更加清晰、准确，能够更准确地反映口腔模型的三维结构信息，为三维重建提供了更可靠的基础。通过对匹配精度的量化分析，发现预处理后的图像在立体匹配中的精度提高了[X]%，这充分证明了图像预处理在基于双目视觉的口内扫描系统中对立体匹配的重要性和有效性。4.2立体匹配基础4.2.1立体匹配一般步骤立体匹配是基于双目视觉的口内扫描系统中的关键环节，其目的是在双目图像中寻找对应点，计算视差，进而获取物体的深度信息，实现对口腔内结构的三维重建。立体匹配通常包括以下几个主要步骤：匹配代价计算是立体匹配的第一步，其目的是衡量待匹配像素与候选像素之间的相关性。对于双目图像中的每个像素，需要在另一幅图像中寻找与之最相似的像素，这个相似性的度量就是匹配代价。匹配代价越小，说明两个像素是同名点（即对应于空间中同一个点在左右图像中的投影）的可能性越大。常用的匹配代价计算方法有灰度绝对值差（AD，AbsoluteDifferences）、灰度绝对值差之和（SAD，SumofAbsoluteDifferences）、归一化相关系数（NCC，NormalizedCross-correlation）等。以SAD为例，假设在左图像中选取一个以像素(x,y)为中心的n\timesn窗口，在右图像中对应位置附近选取相同大小的窗口，计算两个窗口内对应像素灰度值之差的绝对值之和，作为这两个窗口的匹配代价C(x,y,d)：C(x,y,d)=\sum_{i=-\frac{n-1}{2}}^{\frac{n-1}{2}}\sum_{j=-\frac{n-1}{2}}^{\frac{n-1}{2}}|I_l(x+i,y+j)-I_r(x+i+d,y+j)|其中，I_l和I_r分别表示左图像和右图像，d表示视差（即左右图像中对应点在水平方向上的位移）。通过计算不同视差下的匹配代价，可以得到每个像素在不同视差下的匹配代价矩阵，通常称为视差空间图像（DSI，DisparitySpaceImage）。代价聚合是为了让代价值能够更准确地反映像素之间的相关性。在匹配代价计算阶段，往往只考虑了局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确反映像素之间的相关性。代价聚合通过对邻域像素的匹配代价进行加权求和或其他方式的聚合，引入平滑性约束，即假设相邻像素应有相近的视差，从而使代价值更具可靠性。一种简单的代价聚合方法是固定窗口代价聚合，使用固定大小和形状的窗口作为代价聚合的基元，通常是一个矩形，并假设支持窗口内的其它像素点与待匹配点具有相同的视差。对窗口内所有像素在同一视差下的匹配代价进行求和，得到聚合后的匹配代价。这种方法虽然简单易实现，但在视差不连续区域可能会产生较大误差。视差计算是通过代价聚合之后的代价矩阵来确定每个像素的最优视差值。通常使用赢家通吃算法（WTA，Winner-Takes-All）来计算，即对于每个像素，在其视差搜索范围内选择匹配代价最小的视差作为该像素的视差值。假设经过代价聚合后的代价矩阵为S(x,y,d)，则视差图D(x,y)的计算方法为：D(x,y)=\arg\min_{d}S(x,y,d)通过这种方式，可以得到每个像素的视差值，从而生成视差图，视差图反映了场景中物体的深度信息，视差越大，表示物体距离相机越近；视差越小，表示物体距离相机越远。视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤。一般采用左右一致性检查（Left-RightCheck）算法剔除因为遮挡和噪声而导致的错误视差。左右一致性检查是指对于左图像中的每个像素，根据其视差值在右图像中找到对应的像素，再从右图像的该像素出发，根据其视差值在左图像中找到对应的像素，如果这两个找到的像素不一致，则认为该视差是错误的，进行修正或剔除。采用剔除小连通区域算法来剔除孤立异常点，这些孤立异常点可能是由于噪声或匹配错误导致的，通过设定一定的连通区域大小阈值，将小于阈值的连通区域内的视差视为错误视差并剔除。采用中值滤波、双边滤波等平滑算法对视差图进行平滑，减少视差图中的噪声和波动，使视差图更加平滑和连续。还可以采用一些方法提高视差图的子像素精度，如基于插值的方法，通过对相邻像素的视差值进行插值计算，得到更精确的视差值，从而提高视差图的分辨率和精度。4.2.2立体匹配约束准则立体匹配过程中，为了提高匹配的准确性和可靠性，需要遵循一系列约束准则，这些准则利用了场景中的一些先验知识和几何关系，有效地减少了匹配的搜索空间，提高了匹配的效率和精度。唯一性约束是指在一幅图像中的一个像素只能与另一幅图像中的一个像素进行匹配。这是基于现实场景中，空间中的一个点在左右图像中只会有一个对应的投影点。在进行立体匹配时，对于左图像中的每个像素，在右图像中只寻找一个与之最匹配的像素作为对应点，避免出现一个像素与多个像素匹配的情况，从而保证匹配的准确性。如果违反唯一性约束，可能会导致视差计算错误，影响后续的三维重建结果。连续性约束假设场景中的物体表面是连续的，相邻像素的视差变化不会太大。在立体匹配中，利用这一约束可以对匹配结果进行平滑处理。在代价聚合阶段，考虑相邻像素的视差信息，对相邻像素的匹配代价进行加权聚合，使得视差变化较为平滑，避免出现视差的突然跳跃。五、三维重建5.1二维图像获取三维坐标的原理基于双目视觉的口内扫描系统中，从二维图像获取三维坐标的关键在于三角测量原理，这一原理利用了双目相机成像时的几何关系，通过视差信息精确计算物体的三维坐标。三角测量原理基于相似三角形的几何特性。在双目视觉系统中，两个相机从不同角度对同一物体进行拍摄，形成具有视差的两幅图像。假设两个相机的光心分别为O_1和O_2，它们之间的距离为基线b，物体上的一点P在左相机图像平面上的投影点为P_1，在右相机图像平面上的投影点为P_2。由于两个相机的光轴平行或存在一定夹角，P_1和P_2在图像平面上的位置存在差异，这个差异就是视差d。以平行光轴的双目相机为例，根据相似三角形原理，可建立如下几何关系：\frac{Z}{f}=\frac{b}{d}其中，Z是点P到相机平面的距离，即深度信息；f是相机的焦距。这个公式表明，视差d与点P的深度Z成反比，视差越大，点P距离相机越近；视差越小，点P距离相机越远。通过已知的相机焦距f和基线b，以及计算得到的视差d，就可以准确计算出点P的深度信息。在实际应用中，还需要将图像坐标系下的坐标转换为世界坐标系下的坐标，以得到点P在三维空间中的完整位置信息。假设点P在左相机图像平面上的像素坐标为(u_1,v_1)，在右相机图像平面上的像素坐标为(u_2,v_2)，通过相机标定得到的内参矩阵\mathbf{K}以及外参矩阵[\mathbf{R}|\mathbf{t}]，可以实现从像素坐标到世界坐标的转换。首先，将像素坐标转换为图像坐标系下的坐标(x_1,y_1)和(x_2,y_2)，再根据相机的内外参，将图像坐标系下的坐标转换为相机坐标系下的坐标(X_{c1},Y_{c1},Z_{c1})和(X_{c2},Y_{c2},Z_{c2})。由于两个相机的光轴平行，Z_{c1}=Z_{c2}=Z，通过三角测量原理计算得到的深度Z，结合相机坐标系与世界坐标系的转换关系，最终可以得到点P在世界坐标系下的坐标(X_w,Y_w,Z_w)。在口内扫描系统中，通过对口腔内不同位置的点进行三角测量，获取大量点的三维坐标，这些点构成了点云数据。通过对这些点云数据进行处理和分析，如滤波、去噪、配准等操作，最终可以重建出完整的口腔三维模型，为口腔医疗的诊断和治疗提供精确的三维信息支持。5.2空间点的重建5.2.1非平行双目点的坐标计算在非平行双目视觉系统中，两个相机的光轴存在一定夹角，这种情况下空间点坐标的计算相较于平行双目更为复杂，需要综合考虑相机的内外参数以及光轴夹角等