一种医学图像虚实融合显示的新思路

一种医学图像虚实融合显示的新思路 孙磊等一种医学图像虚实融合显示的新思路一种医学图像虚实融合显示的新思路孙磊，陈新。 ，李鑫。 (1福州大学至诚学院福建福州350002；2福州大学物理与信息工程学院福建福州350002)摘要针对传统医学图像融合方法的局限性提出了一种基于OpenGL三维显示技术的图像虚实融合显示的新思路，其目的是将计算机重建的虚拟三维模型融合到摄像机拍摄到的真实场景中，使得医生能够在计算机屏幕上同时看到病人体表和内部的病灶组织，提高手术质量。 该方法通过摄像机标定获得投影矩阵，从而进行坐标配准，再利用纹理技术将虚拟模型与真实场景融合显示。 实验表明重建的体内模型能够准确融合到真实场景图像中，达到虚实有机融合。 关键词图像融合；增强现实；虚实融合；摄像机标定T N91173B1004373X (xx)l715802A NewThought aboutM edicalIm ageVirtualReal FusionDisplay SUNLei，CH ENXin，LI Xin(1Zhicheng College，Fuzhou University，Fuzhou，350002，Chinal2College ofPhysicsInformation Engineering，Fuzhou University，Fuzhou，350002，China)AbstractA newthought ofmedical imagevirtualreal fusionbased onOpenGL isproposed inthe paperThe purposeof thispaper isto superimpose theputer reconstructedimage ontothe users visionof the real world。 SO thedoctor sview ofthe realworld isenhancedFirst，the camera calibration methodis adoptedto calculatethe camerasprojeetion matrix，then makethe virtualreal coordinatesregistration byusing thetransformation relationThe mergingof synthetic3D informationinto users perceptionof areal environmentis realizedby texturetechniqueThe experimentresults indicatethat thevirtual modelcan makean auratelyfusion totherealscene imageKeywordsmedical imagefusion；augm entedreality；virtual realityfusion；cameracalibration随着计算机和图像处理的发展，图像融合技术作为一个新兴的科学体系正在不断发展，并在许多方面已经取得了比较满意的成绩，研究者们也从各个不同的领域，提出了多种不同的图像融合。 其中医学影像是最重要的应用领域之一，本文将针对医学影像中的图像融合方法提出一种新的思路。 l医学图像融合技术图像融合是将不同的信息加以综合的过程，其目的是利于对图像做进一步的分析、理解及获取决策。 图像融合按信息抽象程度的不同从低到高可分为3个层次象素级、特征级、决策级融合。 医学图像融合是指将于不同成像设备的图像经过必要的变换以达到空间坐标的匹配，然后利用图像间的冗余及互补信息，将他们有机地结合在一起，得到一幅包含更多信息的新图像，为临床诊断提供更大的帮助。 医学图像进行融合主要有3大步，即图像预处理、配准和融合。 xx一O426基金项目福建省自然科学基金资助项目(A0410009)158预处理主要包括图像去噪，对比度增强，图像数据格式、大小和分辨率的统一，根据目标特点建立数学模型。 配准将两幅待融合图像中的一幅经空间变换映射到另一幅上，使得两幅图像的相关点在空间上一致。 配准是实现图像融合必不可少的一个步骤，配准的结果直接影响着图像融合的质量。 融合图像在空间域配准后，就可以进行融合了。 融合又包括融合图像的生成与显示。 常用的图像融合显示法有伪彩色显示法、断层显示法和三维显示法等。 然而，传统的医学图像融合通常只是CT，MRI，PET两两之间的融合，在给医生诊断带来方便的同时，却忽略了医疗手术环境的空间信息，使医生无法在深度上做出一个很好的判断，以下提出的三维重建病灶与二维体表图像的虚实融合方法很好地解决了这个问题，使得医生可以看到体内数据与真实场景融合显示的图像。 2虚实融合显示的实现在融合显示实验中，我们采用人头模型为实验对象，将摄像机获取的真实场景的视频图像存储为BMP格式，经过摄像机矫正后，调入虚拟场景，设置成半透明纹理。 然后根据摄像机标定算法计算得出的转换矩阵，以及其术xx年第17期总第256期电子技术应用司所包含的摄像机的内外参数，在计算机上利用opengi仿真，就可以得出场景物体经过透视投影后的投影平面图像，把该投影图像合成到摄像机拍摄的真实场景图像中，就可以透过透明的表面纹理看到计算机三维重建的虚拟人头模型，实现了真实场景与体内结构的融合显示，以下将给出原理和仿真步骤。 用户可以从不同的视点角度观察人头模型，而摄像机拍摄场景是其中的某一个确定的视点，因此只要保证用户观察的视点与摄像机拍摄时的视点方向、位置一致，就可得到与真实场景中物体完全一致的虚拟模型，将虚拟模型准确地融合到摄像机拍摄到的真实场景中。 在经过简单的刚体变换将虚拟模型转换到真实场景坐标系中，确定了虚拟模型在真实场景空间里的位置后，又根据定位过程中求得的变换矩阵M，分解出了旋转矩阵R和平移向量t，将虚拟物体在真实场景中的3D坐标左乘上外参数矩阵，就获得虚拟模型在摄像机坐标系下的3D坐标。 这样，就可以将人头模型上的点在真实空间中的3D坐标全部转换到摄像机空间坐标系下，再利用OpenGI来模拟该摄像机的投影过程，步骤如下 (1)将计算机中的摄像机观察位置设置在原点； (2)利用透视投影变换来模拟摄像机内部参数；透视投影函数void glFrustum(GI doubleleft，GLdouble right，GI doublebottom，GI doubletop，GLdouble near，GLdouble far)创建一个透视视景体，其操作是建立一个透视投影矩阵，并用这个矩阵乘以当前矩阵，这个函数只定义近裁剪平面的左下角点和右上角点的三维空间坐标点，即(1eft，bottom，一near)和(right，top，一near)，这些参数需要根据计算得出的摄像机内参数来设置，摄像机内部参数主要包括焦距，与象素点在“，方向宽度的比值a，a，光轴与像平面交点坐标，以及图像大小，参数设置具体如下bottom一(s。 )nearO f；top一(near)a；left一一(“。 near)a；right一(一“。 )neara； (3)利用模型变换来模拟摄像机外部参数；由于图像坐标系的原点位于左上角，而OpenGL窗口坐标系的原点位于左下角，因此通过绕276轴旋转180。 ，使得OpenGI投影后的图像与摄像机投影图像相一致。 摄像机外部参数主要包括旋转分量，r，和平移分量t t，t，具体的模型变换参数设置如下通过以上OpenGI的设置就可以将计算机中虚拟摄像机与虚拟模型的关系，同真实世界真实摄像机与人头模型的关系完全统一。 这样就可以在计算机中模拟出真实摄像机拍摄场景的所有参数，将该虚拟模型投影到摄像机拍摄到的图像中的对应位置。 (4)将摄像机获取的真实场景的视频图像存储为BMP格式，调入虚拟场景，设置成半透明纹理，将计算机模拟出的物体投影显示在透明纹理后面，得到增强后的图像。 3实验结果通过虚实融合显示的图像，使用者既可以看到人眼所能观察到的真实场景图像，也可以同时观察到场景使用者视觉系统所无法看到的内部结构信息，从而通过计算机描绘的虚拟模型实现了对真实场景的增强，虚实融合显示效果如图1所示。 图1虚实叠加显示效果实验中还通过图像分割技术获得三维重建的病灶区域，如图2所示。 这样，使用者可以确定体表下的病灶位置，如图3所示，图中花块为病灶区域。 4结语图2病灶重建图图3正面局部放大融合图本文针对传统医学图像融合的局限性提出了一种基于OPENGL三维显示技术的虚实融合显示，该方法不仅可以应用于计算机辅助手术等医疗领域，还可以推广到工业等其他领域，具有重要的应用价值。 (下转第162页)159戢小亮vc中图像全屏显示及打印算法的实现在算法实现过程中，经验证可以把一幅任意大小图像完整地以百分之百的规格在打印纸上复现出来，满足实际需要，和其他算法相比效果比较好。 4算法分析与总结本文算法最终以独立软件形式给出，用该软件打开一幅真彩色图像，在软件界面工具栏中，提供了非全屏状态下的图像放大缩小功能，并相应地设置了Ctrl+up放大，Ctrl+down缩小，按up，down，left，right可上下左右移动的快捷键。 同时，按F1键为运行插值算法全屏放大图像，按ESC健为切换全屏显示，按Ctrl+P为打印，按Shift+V为打印预览等。 全屏显示效果如图2所示。 第一幅图为打开图像后显示器屏幕上原始的信息，第二幅为全屏效果后显示器屏幕上的信息，可以看到经过全屏显示，视图充满了整个屏幕，面图像的细节信息未发生多大变化。 fa)原始界面一图2算法效果示意图在VC中实现任一图像的全屏显示的基本思路是调整主窗口的大小和位置，使视图的显示充满屏幕，其中涉及到许多象素的计算，获得屏幕分辨率的方法是调用GetSystemMetrics函数。 程序的关键是在图像缩放变换中算法的选择，这不仅涉及到图像显示质量的好坏，还有运行速度的快慢，插值算法可以比较好地满足这种要求，打印算法的关键是计算打印图像大小(缩放，根据页面宽度调整图像大小)，这样才可以保证图像显示及打印信息的完整，做到不丢失。 算法中有一个地方要说明一下，那就是OnGetMin-MaxInfo函数的作用。 如果把这个函数去掉，则当你按下工具栏中的全屏显示按钮时，框架视图确实变大了，但没有想象的那样实现全屏显示，底边会留下一个状态栏，这是因为在Windows中，无论什么时候以何种方式改变窗口的尺寸或大小，是拖拽窗口边缘也好，或是在代码中调用改变窗口尺寸的函数也好，Windows都会首先发送WM GETMINMAXINF0消息。 这个消息提示你附上详细的MINMAXINFO结构信息，否则用默认值处理，这时就会出现前面说的现象。 解决的办法文中已给出。 要特别注意提供全屏显示状态下退出全屏显示的方法，在本算法中ESC键作为全屏显示的切换键，全屏显示退出后回到原始界面。 参考文献1清宏计算机工作室Visual C编程技巧M北京机械工业出版社，xx2周长发精通VC图像处理编程M北京电子工业出版社，20003周长发Visual CNET多媒体编程M北京电子工业出版社，xx4何斌，马天予，王运坚，等Visual C“数字图像处理M北京人民邮电出版杜，xx作者简介戢小亮女，1981年出生，硕士，西安邮电学院教师。 主要从事图像处理、信号与信息处理方面的研究。 (上接第159页)参考文献1Pohl LcMultisensor ImageFusion inRemote SensingConcept，Methods andApplicationJInternati onalJournal ofRemote Sensing，1998，19 (5)8238542Judupa JK，Herman(IT3D Imagingin MedicineM2nd EditionFloridaCRC Press，1999E3Uenohara M，Kanade TVisionbased ObjectRegistration forRealtime ImageOverlayJProceeding ofCVRM95，199513224Kim WSComputer VisionAssisted VirtualReality CalibrationJIEEE Transactionson Roboticsand Automation1999，15 (3)4504645Hagen SpiesCamera Modelsand CalibrationComputer Vision LaboratioryDepartment ofElectrical EngineeringLinkoping University，Swedenxx6Wu JianboResearch onthe VisionBased3D SurfaceRecovering Systemand it