显微图像中可变形物体动态跟踪方法的研究

1、    显微图像中可变形物体动态跟踪方法的研究        在体内，正常红细胞具有很强的变形能力，能够挤过直径比它小得多的毛细血管。红细胞变形能力的好坏直接影响血液循环的外周阻力。对在体红细胞运动变形的研究是病理生理学研究和临床应用的需要。本文应用像序列分析技术，提出了一整套基于轮廓的“显微像中可变形物体动态跟踪的方法”，并将这一方法应用于红细胞进入毛细血管运动全过程的轮廓跟踪。该方法目前还未见报道。关键词:微循环；红细胞变形；局部能量法；蛇行模型；轮廓分类号:R318.0

2、4; R319 0概述血液循环系统是组成人体的重要系统之一。众所周知，生命的维持离不开新陈代谢，血液循环系统在其中扮演着极其重要的角色。生命活动所需的氧和养料的传输以及组织器官中的二氧化碳等代谢产物的运送是由血液循环系统完成的。血液循环系统的最末梢血管称为微血管。据统计，人体物质交换的80%以上在微血管区域完成。因此，微循环的研究已发展成为病理生理学的重要分枝。微循环研究是一个涉及生物力学、病理学、生理学、病理生理学、解剖学、生物化学等多门学科的综合性研究方向。微血管中血液的流动受很多因素的影响，因而，有理由认为，它是诸多因素综合作用的结果；微血管区域存在大量物质交换，因而也是一个热力学开放系

3、统。人体血液主要由红细胞、白细胞、血小板和血浆等部分组成。在体内，正常红细胞具有很强的变形能力，能够挤过直径比它小得多的毛细血管。而在某些病理条件下，红细胞的变形能力则下降。因此，红细胞变形能力的测定，已发展为许多疾病(特别是血液类疾病)的辅助诊断手段。另外,红细胞变形能力的好坏还将直接影响血液循环的外周阻力。如果红细胞变形能力差，不但使微循环不畅通，也会使组织器官供氧不足，特别是脑部，供氧不足会引起各种并发疾病。在体红细胞运动以及变形的研究存在很大难度。单从生物力学角度来说，在大血管中，红细胞相对于血管直径较小，个性并不突出，可以把血液简化为粘性匀质流体来研究；在微血管中，毛细血管直径甚至比

4、红细胞直径还小，红细胞个性十分突出，这时，血浆粘性也十分突出，再加上红细胞可变形的特点，就不能把血液看作匀质流体。另外，运动中红细胞与血管壁、红细胞之间等也存在相互作用。因而，这时应将血液的流动至少看作两相流体。人体红细胞的直径一般为7m左右，应用像分析技术研究红细胞的运动需要借助显微镜。以往对红细胞的研究和测量多为离体方法。而且对于变形的描述较为简单，多为长短轴比例描述方法。另外，离体方法也无法研究在体运动的规律。正常的血流，血管壁内侧是血浆层，流速较慢，不含白细胞。在病理状态下，白血球流速变慢，使红血球、白血球分离，白细胞离开血管轴心线向血管壁迁移，出现白细胞附壁现像、贴壁滚动现象。目前，

5、白细胞贴壁滚动规律的研究已愈来愈引起人们的重视。白血球的主要作用是吞噬细菌。在吞噬过程中，白细胞如何变形穿过血管、它们的伪足如何延伸生长以完成吞噬作用、以及白细胞在体内如何变形等，都是白细胞研究所关心的内容。微循环的以往研究中，涉及到在体红细胞的运动及变形规律，白细胞的伪足生长过程，白细胞在体变形运动等问题。这一类显微像的共同特点是像中感兴趣物体存在变形，物体运动规律复杂多变等。需要研究可变形物体的运动必须借助序列像，需要从中提取出(1)运动变化；(2)变形描述二类参数。因此，从像分析角度，需要解决这一类显微像中可变形物体的动态跟踪问题，涉及像分析技术中的边缘检测，轮廓提取，动态跟踪等问题。依

6、据这二个要求，本文提出了基于轮廓的“显微像中可变形物体动态跟踪”的一整套方法。目前，在国内外还未见报道。本文第1节先简单叙述整个动态跟踪过程；第2、3节分别描述首幅像的轮廓提取、运动及变形的轮廓跟踪；最后，在第4节将这一方法应用于在体红细胞进入毛细血管的检测。1基于轮廓的动态跟踪方法在体血细胞跟踪这一类问题的显微像的特点,总的来说，存在信号弱、噪声大、物体可变形等特点。为此,如何针对这一类序列像选择较为适宜的跟踪方法成了变形跟踪技术的关键所在。本文的目的是要得到显微序列像中变形及运动二种参数。在像处理技术中，对于物体变形的描述一般采用提取物体轮廓的方法。在物体运动测量上，本文所关心的只是细胞个

7、体的运动，因此，本文采用基于轮廓的跟踪方法。针对显微像序列的特点，本文提出的可变形物体轮廓跟踪的整个过程如1所示。首先，对于序列像中首幅像的可变形物体先较精确地提取其轮廓；其次，利用已获得的轮廓点，采用蛇点相关法获取相邻二幅像中物体的位移量；然后，利用蛇行模型的局部变形跟踪能力跟踪物体变形。如此反复，以完成整个像序列的跟踪。1序列像轮廓跟踪流程在整个跟踪过程中，牢牢抓住物体的轮廓，充分利用蛇行模型有限的、局部的变形跟踪能力。可以说是一种以轮廓为线索，以灰度变化为基础的动态变形跟踪方法。这种方法，既能获取物体的运动信息，又能得到变形形态。满足了第1节提出的要求。方法简单易行。2首幅像的轮廓提取显

8、微序列像中的血细胞具有可变形的特点，选择像处理方法中蛇行模型比较适合。但是，蛇行模型不是解决物体轮廓提取的完全性模型，它需要先有一条较好的初始边缘。为此，在轮廓提取上分为粗、细二步：(1)应用局部能量法检测出可变形物体的初始边缘；(2)使用蛇行模型对所得到的初始边缘进行优化，以得到较为精确的物体轮廓。有关局部能量法获取初始边缘及蛇行模型优化的原理及处理结果，可以参看本文作者的文献13；限于篇幅，此处只叙述其大意。1.采用局部能量法初步提取边缘5，6方法的依据是：由视觉研究可知，人眼对边缘的识别较好地对应于“相位一致”原则，即：把边缘区域作富氏级数分解后，各正弦分量相位参差最小之处往往正是人眼判

9、定的边缘所在，而相位一致性又和像灰度的局部能量成正比，因此可以计算像各点的局部能量，取其局部极大能量各点组成边缘。从计算方法上，局部能量可以通过Hilbert变换来求。即,以一维情况为例，设像沿x方向的灰度为I(x)，其Hilbert变换为(x)，则局部能量E(x)I(x)+(x)。2.采用蛇行模型取得精确轮廓9，10。方法的依据如下：形轮廓实际上反映着物体的界面。从物理概念上看，界面的位置受两种能量函数的约束，即：轮廓内部力产生的势能，它与轮廓沿边缘方向的一、二阶导数的平方成正比，是一种抗拉伸、抗弯曲的约束；像灰度势能：对边缘而言，它表现为灰度在边缘附近的梯度平方的负值。因此，沿轮廓的总能量

10、E为：式中，v代表轮廓曲线上各点，s为沿轮廓方向的弧长(s)，k是权值。I是像灰度的梯度。在初始轮廓上选定一些关键点(称为蛇点)，以上式为约束条件，逐步调节蛇点位置，进行迭代寻优计算，使能量达到极小，从而进一步确定更精确的蛇点位置及轮廓。这就是利用蛇行模型进行优化的含义。3运动及变形跟踪在已有的跟踪方法中，具有代表性的主要有以下几类方法。(1)光流场方法24。它利用Gabor变换的方向性，获得速度值。该方法的优点是，它可以获得像中一个或几个像素点的速度(包括方向与大小)。但光流场方法不关心物体的整体运动变化；得到的速度场只能是像序列中几幅像的平均速度场；而且运算量较大。(2)相关方法。该方法的

11、特点是可以将像分割成若干个大的区域，选择可变形物体所在区域在相邻两幅像间作二维相关运算，通过相关函数的极大值可以检测出整个物体运动的速度和方向。相关方法的关键是像区域的分割，以及相邻像中物体灰度的相似性。如果像分割效果好，则可获得较高的精度。对于可变形物体，像中物体形态随时间而变，这是相关方法所不希望的，它会导致检测精度的下降。如果像中物体面积较大，则相关方法比较费时。(3)像轮廓逐次提取法。即利用前面叙述的局部能量法、蛇行模型相结合的方法，对像序列中的每幅像，提取其轮廓。显然，这种方法没有充分利用像序列之间的继承性，比较费事，费时。众所周知，蛇行模型的处理质量与初始边缘的选择关系很大。当相邻

12、两幅像中物体的变形量不太大时，可以利用前一幅已取得的最终轮廓作为后一幅蛇行模型的初始边缘。为此，需要先找到两幅像中变形物体在平移条件下的最优匹配位移量。为了确定此最优位移量，本文提出一种“蛇点相关法”。其具体步骤如下：1.预处理取得边缘增强。假定已经获得了第n幅像的最优蛇形轮廓。将第n幅像先经 Hilbert滤波器组作卷积，再计算像每点的能量。由于能量的局部极大较好地对应于物体边缘，所以，所得结果中边缘得到了增强，称为边缘增强。对第n+1幅像同样应用局部能量法取得其边缘增强。2.蛇点相关计算。(1) 利用已经获得的最优蛇点轮廓，在第n幅像的边缘增强像中，读取每一蛇点位置上像的灰度值组成相关所用

13、的第一个集合；(2) 应用局部能量法计算出第n+1幅像的边缘增强像；(3) 将第n幅像的最优蛇点轮廓移到第n+1幅边缘增强像的左上角。移动过程中蛇点之间的相对位置关系保持不变。在第n+1幅像的边缘增强像中，读取每一蛇点位置上像的灰度值组成相关用的第二个集合，并与第一个集合中每个对应蛇点的灰度作相减运算，取绝对值，然后求和，保存运算结果；(4) 将第n幅像的最优蛇点轮廓在第n+1幅边缘增强像上自左向右、自上而下的每一个位置执行与(3)相同的运算，保存运算结果；(5) 运算结果中极小值所对应的位置与原最优蛇点轮廓在第n幅边缘增强像中的位置之差即为物体的平移量。上述步骤的数学表达是：其中，(x，y0

14、)，算子E表示对原像In(x,y)或In+1(x,y)执行边缘增强运算以得到边缘增强像EIn(x,y)或EIn+1(x,y)；(x0,y0)代表两幅像中物体运动的位移量；为像坐标空间；v(s)代表上一幅像的蛇点位置集合；n表示像序列中某一幅像的序号。这种方法具有以下优点。第一，只利用蛇点所在位置的像像素参与相关运算，与原有相关方法相比可大大减小运算量；第二，红细胞在20ms内变形较小，使得相关精度得以保证。经过蛇点灰度相关运算后，即得第n+1幅像的初始蛇点轮廓。vn+1(s,0)=vn(s+(x0,y0),Mn)(3)其中，Mn代表第n幅像经过蛇形模型优化的总迭代次数。至此，已经获得了第n+1

15、幅像的初始轮廓vn+1(s,0)。以此轮廓为初始轮廓，对第n+1幅像运用蛇行模型优化轮廓，就可得第n+1幅像中物体的精确轮廓。如此反复，就可完成整个像序列的物体的跟踪。4在体红细胞运动及变形的跟踪2为放大倍数7000倍的像序列，中所列顺序从上到下，从左到右排列，共25幅像，时间间隔为20ms。该所示为一个红细胞进入毛细血管入口处的全过程。首先，对第一幅像使用局部能量法和蛇行模型二个步骤较精确地提取出其轮廓；然后，应用1的处理过程完成整个像序列的轮廓跟踪。中围绕红细胞的白色封闭曲线就是提取出的红细胞的轮廓。3为对应于2的红细胞轮廓变化，每个轮廓中心的“+”字代表相应轮廓的几何中心点。在 2中像的

16、坐标原点均位于左上角，而3原点位于左下角。2放大7000倍红细胞入口运动全过程检测32中红细胞运动轮廓5小结本文主要叙述了基于像序列的可变形物体的变形跟踪。在体红细胞平移速度快。本文提出了蛇点灰度相关方法，节约了大量时间。对于红细胞的变形，充分利用了蛇行模型的局部变形跟踪能力。蛇点灰度相关方法，与光流场方法相比，计算量小；消除了孔径效应；解决了大位移问题；可以准确测出相邻二幅像中物体的运动。与相关方法相比，可以检测物体的变形，减小了运算量。与像轮廓逐次提取方法相比，充分利用了像序列之间的相互继承性。实际使用中，除了可以得到平移，变形两类运动变化以外，轮廓经过蛇行模型优化。保证了轮廓提取的精度。

17、能够满足显微像序列中可变形物体动态跟踪的要求。本文完整地叙述了显微像中可变形物体的动态跟踪问题。结合文献13提出了一整套变形跟踪的方法。该方法充分利用了像中非常重要的像轮廓信息，是一种以轮廓为线索、以灰度变化为基础的方法。(致谢：感谢中日友好医院临床研究所庄逢源教授、胡青华大夫。感谢他们无私提供了动物实验条件。感谢田牛教授、严宗毅教授、宗孔德教授、李贵山教授等，在百忙之中，抽出时间共同讨论，并给予了富有建设性的建议。)6参考文献1Darry W, Yang YH. Experiment Evaluation of Motion Constraint Equations. CVGIP: Imag

18、e Understanding, 1991,54(2):2062142Barron JL, Fleet DJ, Beauchemin SS. System and Experiment: Performance of Optical Flow. Int J Comp Vis, 1994,12(1):43773Hana-Hellmut N. Optical Flow Estimation and the Interaction Between Measurement Errors at Adjacent Pixel Positions. Int J Comp Vis, 1995,15:27128

19、84Simoncelli EP, Adelson EH, Heeger DJ. Probability Distributions of Optical Flow. 1991,3103155Morrone MC, Owens RA. Feature Detection from Local Energy. Pattern Recongnition Letters, 1987,6:3033136Morrone MC, Burr DC. Feature Detection in Human Vision: A Phase-Dependent Energy Model. Proc R Soc Lon

20、d, 1988,B235,2212457林强.左心室轮廓光流场检测及其临床应用.福州大学学报，1995，23(5)：28328Secomb TW, Skalak R, et al. Flow of Axisymmetric Red Blood Cells in Narrow Capillaries. J Fluid Mech, 1986,163:4054239Michael K, Andrew W, Demetri T. Snakes: Active Contour Models, in Proc 1st Int Conf Comp Vis, London, 1987,25926810Fred

21、eric L, Levine MD. Tracking Deformable Objects in the Plane Using an Active Contour Model. IEEE Trans. on PAMI, 1993,15(6):61763411Mark A, Dyer CR. Long-Range Spatiotemporal Motion Understanding Using Spatiotemporal Flow Curves, 1991,30330912Freeman WT, Adelson EH. The Design and Use of Steerable Fi

22、lters, IEEE Trans on PAMI, 1991,13(9):89190613周彦博，张志广.可变形物体的轮廓的提取.电子学报(已接受,待发表)STUDY ON DYNAMIC TRACKING METHODOF DEFORMABLE OBJECTS IN MICROSCOPIC IMAGESZhou Yanbo, Zhang Zhiguang, Yang Fusheng(Biomedical Engineering and Instrument, Tsinghua University, Beijing 100084)ABSTRACTNormal red blood cells are highly deformable in vivo. They can