（通信与信息系统专业论文）基于深度变化成像模型的三维显微光学图像复原研究.pdf

四川大学硕士学位论文 基于深度变化成像模型的三维显微光学 图像复原研究 图像处理与网络通信专业 硕士生赵佳指导教师何小海 摘要：在三维显微成像中，成像的每一幅二维图像都包含来自焦平面的图像和 相邻离焦层面的模糊图像。为了消除离焦模糊，可以采取激光扫描共焦显微术 ( l s c m ) 或者计算光学切片显微术( c o s m ) 两种方式。后者具有信噪比高、 对样本不产生漂白现象、价格便宜等优势，但也有速度较慢的弱点。 在之前的c o s m 图像复原中，为了简化计算，一般都假定点扩展函数是空 间不变的。但实际成像中，通常样本中物质是变化的，故样本中不同位置的折 射率不一样。由于样本的折射率与物镜所浸物质的折射率不匹配，导致不同深 度的点扩展函数可能不同。此时如果仍采用空间不变的模型来估计样本函数， 会得到虚假的复原图像。因此本文提出基于深度变化成像模型的“最大期望 ( e m ) 复原算法”，能够提高图像清晰度，尤其是在深度方向；但它又丢失了 图像的一些微弱细节，且恢复的图像往往会出现一些孤立亮点。所以又提出基 于深度变化成像模型的“调整e m 算法”，可以避免上述缺点，较好地恢复图像 微弱细节。但是由于“e m 算法”、“调整e m 算法”运算速度较慢，本文还提出在 深度变化成像模型中使用一种基于最大惩罚似然估计的最大期望解卷积方法， 它是一个分别在傅立叶域和小波域内交替交换解卷积的过程。相对“e m 算法”、 “调整e m 算法”，在复原结果相近的条件下此法可以节约运算时间，且较好地 复原图像。 关键词：计算光学切片显微术图像复原点扩展函数深度变化成像模型 最大期望最大惩罚似然估计 t h r e ed i m e n s i o n a lm i c r o s c o p y i m a g e r e s t o r a t i o n b a s e do nd e p t hv a r i a n ti m a g i n gm o d e l m a j o r ：i m a g ep r o c e s s i n ga n dn e t w o r kc o m m u n i c a t i o n g r a d u a t e ：z h a oj i a s u p e r v i s o r ：h ex i a o h a i a b s t r a c t ：i nt h et h r e e d i m e n s i o n a lm i c r o s c o p yi m a g i n g ，e a c ho n eo ft h eo p t i c a l s l i c e si n c l u d e st h ei n f o c u sa n dt h eo u t o f _ f o c u ss t r u c t u r e s a n di n - f o c u ss t r u c t u r e s a p p e a rs h a r pw h e r e a so u t o f - f o c u ss t r u c t u r e sa p p e a rb l u r r y i no r d e rt or e c o v e r i m a g e ，t h el a s e rs c a n n i n gc o n f o c a lm i c r o s c o p y ( l s c u ) o rc o m p u t a t i o n a lo p t i c a l s e c t i o n i n gm i c r o s c o p y ( c o s m ) c a nb eu s e d c o s mh a st h ea d v a n t a g e so fh i 曲 s i g n a l - n o i s er a t i o ，n o n - b l e a c h i n ga n dl o wc o s t ，i ns p i t eo ft h ed i s a d v a n t a g eo fl o w s p e e d i ns o m ec o s mi m a g er e s t o r a t i o na l g o r i t h m ，p s fw a sa s s u m e dt ob es p a c e i n v a r i a n tt os i m p l i f yt h ec o m p u t a t i o n b u ti nt h ep r a c t i c a li m a g i n g , b e c a u s et h e s u b s t a n c eo fs p e c i m e ni sv a r i o u s ，t h er e f r a c t i v ei n d e xi nd i f f e r e n td e p t hi sd i f f e r e n t a st h er e f r a c t i v ei n d e xm i s m a t c hb e t w e e nt h ei m m e r s i o nm e d i u ma n dt h em o u n t i n g m e d i u mo ft h es p e c i m e n ，t h ep s fi sd e p t hv a r i a n t i nt h i sc a s e ，t h es u p p o s i t i o no f i n v a r i a n tp s fw i l l l e a dt oa r t i f i c i a l r e s t o r a t i o n t h e r e f o r e ，a i le x p e c t a t i o n m a x i m i z a t i o n ( e m ) a l g o r i t h mb a s e do nt h ed e p t h v a r i a n ti m a g i n gm o d e li sp r o p o s e d i nt h i sp a p e r i tc a ni m p r o v ei m a g er e s o l u t i o n ，e s p e c i a l l yi nd e p t h ，b u ti tw o u l dr e s u l t i nl o s i n gd i md e t a i la n de n h a n c i n gv e r yb r i g h ti s o l a t e ds p o t s s oar e g u l a r i z e de m a l g o r i t h mi su s e dt oa v o i ds u c hd i s a d v a n t a g e sa n dt or e c o v e rt h ed e t a i lo fi m a g ei n t h ed e p t h v a r i a n ti m a g i n gm o d e li nt h r e e d i m e n s i o n a lo p t i c a ls e c t i o n i n gm i c r o s c o p y a tl a s t ，b e c a u s ct h es p e e do fc o m p u t a t i o ni nt h ee ma l g o r i t h ma n dr e g u l a r i z e de m a l g o r i t h m i st o os l o w , a n e x p e c t a t i o n m a x i m i z a t i o na l g o r i t h m f o r i m a g e i t 四川大学硕士学位论文 d e c o n v o l u t i o nb a s e do na p e n a l i z e dl i k e l i h o o db a s e do nd e p t h - v a r i a n ti m a g i n g m o d e li sp r o p o s e d ，w h i c ha l t e r n a t e sb e t w e e nt h ef o u r i e ra n dw a v e l e td o m a i n s t h i s a l g o r i t h m i sf a s t e rt h a nt h ee ma n dr e g u l a r i z e de ma l g o r i t h mu n d e lt h es a m e r e s t o r e dr e s u l t sc o n d i t i o n ，a n dt h er e s t o r e di m a g ei sg o o d k e yw o r d s ：c o m p u t a t i o n a lo p t i c a ls e c t i o n i n gm i c r o s c o p y , i m a g er e s t o r a t i o n ，p o i n ts p r e a d f u n c t i o n ，d e p t h - v a r i a n ti m a g i n gm o d e l ，e x p e c t a t i o n - m a x i m i z a t i o na l g o r i t h m ，m a x i m u m p e n a l i z e dl i k e l i h o o de s t i m a t o r i i i 四川大学硕士学位论文 第一章绪论 1 1 研究意义 在目前的许多工程项目中，三维样本结构的显示和重建都非常重要，获取 一个生物样本的三维结构是非常有益的。用于三维信息的获取、记录、处理和 显示有两种方式：一种是激光扫描共焦显微术( l a s e rs c a n n i n gc o n f o c a l m i c r o s c o p y ，l s c m ) ，激光扫描共焦显微术是采用激光作为光源，在传统光学 显微镜基础上采用共扼聚焦装置，并利用计算机对所观察的对象进行数字图像 处理的一套观察、分析和输出系统【。自二十世纪8 0 年代以来被广泛应用予 观察生物样本结构，它能够大幅度提高荧光显微图像的分辨率。在激光扫描共 焦显微镜中，激光束对准后由物镜聚焦成一点照明样本，对物体进行扫描，集 光镜将聚焦后的扫描点成像在探测器上，由光电探测器对其进行接收并变成电 信号，实现串行成像，并在显示屏上显示或存入计算机中进行处理。由于物镜 和集光镜共同聚焦在样本上的某一点，因此称为共焦显微镜1 3 】。但是共焦显微 镜是将焦平面外光排斥在所成图像之外来达到去除干扰的目的，由于其孔径很 小，通过的光也相对较弱，因而不易得到信噪比较高的图像：另一方面，由于 过强的光容易对生物样本产生漂白现象，还具有光毒性，限制了在活性样本上 的应用。 另一种就是计算光学切片显微成像技术i 卅( c o m p u t a t i o n a l0 p t j 蒯s e c t i o n i n g m i c r o s c o p y ，c o s h 0 ，它是一种软处理技术该技术利用高精度的显微镜电动 z 轴控制系统，通过软件直接控制显微镜电动平台在z 轴方向移动，并同时控制 摄像系统进行拍摄成像，通过扫描焦点位置，以获取不同聚焦平面的信息，形 威z 轴不同的图像序列。再利用各种复杂的图像解卷积算法，消除离焦引起的模 糊，将系列图像中焦平面外的光信息和焦平面上的光信息分离开来，从而获得 物体的正确三维形态，即通过数字解卷积的方法获取清晰的光学切片图像，并 可进行三维重建，任意旋转，测量，投影等。与l s c m 相比，c o s m 具有信噪比 四川大学硕士学位论文 高、不产生样本漂白、价格便宜等优势。 由于l s c m 系统价格昂贵，这对于推广应用是极为不利的。相比之下， c o s m 系统的价格则便宜许多，具有较好的应用价值。我们研究的课题是针对 三维显微样本图像，利用去模糊的解卷积算法来克服光学系统对成像的干扰， 以实现成本较低的复原系统。 1 2c o s m 系统构成 c o s m 系统主要由显微镜，光源，z 轴步进控制器，c c d 采集卡，计算机 等硬件和相应的处理软件系统构成。系统具体构成如图1 - 1 所示。 圈卜1c 0 驯系统的构成 通过光源照射，从样本发射出的光子经过物镜在c c d 上成像，计算机控制 c c d 的曝光时间，采集图像数据，同时通过z 轴步进控制器在z 轴方向移动显 微镜，即依次移动物镜的聚焦平面，采集得到一组二维切片图像。对采集到的 序列图像进行复原去模糊，消除离焦引起的模糊，提取出我们感兴趣的信息供 后续处理。 l 数字图像h 图像预处理 呻l 图像复原 叫三维重建l 叫立体显示l 广 广 广_ 1 广1 广_ 1 图卜2 软件结构 图l 一2 中c o s m 系统中图像复原模块是本系统的核心部分，对采集到的序 四川大学硕士学位论文 列图像进行复原去模糊，提取出我们感兴趣的信息供后续处理。三维重建模块 对复原后的图像( 一般为二维切片图像) 沿光轴( z 轴) 方向进行堆叠，在三 维层面上对样本进行重建并显示。 1 3 光学切片简介 光学显微镜是组织学和微解剖学的一个常用工具。当我们通过显微镜观察 样本时，显微镜只能聚焦在一层平面上然而，生物样本不只是薄样本( 即不 是限制在一层平面上) ，而是三维结构的，因此，样本的其余部分就不在聚焦层 内。这些远离聚焦平面的结构基本不可见，但对成像结果有影响【研 成像结果不但包含了当前聚焦的样本平面与聚焦的点扩展函数的卷积，还 包含了离焦的样本平面与离焦的点扩展函数的卷积。即只有在聚焦平面和其附 近的结构才是可见的，但变得模糊。远离聚焦平面的结构基本不可见，但对成 像结果也有影响。 利用多重物理切片可以克服这种三维成像问题，即将三维样本分割为一系 列的薄片，然后分别研究每个薄片部分，以了解整个三维样本的结构。但是这 种方法有两个主要的缺点：首先切片时存在不可避免的几何形变，包括拉伸、 卷曲、折叠以及薄片的撕裂等；其次当切片各部分分开后，结构间的对准会丧 失。且物理切片只考虑了二维图像，那么对二维分割图像的不恰当的解释会导 致对三维结构的各种错误理解。 于是为了从样本中获取一个三维图像，通常使用光学切片的方法。这种方 法舍弃物理切割，由光学成像方法直接得到，所以称之为光学切片( o p t i c a l s e c t i o n ) 弘q 。在这种方法中，通过把显微镜聚焦在样本的不同平面上，然后用 c c d 摄像头抓取图像，在当前聚焦平面的图像被获取和存储后，显微镜自动聚 焦在相邻的平面上，重复上面的过程直到整个样本被扫描完( 对于一些计算光 学切片解卷积方法，还需要采集到样本以上和样本以下的图像以供计算) 。如图 1 - 3 所示。 这些获取的二维图像序列堆积起来就构成样本的三维图像。在三维图像晕， 每一层二维图像都包括来自聚焦面的图像和相邻层面的模糊图像，如图1 4 。然 后可以通过反卷积算法处理每一层图像，削弱或去除邻近平面上的结构引起的 离焦信息。这样处理后得到的图像序列获取了显微样本的三维截面信息，代替 3 四川大学硕士学位论文 了切片的功能。由于这里光学切片其实质就是通过光学成像获得的一个图像序 列，这个图像序列对应三维样本的一系列截面，所以由光学切片能重构显微样 本的三维结构 6 1 。 圉1 - 3 样本光学切片示意图 图1 - 4 光学切片成像图 1 4c o s m 技术发展及研究现状 1 9 7 1 年m w e i n s t e i n 发表了关于由二维切片重建三维样本结构的论文 7 1 。 8 0 年代初，a g a r d 等提出了o s m ( o r t i c a ls e c t i o n i n gm i c r o s c o p y ) 技术1 6 - s ，并 对此进行了研究。由于当时受到图像复原和信号处理等理论、技术水平的限制， 以及计算机硬件软件的约束，系统复原质量较差，速度慢，在实际应用中比较 困难，因此这方面的研究工作进展不大。直到1 9 8 9 年a g a r d 发表了有关三维荧 光显微技术论文后【8 l ，且当时计算机技术及图像复原理论都有很大提高，这方 面的研究才得到了比较快的发展。进入9 0 年代，h o l m e s ，c o n c h e l l o 等将o s m 技术重新命名为计算光学切片显微成像术( c o s m ) 4 1 ，并对c o s m 的一些核 心技术进行深入研究，较大的促进了利用显微镜对三维样本进行重建的发展。 当前，国内外对c o s m 的研究焦点主要集中在系统的兰维点扩展函数( p s f ) 的研究和三维显微图像的复原算法的研究。 1 4 1 三维点扩展函数的确定 点扩展函数的确定有理论计算、实验确定和盲解卷积三种方法，通常对所 4 四川大擘硕士学位论文 得的每一个p s f 还要做多次实验，直到它能够恢复出满意的图像为止【9 1 。 理论估计是通过数学模型来计算点扩展函数。具有以下优点：1 理论估计 是没有噪声的。2 理论估计不需要匹配实验设备。但是理论估计也有以下缺点： 为了准确计算点扩展函数，必须知道成像过程中的一系列参数的准确值。除了 物镜的数值孔径、激发光波长，还要知道浸液的折射率、盖片的厚度。此外还 需要知道物镜的工作距离、z 方向切片距离。如果这些数据不准确，那么复原 的图像质量则不好。 实验确定点扩展函数时，选择一个直径大约为物镜分辨率1 3 的微小荧光 球体，作为点光源，将这些微小球体用粘合剂粘在盖片的下表面，并选择合适 的浸液，当某个游离的小球被发现时，使用同观察样本一样的像素尺寸x y 和 切片z 距离来获得3 d 图像，可重复数次尽可能地消除噪声。应使实验装置尽 量模拟要观察的样本的实际环境，这特别重要【堋。实验确定点扩展函数比理论 计算更加匹配成像条件，且不需要知道具体的成像参数数据。但是实验确定的 点扩展函数常具有噪声。 最后一种盲解卷积算法就是在估计样本函数的同时也对点扩展函数进行估 计。但是盲解卷积算法是一个不确定问题，缺乏足够的信息来唯一确定真实图 像的估计值，需要利用有关图像信号、点扩展函数和噪声的已知信息和先验知 识，结合一些附加条件，对问题的解形成约束条件因此言解卷积就是在满足 这些约束条件的前提下，求取真实图像在某种准则下的最佳估计值和最佳点扩 展函数。 1 4 2 三维光学切片图像复原算法 目前c o s m 中的复原算法常用的主要有：最近邻法 6 1 ；线性解卷积算法包 括逆滤波复原算法 s 1 u 2 1 、维纳逆滤波复原算法【捧1 4 1 ；非线性迭代算法包括最大 似然复原算法f 慢1 8 l 、最大后验概率1 1 9 - 2 0 l 、参数盲解卷积【2 1 - 2 2 1 、迭代盲反卷积复 原算法i 矧等。其中最近邻、逆滤波、维纳逆滤波速度较快，但复原质量不高； 其它算法需要迭代，速度较慢，复原结果较好。 1 4 3 深度变化点扩展函数的提出 在实际成像中，由于样本中物质是变化的，故不同位置样本的折射率不一 5 四j i l 大学硕士学位论文 样，虽然大多数显微镜具有相差补偿功能，但由于三维样本的折射率与物镜所 浸物质的折射率的不匹配，导致不同深度其点扩展函数也不一样。当点扩展函 数变化时，如果仍采用空间不变的模型来估计样本函数，将不能补偿由于点扩 展函数随深度变化而带来的图像退化，得到虚假的复原图像。所以c p r e z a 和 j a c o n c h e l l o 提出了深度变化点扩展函数的概念 2 4 - 2 5 1 。 1 5 论文安排 第一章介绍计算光学切片显微镜成像( c o s m ) 技术的基本概念、c o s m 系统组成、光学切片原理，并介绍目前c o s m 的发展及研究现状。 第二章详细分析了三维显微成像原理，对三维显微镜系统的点扩展函数进 行了分析，且分析了形成深度变化点扩展函数的原因，最后阐述了病态问题并 总结了正则化思想和方法。 第三章讨论了在三维显微图像复原中的常用算法：逆滤波、最近邻算法、 迭代盲反卷积算法、最大熵复原算法。 第四章详细提出了基于深度变换成像模型的e m 和调整e m 算法，并对模 拟样本和实际样本进行实验，比较2 种算法的复原效果。 第五章详细分析了基于最大惩罚似然估计的一种最大期望算法，提出了基 于深度变化成像模型的小波傅立叶最大期望算法，利用模拟样本和实际样本证 明算法的有效性。 第六章对全文进行了总结，并结合我们的工作对我们可以继续开展的研究 方向进行了展望。 1 6 总结 本章首先介绍计算光学切片显微镜成像( c o s m ) 的研究意义、光学切片 的基本概念、c o s m 系统组成，并介绍c o s m 技术的发展及研究现状，最后介 绍了本论文主要研究内容。 四川大学硕士学位论文 第二章三维显微图像复原基础 2 1三维显微光学切片成像原理 光学切片其实质就是通过光学成像获得一个图像序列，这个图像序列对应 三维样本的一系列截面，所以由光学切片能重构显微样本的三维结构。 图2 - 1 描绘了对厚度为t 的样本进行成像的显微镜的光学系统。系统的三 维坐标系的原点位于样本底部，z 轴与显微镜的光轴重合，像距盔固定，焦平 面位于z 。z 处，即距物镜下面d ，处。像平面有其自己的坐标系o ，y ，) ，其原 点在z 轴上1 5 】。 图2 - i 厚样本成像模型 7 四川大学硕士学位论文 根据透镜的成像方程，物镜的焦距决定了透镜到焦平面的距离d ，： 土+ 土。三 。 ( 2 1 )一+ i ， d l d f 于是，这又决定了物镜的放大倍数： m 。生 ( 2 2 ) d ， 。 因为像距和焦距固定，所以通过上下移动样本，便可以将焦平面放于样本的任 意位置，于是可以将焦平面放置于任意想要的z 位置上，物镜的焦距与其他显 微镜参数的关系为： ，一南1 - 羔m1 铲羔d d ( 2 3 ) 。m +7 ；+ ， 、 透镜到焦平面的距离为： 小軎- 盟m ，= 鲁d ( 2 4 ) 。 j m i f 。 、 为了进行分析，假设样本被一种荧光染料着色，这样就可以生成样本上所 有的三维位置上的亮度分布。吸收光线的样本的分析也类似。 使用函数，o ，y ，z ) 来描述强度( 亮度或光学密度) 分布。g ( x ，y ：z ，) 表示当 焦平面位于z 时的成像结果。 我们所关注的是实际样本的尺度，而不是放大的图像。但是由于所处理的 是数字图像，所以用样本坐标系的尺度因子( 像素点大小，空间频率等) 要比 使用图像平面的尺度因子更为方便。同时这也使标注说明更简单。 定义一个从图像平面反投回焦平面的理想( 无变形) 投影。从9 0 ，y ：，) 投 影到g y ，2 ，) 形式抵消了图像系统引入的幅度变化和投影成像时1 8 0 度的旋 转。它把图像又放回到样本坐标系中。因此样本实体内的一点o ，y ，z ) 映射到焦 平面上的一点0 ，y ，2 ) 。我们忽略了由离焦引起的尺度的微小变化 因此希望建立图像0 ，) ，z ) 与样本函数f ( x ，y ，z ) 之间的联系。图2 - 2 描述了 简化了的情况，其中样本除了在z - 乏处的物体平面上，其他强度均为0 。即： f ( x ，y ，力一 0 ，) ，) 6 ( z 一毛)( 2 5 ) b 四川大学硕士学位论文 一 。7 t ? 一厂一 、) 、 另砭 一蹴物 一 ：f ( x ，y ，f ：) + h ( x ，_ ) ，z - i a z ) a z ( 2 1 0 ) 符 其中f ( x ，y ，z ) 为样本函数，g ，y ，z ) 为像分布函数，i l 扛，y ，z ) 为三维点扩展函 数，它的傅立叶变换为光学传递函数( o t f ) ，1 1 0 ，) ，& ) 为离焦情况下的二维点 扩展函数。研究表明，在理想的透镜成像系统中，点扩展函数近似为透镜光瞳 函数的傅立叶变换1 2 7 - 2 8 1 。 在理想显微镜的设计条件下，一个点光源所成的像是显微镜限制系统衍射 的球面波汇聚在像平面的一个高斯点，这种情况下，三维图像的二维切片是无 相差的。然而，实验室使用的显微镜不可能总是在设计条件下，通常情况下， 透镜具有残留相差。在研究生物活细胞和组织时，与设计条件下相比，实验过 程中的介质厚度和折射率与设计条件有显著不同，结果会导致三维图像降质和 图像的对比度降低。g i b s o n 等在前人研究的基础上，建立了实际显微镜光路的 点扩展函数的模型( 式2 1 1 ) ，并用实验进行了验证【2 9 。3 0 l 。 1 0 四川大学硕士学位论文 j l ( x 口) - - 1 1c 凡 ( 2 立z ) a p r o z 。】尸，z o ) p a p1 2( 2 1 1 ) 其中，。是零阶第一类贝塞尔函数，九是波长，pl ! 玎曩2 + 1 12 ，“，是透镜后面 所成的面( 称为后焦平面) 的极坐标，! - 瞧，- q ) 是后焦平面上点的坐标， 口。z 。扎4 肘2 一n a 2 。z , t n a m ，n a 、m 分别是透镜的数值孔径和放大倍数， 乃是透镜到接收面的距离，r o - + _ ) ，；是二维样本平面上的极坐标，乙是三 维样本的深度，而透镜的光瞳函数表示为： p q ，z o , t ) - a ( p ) e x p j w ( p ，z o ) 】 ( 2 1 2 ) 其中月( p ) 是光瞳函数的幅度，w o , o 是相位差，一般形式可以写为： 矽d ，乞) 一z , c ( p ) + b 0 )( 2 1 3 ) 理想点扩展函数式( 2 1 1 ) 在实际应用中存在以下两方面问题：( 1 ) 点扩展函 数所需参数较多，但实际光路较复杂，这些参数不易得到；( 2 ) 图像复原中通常 要对点扩展函数作求导、积分、傅立叶变换等运算，由于理想点扩展函数( 式2 1 1 ) 较复杂，将导致复原的计算量大、速度慢。因此在考虑复原效果的前提下，有 必要假设一种计算简便且参数较少的点扩展函数。 由于三维点扩展函数的能量主要集中在沙漏6 e ( h o u r g r a s s s h a p e d ) ，曾有研 究者提出了一种沙漏形状的简单点扩展函数模型，它由沿z 轴方向半径递增的 一系列圆组成，函数中心的圆半径最小，两端半径最大。该模型计算量小，但 复原效果不好。考虑到高斯函数的形状与贝赛尔函数很相似，而计算比较简便， 故采用陶青) 1 1 1 3 1 l 提出的基于高斯函数的三维点扩展函数简化模型，此三维高斯 型函数作为系统的近似点扩展函数，不同层面的离焦量可以用不同方差的高斯 函数进行模拟，如图2 - 3 。 其中r 为系统成像麟慨r - 罂n ams i i l 。 ， 三维高斯型点扩展函数如下： 1 善 h ( x ，y ，z ) ；l - e 珥 脚z ( 2 1 4 ) 其中：吒2 矗+ a l z z o l ，即方差与该层面与中心位置的距离成正比。2 。决定 了艾利斑r 的大小，口决定了0 的大小。相比于理想模型的优势是：该高斯模 l l 四川大学硕士学位论文 型只有两个参数，有利于提高迭代速度；由于高斯函数的性质，复原中的求导、 积分、傅立叶变换等计算均比较简便。在以后的章节中，我们将采用这个模型 来代替系统的三维点扩展函数。 图2 - 3 三维高斯型点扩展函数模型 2 3深度变化点扩展函数 在显微光学切片图像复原方法中，算法的目的都是从给定的图像中估计出 样本函数，但是成像和记录过程中的数学模型或样本信息大都是未知的。为了 能够实现算法复原，研究者在导出模型上做出了简化假设。对于成像过程的逆 过程，不同的假设和方法会导致不同的算法。一般来说，基于越准确的模型的 算法越能产生更好的结果，但计算量更大。 在现存的c o s m 算法中一般都存在两个假设：线性性和空间不变性。线性 性在理论上可行是指样本中某一点发射出的大多数光子在被物镜检测到之前是 互不影响的。空间不变性在理论上可行是指显微镜的点扩展函数( 既点光源的 图像) 在三维场中变化不明显。当成傍被假设为线性性和空间不变时，大多数 三维解卷积算法能够使用傅立叶变换来计算。 然而实际成像过程中，由于样本中物质是变化的，如果是薄的生物样本， 1 2 四川大学硕士学位论文 空间不变性仍然成立。然而，若是厚的生物样本，空间不变性并不成立。这是 因为厚样本中的折射率是变化的以及随样本深度增加产生了相差。显微镜一般 被设计为只有紧靠在载玻片下面一层的样本是无相差的。显然，厚的样本只有 其最上面一层是紧靠载玻片的，且当显微镜聚焦在其他层时就产生了球面相差 ( s a ) 。使球面相差的数量增大有三个因素：一、显微镜聚焦的深度与载玻片 的距离。二、三维样本的折射率与物镜所浸物质的折射率的不匹配三、物镜 的数值孔径a ) 大小。虽然显微镜能够被调整为在特定深度排除相差，但也只 是在被调整过的深度才是没有球面相差的。在样本中聚焦层面的上下层都会产 生球面相差。因此，在聚焦层面上下的样本的成像都受到有球面相差的点扩展 函数的影响。 大多数生物样本都是浸泡在一种水质介质中( 水或盐溶液) ，大概折射率为 1 3 3 。对于高数值孔径物镜( n a i o ) ，当物镜的数值孔径达到n a = 1 4 时，折 射率n = 1 5 1 5 ，当数值孔径为n a = i 6 5 时，n = 1 8 样本与物镜之间折射率的不 匹配不仅仅产生了球面相差，而且使球面相差在显微镜聚焦时随着与载玻片的 距离增加而增加。在上述情况下，空间不变性不再是一个合理的假设。因此， 假设空间不变性来估计样本函数产生了虚假的估计图像。 在实际成像中，由于样本中物质是变化的，故不同样本位置的折射率不一 样，将会导致点扩展函数不同，虽然大多数显微镜具有相差补偿功能，但由于 样本的折射率与物镜所浸物质的折射率不匹配，导致不同深度其点扩展函数也 不一样。所以c p r e z a 和j a c o n c h e u o 提出了深度变化点扩展函数的概念 2 4 - 2 s 1 。 2 4 复原病态问题及其正则化 即使系统函数| i l 例或降质函数h ( u ，砂已知，反卷积问题也不是一个简单问 题。在这种情况下，方程( 2 9 ) 是第一类f r c d h o l m 积分方程，它的求解是一个病 态问题。一个方程的病态表现为方程的解不是连续地依赖于观测数据。换句话 说，观测数据的微小变动可能导致解的很大变动由于观测数据受噪声的污染， 方程的解可能偏离真解相当远。前面提到，反卷积会伴随有噪声放大。这是关 于反卷积病态的直观了解。为了找出解决或减缓病态的方法，对它有更完整的 理论了解是必要的【3 2 1 。 反卷积属于数学物理问题中的一类“反问题”【3 3 l ( i n v e r s ep r o b l e m ) 。在数学 四t l l 大学硕士学位论文 物理问题中，给定了描述问题的微分方程包括强制函数、以及初始条件和边界 条件，就可以求解方程，确定出镀研究对象的过程和状态的数学或数值描述， 这类求解问题称为正问题。它的反问题是依据对研究对象的过程和状态的数值 观测，确定它服从于什么样的微分方程( 系统辨识或参数辨识问题) ；确定产生 该过程和状态的输入强制函数( 输入辨识问题) ；确定过去的初始状态( 逆时间 过程问题) ；以及确定边界条件( 边界控制问题) 。无疑地，还有许多其它形式 的正问题和反问题。信号和图像经过一个系统得到输出是正问题，在数学上就 是卷积积分。它的反问题就是信号复原和系统辨识。 反问题的一个共同的重要属性是它们的病态性。这使得无论是理论分析或 是数值计算都有特定的困难。1 9 2 3 年h a d a m a r d 提出了良态问题( w e l l p o s e d p r o b l e m ) 的概念，企图用以说明对各种微分方程，什么样的边界条件是最自然 的。根据他的定义：一个微分方程定解问题是良态的，如果( 1 ) 方程的解是存在 的；( 2 ) 解是唯一的；并且( 3 ) 解连续地依赖于数据。如果三个条件之一得不到满 足，则称定解问题是病态的或不适定的( i m p r o p e r l yp o s e dp r o b l e m s ) 。在一段时 间里，人们认为物理世界的问题部是良态的。直到2 0 世纪5 0 年代，随着能处 理问题的范围增宽和尺寸增大，发现在不少情况下，求得的解不能连续地依赖 于数据。苏联数学家a h t h x o h o b 注意并详细研究了病态问题，他提出了一套 处理病态问题的理论方法，称为正则化( r e g u l a r i z a t i o n ) 3 4 1 。现在，正则化的 概念包罗了多种多样的方法和技术，其目的是修改一个病态问题成为一个良态 问题，使得问题的解在物理上是合理的，并且连续地依赖于数据。当然，对问 题的任何一种修改都必须是合理的，必须符合人们对于问题的解的先验知识。 事实上，正则化基本思想就是利用关于解的先验知识，构造附加约束或改变求 解策略，使得反问题的解变得确定和稳定。 在信号复原应用中常用的正则化方法大致来自以下一些想法：1 修改问题的 解的概念：例如将先验知识作为附加约束，把复原问题变成一个最小化问题； 把求解问题变成一个迭代或滤波过程，并在迭代和滤波过程中使用附加约束对 解进行修改；把求解问题变成投影迭代问题：把求解问题变成模型估计问题等 等。2 限制数据。例如使用广义逆、奇异值分解等方法抑制数据误差的影响； 对解的高频分量进行估计和截断；用非线性滤波和投影消除不合理数据。3 修 改算子。例如使用规整化算子的概念。4 使用统计估计方法。建立解的统计模 1 4 四川大学硕士学位论文 型，将统计模型作为先验知识，使得原问题变成统计估计或参数优化问题。 可以理解，正则化方法是依问题而定的。对于一个问题常常是多个正则化 措施一起使用。 2 5 总结 本章详细分析了显微三维光学切片的成像模型，对三维显微镜系统的点扩 展函数进行分析，介绍深度变化点扩展函数产生的原因，最后阐述了病态问题 及其规则化，图像复原是个病态问题，如果要使图像复原的病态问题变为良态 问题，需对问题进行正则化。 四川大学硕士学位论文 第三章三维显微图像复原常用算法 3 1 引言 一般显微镜对成像失真有两类影响：由点扩展函数引起的确定性模糊和噪声 引起的随机模糊。因此我们可以阐明图像复原的目标是通过使用模糊图像的点扩 展函数和某种噪声模型作为先验知识，从获取的图像中重建原始样本。一般的显 微镜系统下获取的图像主要噪声源是泊松噪声。 四川大擘硕士学位论文 这里z 是一个虚拟积分变量。如果我们将z 轴间隔& 将其离散化，并令z - j a z ， z 一i a z ，d z ；a z ，方程( 3 6 ) 变为 ，o ，y ，y a z ) - y 占 ，y ，i a z ) h 0 ，y ，j z i a z ) a z ( 3 7 ) ：二 当焦平面移到样本之外时( i n ) ，则结果图像提供的信息相当贫乏( 由 后面讨论可知，低频部分除外) 。这样，我们就可以通过有限和来近似方程( 3 7 ) ： f ( x ，y ，a z ) 一y 9 0 ，y ，i a z ) * h7 ，y ，& 一i a z ) a z( 3 8 ) l 镛 这里m 是某个正整数。这样便将每个物体平面的重建化简为一个二维卷积形式 的有限和。 尽管三维解卷积也可以重建样本函数，似y ，z ) ，但它可能遇到许多困难首 先计算三维p s f 的频谱较为复杂，其次，还有方程( 3 4 ) 的- - - 维逆变换计算 j i i 似，z ) ，最后，方程( 3 8 ) 也需要一定的计算量，特别是当z 较小时，要求n + 2 m 较大以包含整个样本。 联立求解：仍然用沿z 轴等距间隔& 的一叠物体平面来近似样本。通过沿z 轴方 向，以相同间隔移动焦平面，生成一系列光学切片图像，如果作如下替换 z j z1 s ，n 出一a z ( 3 9 ) 可得第j 个切片图像，即 g ( x ，y ，& ) - 罗，o ，y ，f & ) o ，y ，a z j a z ) a z ( 3 1 0 ) 面 其中 0 ，y ，z ) 可假设为沿z 轴近似对称。 为使标记简化可以通过暂时略去x , y ，并约定止为常数，且将i ，写作下标。 根据这些变化，方程( 3 1 0 ) 变为 驴著m 广薹正+ 鸟 o u ) 该式只不过表明第j 幅切片图像是多个样本平面与相应离焦p s f 的卷积之和。 ( 回忆一下“一j ) a z 是离焦距离) 。 通过对方程( 3 1 1 ) 进行二维傅立叶变换可使情况简化这样一来，从空问域 到频率域，卷积对应为乘法。根据定义 g ，- s g ( x ，y ，j a z ) )et 双f ( x ，y ，f & ) ) 只- 跚伍，y ，i 6 z ) ( 3 1 2 ) 四j i l 大学硕士学位论文 则方程( 3 1 1 ) 变为 n 一- ! g j f + j l ( 3 1 3 ) l 卜j 给定一组光学切片图像g ，1 s ，s ，方程( 3 1 3 ) 为一组由n 个方程组成，有n 个未知数的联立线性方程组。因此，我们具有恢复样本函数，0 ，y ，z ) 的第二个可 能性。可以用c r a m e r 准则或某些其它的技术来解决方程( 3 1 3 ) 求得只然而这种 求解的计算复杂性是很大的。实际上，e ，g ，和日，是二维频率函数，因此方程 组应该在二维频率的每一个采样点都求解。尽管可以这样做( 假设解存在) ，但 所得结果是否值得这样大的计算复杂性依旧是个问题。 近似方法：与完全恢复样本的精确方法相比，一种在较合理的代价下能明显改善 结果的近似方法似乎更为实用。现在放弃精确( 以及联立) 解的要求，转而寻找 一种有较好性能的近似解。 从式( 3 i l ) q = 抽出f - o 项，剩下两部分求和式，一部分i 为正值，另一部分i 为负值。即： 一1一j g ，- ”，薹，”噍+ 印趣 ( 3 1 4 ) 上式也可以重新写成 一ln - f o - g ， 一善 嚏 ( 3 i s ) 其中是显微镜焦平面上的p s f 。这个方程表明，第，层样本与焦平面上的 p s f 卷积，等于第j 层的图像减去一组已被非聚焦平面外的p s f ，即鱼模糊了的 邻近样本平面之和，在这个求和式中，f 代表焦平面与物体平面之间的距离。 方程( 3 1 5 ) 显示可以通过求得第，层图像与其相邻的一系列被离焦传递函数 模糊了的样本平面来恢复第j 层的样本。虽然我们得不到邻近的样本平面z + ， 但我们可以利用邻近的图像缸，。 从方程( 3 1 4 ) 可以看到每个图像均包含对应的样本平面再加上一组邻近的离 焦样本平面之和。因为离焦变换函数抑制高频区域，而使低频的信息通过，于是 我们可得到一般的结论即：图像的频谱包含样本的频谱加上由邻近平面提供的额 外的低频信息。所有平面中，越远的平面，其贡献给图像中频段信息就越少，所 累加上的信息频率就越低。 四川大学硕士学位论文 i 可以用一个图像占，的高通滤波结果来近似样本，如下 ，t g ，* k o ( 3 1 6 ) 其中k o 是由某种凭经验决定的高通滤波器，其传递函数在o 点处值为零，在所关 注的高频段值为1 。这样就可以去除大量额外的低频信息，得到合理的近似。如 果进一步忽略聚焦处p s f 的模糊效应，我们可以对方程( 3 1 5 ) 作以下近似 一l一， 一g ，圣，f t s * k o 鬼一善+ 1 * k o ( 3 1 0 仪仅使用m 个为数不多的邻近平面来去除绝大部分令人讨厌的离焦信息往往是 重要的。方程( 3 1 7 ) 于是化为 乃- 五- g ，一艺( g ，。h _ l + g 一 ) 毛 ( 3 1 8 ) 这意味着可以通过将2 m 个邻近平面图像用合适的离焦p s f 和一个高通滤波 器卷积并从岛中减去的方法部分消除离焦的结构影响a 必须对滤波器和m 进行选 择以得出合理得结果。虽然不能期望这种方法可以精确地恢复样本函数，但它确 实可以改善光学切片图像1 5 1 。 一般地简单的光学切片的模糊消除，取m - - 1 ，即只包含两个相邻平面图像， 这就是最近邻算法。 f lag l 一o 瞧| d + 9 1 0 l q 1 9 可以取值为1 ，实际应用中还有各种变形，如 - 5 9 j 一2 ( g j - l + g j + t ) ( 3 2 0 和，j - 3 9 ，- 2 ( g 1 + g j + 1 ) 鬼 ( 3 2 1 ) 最近邻算法的优点是计算量小，能够快速提高图像质量；缺点是复原效果 有的区域好，而有的区域差，并不能很有效的去除显微镜焦平面上的p s f 带来 的模糊信息。 3 3 线性解卷积：逆滤波算法 一般将图像与p s f 的卷积作为确定性模糊。在频域中，卷积可变换为样本的 傅立叶变换与光学传递函数的乘积其中光学传递函数( o t f ) 是p s f 的傅立 叶变换。因此，一种简单的图像复原形式即是图像傅立叶变换除以o t f 。这个 过程即为逆滤波。 1 9 四川大学硕士学位论文 为了讨论方便，简化了系统的成像模型如下式： g ( x ，y ) = ，y