（通信与信息系统专业论文）宽场荧光显微镜中的三维图像复原研究.pdf

摘要 宽场荧光显微镜中的三维图像复原研究 图像处理与网络通信专业 硕士生扬忠指导教师何小海教授 在生物科学研究中，荧光显微镜被广泛用于生物样本的三维观测。采用一 般宽场荧光显微镜来获取生物样本的三维图像时，所得到的图像在轴向方向上 会因为来自聚焦平面外图像的干扰变模糊，这个问题可以用激光扫描共焦显微 镜l s c m ( l a s e rs e a r m i n gc o n f o c a lm i c r o s c o p y ) 来解决。但l s c m 价格昂贵，系 统复杂，且过强的激光容易对生物样本产生漂白现象。因此，怎样用一种算法 去消除来自聚焦平面外图像的干扰就成为该领域人们研究的热点。 目前，用于荧光图像复原的算法可以分为线性和非线性两大类。线性算法 包括：最近邻、深度可变点扩展函数、逆滤波算法等。线性算法速度较快，在 一定程度上改善了图像质量。非线性算法包括参数盲反卷积( p b d ) 、迭代盲反 卷积( i b d ) 、最大似然盲反卷积( m l b d ) 算法等。非线性算法需要进行迭代 运算，速度较慢，但其图像复原效果一般优于线性算法。 本文针对线性算法和非线性算法都开展了一些工作，取得了一定的成果。 文章分为三部分，第一部分介绍了通过一般宽场荧光显微镜进行三维成像的基 本概念、成像原理；详细分析了三维显微镜系统的退化模型，阐述了其存在的 病态问题并总结了正则化的思想和方法；分析和总结了荧光显微镜系统的点扩 展函数和图像复原的主要评价标准以及用在荧光显微镜图像复原中的几种典型 的图像复原算法。第二部分详细分析了线性算法中最近邻复原算法的原理，提 出了结合二维维纳逆滤波的最近邻复原算法，在给定系统点扩展函数估计的情 况下采用模拟图像和宽场荧光显微镜获取的图像进行实验的结果说明了本文 所提复原算法优于最近邻复原算法。第三部分详细分析了参数盲反卷积算法和 深度可变点扩展函数图像复原算法，提出了基于深度可变点扩展函数的参数盲 i 四川大学硕士学位论文 反卷积图像复原算法，采用模拟图像和宽场荧光显微镜获取的图像进行实验的 结果说明了本文所提算法优于参数眚反卷积算法。 关键词：三维荧光显微技术 图像复原 三维点扩展函数 最近邻法 d v - p b d 算法 l l s t u d yo f3 di m a g e r e s t o r a t i o no ft h ew i d e f i e l d f l u o r e s c e n c em i c r o s c o p y m a j o r ：i m a g ep r o c e s s i n ga n dn e t w o r kc o m m u n i c a t i o n g r a d u a t e ：y a n gz h o n gs u p e r v i s o r ：p r o f e s s o rh ex i a o h a i f l u o r e s c e n c em i c r o s c o p yi sw i d e l yu s e di nt h eb i o l o g i c a ls c i e n c e st oo b s e r v e t h r e e d i m e n s i o n a l ( 3 d ) b i o l o g i c a ls p e c i m e n s as t a n d a r dw i d e f i e l df l u o r e s c e n c e m i c r o s c o p ey i e l d si m a g e st h a ta r cb l u r r e di nt h ea x i a ld i r e c t i o nb yc o n t r i b u t i o n s o u t s i d et h ep l a n eo ff o c u s ，t h i sp r o b l e mi ss o l v e db yt h el a s e rs c a n n i n gc o n f o c a l m i c r o s c o p e r l s c m ) h o w e v e r ，l s c mi sm o l ec o m p l e xt h a nt h ew i d e f i e l d m i c r o s c o p e a n di ti su s u a l l ye x p e n s i v ea n dh a sp h o t o b l e a c h i n gp r o b l e m s a sa r e s u l t ，t h ea l g o r i t h m so fr e m o v i n gt h eo u t - o f - f o c u sb l u ri nw i d e - f i e l dd a t ah a v eb e e n b c 矧3 m eac u r r e n th o tr e s e a r c hs u b j e c t a tp r e s e n t ，t h ei m a g er e s t o r a t i o na p p r o a c h e so ft h ef l u o r e s c e n c em i c r o s c o p e c a nb ec l a s s i f i e da se i t h e rt h el i n e a ro rt h en o n l i n e a rm e t h o d s t h el i n e a rm e t h o d s i n c l u d en e a r e s tn e i g h b o r , d e p t hv a r i a n tp s f , i n v e r s ef i l t e r , e t c l i n e a rm e t h o di sa f a s ta p p r o a c h t oc e r t a i ne x t e n t ，i tc a ni m p r o v et h eq u a l i t yo fi m a g e t h en o n l i n e a r m e t h o d s i n c l u d e p a r a m e t r i c b l i n d d e c o n v o l u t i o n ( p b d ) ， i t e r a t i v eb l i n d d e e o n v o l u t i o n ( i b d ) ，m a x i m u m l i k e l i h o o db l i n d d e c o n v o l u t i o n ( m l b d ) ，e t c n o n l i n e a ra l g o r i t h mn e e d si t e r a t i o na n dc o s t sm u c hm o r et i m e ，b u tt h eq u a l i t yo f i m a g e so b t a i n e db yi t e r a t i v ea l g o r i t h m si sb e t t e rt h a nt h a tb yt h el i n e a ra l g o r i t h m s 1 1 l i st h e s i sd o e ss o m er e s c 盯c ha b o u tt h el i n e a ra n dn o n l i n e a rm e t h o d sa n da c q u i r e s s o f t i ea c h i e v e m e n t s i ti sc o m p o s e do ft h r e ep a r t s 1 1 1 ef i r s tp a r ti n t r o d u c e st h eb a s i c c o n c e p ta n dt h ei m a g ef o r m a t i o nt h e o r yi naf l u o r e s c e n c em i c r o s c o p e ，a n a l y s e st h e d e g r a d a t i o nm o d e lo ft h ef l u o r e s c e n c em i c r o s c o p e ，e x p o u n d st h ei l l - p o s e dp r o b l e m i i i a n ds u m m a r i z e st h ei d e at h a tt h ei l l - p o s e dp r o b l e mi ss o l v e db yu s i n gr e g u l a r i z a t i o n t e c h n i q u e s ，t h ep o i n ts p r e a df u n c t i o no ft h ef l u o r e s c e n c em i c r o s c o p e ，a n dt h em a i n m e a s u r e st oe v a l u a t et h ei m a g er e s t o r a t i o na l g o r i t h m sa n ds e v e r a lt y p i c a li m a g e r e s t o r a t i o nm e t h o d sf u rt h ef l u o r e s c e n c em i c r o s c o p e t h es e c o n dp a r ta n a l y s e st h e p r i n c i p l eo ft h en e a r e s tn e i g h b o ra n dp r e s e n t san e wm e t h o dt h a tc o m b i n e sn e a r e s t n e i g h b o rw i t hw i e n e ri n v e r s ef i l t e r t h et h i r dp a r te x p o u n d st h ep a r a m e t r i cb l i n d d e c o n v o l u t i o na l g o r i t h ma n dt h em o d e lo fd e p t hv a r i a n tp s f , p r o p o s e sa p a r a m e t r i c b l i n dd e c o n v o l u t i o na l g o r i t h mb a s e do nd e p t hv a r i a n tp s eb o t ht h ef o u r t hp a r ta n d t h ef i f t hp a r tu s et h es i m u l a t e d3 di m a g e sa n dt h ef l u o r e s c e n c em i c r o s c o p ei m a g e s t ov e r i f yt h e s et w om e t h o d s k e yw o r d s ：3 df l u o r e s c e n c em i c r o s c o p y , i m a g er e s t o r a t i o n ，3 dp o i n ts p r e a d f u n c t i o n ，n e a r e s tn e i g h b o ra l g o r i t h m ，d v - p b da l g o r i t h m i v 第一章绪论 第一章绪论 1 1 背景 伴随光学显微镜技术通过信息处理能够使显微镜的分辨率大幅提高和生物 染色体技术的迅猛发展，用于生物样本三维信息的获取、记录、处理和显示的 显微镜系统也有了很大发展。激光扫描共焦显微镜( l s c m ：l a s e rs c a n n i n g c o n f o c a lm i c r o s c o p y ) 的出现，大幅度提高了荧光显微图像的分辨率，自二十世 纪8 0 年代以来被广泛应用于观测生物样本结构。在激光扫描共焦显微镜中，平 行的激光束从物镜的像方向物镜照射，并在样品上由物镜聚焦成一直径很小的 亮点，此亮点对样品进行二维扫描( 可以是物面扫描，也可是像面扫描) ，将所 获二维信息输入到计算机处理，从而获得三维图像信息。由于共焦显微镜的孔 径很小，通过的光也相对较弱，因而不易得到信噪比较高的图像。另外，由于 采用激光逐点扫描，采集三维样本时间太长，使用的激光强度较大，会造成对 荧光物质的漂白作用。另一种得到物体三维图像的方法是计算光学切片显微成 像技术( c o s m ：c o m p u t a t i o n a l0 p t i c a ls e c t i o n i n gm i c r o s c o p y ) ，该方法采用传统 的宽场显微镜( w i d e f i e l df l u o r e s c e n c em i c r o s c o p e ) ，通过光学切片的方法获取样 本的每一层面的荧光图像，但是这种方法获取的每一副图像都包含焦平面内和 焦平面外的光成分，焦平面外光成分对所成图像有干扰模糊，同时，光轴方向 的图像的分辨率被消弱。这种情况可以应用各种算法将系列图像中焦平面外的 光信息和焦平面上的光信息分离开来，从而获得原物体的正确三维形态。与 l s c m 相比，c o s m 具有信噪比高、不产生样本漂白、价格便宜等优势。 我们研究的课题是针对在传统宽场显微镜下采集的三维荧光样本图像，利 用一些去模糊的算法克服光学系统的干扰，充分利用现代信息处理技术，实现 成本较低、满足不同条件的图像恢复算法，为重建三维样本做准备。 1 2 三维显微成像原理 将显微镜系统抽象在一个三维空间坐标系中( 图卜1 ) ，显微镜物镜的光轴 1 定义为z 轴。将荧光染色的生物样本置于显微镜系统中进行采样，单色光源照射 下的生物样本就会受激产生荧光，沿z 轴方向生物样本可以被看作出一系列厚 像平 样本 圈1 - 1 三维显微成像原理图 度为az 的光学切片构成，位于聚焦平面的切片s ( x ，y ，a ) 会在系统中形成图像 g c x ，y ，z ，) ，生物样本沿z 轴依次移动，一系列相应的二维图像被采集从而构成 三维显微镜图像g ( x ，y ，z ) 。假设光学切片数为，当生物样本的第k 片切片记 为( x ，y ) 且位于聚焦平面时，第片切片的光对于在聚焦平面的切片成像数据 会产生干扰。为了阐明它们的关系，定义嚏一。( x ，y ) = h ( x ，y ，z d ) ，这里的 函= 五一，a z ，磊表示第膏片切片的坐标，那么第k 层的二维图像数据 毋( x ，y ) 可以由( 1 1 ) 式求得： 型 g k ( x ，y ) = 【s ( x ，y ) 吃一( x ，y ) 】+ ，? ( x ，y ) ( 1 1 ) 第一章绪论 式中，n ( x ，j ，) 是系统的噪声。三维显微镜图像就是由这样一系列二维图像构成 的，从三维角度出发观测样本，点扩展函数和图像数据之间关系是卷积关系： g ( x ，y ，z ，) = jjj s ( x ，j ，z ) ( x x ，y y ，a 一：) d x d y d z + n ( 膏，y ，a ) ( 1 2 ) 式中g ( x ，y ，弓) 表示第j 片图像；s ( x ，y ，= ) 为生物样本的荧光强度；h ( x , y ，z ) 为 光学传输函数：n ( x ，y ，矗) 为系统噪声。 1 3c 0 s m 系统结构 c o s m 系统主要由显微镜，光源，z 轴步进控制器，计算机和相应的处理 软件系统构成( 图1 2 ) 。通过光源照射，从样本发射出的光子经过物镜在c c d 上成像，计算机控制c c d 的曝光时间，采集图像数据，同时控制z 轴步进。依 次移动物镜的聚焦平面，于是采集得到一组二维切片图像。对采集到的序列图 像进行复原去模糊，提取出我们感兴趣的信息供后续处理。对复原后的图像( 般为二维切片图像) 沿光轴( z 轴) 方向进行堆叠，在三维层面上对样本进行 重建并显示。 1 4 国内外研究现状 1 9 7 1 年m w e i n s t e i n 发表了关于由二维切片重建三维样本结构的论文【“。 但是直到1 9 8 9 年a g r a r 发表了有关三维荧光显微技术论文后 2 1 ，这方面的研究 才得到了比较快的发展。进入9 0 年代，h o l m e s ，c o n e h e l l o 等进行了较为深入 的研究p “，并提出了计算光学切片显微成像技术( c o s m ) 的概念，较大地促 进了利用宽场荧光显微镜对三维样本进行重建的发展。 当前，国内外对c o s m 的研究焦点主要集中在系统的三维点扩展函数 ( p o i n ts p r e a df u n c t i o n ) 的研究和三维图像的复原算法的研究【3 0 l 。 1 4 l 三维点扩展函数获取的两种方法 一是光学理论方法：可以从基尔霍夫衍射公式出发，推导显微镜系统的三 维点扩展函数。2 0 世纪6 0 年代，s t o k s e t h 分析了离焦光学系统的特性【7 1 ，并得 出了点扩展函数和传递函数的近似计算公式。2 0 世纪9 0 年代，w i l s o n 等在理 论上计算出了横向和轴向频率分布舢“l 。由于他们的研究主要针对理想的离焦 光学系统，而实际的光路较复杂，因此局限性很大。 图1 2c o s m 系统构成 二是实验方法：用一个直径很小的荧光珠子的成像模型来近似表示显微镜 光学系统的点扩展函数，但是确定充当点光源的荧光珠直径大小是实验的关键。 理论上，荧光珠的直径越小越接近真实点光源，但是荧光珠的直径太小，受激 发出的荧光强度就较弱，导致信噪比较低，点扩展函数二维切片容易被噪声湮 没。虽然延长c c d 曝光时间可以提高信噪比，但是长时间照射将使荧光珠漂白， 造成重构的x z 切面图像形状畸变。 通过这两种方法获得的点扩展函数都和光学结合的比较密切，不是本文的 研究重点。 1 4 - 2 三维显微镜图像解卷积算法 目前c o s m 中的复原算法分为线性的和非线性的。线性算法有：最近邻法、 非最近邻法、深度可变点扩展函数复原算法、逆滤波复原算法、最大似然法。 非线性算法有：参数盲反卷积算法( p b d ) 1 2 - 1 3 l 、最大似然盲反卷积算法( m l b d ) ：h i 。其中最近邻、非最近邻、深度预测、逆滤波等线性方法速度较快：菲线性 第一章缮论 算法需要迭代，速度较慢。 ( 1 ) 逆滤波 实际的三维显微镜光学成像系统可被近似认为是线性的，故成像结果为样 本函数与系统的点扩展函数的卷积。从频域分析可知，成像结果的傅立叶变换 等于样本函数的傅立叶变换与点扩展函数的傅立叶交换的乘积。因此。样本函 数的频谱可以用成像后的频谱除以点扩展函数的频谱得到，这就是逆滤波。它 的优势在于计算量较小，缺点是在点扩展函数频谱的零值处会产生噪声放大问 题。a g a r d 首先将逆滤波应用在三维显微镜成像的复原中，取得较好的效果5 】。 其后s h a w 和r a w l i n s 对逆滤波进行了改进【幡，目前逆滤波已成为三维显微镜 图像复原的重要算法。 ( 2 ) 最近邻非近邻 在三维成像分析中，每个聚焦层面的图像，不仅包含本层面的信息，还包 含其它层面的离焦模糊信息。最近邻法的原理就是用当前层面图像与相邻层面 模糊后的图像的差值，作为当前层面的复原结果。非近邻法的原理就是用当前 层面图像去代替最近邻算法里的相邻层面图像，然后做最近邻算法相似的运算。 最近邻算法最早由c a s t | e m a n 提出，a g a r d 进行了大量实验1 1 8 】，取得了不错的 效果。它的优点是计算量小，能够快速提高图像质量；缺点是并不能有效的去 除显微镜焦平面上的p s f 带来的模糊信息。 ( 3 ) 深度变换点扩展函数 实际成像中，由于样本中物质是变化的。所以不同位置样本的折射率不一 样，将会导致样本的不同深度其点扩展函数不同。虽然大多数显微镜具有像差 补偿功能，但由于样本中物质的折射率和透镜的折射率不匹配，也会导致不同 深度其点扩展函数不一样。p r e z a 、c o n c h c l l o 等提出对样本空间进行划分，然后 对每个子空间分别进行复原的图像复原算法1 1 9 也0 1 。 ( 4 ) 参数盲反卷积( p b d ) p b d 算法的最终目的是能同时估计出点扩展函数中的未知参数和抽样函数 即模糊图像。c o n c h e l l o 最先提出在三维显微镜中运用此算法【1 2 1 ，这种算法首先 需要假设点扩展函数的数学模型。产生图像模糊的情况不同，其点扩展函数的 数学模型也会不同。其数学模型由多个参数构成，这些参数中有已知和未知的 两种情况，p b d 算法最后会估计出数学模型中的未知参数和得到原始图像的估 四川大学硕士学位论文 计值。但是c o n c h e l l o 在这种算法中的数学模型参数的个数没有一个确定值，目 前还在探索中，并且这种算法没有用于实际的三维显微镜图像复原。 ( 5 ) 最大似然盲反卷积算法( m l b d ) e m 算法是d e m p s l e r 等提出的求参数极大似然估计的一种迭代算法1 2 ”“， 它是由不完全观测数据来估计概率模型参数的一种算法，这种算法在不完全数 据处理和分析中有着广泛的应用。它的优点是利用数据扩张，将比较复杂的似 然函数的最优化问题简化成一系列比较简单的函数的优化问题，这种算法提出 后就得到广泛研究。c h u o l u n gw a n g 等提出了基于e m 算法的最大似然盲反卷 积算法【l “，这种算法不像p b d 算法一样对点扩展函数先进行数学建模，然后对 数学模型里的参数和图像进行迭代估计。它对点扩展函数的每点和图像进行 重建，这种算法需要的计算量比较大。 1 5 论文实现的情况及新意 本文对几种三维图像复原算法作了较为深入的研究。其中针对模糊观浏图 像的复原，进行了以下工作：在知道系统p s f 的情况下，比较了最近邻复原算 法和结合二维维纳逆滤波的最近邻复原算法的复原结果；在未知系统p s f 的情 况下，对观测图像分别使用了比较有代表性的p b d 复原算法和深度变换点扩展 函数的参数盲反卷积算法( d v - p b d ) 进行了复原。 本文的难点在于本课题属于新兴的交叉学科领域，涉及面广，并且本课题 仍处于发展阶段目前仍没有形成一套成熟的理论可以借鉴，因此很多工作只 有从初期做起，在具体的工作中积累经验。本论文的新意在于：( 1 ) 由于课题 属于前沿交叉学科，在国内外都是比较新兴的，尤其是在国内的研究才刚丹起 步，因此本身就具有新意。( 2 ) 在给定系统点扩展函数( p s f ) 估计的前提下， 采用结合二维维纳逆滤波的最近邻算法对模糊切片图像序列进行复原，得到的 结果优于最近邻算法的复原结果。( 3 ) 基于p b d 算法，提出了深度可变点扩展 函数的参数盲反卷积( d v - p b d ) 算法。这种算法考虑到在实际显微镜系统中 点扩展函数是随深度变化的，并且减少了在最大似然盲反卷积算法中对点扩展 函数的每一点进行估计所需要的计算量，实验效果比较理想。 第一苹绪论 1 6 论文安排 第一章介绍计算光学切片显微镜成像( c o s m ) 技术的基本概念、成像原 理、系统组成，并介绍目前c o s m 的研究现状。 第二章详细分析了图像的退化模型，阐述了病态问题并总结了正则化思想 和方法，并对三维荧光显微镜系统的点扩展函数和图像复原的主要评价标准进 行了分析。 第三章讨论了用在三维荧光显微镜图像复原中的几种典型算法：维纳逆滤 波、最小平方方法、迭代盲反卷积算法、m a p 复原算法。 第四章详细分析了最近邻算法的原理，提出了基于二维维纳逆滤波的最近 邻法，并对模拟样本和实际样本进行实验，比较此算法和最近邻算法的复原效 果。 第五章详细分析了p b d 算法和深度可变点扩展函数图像复原算法的原理， 提出了基于深度可变点扩展函数的参数盲反卷积算法。利用模拟样本和实际样 本比较此算法和p b d 算法的复原效果。 第六章对全文进行了总结，并结合我们的工作对我们可以继续开展的研究 方向进行了展望。 1 7 小结 本章首先介绍计算光学切片显微镜成像( c o s m ) 技术的基本概念、成像 原理、系统组成，并介绍目前c o s m 的研究现状以及论文主要研究内容。 四川大学硕士学位论文 第二章三维显微图像复原的理论基础 2 1 三维显微图像的退化模型 要进行三维图像复原，首先必须建立三维图像的退化模型，也就是说首先 必须了解、分析图像退化的原理并用数学模型来表示。通常，三维图像的退化 过程可以用下述模型描述。 g ( 工，y ，z ) = f ( x ，y ，z ) ( x ，y ，z ) + 九( x ，y ，z ) ( 2 1 ) 对于一般的宽场显微镜，三维图像的获取是通过标准的图像切片方法l l ”， 这种方法包括把三维样本的二维序列图像的数字化和存储。二维图像的获取是 通过把显微镜聚焦在样本的不同平面上，然后用c c d 摄像头抓取图像，在当前 聚焦平面的图像被获取和存储后，显微镜自动聚焦在相邻的平面上，重复上面 的过程直到整个样本被扫描完。这些获取的二维图像序列堆积起来就可成样本 的三维图像。在三维图像里，每一层二维图像都包括来自聚焦面的图像和相邻 聚焦面的模糊图像( 如图2 2 ) 。可以通过反卷积算法去除来自聚焦平面外的模 糊。 2 1 1 连续成像模型 在荧光宽场显微镜中，显微镜获取图像数据的过程可以用图2 - 1 来描述： 图2 - 1 连续成像模型 在数学上可以用一个迭加积分来描述： y ，z ) g ( x ，) ，z ) = 研厂( x ，y ，z ( y , z , x r , y , z ) d x d y d z 】+ ”( t y ，z ) = s p ( z ，y ，z ) 】+ n ( x ，y ，：) ( 2 2 ) 在这个方程中，x ，y 是平面坐标，z 是轴向坐标。f ( x ，y ，z ) 代表真实图 图2 - 2 厚样本成像模型 像。h ( x ，y ，z ) 代表显微镜系统的点扩展函数，n ( x ，弘z ) 代表系统的随机噪声， g ( x ，y ，z ) 是获取的图像。s ( ) 表示已录介质或传感器的非线性。如果不考虑非 线性的影响，式( 2 2 ) 可变为： g ( x , y ，z ) = ( 工，y ，z ) ( x x ，j ，一y , z - - z ) a x a 砂 a z + n ( x ，y ，z ) ( 2 3 ) 如果假设成像系统是空间线性不变系统，即系统点扩展函数与像面位置无关 则上式可写成： g ( x ，y ，z ) = f ( x ，y ，z ) + h ( x ，y ，z ) + n ( x ，y ，z ) 这里f 表卷积。 ( 2 4 ) 四川丈字砜士学位论文 2 1 2 离散成像模型 在实际显微镜成像过程中，通常采用c c d 相机进行图像采集和数字化，因 此获取的退化图像应为离散函数。成像过程如图2 - 3 所示。 假设采样过程是理想的，有 g ( 码， 3 ) = c ( 啊， 1 2 ，n o s ( x ，y ，z ) ( x ，h z ，x ，y ，z ) 出砂忱l + 行( ，l l ，伤，传) ( 2 5 ) 其中，n ：，) 表示离散抽样函数，g ( ，l | ，n ：，惕) 和n ( 啊，也，玛) 分别表示离散函数 和噪声，惕，慢和传为整数。离散抽样函数c ( ，也，鸣) 可表示为 c ( 啊，他，) = 6 0 一_ ；，y n ：，z - h a ，) ( 2 6 ) 2 n l1 啪= 佬魏，。0 时 ( 2 ，) 其中，i ，a ：和，分别表示x ，y 和z 方向的采样间隔。 而在实际图像处理过程中，样本和图像均需以数字离散函数表示，如果此 时不考虑非线性的影响且考虑图像的大小为n 1 ：n 3 ，式( 2 5 ) 可以变为： g ( 玛，h ：，) = 厂( f ，七) ( f ，k ，伟，n 2 ，惕) + 行( 玛，n 2 ，码) ( 2 8 ) 如果假设成像系统是线性空间不变系统，则式( 2 8 ) 可写成离散卷积的形式： g ( 伟，呜，q ) = f ( r 6 ，也，n 3 ) + 厅( ，z l ，门2 ，传) 】h 。m 。虬+ n ( r 6 ，n 2 ，吩) ( 2 9 ) 其中，( 嵋，1 2 ，吗) 和h ( r 6 ，n ：，) 分别表示离散样本函数和点扩展函数，r 6 ，n 2 和 玎3 为整数且有l 伟s i ，1 门2 n2 ，1 惕茎n 3 。 l0 l 嘛卜 竺孺 第- - 章兰维显徽镜圈像复原的理论基础 对于上述离散成像过程也可以表示成矩阵形式，此时离散退化模型为： g = - i f + 月 ( 2 1 0 ) 在上式中，g 是观测图像，厂是样本，”是噪声，g 、厂和珂尺寸相同，都是 n 2 x n 2x l 的列向量，是n 2 n 2 x k 2 的p s f 参数矩阵，如果是空间不变p s f ， 则是块循环矩阵。 2 2 三维图像复原的病态问题与正则化处理 2 2 1 三维图像复原的病态问题 针对上述的图像成像摸型，图像复原的主要任务就是从观测到的退化图像 中尽可能恢复出原始样本图像，即在有噪声的情况下对退化图像去模糊。现有 的许多复原方法都是确切知道模糊算子的情况下进行的，基本运算就是一个简 单的反卷积过程，但由于加性噪声的存在，这个过程通常是个病态的。所谓病 态问题是指观测信号的一些较小的扰动会引起解的任意大的偏移。我们用一 个简单的例子来说明什么是病态问题：对于具有a x = b 形式的方程组： ；。： ： = ：。， c 2 t ， 的正确解是( 1 ，1 ) 7 ，如果系数矩阵a 和等号右边的常数向量b 作一个微小的变 化，考虑扰动后的方程组： 5 ，9 撒m 嘲： 其准确解为( - 2 ，1 6 ) 7 ，可见系数矩阵a 和b 的微小变化引起x 很大的变化，x 对a 和b 的扰动是敏感的，出现这种情况的问题就称为病态问题。 从数学意义上讲，图像复原问题就是讨论逆变换的存在性和单一性问题。 1 9 2 3 年，h a d a m a r d 提出良态问题的概念，即问题的良态指满足方程的解是存 在的、解是唯一的且连续依赖与数据，在此三个条件下方程可以获得确定解。 理论研究表明，成像方程是第一类f r e d h o l m 积分方程，求解过程是一个病 态问题。因此在对图像复原问题求解时可能会出现解不存在、或解不唯一、或 解不连续依赖于观测数据的情况。解不连续依赖于观测数据表现为观测数据的 微小变动可以导致解的很大变动。 四川大学硕士学位论文 2 2 2 正则化问题 解决图像复原过程中的病态问题的方法并不是获得该问题的真实解，而是 寻求真实解的具有可以接受的物理意义的近似值，并且使得该近似解从计算的 角度来说是充分稳定的。而正则化的方法包括一系列分析一个相关良态问题的 方法，通过对该良态问题的分析来获得病态问题的具有物理意义的解。而该良 态问题是利用已知的部分先验信息对原图像和点扩展函数施加一定的约束条件 得到的1 2 3 - 2 4 l 。 正则化的思想为：当问题为病态时，其解空间太宽，导致解不稳定。如果 引入附加限制，定义一个包含真解的紧集，那么可以在原来的解空间和这个紧 集的交集中去找真解。这样得到的解是稳定的，且连续依赖于观测数据。 为了解决病态问题，即将一个病态问题变为良态问题，t i k h o n o v 和m i l l e r 分别提出了一套正则化方法，统称为t i k h o n o v - - m i l l e r 正则化方法，这也是使 用最广泛的正则化方法。其基本思想是忠于原图像数据的基础上尽可能的获得 平滑的效果。复原过程是一个约束最优化问题，可以使用l a g r a n g e 乘子法来求 解： f = a r g 删n 钏g 一巧小a 州： ( 2 1 3 ) 其中口是l a g r a n g e 乘子，在这里又被称为正则化系数。通过调节正则化系数的 取值，可以对图像复原过程中的噪声抑止和细节保持的矛盾进行权衡折中。第 一项保证求得的解逼近真解：第二项中c 为高通光滑算子，如拉普拉斯算子等， 使图像平滑，减小噪声对解的影响；| | 表示范数。 在许多图像复原问题中，存在着关于原图像的一些先验信息。这些确定性 的先验信息也许不能表示成正则化算子的形式，但是它们往往也可以用来缩小 容许解的集合，这是一种更为一般的正则化。如果满足这些约束条件的解的集 合是闭凸集，那么它们就可以有效的结合到图像复原算法中，这就是所谓的凸 集投影1 2 ”。这些定义在凸集上的确定性约束条件包括图像取值的非负性、象素 取值的范围、能量的最大值和图像的有限支撑域等。 2 3 荧光显微镜的三维点扩展函数 荧光显微镜的三维点扩展函数的获取可以通过理论的方法和实验的方法来 12 得到。通过实验的方法来获取三维点扩展函数是非常复杂的。它对直径小于衍 射限制的小球进行成像。根据h i r a o k a t ”1 ，小球直径可能是o 2 u m ，并且由于光 强很弱，光漂白等作用给点扩展函数带来很严重的噪音。所以现在的三维荧光 显微镜成像系统中一般都不采用实验的方法来获取系统的三维点扩展函数。 在下面我们总结了荧光显微镜的基于衍射理论f h o p k i n s ，1 9 5 5 ；c a s t l e m a n , 1 9 7 9 ；c o n e h e l l o ，1 9 9 0 】陋。2 8 1 的理论点扩展函数。显微镜系统的关键成像属 性是由它的目镜引起的，通过一个目镜形成图像能够被看成是有个小孔的不透 明屏幕截取收敛的球面波的现象 c a s t l e m a n ，1 9 7 9 】( 如图2 - 4 ) 。小孔函数定义为： 协b 如豁1 ( 2 1 4 ) 根据c a s t l e m a n 1 9 7 9 ，二维点扩展函数是小孔函数的逆傅立叶变换。另外，根 据 h o p k i n s ，1 9 5 5 ；c o n c h e l l o ，1 9 9 0 ，散焦光学系统的小孔函数可以用式( 2 1 5 ) 表示： 图2 - 4 显微镜目镜成像示意图 p c p ；z ，= e x 。 一，2 省委( 去 2 c ( 昙) ( 2 1 5 ) 四川大学硕士学位论文 肛丝 ( 2 1 6 ) f z o ：兰鹭( 2 1 7 ) n a p = ( 卢2 + u 2 ) “2 是平面内的频率坐标，n a 是目镜的数字孔径的大小孝是荧光 染料的释放波长，：是对聚焦平面的偏移量，一是目镜和样本间介质的折射因 子。对于不同的散焦值z ，把每个瞳孔函数进行二维逆傅立叶变换，然后根据 每个瞳孔函数的散焦值把它们叠加在一起就可以组成系统的三维点扩展函数。 根据c h u o - l u n gw a n g i h 】研究表明三维点扩展函数的能量主要集中在沙漏 q 3 ( h o u r g r a s s - s h a p e d ) ，它由沿z 轴方向半径递增的一系列圆组成，函数中心的圆 半径最小，两端半径最大。陶青川f 2 9 1 提出采用三维高斯型函数作为系统的近似 点扩展函数，不同层面的离焦量可以用不同方差的高斯函数进行模拟，故基于 高斯函数的三维点扩展函数简化模型如图2 5 。 图2 - 5 三维点扩展函数简化模型圈 其中r 为系统成像的艾利斑，：0 6 1 ) - ，口：s i n m 三维高斯型点扩展函数如下： 14 第二章三雏显徽甓腰像夏赢的理论基础 ，+ y 2 t一7 h ( x ，y ，z ) = 。磊1e”；(218) 其中：疋2 = 盯。+ 口i z z 小即方差与该层面与中心位置的距离成正比。叮决 定了叟利斑，的大小，口决定了0 的大小。相比于理想模型的优势是：该高斯模 型只有两个参数，有利于提高迭代速度；由于高斯函数的性质。复原中的求导、 积分、傅立叶变换等计算均比较简便。在以后的章节中，我们将采用这个模型 来代替系统的三维点扩展函数。 2 4 图像复原算法的评价准则 评价图像复原算法的优劣有以下几个准则：收敛性：描述迭代算法的性 能。算法的收敛性和两个因数有关：全局收敛性和解的唯一性。对于迭代算法 而言，复原的过程可以看作对一个相关的代价函数的最小化问题。全局收敛性 表征了算法从任意初值出发，到达全局最小点的能力。而解的唯一性表示了只 有唯一的全局最小点存在。这两个性质都同代价函数的凸性有关。如果代价函 数是凸函数，那么使用数值下降算法一定可以收敛到全局最小点。如果代价函 数是严格凸函数，那么该全局最小点是唯一存在的。稳定性：对于迭代算法， 算法的稳定性刻画了迭代算法收敛到稳定平衡解的能力。特别的，如果对于任 意给定的初值，迭代算法都收敛到稳定的平衡解，那么我们称这个算法是全局 稳定的。如果一个算法是全局渐进稳定的，那么该算法的收敛性也可以得到保 证。计算复杂度。可移植性。健壮性：是指一个系统在非理想环境下的 工作能力。在图像复原中，健壮性往往指复原算法在噪声影响下的工作能力。 复原效果：理论上讲，实际的图像复原的结果是否最优，并没有客观的评判 标准。但是在实验中，我们可以利用复原结果与真实图像的逼进程度来判断复 原算法的优劣。常见的几种评判标准有： ( 1 ) 信号噪声比： 舢：l o l g 乓 ( 2 1 9 ) ( 2 ) 峰值信噪比： a 2 p s n r = 1 0 l g 二2 ( 2 2 0 ) 其中a 取最大灰度值2 5 5 。 ( 3 ) 改善信噪比： 【 ，j ，女) 一g ( 1 ，研 i s n r = l o l g 型等1 ( 2 2 1 ) 邝，) 一氘，) ( 4 ) 模糊信噪比： 舔b 。壶型竺竺型 晓：， r1 其中肼j v 表示平面图像的大小，三表示三维图像的层数。f ( i ，k ) 和g ( i ，k ) 分别表示原始图像及退化图像，司为退化图像方差， ( f ， t ) 表示噪声，为 噪声方差，y ( f ， k ) = g ( i ， k ) 一n ( i ，j , k ) ，y ( i ，工k ) = e ( y 即y 的期望或均值。 尽管上面提到的这些客观量度提供了比较算法复原效果的有效依据，但是人 眼的视觉特性具有非线性的响应。因此，在对复原效果进行评价时，主观量度 的使用是必要的。这是因为：在实际的图像复原过程中，原物f ( x ，y ，z ) 并不知 道，所以采用上述的客观评价标准无法对复原图像进行评价。此时需人眼对复 原图像进行观察和评价，以便对初始条件进行修改，最终获得一个理想的复原 结果。 2 5 小结 图像复原是个病态问题，如果要使图像复原的病态问题变为良态问题，需 对问题进行正则化。本章详细分析了图像的退化模型，阐述了病态问题并总结 了其正则化的思想和方法，并对三维显微镜系统的点扩展函数和图像复原的主 要评价标准进行了分析。 第三章几种经典图像复原算法 3 1 序言 这章将主要讨论几种三维显微镜的反卷积算法为了讨论方便，我们简化 了系统的成像模型如下式： g ( x ) = ( j ) ，( x ) + n ( x ) ( 3 1 ) g ( x ) 代表获取的图像，矗( d 代表点扩展函数，f ( x ) 是样本函数，n ( x ) 是噪声。 在离散的空间域里，用矩阵方程来表示上式会比较方便。上式的矩阵向量公式 为： g = 巧+ 玎 ( 3 2 ) 在这个方程中，矩阵的构造可以通过把获取的图像，点扩展函数，样本图像， 噪声中的列和行放到矩阵中的相应的列和行中。 通常情况下，图像的反卷积算法可以分成线性的和非线性的。线性的算法 通过对图像进行逆滤波来实现反卷积，这种方法比较简单和快速，一步就可以 得到反卷积的结果。然而，这种方法有一些局限性。例如：( 1 ) 它没有保证图 像的值在任何地方都是非负的。( 2 ) 它不能恢复出丢掉的频率成分。相反，非 线性的方法，例如最大似然盲反卷积算法( m l b d ) 、参数盲反卷积算法( p b d ) 不进行直接的逆滤波，它通过连续的迭代过程不断的提高反卷积的结果直到预 先定义的一些终止条件得到满足，这种非线性方法的主要优点在于它可以避免 线性算法的缺点。另外，非线性算法能够处理在荧光显微镜系统中的非高斯和 与信号相关的噪声。非线性算法的主要缺点是它比较复杂，由于迭代过程导致 了计算量比较大，计算速度比较慢。 3 2 维纳逆滤波算法 最简单的方法是通过一次逆滤波束完成反卷积算法。可以表示成： 邴) = 器 ， f ，g 和分别是( 3 1 ) 式中的厂，g 和h 的傅立叶变换。然而，在大多数情 况下，这种简单的逆滤波运算不能得到可按受的反卷积结果。原因在于当- ( s ) 的值为零或比较小时，即使很小的噪声都会被放大到很大