第一章中的应用举例

第一章应用案例及分析显微图像自动聚焦、融合、三维成像,一、研究意义二、显微图像自动聚焦算法三、多层聚焦融合算法四、基于聚焦深度的三维成像系统五、算法总结六、应用领域,主要内容,人类通过不同尺度的成像（从宏观宇宙、遥感，到微观分子）来观察、了解客观物质世界。客观物质的结构是三维的，而传统研究显微样本三维结构的方法是通过在显微镜下获取其二维图像进行观察和分析的，难以准确理解样本的三维结构。因此，研究显微三维成像理论及三维定量分析技术具有很高的实用价值和重要的学术意义，该领域的研究也是显微信息学科的研究热点之一。,一、研究意义,远程的病理会诊、显微智能仪器，需要全自动控制显微镜系统。自动控制显微镜的关键技术：显微图像的自动聚焦分析。,全自动显微镜示例,1、自动聚焦问题的提出,二、显微图像自动聚焦算法,透镜成像模型图,二、显微图像自动聚焦算法,评价函数最大值的位置即为聚焦位置；不存在可能导致聚焦错误的局部极大值；具有较强的抗噪能力；聚焦曲线尖峰性好，聚焦速度比较快。,难点问题：有效的聚焦评价函数的确定,聚焦评价函数指标：,二、显微图像自动聚焦算法,空域：聚焦图像比离焦图像有较锐化的边缘。频域：聚焦图像比离焦图像包含更多的高频分量。使用象元间的可变步长step来计算二阶差分。即：,2、基于改进Laplacian算子的自动聚焦方案：,二、显微图像自动聚焦算法,对比：灰度方差算子、灰度差分绝对值之和(SMD)算子、Roberts梯度算子、基于Sobel梯度算子的Tenengrad函数、能量谱方法、改进拉普拉斯算子等。,3、聚焦实验,二、显微图像自动聚焦算法,(c)聚焦评价函数曲线,(a)离焦图像,(b)聚焦图像,实验一：包含40幅图像的一个序列得到的聚焦评价函数曲线,二、显微图像自动聚焦算法,(c)聚焦评价函数曲线,实验二：对实验一中40幅图像的序列加入20%的高斯噪声,(a)离焦图像,(b)聚焦图像,二、显微图像自动聚焦算法,4、自动聚焦应用实例为配合全自动显微镜系统的需求，研究运动目标的检测与跟踪算法模块，为空间科学实验目标成像观察用。,倒置生物镜的活体目标局部聚焦演示,倒置生物镜的活体目标采集系统与中科院空间中心联合,二、显微图像自动聚焦算法,改进Laplacian算子可以有效地抑制噪声干扰，聚焦评价函数曲线平滑，有明显的峰值，单峰性好，且变化陡峭。步长的选择：噪声干扰小时步长和阈值取小；噪声和亮度变化大时步长和阈值可以取得稍大一些。一般步长取7。,5、自动聚焦算子小结,二、显微图像自动聚焦算法,随着放大倍数和分辨率的增大，景深减小，使得物体不可能在一幅图像中完全聚焦清晰。而生物医学及材料科学的成像要求显微镜既要有更高的分辨率又要有足够的景深，这是传统光学硬件的矛盾。,1、传统光学硬件的问题,三、多层聚焦融合算法,序列显微图象融合原理图,利用数字图像融合技术，对序列图像进行合成（Multi-Focus）。,2、解决方法,三、多层聚焦融合算法,3、空域融合算法,三、多层聚焦融合算法,为解决反射光显微图象融合问题，提出引入空域算法中的改进拉普拉斯算子,改进拉普拉斯图像融合算子：,N：窗口的大小；即为点（i,j）的聚焦清晰的测度。,基于点处理的方法（简单的空域融合算子、灰度平均法、最大离差法）和基于区域处理的方法（简单的区域融合方法、灰度方差算子、基于Sobel梯度算子的Tenengrad函数方法、改进拉普拉斯算子方法）。,4、各种空域融合算子的实验分析,三、多层聚焦融合算法,最大灰度法最小灰度法灰度平均法最大离差法,当,时，融合图像的值取,，否则，融合图像取,空域融合算法基于点处理的方法,三、多层聚焦融合算法,简单的区域融合方法：最大、最小对比度，灰度平均法等。灰度方差算子(LocalConvariance),空域融合算法基于区域处理的方法,三、多层聚焦融合算法,基于Sobel梯度算子的Tenengrad函数方法,空域融合算法基于区域处理的方法,三、多层聚焦融合算法,(a)序列图像之1(b)序列图像之5(c)序列图像之11,(d)序列图像之14(e)序列图像之20(f)序列图像之3031幅蝴蝶眼睛序列显微图像,改进Laplacian法multi-focus结果(1111窗口、步长5),岩石图象depthfromfocus实验：,10幅岩石图像序列（仅示9幅）,多层叠合结果,聚焦深度（DepthfromFocus）的基本思想：在前面multi-focus方法基础上，提取z方向信息，即可实现通过二维图像序列进行三维重建。优点：计算方式实现表面三维成像，代替反射光激光共聚焦成像。要解决问题：高度插值拟合、三维表面测量、显示。,四、基于聚焦深度的三维成像系统,SML聚焦评价函数曲线,从图中我们可以看出，聚焦评价函数曲线在峰值处具有高斯分布。在边缘处对称性不太显著，这主要是由图像采集过程中显微镜的初始位置造成的。为此，我们将分析仅限于聚焦评价函数的峰值区域。,高度图的插值拟合：,四、基于聚焦深度的三维成像系统,聚焦评价函数的高斯插值,由SML算子可得到两个结果：聚焦评价函数最大值和该值在序列中的位置d,四、基于聚焦深度的三维成像系统,深度索引图像,蝴蝶眼睛三维高度图像,基于DepthfromFocus的高度插值与三维测量实验结果,四、基于聚焦深度的三维成像系统,未经高斯插值处理的深度图(b)高斯插值处理后的深度图深度索引图像,高度图的插值拟合效果：,四、基于聚焦深度的三维成像系统,原36幅图像聚焦分析拟和曲线b.抽取的12幅图像聚焦分析拟和曲线36幅病理图像序列的聚焦曲线,插值精度分析：聚焦最大值的层为21；拟合的聚焦算子最大层面为21.13，四舍五入取整为21。,四、基于聚焦深度的三维成像系统,下表为5个图像序列样本的实验结果，拟合计算值与实际测量值基本相符。,表:自动聚焦算法中的步长拟合比较表,四、基于聚焦深度的三维成像系统,z轴控制器分辨力：0.1um测量参数：直线或曲线距离、剖面分析、表面积、分形维等参数。测量目标（材料断口、皮肤）三维纹理：采用机械材料表面测量国标GB350（对应国际标准为ISO4287）,三维表面测量分析：,四、基于聚焦深度的三维成像系统,2020/5/25,32,根据显微序列图象合成原理，研制、设计了Z轴自动控制显微镜，结合研发的软件系统，组成了光、机、电一体化的“显微三维成像系统”。,三维实体测量显微镜,Z轴自动控制器,DepthfromFocus成像硬件系统设计：,四、基于聚焦深度的三维成像系统,岩石图象depthfromfocus实验：,多层叠合结果,高斯插值处理后的深度图,10幅岩石图像序列（仅示9幅）,岩石三维表面的剖线(Profile)测量分析示意图,直接利用高度图、纹理图进行三维重建显示,三维图像的表面重建显示：,可以从任意角度观察岩石的三维表面图象,用脚印法生成左右视图,模拟生成的左视野图象模拟生成的右视野图象,立体图像的左右视图生成：,仿真立体图像-Anaglyph,传统光学硬件存在“随着放大倍数和分辨率的增大，景深减小，使得物体不可能在一幅图像中完全聚焦清晰成像”。解决该问题的有效方法是通过数字图像处理技术，结合硬件控制成像技术，扩展了光学系统的景深，满足了实际要求。同时结合插