基于边缘和局部特征的双模态提取算法

摘要通过生物学研究发现，细胞的行为常常与许多疾病的发展有关，而细胞分割与细胞跟踪是研究细胞行为的重要手段。本文针对细胞分割及跟踪进行了较深入的研究，实现了相关算法并提出了一系列新的优化算法，本文的主要工作如下：1）在细胞分割方面，本文提出了融合边缘信息及局部灰度特征的细胞区域提取算法，该算法可以较为准确的提取细胞真实轮廓，针对较难解决的黏连细胞问题，本文提出了基于多尺度LOG算子检测细胞中心的分阶段分割方法，该方法可以通过局部梯度信息和形态学信息分割黏连细胞，使分割结果更加贴近细胞的真实轮廓。同时，本文还尝试了基于深度学习的细胞分割算法，经检验基于U-Net的细胞图像分割算法准确度较高，与本文算法提取结果并无明显差异。2）在细胞跟踪方面，本文提出了基于最近邻算法的优化跟踪算法，该算法基于细胞运动规律抽象出简易的细胞运动模型，在细胞被正确的分割的前提下，使用该算法即可较好的完成细胞追踪的任务，并且可以一定程度上标记细胞的分裂现象，为后期的细胞形态学分析或细胞图谱建立提供了算法支持。3）在细胞形态分析方面，本文基于跟踪结果简单的实现了单个细胞的位置、细胞区域面积、细胞平均荧光强度（荧光标记物浓度）的跟踪，可以有效的满足一些科研工作者的需求。关键词：细胞分割；细胞跟踪；细胞形态分析；深度学习；

ABSTRACTThroughbiologicalresearch,cellbehaviorisoftenassociatedwiththedevelopmentofmanydiseases,andcellsegmentationandcelltrackingareimportantmeansofstudyingcellbehavior.Inthispaper,wehavecarriedoutin-depthresearchoncellsegmentationandtracking,implementedrelatedalgorithmsandproposedaseriesofnewoptimizationalgorithms.Themainworkofthispaperisasfollows:1)Intermsofcellsegmentation,thispaperproposesacellregionextractionalgorithmthatcombinesedgeinformationandlocalgrayscalefeatures.Thisalgorithmcanextractthetruecontourofcellsmoreaccurately.Forthedifficultproblemofadhesioncells,thispaperproposesmorebasedonThescaleLOGoperatordetectsthestagedsegmentationmethodofthecellcenter.Thismethodcansegmenttheadherentcellsbylocalgradientinformationandmorphologicalinformation,sothatthesegmentationresultisclosertothetruecontourofthecell.Atthesametime,thispaperalsoattemptsacellsegmentationalgorithmbasedondeeplearning.TheU-Net-basedcellimagesegmentationalgorithmhashighaccuracy,andthereisnosignificantdifferencebetweenthealgorithmandthealgorithm.2)Intermsofcelltracking,thispaperproposesanoptimaltrackingalgorithmbasedonnearestneighboralgorithm,whichabstractsasimplecellmotionmodelbasedoncellmotionlaw.Underthepremiseofcorrectsegmentationofcells,thealgorithmisbetter.Thetaskofcompletingcelltracking,andcanmarkthecelldivisionphenomenontosomeextent,andprovidealgorithmsupportforthelatercellmorphologyanalysisorcellmapestablishment.3)Intermsofcellmorphologyanalysis,thispapersimplytracesthepositionofindividualcells,theareaof​​cellarea,andtheaveragefluorescenceintensityofcells(fluorescentmarkerconcentration)basedonthetrackingresults,whichcaneffectivelymeettheneedsofsomeresearchers.KEYWORDS:CellSegmentation;CellTracking;CellMorphologyAnalysis;DeepLearning;

目录绪论 5课题背景及意义 5国内外研究现状 5细胞分割国内外研究现状 5细胞追踪国内外研究现状 6课题研究的主要内容及章节安排 6研究内容 6章节安排 7细胞图像采集与预处理 8引言 8实验对象简介 8生物背景简介 8细胞培养实验 9公开数据集 9细胞图像预处理 10**BM3D图像降噪 10图像光照校正 12图像背景去除 15图像对比度增强 16细胞核精确分割算法 18引言 18传统细胞区域提取算法 18全局灰度阈值法 19局部灰度阈值法 20基于边缘和局部特征的双模态提取算法 21黏连细胞核分割算法 23基于LOG算子的细胞中心检测 23基于梯度信息的分割算法 24基于细胞形态学的分割算法 25基于深度学习的细胞核分割算法 26基于U-net模型的分割 26基于改进的最近邻算法的细胞跟踪 28引言 28细胞运动学模型 28基于概率的细胞追踪算法 29细胞形态分析及行为识别 31引言 31形态分析 31细胞行为识别 31细胞分裂、增殖简介 31形态分析 31行为识别与分析 32结论与展望 34参考文献 35

绪论课题背景及意义细胞的行为常常与许多疾病的发展有关，例如癌细胞从原来的组织迁移到其他组织，从而导致的癌症扩散现象，因而对细胞行为的分析和研究对许多生物过程有重要的意义。传统的细胞行为分析一般依赖于医学专家的人工判断，带有一定的主观性，不利于定性、定量的分析。而随着计算机的发展，计算机图像视觉技术为医学研究提供了新的方法，细胞图像分割方法与细胞跟踪方法成为研究细胞形态变化以及细胞运动规律的重要手段。目前，图像分割技术已经趋于成熟，在理论与应用上都得到了很大的完善。但由于显微视频场景复杂以及细胞形态多样等问题的存在，很多传统的图像分割方法在复杂场景下难以正确分割细胞，需要进行后期人工纠正。单一的图像分割方法如基于阈值、分水岭、水平集等方法，在细胞聚集、亮度不均的情况下，往往造成细胞的过分割或欠分割。因此，深入挖掘目标细胞的特征，实现自动化分割细胞是一个值得研究的课题。在显微图像序列中，由于细胞形态复杂、大量聚集，图像对比度不足、分辨率有限等原因，显微图像序列中的细胞跟踪往往更具有挑战性，具有重要的应用和研究价值。在细胞跟踪研究初期，学者一般通过人工的方式获取细胞的运动轨迹，但由于需要进行长达几小时甚至十几小时的长期观察，极易造成人眼的疲劳，从而影响追踪精度。随着目标跟踪领域的不断发展，一些学者尝试将雷达跟踪中的卡尔曼滤波、粒子滤波等传统经典算法应用于细胞跟踪，并且取得了一定的效果。但是这些方法都是基于单目标跟踪的方法，难以处理目标数目变化的情况，尤其难以跟踪细胞分裂、融合等多种复杂状态，因此目前细胞追踪领域仍有大量问题有待深入研究。本文将传统阈值分割算法以及基于边缘的分割算法融合，作为细胞分割算法的核心，实现了高密度细胞、低对比度图像下的细胞准确分割，同时基于改进的细胞运动模型提出简单快捷的细胞跟踪算法并取得了较好的效果，完成了细胞分割以及跟踪的自动化，大大减少了人力资源的浪费。国内外研究现状细胞分割国内外研究现状图像分割是对整个图像中的每个像素添加区域标签的过程，这一过程是按照一定规则，把一幅图像分成若干个具有特定特征的子区域（也被称作超像素）的过程。细胞图像分割是对图像中细胞识别的过程。由于显微成像场景复杂、噪声大、对比度低，并且细胞种类繁多、形态多样，所以细胞图像分割一直是图像分割的热点和难点。随着计算机的发展，半自动分割方法出现，使细胞分割在效率上相比人工分割有了质的提高。近年来，图像分割理论的完善，很多经典的图像分割方法针对特定的细胞可以实现全自动分割，但是在应对细胞聚集、光照不均匀等复杂视场的情况下表现较差。目前常用的分割细胞图像的方法大多数是基于阈值，基于边缘，基于分水岭等方法改进的。阈值方法包括全局阈值法和局部阈值法。全局阈值法根据图像整体的灰度分布得到一个最佳的阈值，因此需要前景与背景灰度差距较大，当背景光照不均或者细胞与背景灰度差距不大时，难以提取细胞区域。局部阈值法中图像各处的阈值与局部像素特征有关，在细胞图像分割中基本可以正确提取细胞区域，但是不能解决边缘轮廓失真以及细胞黏连问题，仍然需要后续算法处理，因此该方法通常用作细胞图像粗分割。图像边缘象征背景到前景的一个灰度的阶跃变化，使用边缘检测算子可以实现对边缘的检测，其主要思想是利用边缘处相邻像素灰度值的阶跃性，通过一阶或二阶导数的极值点或零点作为边缘检测点。Canny算子是最著名的一种边缘检测算子，它利用两个阈值分别检测图像的强边缘和弱边缘，当且仅当弱边缘和强边缘相连时，弱边缘才会出现在最终的边缘结果中。但边缘检测方法应用于细胞图像分割中，提取的边界往往不连续或者对背景干扰响应过强。分水岭方法是数学形态学中经典的图像分割方法。该方法将图像看作地理上被水覆盖的自然地貌，图像中像素灰度值代表海拔高度，极小值以及其影响区域称为集水盆，集水盆的边界即为分水岭，通过这些边界可以对图像进行分割。分水岭分割图像常常需要和其他方法（距离变换、梯度、标记图像）结合。基于这种思想这种方法常用用来分割黏连细胞，但是在实际应用中，这种方法往往造成过分割。细胞追踪国内外研究现状通过跟踪细胞运动，即可得到细胞的运动属性，如速度、加速度等。最简单的方法是通过手工标记关联前后帧细胞得到细胞的轨迹。人工的方法通常包括两步：第一步，在细胞分割结果的基础上，得到每一个细胞的中心；第二步，通过分析前后帧细胞的特点，关联前后帧细胞。然后将关联细胞的中心连接即可得到细胞的轨迹，之后便可在此结果基础上，得到其他运动属性。这种人工的方式，浪费人力，并且可能会由于人的疲劳使得跟踪结果不准确，自动化的方法对于细胞跟踪有重要的意义。常用的目标跟踪方法可以分为两类：第一类，基于非贝叶斯框架，包括最近邻方法、全局最近邻、mean-shift算法等；第二类，基于贝叶斯框架，包括卡尔曼滤波、粒子滤波、概率假设密度滤波等。课题研究的主要内容及章节安排研究内容为了在复杂显微视频场景中正确地分割细胞，本文着重分析黏连细胞的特点，提出了基于细胞中心检测的四阶段细胞分割方法。在细胞分割结果的基础上，提取细胞特征，采用改进的最近邻方法实现了对细胞的准确跟踪。主要研究内容如下：针对显微视场成像的局限性，采用了一系列的图像预处理算法，完成图像的降噪、光照校正、背景干扰去除以及对比度增强，为本文后续的算法提供良好的支持。针对传统图像分割方法应用于细胞分割的缺点，提出了一种基于多信息融合的提取细胞轮廓的方法。首先，通过改进的局部阈值方法提取细胞区域；之后，结合细胞边缘信息，尽可能准确的完成细胞初步分割；通过多尺度LOG算子检测连通区域中细胞个数以及其中心，辅助后续的黏连细胞分割；接着，在得到细胞中心的基础上，通过结合局部灰度特征和形态学的方法分割黏连细胞，得到准确的分割结果，使边界较传统方法更加逼近细胞真实边界。针对显微视频目标数目众多、状态复杂等特点，提出一种细胞运动模型，以改进的最近邻方法快速简单的实现细胞跟踪。章节安排第1章为绪论，主要介绍课题研究的背景和意义，细胞图像分割领域内常用的算法以及存在的问题，目标跟踪领域内常用的算法以及它们存在的问题。第2章介绍了本文所使用的图像数据来源，其中包括实验采集数据及公开数据集，以及针对细胞图像的一系列预处理算法。第3章介绍了本文提出的细胞图像分割方法。该方法不仅能够解决细胞黏连问题，而且最终提取的细胞轮廓能够尽可能的逼近细胞的真实形状，边缘保真效果较好。第4章介绍了一个基于灰度特征的细胞跟踪方法。通过建立细胞运动学模型改进最近邻方法，实现了细胞的准确跟踪。第5章介绍了基于分割与追踪的细胞形态学等信息的分析，为生物研究人员提供一种自动化分析方法。

细胞图像采集与预处理引言本文课题来源于西北大学物理学院张策老师带领的实验团队的实际需求，因此本文的主要研究对象为实验中所获得的3T3细胞图像序列。由于某些外部原因，实验中荧光显微镜拍摄的细胞图像一般存在背景光照不均匀或者对比度较弱等诸多问题，因此，在执行本文核心算法前需要对所获图像进行图像预处理操作以避免干扰因素影响算法效果。本文所进行的图像预处理操作主要有细胞图像光照校正、图像背景去除、BM3D降噪以及图像对比度增强。为验证本文算法的稳定性与分割和追踪效果，我们在另外三个目前公认的公开数据集上进行了算法测试，其中包括约600张带有分割标记及追踪标记的细胞图像。实验对象简介生物背景简介3T3成纤维细胞是由两位科学家于1962年建立的细胞系，目前已成为标准的成纤维细胞系，并常常作为一种重要的细胞材料用于体外致癌研究。3T3细胞此细胞系细胞核带有H2B-GFP绿色荧光标记，细胞质带有P65-DsRed红色荧光标记。实验中，通过施加外部刺激物（TumorNecrosisFactor，肿瘤坏死因子是一种能够直接杀伤肿瘤细胞且对正常细胞无明显毒性的细胞因子），使得3T3细胞激活其核内P65的表达，使得荧光物质P65-DsRed在细胞核内外发生转移，而荧光成像所得图像的亮度与该位置荧光强度成正比，因此可以将荧光物质的转移等价于图像上亮度的转移，即在细胞图像上细胞核内外灰度信息随时间发生变化。因此，根据图像中细胞核、质两个区域的灰度值总和来计算荧光标记物（P65-DsRed）在细胞核内和核外的分布关系，计算完成后利用MATLAB软件分析目标细胞对实验施加的刺激物的随时间响应曲线，即P65-DsRed的分布随时间的变化曲线。通过观察该响应曲线可以判断在细胞核内外P65的表达和转移是否具有特定规律以及是否对应于某种特定细胞行为。细胞培养实验在实际细胞培养实验中，利用H2B-GFP绿色荧光和P65-DsRed红色荧光这两种不同的荧光物质进行成像，可以在荧光显微镜成像下拍摄不同波长下的3T3细胞图像，进而针对性的完成特定目标物体的独立成像。因此在荧光显微镜拍摄的时候可以获得三个图像通道的数据：第一个是BF通道，即明场通道；第二个是FITC，即细胞质成像通道；第三个是TRITC，即细胞核成像通道，本文通过结合三个通道的图像信息可以更好的完成本文的工作。实验时，在定制的多个细胞培养芯片中培养3T3细胞以获得足够数量的细胞图像数据。实验前首先检查芯片是否存在漏液的问题，然后使用50ug/mL纤维连接蛋白（fibronectin）包被芯片至少1h，再用PBS清洗，随后用空气将细胞注入芯片培养腔，待细胞贴壁后（大约24h），用10ng/mL的刺激（对细胞进行刺激，用恒定的、脉冲的或正弦的方式来激活细胞内信号通路），刺激时间范围为0min-240min，在刺激期间每隔4分钟用荧光显微镜拍照一次，得到荧光显微镜拍摄的原始细胞图像，最后利用ImageJ软件对细胞荧光成像结果进行处理，转化成灰度图像以供后续算法使用。细胞培养示意图经过多次实验本文获得了一系列的3T3细胞图像数据，在所获数据集中，噪声较多、分割较难的图像数据占有一定比例，其主要原因在于实验设备较差和成像条件有限，因此成像较差的图像较为常见，为提高实验数据的利用效率，本文针对性的对这些成像较差的图像进行算法优化，提高细胞分割与追踪的准确度。公开数据集为验证本文提出的算法具有良好兼容性、准确性与鲁棒性，本文使用得到广泛认同的公开细胞图像数据集进行测试，考虑到数据集需要同时具备分割和追踪的人工标记结果，本文选用以下三个数据集作为验证：Fluo-N2DH-GOWT1数据集该数据集的成像目标为GFP-GOWT1小鼠干细胞，由捷克共和国科学院生物物理研究所E.Bártová博士公开。Fluo-N2DH-SIM+数据集该数据集成像目标是使用Hoescht染色的HL60细胞核，由生物医学图像分析中心（CBIA）的V.Ulman博士和D.Svoboda博士公开。Fluo-N2DL-HeLa数据集该数据集拍摄的使HeLa细胞稳定表达H2b-GFP，Mitocheck财团公开上述数据集均为公开数据集，引用较为广泛，细胞成像结果较好，适合作为测试集进行比对测试以验证算法的有效性。细胞图像预处理**BM3D图像降噪工程上，图像中的噪声常常用高斯噪声来近似表示，其中，是噪声的方差，越大，噪声越大。一个有效的去除高斯噪声的方式是图像平均，对N幅相同的图像进行平均的结果将使得高斯噪声的方差降低到原来的N分之一，现在效果比较好的去噪算法都是基于这一思想来进行算法设计。目前在图像去噪领域NLM（Non-LocalMeans）方法和BM3D（Block-matchingand3Dfiltering，3维块匹配滤波）方法是公认的表现最好的算法之一。NLM（Non-LocalMeans，非局部平均算法）是由Baudes于2005年提出，该算法使用自然图像中普遍存在的冗余信息来去噪声。与常用的双线性滤波、中值滤波等利用图像局部信息来滤波不同的是，它利用了整幅图像来进行去噪，以图像块为单位在噪声图像中寻找相似区域，再对这些区域求平均，从而比较好地去掉图像中存在的高斯噪声。BM3D算法的思路与NLM相似，同样是在噪声图像中寻找相似块进而进行滤波去噪，但相对而言整体过程要复杂一些。BM3D算法总共有两大步骤，分为基础估计（Step1）和最终估计（Step2）,在这两大步中，分别又有三小步：相似块分组（Grouping），协同滤波（CollaborativeFiltering）和聚合（Aggregation）。以下简单介绍BM3D算法过程：Step1：基础估计Grouping：首先在噪声图像中选择一些大小的参照块（ReferencePatch/Block），在参照块的周围的区域内进行搜索，寻找若干个相似度最高的块，并把这些块整合成一个3维的矩阵，同时将参照块自身整合进3维矩阵，且差异度为0。衡量两个图像块的相似度最常用的方法是计算他们之间的欧氏距离：是一个归一化的因子，是所有权重的和，对每个权重除以该因子后，使得权重满足和为1的条件。是滤波系数，控制指数函数的衰减从而改变欧氏距离的权重。和代表了像素和像素的邻域，这个邻域常称为块邻域。是两个邻域的高斯加权欧式距离，其中是高斯核的标准差。在求欧式距离的时候，不同位置的像素的权重是不一样的，距离块的中心越近，权重越大，距离中心越远，权重越小，权重服从高斯分布。实际计算中考虑到计算量的问题，常常采用均匀分布的权重。寻找相似块这一过程可以用一个公式来表示：式中代表两个块（和）之间的欧式距离，如果距离小于阈值则将块加入相似的Group。(2)CollaborativeFiltering：形成若干个三维的矩阵之后，首先将每个三维矩阵中的二维的块（即噪声图中的某个块）进行二维变换，可采用小波变换或DCT变换等，通常采用小波BIOR1.5。二维变换结束后，在矩阵的第三个维度进行一维变换，通常为阿达马变换（HadamardTransform）。变换完成后对三维矩阵进行硬阈值处理，将小于阈值的系数置0，然后通过在第三维的一维反变换和二维反变换得到处理后的图像块。(3)Aggregation：此时，每个二维块都是对去噪图像的估计。这一步分别将这些块融合到原来的位置，每个像素的灰度值通过每个对应位置的块的值加权平均，权重取决于置0的个数和噪声强度。Step2：最终估计(1)Grouping：第二步中的聚合过程与第一步类似，不同的是，这次将会得到两个三维数组：噪声图形成的三维矩阵和基础估计结果的三维矩阵。(2)CollaborativeFiltering：两个三维矩阵都进行二维和一维变换，这里的二维变换通常采用DCT变换以得到更好的效果。用维纳滤波（WienerFiltering）将噪声图形成的三维矩阵进行系数放缩，该系数通过基础估计的三维矩阵的值以及噪声强度得出。(3)Aggregation：与第一步中一样，这里也是将这些块融合到原来的位置，只是此时加权的权重取决于维纳滤波的系数和噪声强度。经过最终估计之后，BM3D算法已经将原图的噪声显著地去除。本文使用BM3D算法提供的源程序进行细胞图像的去噪，效果如下：原图原图的BM3D去噪效果通过一系列降噪处理，包括中值滤波去除局部异常点，BM3D去除背景噪点，原始细胞图像的信噪比得到提高，避免背景噪点对分割算法产生不可控的影响。图像光照校正由于实验过程中细胞培养历时较长，一般达到数十小时，而外界的光照在培养期间可能发生较大幅度的变化，同时，由于显微成像自身感光元件的原因，因此实验中采集到的细胞图像序列往往存在以下问题：（1）单张图像背景亮度在空间尺度上存在不均匀，表现为四周的暗角和中央区域的高光（2）序列图像背景亮度在时间尺度上存在不一致，表现为图像整体偏暗或偏亮空间尺度分布不均由于计算机算法处理的细胞图像一般是灰度图，其灰度信息是一种显著的图像特征，而不均匀光照的存在会给细胞分割及追踪算法带来诸多不确定的干扰和未知的影响，因此首先需要通过图像预处理算法校正背景光照，对图像光照进行统一，其基本原理是对图像不均匀的背景光照进行算法估计或者实际拍摄，通过原图与估计得到的背景光照图做减法运算，得到理论上光照均匀的细胞图像。如何根据输入图像实现对不均匀光照的准确估计是所有光照校正统一算法的核心内容，目前常用的算法是利用高斯模糊计算图像的背景光照，这种算法比较简单，计算量小，该算法基于的假设是背景光照在较大的范围内平稳而没有剧烈的变化，并且前景主体相对于背景而言面积较小，对整个图像进行模糊操作时，明亮的主体在模糊后对背景亮度影响较小，可以忽略不计，并且主体会随着模糊操作融入背景中，不再明显可见，最终得到一张背景光照估计图。但是由于细胞显微图像中，细胞成像一般亮度较高，即灰度值较大，图像整体进行高斯模糊带来的影响必然是背景亮度整体偏高，因此导致图像边缘区域的局部灰度阈值增大，对本身成像较暗的边缘区域而言，利用局部灰度阈值进行提取的精确度就大为折扣。因此，为了消除亮度较高的细胞对背景光照估计的影响，本文提出基于形态学腐蚀方法的改进算法。对原始图像首先进行腐蚀，目的是去除局部的高亮区域，即用背景光照的灰度值去填充该区域，最终使得整体背景光照更加接近真实值。如下图，经过模拟图像测试，本文提出的基于腐蚀的背景估计算法更贴近实际的背景，简单高斯模糊所估计的背景图相较真实值偏亮，明显受到前景高亮度的主体的影响较大，因此本文提出的算法能够更好的完成背景光照估计。前景 背景 整体 本文算法背景光照估计值 简单高斯背景光照估计使用本文提出的背景光照校正算法对获得细胞图像及细胞核图像进行处理，效果如下图所示：细胞质图像光照较正细胞核图像光照校正可以看出，本文提出的算法能够很好的去除不均匀的背景光照，经过光照校正后，图像的整体亮度及对比度有所降低，但图像的细节得到了更好的展示，细胞核图像中部分区域的干扰被完全去除，但是仍然存在部分培养液气泡带来的影响，细胞质图像上干扰物较多，仍需进一步处理。图像背景去除通过光照校正后，细胞图像的整体亮度得到有效统一，但是视觉可见的诸多气泡干扰依旧存在，因此需要提出有效的背景去除算法。本文针对所获得的图像数据的灰度特征使用心态学的顶帽运算（Top-hattransform）完成部分背景污物的去除。顶帽运算上图展示了顶帽运算的所有步骤和中间图像，通过先腐蚀后膨胀的操作，原图中尺寸大于（图中为10x10的Square）的元素得到重建，而尺寸较小的元素在腐蚀运算中被完全侵蚀，无法重建，经过此步骤可以将大尺寸的物体保留，即通过设计可以很大程度上保留背景，再通过与原图作减法运算，顶帽运算可以获得去除背景后的主体图像。下图是在本文细胞核图像数据集上的效果：顶帽运算在细胞核图像上表现较好，背景干扰被去除，对比度和亮度略有降低但不明显。在细胞质图像上表现较差，容易将细胞边缘侵蚀，影响后续分割算法对边缘的提取，因此该操作仅使用在细胞核图像数据集上。图像对比度增强由于细胞组织培养一般是在弱光环境下进行的，同时细胞图像常常利用某些生物荧光物质所发出的荧光进行成像，在通常情况下，荧光物质的亮度是微弱有限的，因此荧光显微镜的成像结果一般对比度较低，主体和背景区分不明显，因此需要进行适当的对比度增强操作以利于计算机算法的后续处理。常见的对比度增强算法一般为灰度变换法和直方图调整法，针对本文所采集的细胞图像，考虑到其灰度值统计分布具有特异性，本文拟采用直方图均衡化和自定义的非线性灰度变换实现图像的对比度增强。直方图均衡化直方图均衡化通常用来增加许多图像的全局对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。但在本文所获得的数据集上其表现较差：灰度非线性变换灰度非线性变换主要包括对数变换、幂次变换、指数变换、分段函数变换，通过非线性关系对图像进行灰度处理，通过对图像灰度特征的统计与分析，可以针对性的设计特定的非线性变换关系，实现图像对比度的极大增强。考虑到本文采用数据集为细胞图像，其背景亮度较低，细胞相对较亮，我们针对性的设计了一种灰度变换函数实现增强，效果如下。通过该变换，细胞区域特征得到明显提升，同时部分低灰度值背景干扰也完全消失，为后续细胞分割提供良好的图像支持。

细胞核精确分割算法引言如下图所示是TRITC通道成像，即细胞核的特定荧光成像，在荧光显微镜拍摄的图像中，该通道的背景中存在较多气泡的影响，并且气泡会随着时间移动，严重影响了细胞核的准确分割。通过前文所述图像预处理，细胞核图像的特征得到极大增强，细胞核本身亮度变化不大，而背景的气泡基本从视觉中消失，其灰度值一般低于0.2，因此预处理后的图像能够用于后续分割算法，但仍然存在黏连细胞不易分割的问题。预处理后的细胞核图像针对这种情况，本文提出了一套完整的细胞核精确分割思路：首先是粗略提取细胞区域，实现细胞核的粗分割，能够完成细胞核边缘的精确提取，同时不会遗漏任何一个细胞核区域。之后是在细胞粗分割的基础上，进行进一步的分割，由于部分细胞在成像时是处于相互黏连的状态，因此在粗分割之后需要再次进行黏连细胞的定位和拆分，最终实现所有细胞核的独立、精确分割。传统细胞区域提取算法细胞图像分割首先需要完成的通常是提取细胞的有效区域，在众多传统算法中，基于灰度阈值的分割算法一般是最简单、最常采用的方法，该方法通过设定不同的灰度特征阈值，将图像像素依据其灰度值与阈值的大小关系分为两类，即前景和背景。记原始待分割图像为，通过特定的算法计算从原始图像中获得阈值，根据该阈值将图像依据灰度值进行分类：式中标记为1的代表前景即细胞实际区域，标记为0的代表背景。一般而言，灰度阈值分割算法的关键在于对阈值的计算，一般根据阈值计算的区域大小分为全局阈值法和局部阈值法。全局灰度阈值法所谓全局阈值法即利用整个图像的灰度信息直方图分布情况，通过特定的算法计算得到最优图像分割阈值，常见的有Otsu算法和迭代法，此处着重介绍Otsu算法。日本学者OTSU于1979年提出的一种对图像进行二值化的高效算法，又称为大津法或最大类间方差法。该算法依据灰度特性将图像划分为背景和目标两部分。该方法的基本思想是选取能够使目标和背景之间方差最大的阈值。本文通过使用MATLAB软件，模拟生成了具有背景和前景的模拟细胞图像，其中细胞核灰度服从正态分布，细胞质灰度值服从正态分布，其整体灰度值直方图如上，可以明显的看见两个峰，通过MATLAB函数Graythresh计算得到其阈值为0.4353，并不等于理论值（0.2+0.7）/2即0.45，但依旧较为接近。通过模拟图测试，得到的全局灰度阈值分割图如下所示，可以看到在背景强度均匀的情况下，其分割效果较为不错，仅有部分噪声可见，可以通过腐蚀、开闭等形态学操作完善结果。但是在本文细胞图上表现一般，在背景光照未被校正的情况下，容易提取出高亮度的背景气泡，在校正后的图像上表现尚可，但边缘信息被破坏，边缘不精确。局部灰度阈值法在上述全局阈值法中，使用一个固定的全局阈值进行图像分割，往往会由于不能兼顾图像各个位置的局部情况而导致阈值分割的效果不理想，常见的问题是边缘亮度低于中间亮度而导致边缘分割过于激进，分割得到的主体偏小。局部阈值法的主要思想在依据图像的局部灰度特征设定局部的阈值，因此阈值与局部像素的灰度特性相匹配，能够有效避免全局灰度阈值分割带来的缺陷。常见的局部灰度阈值算法有Wellner自适应算法和Bernsen算法。Wellner算法的基本思想是设定阈值为当前像素邻域内像素的平均灰度值，如果当前像素灰度值大于平均灰度值，则此像素为前景像素，否则为背景像素。Bernsen算法是设定当前像素领域内灰度值最大以及最小的像素的中间值为阈值，如果当前像素灰度值大于阈值时，此像素则为前景像素，否则为背景像素。本文实际测试Wellner算法后发现，该局部阈值算法在本文图像数据集上效果较差，如下图所示。其原因在于背景气泡也存在局部的高亮特性，在全局阈值中，由于背景整体亮度较低，因此被划分为背景像素，而在局部阈值法中，背景的局部高亮会被认为是前景像素，因此效果不理想。基于边缘和局部特征的双模态提取算法由于上述方法在边缘提取上存在明显缺陷，本文提出基于边缘和局部特征的双模态提取算法。本文首先使用Canny边缘检测算子进行边缘提取，提取结果显示细胞核的边缘较为明显，但是由于所提取的边缘具有非闭合性和非特异性，除了细胞核以外，气泡的边缘也同样被提取出来，严重干扰了后续细胞分割的结果。因此，算法融合局部灰度特征，在提取精准边缘的同时避免细胞边缘非闭合的情况，同时规避了背景干扰物，进而完善细胞核的提取。该算法的步骤及基本思想如下：Canny边缘检测算子提取细胞边缘Canny边缘检测算子在边缘提取领域是非常著名的一个算子，其边缘提取的效果表现很好，其主要包含两个参数：高斯滤波器的大小：平滑滤波器将会直接影响Canny算法的结果。较小的滤波器产生的模糊效果也较少，这样就可以检测较小、变化明显的细线。较大的滤波器产生的模糊效果也较多，将较大的一块图像区域涂成一个特定点的颜色值。这样带来的结果就是对于检测较大、平滑的边缘更加有用，例如彩虹的边缘。阈值：使用两个阈值比使用一个阈值更加灵活，但是它还是有阈值存在的共性问题。设置的阈值过高，可能会漏掉重要信息；阈值过低，将会把枝节信息看得很重要。通过经验选取合适的参数，本文使用Canny算子提取的边缘如下图所示：局部灰度阈值分割本文参考OTSU全局灰度阈值算法和Wellner局部灰度阈值算法，提出改进的优化算法，可以实现基于局部灰度信息的细胞区域精准提取。首先是基于局部灰度阈值的高亮区域提取，此时细胞核以及部分气泡均被提取出，之后使用幅值为全局灰度阈值的高斯滤波器以兼顾图像边缘的细胞和中央的细胞的准确提取，最后进行小幅度的“开”运算去除部分高亮区域，最终的结果如下：细节otsu细节双模态融合提取细胞边缘通过第二步操作，基本可以提取出较为准确的细胞轮廓，基于第一步的边缘信息，可以共同构建出完整的细胞区域提取结果。如上图所示，细胞边缘信息得到准确保留，细胞轮廓得到精准提取。该算法通过结合边缘提取的高准确度边缘信息以及局部灰度阈值分割的连通域信息，可以较好地解决边缘提取的问题，在提取细胞区域的同时保留了高精度的边缘信息，因此对后续的形态学分析产生的误差更小。未验证准确性，本文使用同样的算法，再调整部分参数后测试公开数据集，结果如下：由于不同细胞在显微镜下成像特征并不相同，有些细胞的成像中央区域存在暗区（如图a），部分细胞成像明暗不均匀分布，大部分细胞属于中间亮边缘暗的特征，由于不同特征的存在，需要调整算法的参数以满足其对不同细胞的适应性。黏连细胞核分割算法通过上述双模态细胞提取算法，本文可以将细胞区域精准的从背景中分离，但部分连通区域内含有多个细胞，所以需要对这些区域中的细胞进行计数、定位和再分割。首先对每个连通区域进行细胞中心检测，如果其中仅含有一个细胞，那么该区域即可作为该细胞的分割结果；但是如果该区域含有两个以上的细胞，那么需要根据细胞中心检测的结果为每一个细胞分配合适的区域作为其分割结果，而关于如何进行合适区域的分割成为黏连细胞分割算法的关键。基于LOG算子的细胞中心检测利用高斯拉普拉斯（LaplaceofGaussian,LOG）算子检测图像中的斑点是一种十分常用的方法，本文将使用该算子进行细胞中心的检测。图像与LOG算子进行卷积运算实际就是求取图像与这一函数的相似性。当图像中的斑点尺寸与高斯拉普拉斯函数的形状趋近一致时，图像的拉普拉斯响应达到最大。对于计算二维图像，计算图像在不同尺度下的离散拉普拉斯响应值，然后检查位置空间中的每个点，如果该点的拉普拉斯响应值都大于或小于其他26（9+8+9）个立方空间领域的值，那么，该点就是被检测到的图像斑点。单细胞灰度图 黏连细胞灰度图 LOG算子由于细胞核成像时存在部分噪点，因此检测时容易产生过检测现象，通过对输入图像作小窗口的高斯模糊可以平滑连通域，之后再以分割结果为蒙版，保持形态信息不损失，最终减少过检测现象。本文经过实际测试选用是经验参数为模糊窗口为4px,LOG算子的高斯方差为3：6，对应窗口为19-37，与细胞大小基本匹配，可以很好的检测细胞中心。细胞中心检测结果基于梯度信息的分割算法当两个细胞相互黏连，形成一个共同连通域时，其灰度图具有一个普遍的特征，即驼峰结构，驼峰结构在双峰以及双峰交汇处的梯度最小，理论上接近0值，通过计算所有像素处x,y方向梯度，可以推测处黏连中心的位置，即驼峰交汇处。原始黏连细胞灰度图 高斯模糊后 梯度幅值通过前述细胞中心检测算法可以确定当前连通域是否包含多个细胞，当某个连通域存在多个细胞时，通过检测其梯度变化可以推测出黏连中心的位置，基于黏连中心的灰度值进行阈值分割可以独立提取黏连细胞的中央区域，进而通过膨胀提取整个细胞核区域。基于细胞形态学的分割算法另外一种常见的黏连细胞分割算法是以形态学拟合为基础的，一般用于椭圆形细胞的分割。这类算法一般比较复杂，耗时较长，本文根据论文【】提供的源代码实现了黏连细胞的分割。论文中在每个检测区域中应用基于区域的椭圆拟合（DEFA）优化版本进行拟合。DEFA方法具有多个椭圆的任意2D形状。在椭圆所覆盖的总面积等于原始形状的面积的约束下，自动确定椭圆的数量和参数。DEFA不做任何假设，也不需要有关输入形状的先验知识。DEFA的运作如下：首先，计算2D形状的骨架，其提供关于可以近似原始形状的椭圆的参数的重要信息。DEFA以自动定义的大量此类椭圆（复杂模型）开始，逐步消除其中的一些（模型简化）。基于Akaike信息准则（AIC）评估不同的模型（即，涉及不同数量的椭圆的解）。这考虑了基于熵的形状复杂性度量，其平衡了模型复杂度和模型逼近误差。DEFA可以对所识别区域的形状进行约束。在我们的问题中，我们设置DEFA来自动拒绝面积小于T的区域？或者，最大分裂子区域与最小分区域之间的比率超过10的值。根据我们的实验，该步骤将过度分割减少了约30％。最后，根据检测到的椭圆将对象的像素聚类成组，同时保持检测到的Bradley分割方法的边界。基于深度学习的细胞核分割算法图像语义分割(SemanticSegmentation)是图像处理和是机器视觉技术中关于图像理解的重要一环，也是深度学习领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类，确定每个点的类别（如属于背景、人或车等），从而进行区域划分。目前，语义分割已经被广泛应用于自动驾驶、无人机落点判定等场景中。基于U-net模型的分割U-Net是一种卷积网络架构，用于快速精确的医学图像分割。到目前为止，它已经超越了ISBI挑战中的先前的最佳方法（滑动窗口卷积网络），用于电子显微镜堆叠中的神经元结构的分割，是目前公认的最佳医学图像分割模型，近年来有诸多U-Net框架的变体出现，基本都具备较好的图像分割能力。U-Net建立在全卷积神经网络（FullyConvolutionalNetworks，FCN）的网络架构上，作者修改并扩大了这个网络框架，使其能够使用很少的训练图像就得到很精确的分割结果。其添加了上采样阶段，并且添加了很多的特征通道，允许更多的原图像纹理的信息在高分辨率的layers中进行传播。本文通过实际搭建U-Net网络，以24幅图像为训练数据，训练400个Epoch后Loss降低至0.06，对另外四张图像进行测试，测试结果如下图所示：测试图像 网络输出 分割真值（有筛选）可以观察到，经过很短时间的训练该模型达到的效果已经接近算法分割结果，通过增加训练次数可以进一步提升网络表现，但该模型对细胞接触边界的分割较不敏感，目前有人提出增加边界的权重以促进网络训练，本文暂未实现该改进模型，但深度学习在图像分割上的表现值得进步深入研究探讨。

基于改进的最近邻算法的细胞跟踪引言得到细胞运动轨迹是探索细胞运动行为的重要手段。在视频图像中，可以通过图像处理技术得到每个细胞的关键特征，依据细胞动力学特征和图像特征关联匹配前后帧细胞。在时间序列细胞图像中，细胞的运动追踪一直是一个热点问题，即随时间的顺序识别并跟踪每一个细胞,通过拍摄时间的连续性来重建出细胞的运动轨迹。简单的跟踪方法则为寻找邻近的细胞[6,7],而更复杂的方法则通过使用特定的模型来描述细胞与其自身的相似性,例如图像配准[8]、活动轮廓[9,10]和马尔可夫模型等,这些算法能够随着各种细胞特征的变化而进行同步变化。可通过提取图像帧中的信息来进行细胞跟踪,得到显微镜视频中的多个细胞的运动轨迹及其形态参数。然而由于细胞形态会随着图像帧的改变而变化,为了追踪细胞随时间变化的完整过程,需要运用定义细胞轮廓的追踪方法,主要分为基于分割的细胞追踪算法、基于随机滤波的细胞追踪方法和基于模型的细胞追踪方法。因本文数据集中细胞形态较为稳定，使用简单的最近邻算法基本可以追踪部分细胞，但仍然存在部分问题，因此提出新的运动模型解释细胞运动规律，改进最近邻算法的表现。细胞运动学模型简单的跟踪算法是识别最邻近的细胞，然而，细胞在一段时间内的运动轨迹是较为稳定的，在序列图像的拍摄间隔较短的情况下，细胞在不同方向上移动的概率是不相等的，即不是单纯的等概率模型，因此我们根据细胞的运动方向找到惯性运动方向，并在该方向上赋予较大的权重或者概率。我们假设在一个时间间隔内，细胞存在以下两种状态：基本不运动或者处于小幅随机摆动状态，这种情况一般是由于细胞处在高密度的群体中，细胞运动受到其他周围细胞的限制，因此其运动范围小，各方向等概率。处在较大幅度运动中，受运动惯性影响较大，这种情况一般是细胞周围无阻碍，可自由移动，表现在序列图像上即沿着某个特定方向运动，因此需要赋予惯性运动方向以较大的权重。综上，本文提出新的细胞运动学模型如下：在推测下一帧位置时，模型首先根据距离进行筛选，距离越近可能性越大，当距离相同时，越靠近惯性运动方向可能性越大，以此为准则进行预测。基于概率的细胞追踪算法在细胞图像序列中，同一个细胞在前后帧仅发生空间上的位移，其移动的各方向概率按照本文提出的细胞运动学模型来解释，在下一帧中检测所有临近细胞在可能的空间位置下的概率大小，选取其中概率最大的细胞最为该细胞的预测位置。经过实际检测，在实验数据集上表现如下：可以看到本文实现的效果与MATLAB提供的算法基本一致，在部分细胞上的跟踪表现更优。该算法对细胞的移动、分裂同时进行判断，因此可以绘制细胞的分裂图以及子代细胞的运动路径。由于部分公开数据集的细胞图像细胞分裂较多，追踪效果较差，此处以效果较好的数据集作展示，如下图：一般而言，由于科研工作需求，显微镜拍摄细胞图像的时间间隔一般为几分钟，细胞位移一般较小，容易跟踪，主要难点在于细胞的其他复杂行为（如：分裂、融合）的识别和准确跟踪。

细胞形态分析及行为识别引言本课题来源于生物医学科研工作上的具体需求，在诸多生物实验中往往需要追踪异常细胞的祖先细胞和后代细胞以进行进一步的分析研究。在传统的科研中，该过程一般需要人工进行，而此项工作需要消耗大量的科研人力资源。因此，本文尝试通过运用计算机图像处理和深度学习的相关技术，基于本文获取的细胞图像相关数据，可以建立细胞运动路径乃至建立细胞谱系图。而通过细胞谱系图，科研人员在遇到异常细胞时，能迅速的定位任意时刻该细胞的祖先细胞和后代细胞，并对其进行深入研究，从而减少大量的科研人力资源开销。形态分析同一个细胞，处在不同发育阶段，它的大小是会改变的。细胞的形态也是多种多样，有球体、多面体、纺锤体和柱状体等。由于细胞内在的结构以及外部的环境压力，细胞总是保持一定形状，