人工智能血细胞形态学检查的关键技术进展

最新：人工智能血细胞形态学检查的关键技术进展

摘要

利用人工智能辅助血细胞形态学检查具有十分广阔的临床应用前景，它可

以大幅提高工作效率，减轻人力负担，避免主观化，有利于实现标准化。

其主要的重点和难点在于图像获取、图像分割、细胞识别与分类等几个关

键的技术环节。近年来，无论是硬件设备还是软件算法都进展迅速，这使

得人工智能辅助系统从数字图像采集、白细胞分割到细胞特征提取、分类

等方面都出现了重要的发展。其中，相对于传统的机器学习而言，深度学

习技术在血细胞形态学识别方面的应用尤其值得关注。此外，显微血细胞

图像数据库的不断涌现也为各种算法技术的进一步发展和完善提供了重

要支撑。了解人工智能辅助血细胞形态学检查的关键技术进展将有利于推

进其不断发展，更好地走向临床应用。近年来人工智能技术从〃传统的机器

学习〃向〃深度学习〃转变，不再依赖于人工提取特征，而是依靠其自动抽取

数据的能力来实现。与国外血细胞图像数据库相比，国内数据库还有较大

差距，应加强此方面的建设。

血细胞形态学检查是指利用显微镜对细胞大小、形状、染色性质和内含物

等细胞形态特征进行定性、定量分析的经典技术方法，对于血液系统疾病

或其他多种非血液系统的疾病的诊断、辅助诊断、治疗检测等具有重要作

用。人工镜检染色的外周血涂片进行形态学分析是血液学疾病诊断的重要

方法，但人工操作较为费时费力，不容易实现同时分析大批量的样本，且

镜检结果高度依赖于检验人员的工作经验、知识储备和技能水平，主观因

素比较强。近年来，随着自动化仪器的发展以及人工智能等计算机技术的

进步，数字化血细胞形态学自动分析仪（系统）得以研发并应用到临床。

这种基于计算机辅助诊断的系统有望大幅提高血细胞形态学分析的工作

效率，并能在很大程度上避免主观性，实现标准化，提高血细胞形态学检

验的工作质量和应用范围。

临床工作中，理想的人工智能辅助血细胞形态学检查系统应满足自动化、

高效率、高准确度、高图像质量、可识别细胞种类多等要求，而这些目标

的实现有赖于图像获取、识别、分类等关键技术的进步。自动化细胞形态

学分析系统从20世纪60年代出现的Cydac扫描显微镜系统演化至今1］,

在图像获取、图像分割与细胞分类等关键技术已出现了重大进展，同时也

伴随着卷积神经网络、全卷积网络等深度学习算法技术的进步。

一、细胞数字图像采集

自动化采集高质量图像可以为人工智能学习提供大量训练集，也是未来临

床应用的理想模式，有许多研究者在这方面进行了尝试。很多研究改进了

传统人工观测和对焦方法，使采集图像的过程更为智能和自动化。许德鹏

［2］使用奥林巴斯BX53显微镜和奥林巴斯DP80摄像头来获取血液图

片，采集时的对焦过程是由人观察计算机上显示的图像，并手动调节显微

镜对焦旋钮。马岩［3］设计一种全自动血细胞高质量显微图像获取装置，

可以进行高精度自动聚焦和图像采集等工作。李东明［4］为达到获取样

品细胞成像的超分辨率的目的，完成了二维宽场结构光照明荧光显微光学

成像系统设计。何文军等［5］开发了一套自动控制系统，可模拟人工阅

片，自动调焦，调节血涂片位置。Kovalev等［6］为了解决细胞分布不

均导致采集效率问题，设计了一个独特的采集技术，即先在较小的放大倍

数下进行连续扫描，以定位细胞，根据白细胞之间的距离对其进行分层聚

类,然后用大倍数进行图像采集。Wang等［7］建立了一套分子高光谱

成像系统，与二维图像中的像素不同的是，高光谱立方体中的每个像素都

是一个反映在波长维度上的N维光谱向量，可以显著区分原始淋巴细胞和

淋巴细胞的特征。

目前数据采集技术主要分为基于传统光学显微镜和以高光谱显微成像为

主的新型显微成像技术2种。基于传统光学成像技术以提高采集图像效率

和图像清晰度为设计目的，有的研究模拟人工阅片来进行快速对焦成像［3,

5,6］,有的研究通过改进显微镜来采集更清晰的超分辨率图像［4L高光

谱显微成像技术结合了空间和光谱信息，与传统的光学显微镜成像相比，

为识别细胞提供了更丰富的信息，能更好地提高其分类精度，但其成本较

高，目前尚处于研究阶段。高效率的自动对焦系统以及超高分辨率的图像

采集是未来的主流应用方向。

二、白细胞图像分割算法

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴

2.传统机器学习：传统图像处理是对单张图像进行，需要专业先验知识，

机器学习则是对多张图像进行训练，借助算法自动发现前景与背景的差异。

Khamael等［10］提取了细胞核的颜色纹理和形状信息，采用模糊C均

值聚类算法的适应性区域增长来分割和计数白细胞及其细胞核，在训练数

据有限的情况下,依然获得艮好的结果。Zheng等［11］提出了一种自

监督的学习方法，包括无监督的初始分割和有监督的分割细化，第一个模

块通过K均值聚类从细胞图像中提取整体前景区域，第二个模块进一步使

用第一个模块的粗略分割结果作为自动标签，主动训练支持向量机分类器。

3.深度学习：传统机器学习虽然在一定程度上解决了传统图像处理方法鲁

棒性差、效率低的问题，但是在特征学习上仍有差距，2012年随着以

AlexNet为代表的深度学习出现，越来越多的深度学习网络结构如YOLO

(YouOnlyLookOnce,YOLO)系列、SSD(SingleShotMultiBox

Detector,SSD容被用在白细胞的分割上。Ca。新12政进了YOLOv5s,

通过聚类构造先验框以适应白细胞大小，实现白细胞的高精度定位，检测

准确率比以往方法提高了10.7%。

在过去的十多年中，大量的研究致力于血液学显微镜图像领域，重点是白

细胞及其细胞核的检测和分割，这些研究在改进现有方法的同时，也具有

自身的局限性，图像校准会受到颜色分布的影响，通过几何主动轮廓、水

平集算法和分水岭算法可以在弱边缘的条件下完成分割，然而对于细胞质

的分割效果仍然有待提升，传统图像处理方法和机器学习方法计算成本相

对较高、鲁棒性较差，例如边缘检测、阈值分割等，且很难分割重叠的细

胞，Hough变换在一定程度上解决了重叠细胞分割的问题，但是速度依

然很慢，近年来，利用深度学习实现白细胞分割成为了主流的研究方向，

由于足够深的神经网络能容纳更丰富的语义信息，从大量数据中挖掘到重

要特征，因此这些深度学习算法在速度和精度上都取得了显著提升。但是

深度学习的方法因为需要大量的已标注数据，增大了算法研发的时间和人

力成本。

三、细胞特征提取

在一个实际的图像识别系统中，图像预处理与分割的最终目的是进一步对

图像的特征进行提取和分析，即先找出能够区分不同目标的合适特征参数

这些特征参数对于不同目标能够得到不同的特征值根据特征值，我们就可

以区分开不同的目标。比如，正常细胞和异常细胞之间在大小、形状、颜

色等方面均有差别，但有一些差别很明显，而另一些不明显，所以需要尽

量寻找到能够较明显地区分开二者的那些特征。同时仅仅依靠某一种特征

有时难以区分目标，就需要同时依靠多个特征来综合进行分析，所以目标

的特征选择是很重要的，它们直接影响图像分析的结果。

常用的图像特征类型有图像的灰度特征、纹理特征、频谱特征等。Sajjad

等［13］首先对核进行分割，然后提取纹理、统计和小波特征，在众多基

准数据库上验证了该系统与其他先进方案相比较好的有效性和较高的效

率。通常，进行特征提取时，会对多个特征同时进行提取。何文军等人提

取血细胞图像面积、边界和纹理等多种特征，对血细胞形态进行识别，该

系统识别白细胞的正确率95.1%,速度45min/片［5］;袁满［14］在特

征提取与选择方面，首先从形态、色度和纹理三个方面对白细胞核、白细

胞浆进行特征提取。根据白细胞核凸包区域的特点，增加对白细胞核凸包

区域的形态、色度和纹理特征提取，加入周长差异率、边缘梯度积分等特

征，最终提取了100个特征。

目前较常用的特征提取方法有模糊C均值聚类、主成分分析（principal

ComponentAnalysis,PCA\支持向量机等。特征提取是对研究对象固

有的、本质的及重要的特征属性进行测量并将结果数值化。Viswanathan

［15］利用细胞核的纹理、几何形状、颜色和统计特征以确定白血病的各

种因素，用模糊C均值聚类训练每个细胞的单行特征向量,将白血病分出

来，这使得该算法在准确性和时间消耗上优于常规血液科医生的人工分类；

Khamael等［10］提出使用基于颜色纹理分布的算法,并使用模糊（:均

值进行区域增长来分割和计数白细胞及其核数；Al-Dulaimi等［16］使

用主成分分析将感兴趣的变量的数量减少到更小的组成部分。计算协方差

矩阵的特征向量，并利用特征值对向量进行排序。然后将居中数据投影到

这些特征向量上，得到主成分，只保留主成分的子集，其余部分丢弃的方

式进行降维。

四、细胞分类

现有的细胞分类方法主要分为两类：（1）基于手工提取的特征分类；（2）

基于深度学习的分类。前者主要集中于2018年以前，2018年以后随着深

度学习技术在各个领域的成功，人们开始逐渐将其引入血细胞分割、检测

及分类领域，并取得显著的成果。

1.基于传统手工提取特征的分类方法：支持向量机、随机森林、K近邻、

遗传算法是最常用的几种方式。袁满［14］月支持向量机、随机森林和K

近邻3种分类器进行白细胞的5分类，并对3种分类器的分类准确率进行

对比分析。翟梦蝶［17］对超参数进行全局寻优，构建了改进的支持向量

机模型，有效地提高了白细胞五分类的识别效率。

2.基于深度学习的分类方法：随着深度学习在计算机视觉领域的成功，传

统的细胞分割、需要手动指定特征的提取和分类方法逐渐被卷积神经网络

所取代。基于深度学习的模型框架如VGGNet、ResNet等被用于白细胞

分类。

Yildirim和Sinar［18］用AlexNet.Resnet50sDenseNet201和

GoogleNet架构对原始数据进行分类，然后用高斯滤波器和中值滤波器

用同样的4个架构重新分类，得到了更准确的分类。Sharma等［19］采

用基于深度学习的DenseNet121模型进行细胞分类，并通过规范化和数

据增强等预处理技术对模型进行了优化。Qnar和Tuncer［20］提出了一

个基于预训练的AlexNet和GoogleNet进行白细胞分类。这些基于深度

学习网络的分割和分类方法适用于单一的白细胞图像，可以为白细胞分类

提供许多有用的信息。Rehman等［21］构建了深度卷积神经网络模型来

对淋巴细胞白血病进行细胞分类，该系统由卷积层、最大池化层来训练模

型,并由全连接层、softmax和分类层来进行细胞分类。

基于深度学习的检测模型可以直接定位到图像中的所有细胞并进行分类，

而不再是通过分割和分类两个步骤解决。目前，基于深度学习的检测器可

以分为两类：两阶段［22］和单阶段［23LZhang等［24］基于YOLOv3

检测离散的白细胞，然后通过图像密度估计方法计算聚集的细胞。

Shakarami等［25］用Efficient-Net取代YOLOv3的特征提取方式。

传统基于特征分类的方法需要根据专业经验进行有目的的手工特征提取,

该方式可解释性好，但拟合能力较弱，因此精准度及泛化能力受限。基于

深度学习的分类方法不要手工提取特征，可解释性较差，需要大量的标注

数据进行训练，但其凭借强大的特征自动抽取能力，展现出优异的性能。

目前国内外的自动化血细胞形态分析仪也随着技术发展由基于传统特征

分类的方法逐渐向深度学习的方式转变。目前主流技术多基于经典的

YOLO系列、ResNet系列、VGGNet等为代表的深度特征提取网络进行

细胞分类，可单独使用某一种架构，也会结合传统特征提取技术等多个架

构相结合的方式进行。

五、显微血细胞图像数据库

大规模、高质量的血细胞图像数据是人工智能识别血细胞不断发展的基石。

目前已有一些开放的显微血细胞图像数据库可以使用，这些数据库包含了

白细胞、红细胞及其多种亚类血细胞的显微图像。

BCCD数据库的总图像约为12500幅。其中包含不同种类白细胞，每种

细胞大约有3000张图像。急性淋巴细胞白血病数据库(acute

lymphoblasticleukemiaimagedatabase」ALL-IDB)是一个急性白血

病疾病的数据库。此数据集有两个子类型ALL-IDB1和ALL-IDB2。

ALL-IDB1数据集有109幅图像，分辨率为2592x1944,共包含510

个淋巴母细胞。ALL-IDB2数据集有260幅图像，分辨率为257x257,

包含130个淋巴母细胞。白细胞图像的分割与分类(LeukocyteImages

forSegmentationandClassification,LISC)数据集包含健康受试者的

图像。图像总数为400张，来自8名健康受试者的100张不同的血片。

图像大小为720x576。C-NMC数据集包含了来自118名参与者的15135

张图像，所有图像都是BMP格式，该数据分为训练组、初步测试组,以

及不同癌症和正常图像的最终测试组。ASH图像数据库由美国血液学会管

理，它是一个白血病细胞图像的在线图像库，提供了不同类型的血液病细

胞图像。Raabin数据库包含约40000张白细胞的图片，有两名专家对部

分细胞进行了标记，有1145个细胞的核、浆基本信息已被提取出来。

已有研究者利用这峨据库进行了相关