基于虚拟显微镜的数字化病理诊断平台课件

1、基于虚拟显微镜的数字化病理诊断平台-病理诊断工作的未来模式 南京军区南京总医院病理科吴 波E-mail:WuBo0020 病理诊断是以图像信息为依据的主观判断，图像质量会直接影响诊断的准确性。 病理图像的数字化是未来病理诊断的发展趋势，目前在临床病理领域有初步的应用，如应用显微数字图像进行远程病理会诊、图像数据库等，但这些数字图像只是传统玻璃切片的局部显微照片的数字图像，不包括切片的全部图像信息，应用也非常局限。 远程诊断/会诊，数字图像今后的主要用途； 病理质控（远程切片质量与诊断质量评价）； 数字病理切片图库； 病理医生水平在线考试（评测）和继续教育； 疑难病例讨论（读片会）。 病理标本图

2、库（组织库管理）；数字病理图像的主要用途 近年来，病理领域提出了虚拟显微镜和虚拟切片的概念，病理工作者已经在考虑建立基于虚拟切片的病理诊断平台，在这平台上，结合新一代高速互联网，传统的病理诊断工作模式将发生深刻的变化，病理医生将不再是端坐在显微镜前看切片、发报告，他可以在世界各地通过互联网、用多种网络终端调阅服务器中的虚拟切片，在屏幕上观察，作出病理诊断并发出报告。这才是病理诊断工作进入真正的数字化、无纸时代，也是病理诊断工作的未来模式。 一、未来病理工作平台的主要构成（1）远程病理（Telepathology） 远程病理的定义是：为了特殊的目的，将显微图像进行采集、储存、传输到远处的过程。其

3、主要目的是：诊断、讨论和教育，现在又增加了质控的内容。 远程病理是远程医学的一部分，但发展一直落后于远程医学的其他部分。主要原因是病理医生对这一工作模式的认可程度低，另外，受限于硬件条件，特别是网络的传输速度。 目前，快速发展的高速网络技术、图像技术和计算机技术为新一代远程病理提供了坚实的基础，越来越多的的病理工作者也接受这一诊断方式，远程病理已经显示良好的应用前景。 最早的远程病理可以追溯到上世纪六十年代，但直到八十年代后期，随着计算机技术和网络技术的进步，远程病理才初步进入临床应用。 传统的远程病理有两种主要类型，一种是静态图像远程病理（Static Imaging Telepatholo

4、gy），也称之为“被动式远程病理（Passive Telepathology）”，这是一种不同步的技术，送检的病理医生在切片上拍摄一部分数码图像，并通过E-mail或其他途径将图像传输给远处的病理医生观察，图像观察过程中没有互动交流。这一方式简单、便宜，有一定的应用价值，但是其缺点也是显而易见的： 会诊医生只能看到有限的、经过选择的图像，不能选择自己想要看的区域； 得不到其他相关的信息。 另一种远程病理类型是动态远程病理（Dynamic Telepathology），也称为“实时视频图像（Real-time Video Imaging），在远程病理诊断过程中，计算机与远处的自动显微镜连接，并控

5、制显微镜。动态远程病理又可以分为两种：一是被动动态观察；另一种是主动动态观察。被动动态观察可以实时看到图像，但操作（换视野、换倍数、聚焦等）是当地医生进行，会诊医生被动看图像。主动动态观察是会诊医生可以实时控制远程的自动显微镜，观看玻璃切片，这对网络传输速度的要求很高，目前的网络还不能满足要求。 未来的远程病理的诊断是以虚拟病理切片为平台，通过远程调阅服务器中的虚拟切片，实时进行观察和诊断。（2）虚拟显微镜及虚拟切片 所谓虚拟显微镜就是将传统玻璃切片进行全切片图像的数字化（Whole Slide Imaging，简称WSI），这一特殊的、专业化的显微镜称之为虚拟显微镜。主要构成：传统光学放大系

6、统、现代数字图像采集系统及先进的计算机控制、处理软件。 虚拟切片也称为“全切片数字图像”，必须是包含高倍视野下整张传统玻璃切片的所有图像信息。要求：高倍视野（高分辨率）、全切片、数字图像。虚拟显微镜不同倍数下的观察（截图）玻璃切片虚拟切片虚拟切片组图像服务器医学教育临床诊断液基细胞学观察双屏对比观察图像的测量和标记 我们知道，由于光学放大系统的局限性，显微镜的视野与放大倍数始终是一对矛盾，要视野大就必须在低倍下观察，高倍观察视野就小，那么如何实现既要高倍，又要大视野的虚拟切片呢，目前有三种方法实现。 自动显微镜单光轴连续扫描 系统由一台高端的全自动显微镜、高分辨的CCD和一台专用计算机构成。在

7、计算机的控制下，物镜在切片上有组织的一点开始定位、自动对焦，并拍摄第一幅图像，然后按一定次序自动移动到下一个位置再对焦，再获取图像，依次不断获取局部的高倍图像，最后完成整个切片的拍摄，把这一系列的小的、局部图像进行拼接，得到一张高倍的、全切片的数字图像，即“虚拟切片”。 图像拼接涉及：自动对准、调整球面差、光照平衡等技术。Olympus早期的高通量、单光轴切片扫描系统 在上述过程中，尽管获取一幅图像仅几毫秒，但获取整个切片图像需要数千个这样的过程，因此，这一拍摄-拼接过程是比较耗费时间。 标准的切片盖玻片的大小为2030mm，20倍物镜大约需要9600个小图像拼接，如果相邻图像间没有重叠，实际

8、的小图像数目要超过10500个，早期系统从获取图像到完成拼接要耗费数小时，这显然不能满足病理科日常工作的需要。随着技术的进步，目前的制作过程一般可以在数十分钟内完成。 渐进式CCD扫描系统（Progressive scan CCD systems ） 也称之为“线性扫描”，在这种模式下，线性扫描相机在切片表面精确移动并获取照片，该线性扫描照相机是由单一线性排列的CCD感光原件构成，与面状分布的感光原件不同，面状感光原件获取面状图像后进行拼接而成，线性图像的采集是通过特殊的步进马达、光学物镜和专门的光路设计，一条线一条线来获得的，这种扫描方式效率更高，因为，这种扫描方式是连续扫描，而单个CCD扫

9、描是间断扫描，速度要慢很多，因此，线性扫描应该是切片数字化比较理想的一种方式。滨松领先的光电扫描技术 对于一张3020mm大小的组织切片，用单光轴CCD扫描方式，在40倍大约需要获取28000张图片并进行拼接，而用线性扫描方式，约需60个图像带的扫描就可以完成。因此，线性扫描的优点也显而易见的。 除了扫描速度快外，线性扫描还具有下面的优点： 线阵的焦距可以按扫描线来调整，而拼图式是以每个小图的面进行聚焦的； 线性扫描器是一维的，就不会产生光学像差，而图像拼接方法每幅小图都会产生以图像中心到外周的像差，尽管这种像差很微小，也会影响图像质量； 线阵扫描器可以达到全像素的扫描，分辨率高，而彩色CCD

10、扫描器由于每个像点由红、绿、蓝三个像素构成，分辨率低。目前高端扫描成像系统的特点： 高速、高分辨率图像扫描； 高通量的切片预置； 荧光成像； 三维成像。730=210张切片 阵列显微镜（Arrary microscopy） 这是一种新概念的显微镜，该显微镜的特点就是它的物镜不是传统的单透镜物镜，而是由6080个相同放大倍数的高倍镜头、按特定方式排列组成一个镜头阵列，整个阵列物镜的面积超过大多数组织切片上组织的大小，这样，一次拍摄就可以获得整个切片上组织的高倍图像组，然后，通过计算机的图像拼接技术，将零碎的小图像组合成整个切片的大图像。 阵列显微镜制作虚拟切片的时间大大缩短，整个过程可以控制在一

11、分钟之内，一台虚拟显微镜就可以满足目前大多数病理科每天切片数字化的需要，具有明显的实用价值。阵列显微镜的物镜模型阵列显微镜覆盖在切片上 阵列显微镜在应用中具有非常明显的优势，但制造上需要解决一系列的技术上问题，包括：（1）阵列透镜的高精度加工；（2）大幅面、小像素的CCD；（3）阵列物镜的自动对焦。 首先是制造和装配大量相同倍数的光学透镜困难。用于阵列显微镜的高倍物镜，需要相同的尺寸、曲率（焦距），具有相同的放大倍数，因此，对物镜的加工要求极高。事实上，制造完全相同的镜头是不可能的，可以允许一定的误差，但必须在一定范围内，这就必须建立一个针对多镜头、多图像的容差分析系统，自动纠正各镜头的细微差

12、异。还有多镜头装配时的光学球面差问题。而且，各镜头互相之间要非常靠近，形成一个整体，因此，组装镜头需要一系列新的技术支持，包括：注塑成型（injection molding），排版技术（lithography）及激光灼刻技术（direct laser writing）等。 经典的显微镜物镜系统的“视野物理镜片直径比值”（FOV-to-physical-lens-diameter ratio (FDR)） 在2550之间，如果把这样的一组镜头组合在一起，对大物体同时进行拍摄所获得的图像间隙太大，不能合成出一张完整的大视野图像。 为此，研究人员设计了一种新的显微光学物镜系统，它的FDR值只有8，这

13、种低FDR值物镜系统的设计主要依赖于它的独特的非球面镜头，可以最大限度减少每个物镜的透镜数量，这样，小尺寸、小FDR的物镜允许我们组合成一个大的物镜系统，可以同时对一个大物体不同区域同时进行高分辩观察，这就是目前的所谓“阵列显微镜”镜头。 第二是高分辨图像传感装置制造困难。为了解决视野与分辨率的矛盾，图像传感器需要大幅面、小像素的CCD，小像素可以使CCD的像素密度更高，最大限度地提高图像分辩率，但大多数市售的CCD在物理大小和像素上有一个固定的规格，为此，研究人员专门设计了一种氧化金属半导体的图像传感器来解决上述问题，目前的分辨率可以达到0.5m（分辨率越高图像文件也越大），同时有超过10个

14、传输通道，传输率超过120 MB/s。这些都有效地缩短了虚拟切片制作时间。 第三是阵列物镜的对焦困难。除了上面提到的阵列物镜焦距的不一致外，一张大的组织切片在高放大倍数下是不可能非常平整的，有的组织会脱离切片、有的有气泡，在普通显微镜下观察时，可以通过不断地调节显微镜焦距来克服这一问题，但在阵列显微镜下，切片图像有的部分在焦距内，有些部分可能不在焦距内，这样形成的虚拟切片就会有部分不清楚，为了解决这一问题，设计者开发了一种病理组织切片图像的自适应系统，该系统可以自动识别一个主要的焦距平面，在这个平面上、下的一定范围内，分别摄图成像，通过图像处理技术，可以得到一幅各个区域都清楚的图像。 滨松公司

15、提出的3D-Stack功能 自行设置扫描层数； 任意观察细胞的不同层面； 层间厚度为0.5m 尼康公司提出的Extended Depth of Focus（EDF）-景深扩展模块，首先拍摄一组不同Z轴位置的图像，由于每个位置都只有一部分图像是聚焦清楚的，所以分析后进行处理，得到一张“全聚焦”图像。而且，可以生成3D表面图像，即虚拟3D图像。 二、基于虚拟切片的病理诊断平台 远程病理、虚拟显微镜及虚拟切片的制作只是未来数字化病理诊断平台的一部分，还应包括：病理资料储存（文字资料及图像资料）、远程传输、调阅、检索、分析等等不同部分的有机结合，这是一个复杂的系统工程，按目前的计算机及网络技术，上述系

16、统工程是完全可以实现的，但还是存在一些瓶颈。虚拟显微镜及图象服务器虚拟显微镜客户端局域网医院内部基本构架Internet医院服务器外部基本构架三、实现新型病理诊断平台的主要瓶颈（1）首先是观念上的碰撞 目前的病理医生的工作方式是坐在显微镜前，通过移动载物台、变换不同的放大物镜来观察、分析组织切片，作出判断，然后书写或打印病理诊断。今后病理医生的工作模式可能是这样的 - 病理技术人员将制备好的玻璃切片通过虚拟显微镜制成全切片数字图像（虚拟切片）并储存在服务器内，诊断医生在任何地方，用各种终端调阅图像服务器中的虚拟切片，观察诊断并通过网络发送报告。 传统病理诊断模式未来病理诊断模式 工作模式的改变

17、会使现在的病理医生很不习惯，有调查显示，习惯用显微镜观察切片的病理医生，如果改在屏幕前诊断，会影响诊断的准确性，但如果在校的医学院学生，运用虚拟切片进行相应的课程学习，到医院工作后，就不存在这样的差异。 目前，国内、外的很多医学院已经开始用虚拟切片进行组织学、病理学等课程的教学。 （2） 软件方面的不足 国外的软件系统已经不是单一的病理数据的管理系统，而是集临床诊断、资料管理、图像分析、数据分析、质量控制、远程会诊、远程教育、图像数据库为一体的病理诊断平台，国内的软件系统还存在比较大的差距，功能相对单一 。 另一个比较重要的功能是对虚拟切片的自动分析，如对特殊细胞的模式识别、特殊染色的定量分析

18、、数码染色等等，这些具有一定的人工智能化的技术，目前还处于起步阶段，如有针对细胞学检查的可疑细胞初筛功能；针对免疫组化染色的自动分析；等等。 还有病理资料的深度挖掘。目前的病理资料管理一般限于资料的调阅、检索、统计，今后的分析将依据生物信息学的理论，进行深度利用临床病理资料（数据的Meta分析、高级宏功能、图像多维分析、参数过滤、多因素流行病学分析等等），进一步扩展其临床、科研价值。（3）硬件方面的问题 就目前的虚拟显微镜产品看，采用哪种扫描方式最好还不是很明确，单光轴扫描方式效率低，速度上不能满足常规诊断的需要，肯定是要淘汰的，但近期对于教学切片、读片会、远程会诊等数量不多切片的扫描，还是有

19、一定的市场，另外，价格上有优势。 线性扫描和阵列显微镜各有优势。线性扫描的结构相对简单、制造技术比较成熟，但高精度的线性扫描技术还是高端技术，目前只有日本的滨松和美国Aperio 两家公司的产品最好，当然价格也最贵，国内有一家公司-优纳，可以生产，产品也基本可以满足诊断的要求。阵列显微镜的特点就是速度快，但生产工艺要求高，价格也比较昂贵。 高端的产品主要具有下列优势技术：高速、高分辨、高通量技术；暗视野扫描技术；Z轴叠加扫描技术。 虚拟切片的储存介质是目前硬件方面一个比较突出的问题。就目前的图像压缩技术，单张虚拟切片的文件大小由数十M到几个G不等（根据切片的大小、扫描方式）。大型综合性医院一年

20、的玻璃切片（包括特殊染色、细胞学、解剖等）大约要十几万张，需要保存的年限是15年（我科保存了建科以来所有切片，超过100万张），这么大的文件量是用什么介质存储还没有很好地解决。 常用的大容量储存介质：硬盘、移动硬盘、光盘（蓝光光盘）等，这些存储介质都不能满足这么巨大的图像数据存储，另外，还涉及这些图像数据的调阅、检索等问题。 图像传输也是有待解决的问题。目前的Internet网传输图像的速度还远远不能满足虚拟切片的传输，现在的解决方法是，远程调阅虚拟切片时，网络传输的只是图像各部分的坐标值，不需要直接传输图像。随着新一代高速网络的建成，网络传输速度大幅提高，图像传输将不再是瓶颈。（4）虚拟切片

21、标准化的问题 目前，国内、外有超过二十家公司在生产虚拟显微镜，出于各自公司的利益考虑，每个公司的工作模式、图像格式、储存方式都不一样，并且互相不兼容，带来的问题就是各系统只能阅读自己的虚拟切片，不能阅读其他公司的切片，如果不同医院使用不同公司的产品，就无法进行会诊和读片讨论。还有就是各公司软件开发的系统平台不一样，同样带来各系统的不兼容的问题。 可喜的是，一些研究单位已经意识到了这个问题，有些公司的最新产品是在同一平台开发的。 （5）远程及虚拟病理相关的法律问题 这是近年来国内、外都比较关注的问题，有的国家已经有立法，有的国家有相关的条例和规定，国内目前还没有相关的法律、条例和指南。2012年卫生部提出了一个远程病理诊断及质控系统功能规范（征求意见稿），规范对远程会诊的发起、实施、切片要求、会诊医生资质等提出了严格的要求，这对今后远程病理的临床实际应用将具有重大的意义，但规范仅为各级医院进行数字病理远程诊断的指导性文件，用于评价各级医院数字病理远程诊断水平的基本标准，及数字病理质控的评价标准，并不是法律文本。 在思考远程及虚拟病理相关的法律问题前，我们首先要了解远程及虚拟病理诊断的特点： 诊断过程中所提供的相关医疗信息及病理图像信息有限（非虚拟切片）； 与临床医生的沟通不畅，不能及时发现问题； 目前还受技术上