CN119451616A 使用用于荧光和白光的两个彩色图像和彩色相机的方法、处理器和医学荧光观察设备 （徕卡仪器（新加坡）有限公司）

2024.12.26PCT/EP2023/0629302023.05.15WO2023/218093EN2023.11.16使用用于荧光和白光的两个彩色图像和彩本申请涉及一种图像处理器(170)和一种计或内窥镜之类的医学荧光观察设备(100)生成物及一种包括这种图像处理器(170)的医学荧光观察设备(100)以及一种包括上述计算机实现的方单地组合数字白光彩色图像(114)和数字荧光图述数字输出彩色图像(160)表示通过目镜看到的视图。在第二操作模式(B)下，颜色转换函数像(112)和所述数字荧光彩色图像(114)中的至少一个，以突出显示特征和/或补偿由光学滤波21.一种用于诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备(100)的图像处理检索第二被成像光谱(222)中记录的所述物体(106)的数字荧光彩色图像(11第二被成像光谱(222)与至少一个荧光团(116)的荧光发射光谱(226)重叠，所述第二被成像光谱(222)与所述第一被成像光谱(202)不同，所述第一被成像光谱(202)和所述第二被其中所述图像处理器(170)被配置为选择性地以第一操作模式(A)和第二操作模式(B)之一进行操作，所述第一操作模式包括图像组合步骤(610)并且所述第二操作模式包括颜其中所述图像处理器(170)被配置为在所述图像组合步骤(610)中通过组合所述数字并且其中所述图像处理器(170)被配置为在所述颜色转换步骤(608)中应用来自包含2.根据权利要求1所述的图像处理器(170)，其中所述第一被成像光谱(202)和所述第3.根据权利要求1或2所述的图像处理器(170)，其述数字荧光彩色图像(112)和所述数字输出图像(160)的颜色在相同的颜色空4.根据权利要求1至3中的任一项所述的图像处被配置为在所述图像组合步骤(610)中将所述数字白光彩色图像(112)和所述数字荧光彩5.根据权利要求1至4中的任一项所述的图像处理器(170)，其中所述第一颜色转换函不位于所述第一被成像光谱(202)中的颜色(500，506，510)和/或所述第一颜色转换函数6.根据权利要求1至5中的任一项所述的图像处理器(170)，其中所述第一颜色转换函数(140a)被配置为对所述数字白光彩色图像(1147.根据权利要求1至6中的任一项所述的图像处理器(170)，其中所述第一颜色转换函8.根据权利要求7所述的图像处理器(170)，其中所述处理器(170)被配置为在预定颜9.根据权利要求1至8中的任一项所述的图像处理器(170)，其中所述第一颜色转换函311.根据权利要求10所述的医学荧光观察设备(100)，其中所述荧光相机(111)具有比13.一种用于诸如荧光显微镜或荧光内窥镜之类的荧光观察设备(100)的计算机实现检索第二被成像光谱(222)中记录的所述物体(106)的数字荧光彩色图像(11第二被成像光谱(222)与至少一个荧光团(116)的荧光发射光谱(226)重叠，所述第二被成像光谱(222)与所述第一被成像光谱(202)不同，所述第一被成像光谱(202)和所述第二被其中所述方法被配置为选择性地以第一操作模式和第其中，在所述图像组合步骤(610)中，通过组合所述数字白光以及，在所述颜色转换步骤(610)中应用来自包含以下各项的组中的至少一个颜色转所述指令使所述计算机执行根据权利要求1315.一种用于操作诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备(100)的方使用荧光彩色相机(111)记录第二被成像光谱及使用白光彩色相机(110)记录第一被成像光谱(202)中的数字4[0001]所要求保护的主题涉及一种计算机实现的图像处理方法并且涉及一种用于使用诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备生成物体的数字输出彩色图像的在施用5_ALA之后对pPIX的荧光成像中使用以揭示肿瘤。光学滤波器的选择使得相机捕获红色波长中的荧光和蓝色波长中的激发光的一小部分。激发光揭示组织解剖结构中的一[0004]其他医学荧光观察设备使用灰度级相机记录荧光并使用彩色相机记录白光图[0006]这个需要通过提供用于医学荧光观察设备(诸如荧光显微镜或荧光内窥镜)的图[0007]该需要还通过用于医学荧光观察设备(诸如荧光显微镜或荧光内窥镜)的计算机像光谱中记录的物体的数字白光彩色图像并检索第二被成像光谱中记录的物体的数字荧5[0010]通过提供分别对数字白光彩色图像和数字荧光彩色图像单独操作的两个颜色转换函数，有可能将数字白光图像的颜色转换与应用于数字荧光彩色图像的颜色转换解耦。这允许在将这两个图像组合成数字输出彩色图像之前独立地优化它们中的每一个以供查[0014]计算机实现的图像处理方法可以包括对数字白光彩色图像和数字荧光彩色图像[0015]计算机实现的图像处理方法还可以包括对数字白光彩色图像和数字荧光彩色图[0016]计算机实现的图像处理方法还可以包括配准(register)数字白光彩色图像与数[0019]根据计算机实现的图像处理方法和/或图像处理器的另一个有利实施例，第一被6[0024]根据计算机实现的图像处理方法和/或图像处理器的一个实施例，使用颜色转换第一色带中的每个色带和第二色带中的每个色带同时输入到[0026]颜色转换矩阵或线性函数可以驻留在图像处理器或医学荧光观察设备的存储器[0029]根据一个方面，将数字荧光彩色图像和数字白光彩色图像联合处理为多光谱图像，该多光谱图像的色带由数字荧光彩色图像和数字白光彩色图像的互补色带形成或构7数字荧光彩色图像处理为多光谱图像表示在反射的白光和荧光下对物[0031]根据另一个有利实施例，第一被成像光谱可以包括颜色空间的色带中的第一子[0034]根据一个方面，第一和/或第二颜色转换函数被配置为将(记录的)颜色移位至预地捕获。这是因为血液的反射光谱可以包含未分别记录在第一或第二被成像光谱中的波移位至相应的数字白光或荧光彩色图像中更自种颜色在第一和/或第二被成像光谱中都被不完整地表示。所记录的脱氧血液的颜色可以的移位的不同量和/或方向；颜色转换函数可以使一种颜色在颜色空间中关于移位的量和[0039]这个上下文中的自然或真实颜色与CIE标准观察者在标准发光体(例如CIE发光体[0040]第一和/或第二颜色转换函数可以被配置为将相应数字白光或荧光彩色图像中的8于校正由于有限的第一和/或第二被成像光[0043]根据另一方面，第一和/或第二颜色转换函数可以被配置为将颜色空间中的连续或分段区域扩展为相应数字白光和/或荧光彩色图像中的更大区域。这种颜色转换函数允[0045]任何上述颜色转换函数可以被组合成单个颜色转换函数，和/或任何上述颜色转换函数可以被依次应用于数字白光和/或荧光彩色图像中的[0046]如果第一和/或第二颜色转换函数被配置为根据数字白光彩色图像和/或数字荧以被配置为根据像素的颜色确定或选择应用于像素的多个不同的第一和/或第二颜色转换[0048]上述计算机实现的图像处理方法可以在执行用于操作医学荧光观察设备的方法[0049]诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备可以包括被配置为执行色图像的荧光彩色相机和用于记录数字白光彩色图[0051]用于操作医学荧光观察设备的方法可以包括使用白光彩色相机记录数字白光彩[0052]为了减少后处理，荧光彩色相机和白光彩色相机可以具有重叠的同轴视场和/或9包括多个不同颜色的LED或OLED或其他光源，这些光源在多个不同的光谱带中发射光并且[0057]为了促进后处理并确保所记录的数字白光图像和数字荧光彩色图像的强度值彼此可比，优选的是同时和/或使用相同的曝光时间和/或使用相同的增益和/或相同的白平的增益与数字白光彩色相机的增益可以保持在恒定比率，但在其他情况下允许自动调整。个设置选择颜色转换矩阵。例如，如果将颜色分离组件的光学滤波器替换为使用5_ALA/机执行任何一个上述实施例中的计算机实现的图像处[0064]贯穿整个描述和附图，相同的附图标记被用于表示在功能和/或结构上彼此对应[0067]图2示出了数字白光彩色图像和数字荧光光谱彩色图像的组合以得到数字输出彩[0068]图3示出了联合处理数字白光彩色图像和荧光彩色图像以得到数字输出彩色图像[0071]图6示出了用于从数字白光彩色图像和数字荧光光谱彩色图像的组合获得数字输[0072]图7示出了被配置为执行用于从数字白光彩色图像和数字荧光光谱彩色图像的组[0074]图1示意性地示出了医学荧光观察设备100。医学荧光观察设备100可以是荧光显验室中使用的医学荧光观察设备，诸如实验室显微镜。待研究的物体106可以由生物组织个完全相同的子组件101L和101R，用于两个立体通道中的每一个。由于两个子组件101L、[0078]医学荧光观察设备100可以替代地是单视场设备。在这种情况下，两个子组件那么可以通过用大约380nm至大约450nm之间的波长照亮物体106来激发荧光。对于荧光素[0082]数字成像系统102还可以被用于生成物体106的数字荧光彩色图像112。数字荧光地不记录一个或多个荧光团的一个或多个发射光谱之外的色图像。数字白光彩色图像114和数字荧光彩色图像112不需要在相同的颜色空间中记录，[0084]数字白光彩色图像114和数字荧光图像112包含像素150。每个像素包含颜色空间[0,0,255]之类的向量指向的点。具有n个色带的多光谱或高光谱颜色空间将相应地产生n[0087]数字白光彩色图像114中记录的光谱和数字荧光彩色图像112中记录的光谱优选地被配置为记录跨上文指示的波长范围内的整个可见光谱的数字图像。白光彩色相机110机111可以被配置为仅在一个或多个窄光带中记录数字荧光图像。这些窄带应当与要记录[0093]如果无法通过光学方式生成视角和视场的匹配，那么可以通过对数字图像112、学荧光观察设备100可以被配置为同时生成数字白光彩色图像114和数字荧[0097]为了将记录在数字白光彩色图像114中的光谱与记录在数字荧光彩色图像112中件176还可以或替代地包括光学白光滤波器188和/或光学荧光滤[0098]荧光滤波器190优选地被配置为透射一个或多个荧光团116、118的一个或多个荧光光谱内的光并且阻挡一个或多个荧光光谱[0099]荧光滤波器190可以被配置为包括一个或多个通带的带通滤波器。每个通带应当器192与荧光相机111之间的光路中，因此只有荧光滤波器190的通带中的波长才会传输到[0100]白光滤波器188优选地被配置为阻挡一个或多个荧光团116、118的一个或多个荧述加以必要的修改应当适用于二向色分束器[0104]因此，白光彩色相机110在第一被成像光谱(反射光谱)中记录数字白光彩色图像成像光谱中包含的波长由颜色分离组件17[0105]医学荧光观察设备100还可以包括照明组件178，该照明组件178被配置为优选地组件178可以被配置为选择性地生成白光(即，均匀分布在整个可见光谱上的光)和荧光激ALA/pPIX作为荧光团，那么照明滤波器在直到波长为425nm时可以具有90％至98％的透射535nm之间时可以具有不超过0.1％的透射率，而在波长高于535nm时可以具有几乎为零的[0107]代替照明滤波器179或者除了照明滤波器179之外，照明组件178还可以包括可调[0108]医学荧光观察设备100还可以包括图像处理器170。图像处理器170可以是硬件模像处理器170可以被配置为从存储器194和/或直接从相机110、111检索数字白光彩色图像[0110]图像处理器170还被配置为从数字白光彩色图像114和数字荧光图像112计算数字图像的颜色空间可以与数字白光彩色图像114和数字荧光图像112中的任何一个的颜色空可以被配置为组合数字荧光彩色图像112和数字白光彩色图像114以生成数字输出彩色图114中的每个对应像素150处将数字荧光彩色图像112和数字白光彩色图像114在其颜色空[0114]在第二操作模式B下，图像处理器170被配置为首先将颜色转换函数140应用于数字白光彩色图像114和数字荧光彩色图像112中的至少一个，然后从数字白光彩色图像114142。颜色转换矩阵142的一个维度可以是数字荧光彩色图像112中的色带的数量与数字白数字白光彩色图像114或数字荧光彩色图像112的颜色空间的维度对应(取决于颜色转换矩阵应用于这两个中的哪一个)，而第二维度与数字输出彩色图像160的颜色空间的维度对光彩色图像114组合之前，每个子模式可以对数字白光彩色图像114和数字荧光彩色图像换函数140b可以仅应用于数字荧光彩色图像112。第一颜色转换函数140a和第二颜色转换函数140b可以彼此独立地应用，从而将数字白光彩色图像114的颜色转换与数字荧光彩色[0120]在一个实施例中，用户可以在不同的第一颜色转换函数140a和/或不同的第二颜106或其部分的自然色可以被第一颜色转换函数140a转换成与自然色更接近地对应的颜[0122]在另一个附加或替代示例中，可以在操作模式B_I或附加操作模式下使用第一颜[0123]通过使用选择器设备165，用户可以快速浏览不同伪彩色对不同类型的组织的指数140a可以将数字白光彩色图像114中的红色扩展到更宽的范围，从而使血液氧合的较小[0124]在又一个附加或替代示例中，第一颜色转换函数可以用于例如操作模式B_I或附[0125]在又一个附加或替代示例中，第一颜色转换函数140a可以用于例如操作模式B_I[0127]上文对各种第一颜色转换函数140a的描述加以必要的修改也适用于各种第二颜[0130]可以提供可选的第三操作模式C，其中第三颜色转换函数140c同时应用于数字白[0131]如果使用具有不同激发和/或荧光波长的另一种类型的荧光团，那么需要提供不用户手动选择要应用于数字白光彩色图像114和/或数字荧光彩色图像的颜色转换函数140[0135]数字输出彩色图像160可以显示在与医学荧光观察设备100成一体的显示器132[0136]医学荧光观察设备100可以包括从物体106通过物镜174到目镜104的直接光路个可以显示用于操作医学观察设备100的图[0139]计算机186或图像处理器170使用一条或多条数据传输线196连接到数字成像系统像处理器170可以不整体集成在医学荧光观察设备100中，而是物理上远离数字成像系统[0142]附图标记200是第一被成像光谱202的定量示例，因为它分别由数字白光相机110[0143]仅举例来说，在其中记录第一被成像光谱202的颜色空间是具有三种原色或色带[0145]第一被成像光谱202不包括荧光激发光和至少一个荧光团116、118的荧光发射光光相机111的传感器仅记录荧光发射光谱226的一小部分230。记录色带206的荧光相机111[0152]以其最简单的形式，数字白光彩色图像114和数字荧光彩色图像112的组合240可112和数字白光彩色图像114被联合处理为单个(虚[0158]记录在第二被成像光谱222中的数字荧光彩色图像112由每个色带中的信号R2、[0160]因此，即使使用相同类型的彩色相机在同一颜色空间中记录第一被成像光谱202组件176的每个不同滤波器设置调整颜色[0163]因此，数字白光图像112和数字荧光图像114可以一起被处理为由两个图像112和[0164]可以使用颜色转换矩阵142以线性变换的形式将颜色转换函数140c应用于这个并数字白光彩色图像114中表示的反射光谱400不能忠实地表[0170]这同样适用于第二被成像光谱222和数字荧光彩色图像114，其中反射光谱400也[0171]图5示出了CIE1932颜色空间或任何其他三色刺激或均匀颜色空间的示意性再[0172]由于未记录阻带210中的波长，因此颜色500在数字白光彩色图像114中被表示为换成颜色500，颜色转换函数140可以是第一颜色转换函数140a或第二颜色转换函数140b。来确定颜色转换函数140。颜色500的波长可以位于阻带210内，因此不在第一被成像光谱织类型相对于空间或感知接近颜色500的其他组织或荧光颜色偏移，并因此向有经验的眼[0177]可以使用整个颜色空间的相同量和相同方向的移位来对数字白光彩色图像112进[0179]颜色转换函数140的另一个示例可以将颜色空间中的区域512扩展到更大的区域[0180]上述颜色转换函数140中的任何一个都可以仅转换颜色的颜色外观参数的所选择函数140或颜色转换函数140的组合应用于数字白光彩色图像112和数字荧光图像114中的[0187]在图像组合步骤610处，数字白光彩色图像114和数字荧光彩色图像112在所有操可以增强其对比度和/或可以执行颜色空间转换，诸如从RGB到sRGB的颜色空间转换和/或