CN119451618A 使用颜色相关的颜色转换函数的方法、处理器和医学荧光观察设备 （徕卡仪器（新加坡）有限公司）

2024.12.27PCT/EP2023/0628702023.05.15WO2023/218082EN2023.11.16本申请涉及一种图像处理器和一种计算机窥镜之类的医学荧光观察设备来生成物体的数字输出彩色图像。检索物体(106)的数字白光彩括色带(R，G，B)的第一集合中的颜色空间坐标光彩色图像(114)包括多个第二像素(150b)。每个第二像素(150b)包括色带的第二集合中的颜个光谱都与可见光谱重叠。数字输出彩色图像(160)来自数字白光彩色图像和数字荧光彩色图像像素的颜色空间坐标的第一集合和第二像素的B*)。根据输入并集中的颜色空间坐标来应用颜21.一种用于诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备(100)的图像处理所述数字白光彩色图像(114)包括多个第一像素(150a)，每个第一像素(150a)包括色其中所述第二被成像光谱(222)与至少一个荧光团(116)的荧光发射光谱(226)重叠，其中所述第一被成像光谱(202)和所述第二被成像光谱(222)都与可见光谱(212)重_从所述数字白光彩色图像(114)和所述数字荧光彩色图像(112)生成数字输出彩色图其中所述图像处理器(170)被配置为通过将颜色转换函数(140)应用于第一像素2.根据权利要求1所述的图像处理器(170)，其中所述第一被成像光谱(202)和所述第3.根据权利要求1或2所述的图像处理器(170)，其述数字荧光彩色图像(112)相对于彼此配准，并且其中包括颜色空间坐标的所述第一集合的所述第一像素(150a)和包括颜色空间坐标的所述第二集合的所述第二像素(150b)是对4.根据权利要求1至3中任一项所述的图像处理第二集合中的色带的数量的总和，所述颜色转换矩阵(142)的另一个维度对应于所述数字5.根据权利要求1至4中任一项所述的图像处理器(适于根据所述输入并集(846)选择所述至少两个不同的颜色转换函6.根据权利要求5所述的图像处理器(170)，其中所述图像处理器包括不同目标并集(858)的至少两个集合(856)，并且其中所述至少两个不同的颜色转换函数(140，140_I，140_II，140_III)中的每个颜色转换函数被指派给不同目标并集的所述至少两个集合7.根据权利要求6所述的图像处理器(170)，少两个颜色转换函数中的被指派给所述不同目标并集(858)的至少两个集合(856)中的集38.根据权利要求6或7所述的图像处理器(170)，其中所述图像处理器包括以下各项中9.根据权利要求1至8中任一项所述的图像处理器(170)，其中包含所述数字白光彩色图像(114)、所述数字荧光图像(112)和所述数字输出彩色图像(160)的组中的至少两个图11.根据权利要求10所述的医学荧光观察设备(100)，其中所述医学荧光观察设备12.一种用于诸如荧光显微镜或荧光内窥镜之类的荧光观察设备(100)的计算机实现检索在第一被成像光谱(202)中记录的物体(106)的数字所述数字白光彩色图像(114)包括多个第一像素(150a)，每个第一像素(150a)包括色其中所述第二被成像光谱(222)与至少一个荧光团(116)的荧光发射光谱(226)重叠，像光谱(202)和所述第二被成像光谱(222)都与可见其中通过将颜色转换函数(140)应用于第一像素(150a)的颜色空间坐标的所述第一集所述指令使所述计算机执行根据权利要求12414.一种用于操作诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备(100)的方使用荧光彩色相机(111)在第二被成像光谱(222)中记录数字使用白光彩色相机(110)在第一被成像光谱(202)中记录数字将所述数字荧光彩色图像(112)记录为物体(106)的反射率将所述数字白光彩色图像(114)记录为物体(106)的反射率5[0001]所要求保护的主题涉及一种计算机实现的图像处理方法并且涉及一种用于使用诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备生成物体的数字输出彩色图像的在施用5_ALA之后对pPIX的荧光成像中使用以揭示肿瘤。光学滤波器的选择使得相机捕获红色波长中的荧光和蓝色波长中的激发光的一小部分。激发光揭示组织解剖结构中的一[0004]其他医学荧光观察设备使用灰度级相机记录荧光并使用彩色相机记录白光图[0006]这个需要通过一种用于医学荧光观察设备(诸如荧光显微镜或荧光内窥镜)的图颜色空间坐标的第一集合和第二像素的颜色空间坐标的第二集合的输入并集来计算输出6像素的颜色空间坐标的第一集合和第二像素的颜色空间坐标的第二集合的输入并集来计[0008]上述图像处理器和计算机实现的方法允许对物体中的不同颜色执行不同的颜色[0014]计算机实现的图像处理方法还可以包括对数字白光彩色图像和数字荧光彩色图7[0019]根据计算机实现的图像处理方法和/或图像处理器的另一个有利实施例，第一被[0023]根据计算机实现的图像处理方法和/或图像处理器的一方面，使用颜色转换函数为了将第一和第二色带映射到第三色带，可以将颜色转换矩阵应用于第一色带和第二色8[0027]根据一个方面，将数字荧光彩色图像和数字白光彩色图像联合处理为多光谱图像，该多光谱图像的色带由数字荧光彩色图像和数字白光彩色图像的互补色带形成或构[0028]根据另一个有利实施例，第一被成像光谱可以包括颜色空间的色带中的第一子波长可以包含允许更好地辨别特定组织类型和指派给它们的特定颜色转换函数的光谱信[0031]图像处理器可以被配置为通过同时将颜色转换函数应用于第一像素和第二像素以被配置为根据输入并集选择至少两个不同的颜色转换函数中的一个，或者在该方法中，可以根据输入并集选择至少两个不同的颜色[0034]为了将不同的颜色转换函数指派(assign，或称为归属或分配)给不同的组织类9处理器可以被配置为将输入并集与不同目标并集的集合中的目标并集合和第二像素的颜色空间坐标的第二集合的并集从至少两个不同的颜色转换函数的集[0041]目标并集的的预定集合，其中至少一个目标并集与代表活体灰色脑物质的颜色[0042]目标并集的的预定集合，其中至少一个目标并集与代表活体白色脑物质的颜色[0044]计算机实现的图像处理方法可以被配置为在第一操作模式和第二操作模式之一[0046]通过提供两个分别对数字白光彩色图像和数字荧光彩色图像单独操作的颜色转换函数，有可能将数字白光图像的颜色转换与应用于数字荧光彩色图像的颜色转换分离。这允许在将这两个图像组合以形成数字输出彩色图像之前独立地优化它们中的每一个以数关于颜色空间中的移位的量和方向中的至少一个预函数可以使一种颜色在颜色空间中关于移位的量和方向中的至少一个与另一种颜色不同[0051]这个上下文中的自然或真实颜色与CIE标准观察者在标准发光体(例如CIE发光体[0052]第一和/或第二颜色转换函数可以被配置为将相应数字白光或荧光彩色图像中的于校正由于有限的第一和/或第二被成像光谱而导[0055]根据另一方面，第一和/或第二颜色转换函数可以被配置为将颜色空间中的连续或分段区域扩展为相应数字白光和/或荧光彩色图像中的更大区域。这种颜色转换函数允[0057]任何上述颜色转换函数可以被组合成单个颜色转换函数，和/或任何上述颜色转换函数可以被依次应用于数字白光和/或荧光彩色图像中的[0058]如果第一和/或第二颜色转换函数被配置为根据数字白光彩色图像和/或数字荧以被配置为根据像素的颜色确定应用于像素的多个不同的第一和/或第二颜色转换函数中可以通过将其转换成霓虹色来突出显示另一种颜色以及因此与这[0060]上述计算机实现的图像处理方法可以在执行用于操作医学荧光观察设备的方法[0061]诸如荧光显微镜或荧光内窥镜之类的医学荧光观察设备可以包括被配置为执行色图像的荧光彩色相机和用于记录数字白光彩色图[0063]用于操作医学荧光观察设备的方法可以包括使用白光彩色相机记录数字白光彩[0064]为了减少后处理，荧光彩色相机和白光彩色相机可以具有重叠的同轴视场和/或包括多个不同颜色的LED或OLED或其他光源，这些光源在多个不同的光谱带中发射光并且[0069]为了促进后处理并确保所记录的数字白光图像和数字荧光彩色图像的颜色空间坐标彼此可比，优选的是同时和/或使用相同的曝光时间和/或使用相同的增益和/或相同用ICG的手术环境中，第一被成像光谱和第二被成像光谱将与使用5_ALA/pPIX的手术环境[0071]可以根据所使用的荧光团或颜色分离组件的设置从多个这样的集合中自动或手机执行任何一个上述实施例中的计算机实现的图像处[0076]贯穿整个描述和附图，相同的附图标记被用于表示在功能和/或结构上彼此对应[0079]图2示出了数字白光彩色图像和数字荧光光谱彩色图像的组合以得到数字输出彩[0080]图3示出了联合处理数字白光彩色图像和荧光彩色图像以得到数字输出彩色图像[0083]图6示出了用于从数字白光彩色图像和数字荧光光谱彩色图像的组合获得数字输[0084]图7示出了被配置为执行用于从数字白光彩色图像和数字荧光光谱彩色图像的组[0085]图8示出了根据数字白光彩色图像的像素和荧光彩色图像的像素的色带的输入并[0087]图1示意性地示出了医学荧光观察设备100。医学荧光观察设备100可以是荧光显验室中使用的医学荧光观察设备，诸如实验室显微镜。待研究的物体106可以由生物组织个完全相同的子组件101L和101R，用于两个立体通道中的每一个。由于两个子组件101L、[0091]医学荧光观察设备100可以替代地是单视场设备。在这种情况下，两个子组件那么可以通过用大约380nm至大约450nm之间的波长照亮物体106来激发荧光。对于荧光素[0095]数字成像系统102还可以被用于生成物体106的数字荧光彩色图像112。数字荧光地不记录一个或多个荧光团的一个或多个发射光谱之外的色图像。数字白光彩色图像114和数字荧光彩色图像112不需要在相同的颜色空间中记录，的颜色空间坐标的点。具有n个色带的多光谱或高光谱颜色空间将相应地产生n维颜色空[0098]数字白光彩色图像114中记录和表示的光谱(第一被成像光谱)和数字荧光彩色图地被配置为记录跨上文指示的波长范围内的整个可见光谱的数字图像。白光彩色相机110机111可以被配置为仅在一个或多个窄光带中记录数字荧光图像。这些窄带应当与要记录[0104]如果无法通过光学方式生成视角和视场的匹配，那么可以通过对数字图像112、学荧光观察设备100可以被配置为同时生成数字白光彩色图像114和数字荧[0108]为了将记录在数字白光彩色图像114中的光谱与记录在数字荧光彩色图像112中色的。颜色分离组件176还可以或替代地包括光学白光滤波器188和/或光学荧光滤波器[0109]荧光滤波器190优选地被配置为透射一个或多个荧光团116、118的一个或多个荧光光谱内的光并且阻挡一个或多个荧光光谱[0110]荧光滤波器190可以被配置为包括一个或多个通带的带通滤波器。每个通带应当器192与荧光相机111之间的光路中，因此只有荧光滤波器190的通带中的波长才会传输到[0111]白光滤波器188优选地被配置为阻挡一个或多个荧光团116、118的一个或多个荧述加以必要的修改应当适用于二向色分束器[0115]因此，白光彩色相机110在第一被成像光谱(反射光谱)中记录数字白光彩色图像成像光谱中包含的波长由颜色分离组件17[0116]医学荧光观察设备100还可以包括照明组件178，该照明组件178被配置为优选地组件178可以被配置为选择性地生成白光(即，均匀分布在整个可见光谱上的光)和荧光激ALA/pPIX作为荧光团，那么照明滤波器在直到波长为425nm时可以具有90％至98％的透射535nm之间时可以具有不超过0.1％的透射率，而在波长高于535nm时可以具有几乎为零的[0118]代替照明滤波器179或者除了照明滤波器179之外，照明组件178还可以包括可调[0119]医学荧光观察设备100还可以包括图像处理器170。图像处理器170可以是硬件模像处理器170可以被配置为从存储器194和/或直接从相机110、111检索数字白光彩色图像[0121]图像处理器170还被配置为从数字白光彩色图像114和数字荧光图像112计算数字图像的颜色空间可以与数字白光彩色图像114和数字荧光图像112中的任何一个的颜色空可以被配置为组合数字荧光彩色图像112和数字白光彩色图像114以生成数字输出彩色图114中的每个对应像素150处将数字荧光彩色图像112和数字白光彩色图像114在其颜色空[0125]在第二操作模式B下，图像处理器170被配置为首先将颜色转换函数140应用于数字白光彩色图像114和数字荧光彩色图像112中的至少一个，然后从数字白光彩色图像114142。颜色转换矩阵142的一个维度可以是数字荧光彩色图像112中的色带的数量与数字白数字白光彩色图像114或数字荧光彩色图像112中色带的数量对应(取决于颜色转换矩阵应光彩色图像114组合之前，每个子模式可以对数字白光彩色图像114和数字荧光彩色图像换函数140b可以仅应用于数字荧光彩色图像112。第一颜色转换函数140a和第二颜色转换函数140b可以彼此独立地应用，从而将数字白光彩色图像114的颜色转换与数字荧光彩色[0131]在一个实施例中，用户可以在不同的第一颜色转换函数140a和/或不同的第二颜106或其部分的自然色可以被第一颜色转换函数140a转换成与自然色更接近地对应的颜[0133]在另一个附加或替代示例中，可以在操作模式B_I或附加操作模式下使用第一颜[0134]通过使用选择器设备165，用户可以快速浏览不同伪彩色对不同类型的组织的指[0135]在又一个附加或替代示例中，第一颜色转换函数可以用于例如操作模式B_I或附[0136]在又一个附加或替代示例中，第一颜色转换函数140a可以用于例如操作模式B_I[0138]上文对各种第一颜色转换函数140a的描述加以必要的修改也适用于各种第二颜[0141]可以提供可选的第三操作模式C，其中第三颜色转换函数140c同时应用于数字白[0142]如果使用具有不同激发和/或荧光波长的另一种类型的荧光团，那么需要提供不用户手动选择要应用于数字白光彩色图像114和/或数字荧光彩色图像的颜色转换函数140[0146]数字输出彩色图像160可以显示在与医学荧光观察设备100成一体的显示器132[0147]医学荧光观察设备100可以包括从物体106通过物镜174到目镜104的直接光路个可以显示用于操作医学观察设备100的图[0150]计算机186或图像处理器170使用一条或多条数据传输线196连接到数字成像系统像处理器170可以不整体集成在医学荧光观察设备100中，而是物理上远离数字成像系统[0153]附图标记200是第一被成像光谱202的定量示例，因为它分别由数字白光相机110[0154]仅举例来说，在其中记录第一被成像光谱202的颜色空间是具有三种原色或色带[0156]第一被成像光谱202不包括荧光激发光和至少一个荧光团116、118的荧光发射光机111的传感器仅记录荧光发射光谱226的一小部分230。记录色带206的荧光相机111的传[0163]以其最简单的形式，数字白光彩色图像114和数字荧光彩色图像112的组合240是[0169]记录在第二被成像光谱222中的数字荧光彩色图像112由每个色带中的信号R2、[0171]因此，即使使用相同类型的彩色相机在同一颜色空间中记录第一被成像光谱202组件176的每个不同滤波器设置调整颜色[0174]因此，数字白光图像112和数字荧光图像114可以一起被处理为由两个图像112和[0175]例如，可以使用颜色转换矩阵142以线性变换的形式应用颜色转换函数140c来生[0182]这同样适用于第二被成像光谱222和数字荧光彩色图像114，其中反射光谱400也例如表示标准观察者在看具有反射光谱400(图4)的组织时所感知到的自然色，该组织由[0184]由于未记录阻带210中的波长，因此颜色500在数字白光彩色图像114中被表示为数字白光彩色图像114中的(记录的)颜色502。为了更忠实地表示颜色500，所记录的颜色来确定颜色转换函数140。颜色500的波长可以位于阻带210内，因此不在第一被成像光谱[0186]在一些应用中，如果颜色500(颜色502通过颜色转换函数转换成颜色500)不是自这个颜色和相关联的组织类型相对于接近颜色500的其他组织或荧光颜色偏移，并向有经[0189]可以使用整个颜色空间的相同量和相同方向的移位来对数字白光彩色图像112进[0192]上述颜色转换函数140中的任何一个都可以仅转换颜色的颜色外观参数的所选择字白光彩色图像114的像素150a3位于组织852c的区域中。像素150a3的颜色空间坐标是[0197]在数字荧光图像112中，像素150b1位于组织852a中并且优选地是与像素150a1对这些颜色空间坐标记录在第二被成像光谱222中，并且因此包含与数字白光彩色图像中对[0199]如图3中所示，可以在像素150a1_150a3和150b1_150b3中的每一个处形成颜色空G1,1{R2,12,12,1B2,1和{R2,22,22,2B2,2B2,3图像处理器170中。集合143可以例如包括图5中所示的不同颜色转换函数140_I、140_II、换函数140被指派给或已指派给代表组织852含在目标并集858的预定集合856中，那么可以应用指派给这个特定集合856的颜色转换函846包含在目标并集的第三预定集合856中，那么可以应用第三颜色转换函数140_III或不列灰粉色以表示活体灰色脑物质，另一个集合856可以包括一系列白粉色以表示活体白色[0206]目标并集856的至少一个集合856可以存储在图像处理器170中或包括在其内，例2,1}的颜色转换函数140_I导图像150中的像素150c1。输出像素150c1优选地是与像素150a1和150b1中的至少一个对应2,2B2,2}的颜色转换函数140_II导像150中的像素150c2。输出像素150c2优选地是与像素150a2和150b2中的至少一个对应的G1,32,32,3}的颜色转换函数140_III导致过将并集中位于同一色带中的颜色空间坐标相加来计算数字输出彩色图像160中的颜色空所描述的颜色转换函数140或颜色转换函数140的组合应用于数字白光彩色图像112和数字[0214]在图像组合步骤610处，数字白光彩色图像114和数字荧光彩色图像112被组合以个图像的颜色空间坐标相加来执行。如果数字白光彩色图像114中的像素在颜色空间中具有颜色空间坐标{R1,G1,B1}并且数字荧光彩色图像112中的对应像素具有颜色空间坐标可以增强其对比度和/或可以执行颜色空间转换，诸如从RGB到sRGB的颜色空间转换和/或[