CN112767340B 基于神经网络模型对病灶区进行评估的设备和相关产品（大连理工大学）

(12)发明专利(65)同一申请的已公布的文献号(73)专利权人大连理工大学地址116024辽宁省大连市甘井子区凌工路2号专利权人首都医科大学附属北京友谊医院北京智拓视界科技有限责任公司(72)发明人雷娜王振常侯代伦李维金连宝任玉雪吕晗魏璇张茗昱陈伟吴伯阳(74)专利代理机构北京维昊知识产权代理事务所(普通合伙)11804专利代理师李波孙新国张璐璐等.消化道内窥镜图像异常的人工智能诊断方法研究进展.生物医学工程学进展.2020,第41卷(第01期),第23-27页.张璐璐等.消化道内窥镜图像异常的人工智能诊断方法研究进展.生物医学工程学进展.2020,第41卷(第01期),第23-27页.万燕等.基于三角网格模型的纹理映射研究.计算机应用与软件.2016,第33卷(第04期),第160-163页.审查员张德珍(54)发明名称基于神经网络模型对病灶区进行评估的设备和相关产品本发明涉及一种基于神经网络模型对病灶区进行评估的设备和相关产品。所述设备包括一个或多个处理器、第一神经网络模块、第二神经网络模块以及一个或多个计算机可读存储介质，其中第一神经网络模块接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据。第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。利用本发明的方案，可以提取出肺部病灶区评估结果评估结果第一种经网络模块第二神经网络21.一种基于神经网络模型对肺部病灶区进行评估的设备，包括：一个或多个处理器；第一神经网络模块；一个或多个计算机可读存储介质，其存储有实现所述第一神经网络模块和第二神经网络模块的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：第一神经网络模块接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据，其中所述图像数据包含与肺部病灶区图像相关的原始数据和/或与肺部病灶区图像的第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果；其中，获取所述肺部病灶区图像相关的图像数据的方法，包括：获取肺部病灶区域的三维图像数据；根据肺部病灶区域的三维图像数据生成由多个顶点连接而成的二维网格；根据二维网格的拓扑及网格边的边长来确定基于网格的拉普拉斯贝尔特拉米矩阵；对所述拉普拉斯贝尔特拉米矩阵进行计算以获得所述拉普拉斯贝尔特拉米矩阵的绝对值最小的非零特征值，从而确定该绝对值最小的非零特征值所对应的特征函数；根据所述特征函数来确定所述二维网格上每个网格顶点处的函数值；从所有顶点中选择具有全局最小的函数值的顶点作为闭合曲线的起点；从与所述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为闭合曲线的第1中间顶点；针对于闭合曲线的第2～第N中间顶点的每个中间顶点，执行以下选择操作，直到返回到所述起点：从与第N-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为闭合曲线的第N中间顶点，所述N是大于或等于2的正整数；沿闭合曲线将二维网格切分成两个拓扑圆盘；将两个拓扑圆盘分别映射到两个单位矩形上；利用多个顶点的几何特征值来确定单位矩形上对应点的像素值；以及基于像素值来形成包含肺部病灶区域的几何特征的图片。2.根据权利要求1所述的设备，其中与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据。3.根据权利要求2所述的设备，其中所述一个或多个计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：基于所述原始数据来生成二维网格；以及利用所述二维网格来确定几何特征，并且将所述几何特征表示为图片，以作为所述二维数据。4.根据权利要求3所述的设备，其中所述几何特征包括基于所述肺部病灶区图像所获得的高斯曲率、平均曲率或者共形因子。5.根据权利要求1所述的设备，其中所述肺部病灶区图像是有新型冠状病毒感染的肺部区域图像，并且所述第一神经网络模块包括多个编码器和特征提取器，其中：3所述多个编码器中的每个编码器包括多个卷积层，其配置用于对所述图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量；以及所述特征提取器，其配置用于对所述多个特征向量执行特征融合操作，以获得所述目标向量数据。6.根据权利要求5所述的设备，其中所述多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至所述特征提取器的输入端。7.根据权利要求5所述的设备，其中所述特征融合操作包括对所述多个特征向量执行数据拼接操作，以便输出所述目标向量数据。8.根据权利要求7所述的设备，其中所述第二神经网络模块包括长短期记忆神经网络，其配置成接收和处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。9.根据权利要求2-8的任意一项所述的设备，其中所述评估结果包括肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断新型冠状病毒感染的患者的病情严重程度和/或病情发展趋势。4技术领域[0001]本发明总体上涉及图像处理领域。更具体地，本发明涉及一种基于神经网络模型对肺部病灶区进行评估的设备和计算机可读存储介质。背景技术[0002]随着图像处理技术的不断演进，当前对包括肺部病灶区域的病灶区图像的研究快速发展。众所周知，病灶区域图像中通常包含有助于临床诊断的丰富信息，因此对病灶区域的图像特征进行有效的提取和分析显得尤为重要。目前传统的处理方式是提取病灶区域的影像学特征，并将影像学特征用于后续的分析和研究，以期对病灶区域做出评价。然而，如何有效地提取病灶区域的特征并且基于该特征对病灶区域进行有效的评估和预测成为亟需解决的问题，特别是当该肺部病灶区域包括新型冠状病毒感染的区域。发明内容[0003]为了至少解决上面的技术问题，本发明提供一种基于神经网络模型对肺部病灶区进行评估的设备。具体来说，本发明使用了基于神经网络的技术来接收并处理图像数据以输出用于评估肺部病灶区域的评估结果。利用该评估结果，本发明的方案可以对肺部病灶区随时间的发展情况进行预测。为此，本发明在如下的多个方面提供相应的解决方案。[0004]在第一方面中，本发明提供一种基于神经网络模型对肺部病灶区进行评估的设机可读存储介质，其存储有实现所述第一神经网络模块和第二神经网络模块的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：第一神经网络模块接收并处理与肺部病灶区图像相关的图像数据，以获得目标向量数据，其中所述图像数据包含与肺部病灶区图像相关的原始数据和/或与肺部病灶区图像的几何特征相关的二维数据；以及第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。[0005]在一个实施例中，与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据。[0006]在一个实施例中，所述一个或多个计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：基于所述原始数据来生成二维网格；以及利用所述二维网格来确定几何特征，并且将所述几何特征表示为图[0007]在一个实施例中，所述几何特征包括基于所述肺部病灶区图像所获得的高斯曲率、平均曲率或者共形因子。[0008]在一个实施例中，所述肺部病灶区图像是有新型冠状病毒感染的肺部区域图像，并且所述第一神经网络模块包括多个编码器和特征提取器，其中：所述多个编码器中的每个编码器包括多个卷积层，其配置用于对所述图像数据进行多层卷积处理，以从所述图像5数据获得针对于不同几何特征的多个特征向量；以及所述特征提取器，其配置用于对所述多个特征向量执行特征融合操作，以获得所述目标向量数据。[0009]在一个实施例中，所述多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至所述特征提取器的输入端。[0010]在一个实施例中，所述特征融合操作包括对所述多个特征向量执行数据拼接操[0011]在一个实施例中，所述第二神经网络模块包括长短期记忆神经网络，其配置成接收和处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果。[0012]在一个实施例中，所述评估结果包括肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断新型冠状病毒感染的患者的病情严重程度和/或病情发展趋势。[0013]在第二方面中，本发明提供一种计算机可读存储介质，其包括用于基于神经网络模型对肺部病灶区图像进行评估的计算机程序，当所述计算机程序由上述的设备执行时，使得所述设备输出用于评估所述肺部病灶区图像的评估结果。[0014]通过上述在多个方面对本发明方案的描述，本领域技术人员可以理解本发明的方案能够高效地利用神经网络技术来对图像数据进行分析和评估，从而对包括在图像中的肺部病灶区的发展做出合理的评估和预测。在一个应用场景中，当肺部病灶区包括有新型冠状病毒感染的病灶区时，通过利用本发明的设备对其进行评估，可以预测新型冠状病毒感染的严重程度及进展可能，从而能够为患者提供有效的医学干预。进一步，本发明的二维数据包括提取自肺部病灶区的几何特征的数据，使得到的评估结果对于患者的病情更具有解释性，从而令评估结果更为准确和更具参考性。另外，本发明的神经网络模块利用特征融合操作来对数据进行融合，从而能够有效地提取和处理图像数据中的特征，由此提高了预测和评估的准确性。附图说明[0015]通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：[0016]图1是示出根据本发明实施例的基于神经网络模型对肺部病灶区进行评估的评估系统的架构图；[0017]图2是示出根据本发明实施例的肺部病灶区的几何特征的提取方法的流程图；[0018]图3是示出可以用于本发明的病灶区域的原始图像数据；[0019]图4a是示出根据本发明实施例的沿闭合曲线切开后获得的第一拓扑圆盘；[0020]图4b是示出根据本发明实施例的沿闭合曲线切开后获得的第二拓扑圆盘；[0021]图5是示出根据本发明实施例的获取闭合曲线方法的流程图；[0022]图6是示出根据本发明实施例的示例性三角形网格；[0023]图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的方法的流程图；[0024]图8是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的方法的详细流程图；6[0025]图9是示出根据本发明实施例的形成病灶区域的几何特征图片的操作的简化流程[0026]图10a是示出根据本发明实施例的原始未切分封闭网格的示例性示意图；[0027]图10b是示出根据本发明实施例的确定像素值的示例性示意图；[0028]图11a是示出根据本发明实施例的基于高斯曲率形成的图片；[0029]图11b是示出根据本发明实施例的基于平均曲率形成的图片；[0030]图11c是示出根据本发明实施例的基于共形因子形成的图片；[0031]图12是示出根据本发明实施例的第一神经网络模块的操作框图；[0032]图13示出根据本发明实施例的编码器的操作框图；[0033]图14是示出根据本发明实施例的第一神经网络模块和第二神经网络模块的操作框图；[0034]图15是示出根据本发明实施例的第二神经网络模块的操作原理图；以及[0035]图16是示出根据本发明实施例的用于对肺部病灶区进行评估的设备的方框图。具体实施方式[0036]下面将结合附图对本发明实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本发明为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本发明的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0037]图1是示出根据本发明实施例的基于神经网络模型对肺部病灶区进行评估的评估系统100的架构图。Tomography,即“CT”机)102,其用于对患者的患病部位或疑似患病部位的层面进行扫描，以得到三维立体图像数据。在本发明的上下文，这里的患病部位可以是肺部，特别是可能或已经有新型冠状病毒感染的肺部区域。由此，通过CT机的扫描，可以得到本发明的三维图像数[0039]在获得上述的三维图像数据后，本发明的评估系统利用其数据库104对该三维图像数据进行保存。尽管图中未示出，在一些场景中，还可以对该保存前的三维图像数据进行一些预处理，例如包括将该三维图像数据进行三角网格化，以得到例如二维网络。[0040]进一步如图1中所示出的，本发明的评估系统100还包括设备106,其在图中示例性地示为计算机。可以理解的是本发明的设备不限于图中所示计算机这一种形式，而是还可以实现为移动计算设备或其他形式的计算设备。尽管未示出，本发明的设备106可以包括一个或多个处理器，该一个或多个处理器可以包括通用处理器("CPU")或专用图形处理器(“GPU”)。进一步，本发明的设备还包括第一神经网络模块108和第二神经网络模块110。[0041]作为示例，本发明的上述第一神经网络模块和第二神经网络模块可以实现为存储于设备106的计算机可读存储介质上的程序指令。根据不同的应用场景，此处的计算机可读存储介质可以是一个或者多个，并且可以是能够存储程序指令的各类存储介质。在执行本发明的评估任务期间，处理器可以执行计算机可读存储介质上存储的程序指令，从而该程7序指令的运行实现了本发明的第一神经网络模块和第二神经网络模块执行的操作。[0042]具体地，当处理器执行前述一个或者多个程序指令时，本发明的第一神经网络模块可以配置成接收并处理与肺部病灶区图像相关的图像数据(例如图中左侧所示的图像数据104),以获得目标向量数据。在一个实施例中，所述图像数据包含与肺部病灶区图像相关的原始数据和/或与肺部病灶区图像的几何特征相关的二维数据。相应地，本发明的第二神经网络模块可以配置成接收并且处理所述目标向量数据，以输出用于评估所述肺部病灶区的评估结果(例如以质量或体积比的形式来反映)。[0043]在一个应用场景中，上述图像数据可以是包含与目标图像区域相关的原始数据和/或与目标图像区域的几何特征相关的二维数据。在一个实施例中，目标图像区域可以例如是与患者的肺部病灶区域相关的图像区域，其原始数据可以通过例如电子计算机断层扫描技术或设备所获得的CT图像数据。在一个实现场景中，与所述肺部病灶区图像相关的图像数据包括在多个不同时刻获取的、与肺部病灶区相关的多组图像子数据。[0044]基于上述描述，上述计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得根据获得的原始数据来生成二维网格，并且通过该二维网格来确定目标图像区域的几何特征。进一步地，通过本发明的设备，可以将几何特征(例如基于所述肺部病灶区图像所获得的高斯曲率、平均曲率或者共形因子)表示为图片的形式，以作为目标图像区域的几何特征相关的二维数据。[0045]在一个实施例中，本发明设备中的第一神经网络模块可以包括多个编码器和特征提取器(例如图12中所示出的)。在一个实现场景中，前述的多个编码器中的每个编码器可以包括多个卷积层，其配置用于对图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量。在一个实施例中，每个编码器中的多个卷积层可以串行连接，并且串行连接的最后一个卷积层的输出端可以连接至所述特征提取器的输入端。在一个实现场景中，特征提取器可以配置用于对前述多个特征向量执行特征融合操作，以获得目标向量数据。作为示例，特征融合操作可以包括对多个特征向量执行数据拼接操作，以便输出所述目标向量数据。[0046]在一个实施例中，本发明设备的第二神经网络模块包括长短期记忆神经网络以输出用于评估所述肺部病灶区的评估结果。在一个应用场景中，所述评估结果可以包括肺部病灶区的病灶质量信息，该病灶质量信息至少用于预测或判断新型冠状病毒感染的患者的病情严重程度和/或病情发展趋势。[0047]上文结合图1对本发明的评估系统以及其中的设备进行了描述。下面将结合图2-图11对本发明如何进行前述的几何特征的提取进行详细地描述。[0048]图2是示出根据本发明实施例的用于提取病灶区图像的几何特征的方法200的流程图。可以理解的是本发明的方法100可以通过包括例如计算机在内的各类计算设备来实施。[0049]首先，在步骤S202处，方法200获取肺部病灶区域的三维图像数据。在一个实施例中，前述的三维图像数据可以是通过例如CT技术或设备所获得的三维图像数据。在另一个实施例中，这里的肺部病灶区域可以是或者包括有新型冠状病毒感染的肺部区域。[0050]接着，在步骤S204处，方法200根据病灶区域的三维图像数据生成由多个顶点连接8利用例如计算几何算法库(ComputationalGeometryAlgorithmsLibrary,简写为100利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘法200利用上述多个顶点的几何特征值来确定所述单位矩形上对应点的像素值。根据不同[0056]结合图1所提到的，本发明利用所述多个顶点中的部分顶点形成的闭合曲线将通法500可以根据二维网格的拓扑及网格边的边长来确定(例如通过计算)基于网格的拉普拉9顶点之间的连接关系。当顶点的总数为M为时，则可以形成一个M阶拉普拉斯贝尔特拉米矩阵。为了便于讨论，下面首先结合图6来描述该拉普拉斯贝尔特拉米矩阵。[0057]图6是示出根据本发明实施例的示例性三角形网格。从图6中可以看出，这里示出两个三角形网格，其包括四个顶点Ui,Uj,U1,和Uk。进一步，顶点Ui和U1之间形成的边与顶点U₁和Uj之间形成的边之间的夹角为θi,而顶点Ui和Uk之间形成的边与顶点Uj和Uk之间形点、边长和夹角，可以通过下式来确定拉普拉斯贝尔特拉米矩阵中的每个元素值，即顶点Ui和Uj之间的(关系)权重：[0061]上述的内边表示该条边为两个三角形网格所共用，“cot”表示余切值，而边界边表示该条边并非为两个三角网格所共用，而是仅被一个三角形网格所包含。[0062]返回到图5,在上述根据二维网格的拓扑及网格边的边长来计算基于所述网格的拉普拉斯贝尔特拉米矩阵后，方法500流程前进到步骤S504。在该步骤S504处，方法500可以对前述矩阵进行计算以获得该矩阵的绝对值最小的非零特征值，从而确定该绝对值最小的非零特征值所对应的特征函数。接着，在步骤S506处，方法500可以根据前述特征函数来确定上述二维网格上每个网格顶点处的函数值，并根据函数值获取闭合曲线的起点以及中间[0063]在获取所述闭合曲线的起点和中间点后，接着方法500在步骤S508处从所有顶点中选择具有全局最小的函数值的顶点作为所述闭合曲线的起点。然后，在步骤S510处，方法500从与前述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第1中间顶点。接着，在步骤S512处，方法500针对于第2~第N中间顶点的每个中间顶点，执行以下选择操作，直到返回到所述起点(也即闭合曲线的终点):从与所述第N-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第N中间顶点，这里N可以是大于或等于2的正整数。当完成上述的操作后，方法500就获得了从起点出发、依次经过N个中间节点后返回到起点的闭合曲线，例如图3所示的病灶区域三维图像中黑线曲线所代表的闭合曲线。[0064]图4a和图4b是分别示出根据本发明实施例的沿图3中的闭合曲线切开后获得的第一拓扑圆盘和第二拓扑圆盘。如前所述，通过对本发明的方法500所获取的闭合曲线进行切分，就可以获得如图4a和如图4b所示的第一拓扑圆盘和第二拓扑圆盘。[0065]图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩阵内形成调和映射的调和像点的方法700的流程图。这里需要理解的是方法700是图2所示方法208中形成调和映射的调和像点的一种具体实现方式，因此关于方法200所做的描述也同样适用于方法700。[0074]图8是示出根据本发明实施例的拓扑圆盘内部映射到单位矩阵内形成调和映射的根据调整后的初始像点的坐标来更新前述的调和能量。在步骤S806,可以对调和能量与预设能量梯度阈值进行比较。在一个实施例中，[0077]图9是示出根据本发明实施例的形成病灶区域的几何特征图片的操作800的简化11流程图。根据不同的实施场景，本发明的几何特征可以是高斯曲率、平均曲率或共形因子中的一个。在一个实施例中，可以根据网格信息来计算所述网格顶点的高斯曲率、平均曲率或共形因子。在一个实施场景中，所述高斯曲率等于2π减去原始未切开的封闭网格顶点处与其相邻网格对应的角度。为了便于理解这里所提到的高斯曲率，首先结合图10a来进行简单的描述。图10a是示出根据本发明实施例的原始未切分封闭网格的示例性示意图，其中将该网格中的一个顶点记为P,与顶点P相邻的网格对应的角度分别记为θ1、θ2、θ3、θ4和θ5,顶点P处的高斯曲率记为k,则k=2π-基于此，可以计算出原始网格面上所有顶点的高斯曲率值。[0078]关于上述提到的几何特征涉及的平均曲率，在一个实施场景中，首先在未切开的原始网格上计算每个网格面的法向量，并将其相邻面的法向量分别记为m和n,定义arc=平均曲率为边长*acos(arc)。其中，“acos”表示反余弦值。对于点来说，每个点的平均曲率为该点周围所有边的平均曲率求和后的平均值。[0079]关于上述提到的几何特征还涉及的共形因子，在另一个实施场景中，首先计算未切分的原始网格面的总面积以及每个顶点的面积，其中每个顶点的面积可以例如为所述顶点周围的面积的三分之一。接着，计算调和映射后网格的总面积，其中调和映射后的顶点的面积为调和映射后网格的总面积的三分之一，则面积比为原总面积/调和映射总面积。由此，每个顶点的共形因子为面积比*调和映射后的顶点的面积/网格总面积。[0080]基于上述的示例性操作，可以获得网格面上每个顶点的高斯曲率、平均曲率或共形因子，并将其计算结果取整后作为单位矩形上对应调和像点的像素值，并且根据所述像述单位矩形上均匀布置像素点。在一个示例性场景中，可以均匀布置例如256*256个像素点。接着，可以针对于所述每个像素点来执行以下步骤(即步骤S904和S906)以获取像素值。[0081]首先，在步骤S904处，将判断上述像素点在单位矩形上的位置，例如像素点可以是在单位矩形的四个顶点上、可以是在单位矩形的四条边上，又或者可以是在单位矩形的内部。在一个实施例中，可以根据前述的调和像点的坐标来确定像素点在单位矩形内的位置。接着，在步骤S906处，将根据所述位置来确定所述像素点的高斯曲率、平均曲率或共形因子的值，从而最终确定所述像素点的像素值。在一个实施例中，当所述像素点位于所述单位矩形的四个顶点时，将所述单位矩形的四个顶点的高斯曲率、平均曲率或共形因子作为所述像素点的像素值。在另一实施例中，当所述像素点位于所述单位矩形的四条边上时，利用线性插值来计算高斯曲率、平均曲率或共形因子，以作为对应的像素点的像素值。在又一实施例中，当所述像素点位于所述单位矩形的内部时，利用重心坐标插值来计算高斯曲率、平均曲率或共形因子，以作为对应的所像素点的像素值。下面将结合图10b描述不同位置处的像素点的像素值确定过程。[0082]图10b是示出根据本发明实施例的确定像素值的示例性示意图。如图10b中左侧所示的水平线和竖直线交织成矩形网格，所述网格大小可以是256*256,并且网格布置有256*256个像素点，例如像素点P1、像素点P2以及像素点P3(其余像素点图中未示出)。图中左侧所示多个三角形网格为单位矩形上调和映射的部分调和像点连接而成。在一个示例性场景标为(x2,y2)以及v5处的坐标为(x3,y3),像素点P3点处的坐标为(Px,Py),采用重心坐标[0089]由上述公式获得v3对应的面积S3,v4对应的面积S4以及v5对应的面积记S5,最终[0090]基于前述描述确定256*256个像素点的像素值，本发明的方案最终可以形成例如图11a所示的基于高斯曲率形成的图片，例如图11b所示的基于平均曲率形成的图片；或者例如图11c所示的基于共形因子形成的图片。通过对形成表示前述三种几何特征的图片进行例如人工智能领域内的深度学习，从而可以获得病灶发展预测模型并进行相应的预测。[0091]在基于结合上述图2-图11所描述的提取方式来获取包括所述几何特征的图像数据后(例如二维数据)或者是通过CT技术采集到的原始数据后，由于该图像数据通常采用0到255范围内的灰度值表示，因此通常需要对获取到的图像数据进行预处理。在一个实施例中，本发明提出利用最大-最小(max-min)准则将图像数据的灰度值归一化至0到1之间的浮点数。接着，本发明的第一神经网络模块接收该预处理后的图像数据，并对其进行处理以获取目标向量数据。在应用本发明的几何特征提取方案的实施场景中，前述图像数据还可以是与目标图像区域的几何特征相关的一维数据和/或三维数据。[0092]图12是示出根据本发明实施例的第一神经网络模块108的操作框图。需要理解的是，图12所示第一神经网络模块是图1所示评估系统100中的第一神经网络模块的一种具体实施方式。由此，关于图1描述的评估系统100的相关细节和特征也适用于图12的描述。[0093]如图所示，图中左侧虚线框中表示不同类型的图像数据，从上到下依次表示原始数据1201、三维数据1202、二维数据1203以及一维数据1204。在一个实施例中，一维数据可以存储为TXT格式，其大小可以是1*400(即一行400个数据位);二维数据可以存储为图片(例如png)格式，其像素大小例如可以是256*256。该图片示例性地可以是图11a、图11b或图11c中所示包含几何特征的图片；三维数据可以存储为nii格式，其尺寸大小可以是512位*512位*512位。如前所述，本发明的方案提出使用max-min准则对上述的图像数据进行归一化处理，从而保持处理后的数据格式和尺寸大小不变。[0094]在接收到上述的图像数据(例如经归一化预处理的图像数据)后，本发明的第一神经网络模块108首先将图像数据通过不同的编码器来提取不同类型的图像数据对应的特征[0095]具体来说，编码器1对原始数据1201进行处理以输出特征向量1201-1。类似地，三维数据1202、二维数据1203以及一维数据1204可以分别通过编码器2、编码器3以及编码器4提取出相对应的特征向量1202-1、特征向量1203-1以及特征向量1204-1。需要理解的是，图12中所示的图像数据维度的维度数和编码器的个数仅仅是示例性而非限制性的，本领域技术人员可以根据需求选择其他的图像数据格式或类型。例如，在一些应用场景中，可以采用原始数据、一维到三维数据中的任意一种数据来用于评估。在另一些应用场景中，可以将前述的原始数据以及一维到三维数据中的任意两种或多种进行组合以用于评估。因此，本发明在数据格式和数据使用方式等方面并不作任何的限制。类似地，本发明也对与前述数据格式相对应的编码器的数目和类型不做任何的限制。[0096]在一个实施例中，本发明的上述编码器可以通过神经网络中的卷积层(或者说卷积算子)来实现。在一个实现场景中，可以通过如图13中所示出的包括两个卷积层和一个自适应卷积层的层结构来实现对数据的编码操作，以获得如上所述的特征向量数据，具体描述如下。[0097]图13示出根据本发明实施例的编码器1300的操作框图。可以理解的是该编码器1300可以是图12中的编码器1-编码器4中任意之一。如图中所示，该编码器1300可以包括卷积层1301、卷积层1302以及一个自适应卷积层1303。假设该图中左侧数据是上述图中的二维数据1203(例如提取的高斯曲率、平均曲率或者共形因子表示成的图片),该编码器1300设定为上述图12中的编码器3。由此，二维数据1203经过编码器1300中的卷积层1301进行第一次卷积。接着，经过卷积层1302进行第二次卷积，并可选地经过自适应卷积1303进行第三次卷积获得特征向量1203-1。类似的，通过如上所述的编码器处理，可以获得如图12中的特征向量1202-1、特征向量1203-1以及特征向量1204-1。[0098]根据实际的应用场景，本发明的上述编码器中的前两个卷积层可以分别采用128和64个卷积核来执行卷积操作。在该情形下，输入可以分别是256*256和128*128大小的特征图，而输出可以分别是128*128和64*64大小的特征图。对于第三个卷积层来说，其可以是使用32个卷积核的自适应卷积层，并且其输出是大小为32*32的特征图。这里，增加自适应卷积层的目的仅仅是为了固定编码器的输出大小，即使得本披露的编码器总出输出固定大小的特征图，例如前述的32*32的特征图。基于此，本领域技术人员可以理解本发明的自适应卷积层是可选的设置，并且在其他的一些应用场景中，可以不使用或由另一卷积层来代替。进一步，本发明的神经网络中的卷积核大小均可以是3*3的阵列，并可以采用均匀分布来初始化。[0099]结合图12和图13所示内容，本领域技术人员可以理解本发明的第一神经网络模块中的多个编码器中的多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至第一神经网络模块的特征提取器(即图12中的特征提取器1205)的输入端。就图13所示的卷积层结构来说，编码器中的自适应卷积层1303的输出端连接至特征提取器的输入端，以便由特征提取器对多个向量数据执行数据拼接操作来获取目标向量数据。[0100]参考图12所示出的特征提取器1205,其对例如上述的四种特征向量执行特征融合操作(也即图中中间虚线框中的操作)。具体地，首先对特征向量1201-1、特征向量1202-1、特征向量1203-1以及特征向量1204-1分别进行一次卷积获得各自的卷积结果，再将每个特征向量的卷积结果进行融合(例如拼接)来获取目标向量数据1206。例如将特征向量1202-1、特征向量1203-1以及特征向量1204-1各自的卷积结果与特征向量1201-1的卷积结果进行拼接获得特征向量1201-2。类似地，将特征向量1201-1、特征向量1203-1以及特征向量1204-1各自的卷积结果与特征向量1202-1的卷积结果进行拼接获得特征向量1202-2。由此，还可以获得特征向量1203-2、特征向量1204-2。接着，对于特征向量1201-2、特征向量1202-2、特征向量1203-2以及特征向量1204-2再执行多次(例如两次)前述操作可以获得特征向量1201-10、特征向量1202-10、特征向量1203-10以及特征向量1204-10,并且将其拼接形成目标向量数据1206。[0101]在一个实施场景中，上述卷积采用的卷积核的大小可以是3*3、1*1(与其本身卷积时),卷积次数可以是三次，本发明对此不作限制。此外，目标向量数据的维数也可以根据需求设定，本发明也不作限制。例如，本发明中获得的目标向量数据是1024维，并且该目标向量数据涉及病人一次CT所获得的图像数据。在应用于病灶区图像分析的场景中，通常可以分别采集病人不同时期的多个CT图像，并且基于上述第一神经网络模块描述的操作，从而获得不同时期下的多个目标向量数据，以作为第二神经网络模块的输入端，例如图14所示。[0102]图14是示出根据本发明实施例的第一神经网络模块和第二神经网络模块的操作框图。图中最左侧表示采集到病人在Tn个时期下的图像数据(例如CT1图像数据、CT2图像数据以及CTn图像数据),第一神经网络模块108分别接收前述图像数据并对其进行处理，从而分别获取到T1时刻的目标向量数据1401、T2时刻的目标向量数据1402以及T刻时期的目标向量数据1410。接着，第二神经网络模块108接收获取到多个目标向量数据，并对其处理最终获得病灶区域的评估结果。在一个实施例中，第二神经网络模块可以是长短期记忆神经网络(LongShort-TermMemory,“LSTM”),例如图15中所示出的。[0103]图15是示出根据本发明实施例的第二神经网络模块110的操作原理图。如上所述，本发明的第二神经网络模块在一个实施场景中可以实现为LSTM神经网络，并且该LSTM神经网络中可以包括输入层、一个或多个隐藏层以及输出层。一神经网络模块特征融合，分别获得目标向量数据X、目标向量数据X-1以及目标向量数输入，并利用目标向量数据X和前一时刻病人第t-1次CT的记忆St-1来计算当前时刻病人。在一个实施场景中，可以多次重复前述操作(例如调整输入层到隐藏层的权重U、隐藏层到输出层的权重V以及上一时刻隐藏层到当前时刻隐藏层的权重W并完成计算所有时刻下的记忆，最终获取输出Ot,该0t即为评估结果。通常情况下，前述评估结果可以表示为质量(例如病灶区域的质量)以及体积比(病灶区域与整个图像的体积比)。通过分析该评估结果，可以确定图像数据中的目标特征随时间发展的情形。例如，当该图像数据是包含新型冠状病毒感染病灶区域的图像数据时，可以对该新型冠状病毒感染的当前状态及发展进行评估和预测。[0105]例如，通过本发明前述从包含新型冠状病毒感染区域的病灶区所提取的高阶几何特征，本发明设备的用户(例如医护专业人员)可以通过分析评估结果所反映的肺部感染区域的质量或者体积比来确定当前用户的病情严重程度。进一步，由于本发明的神经网络模块对数据在时间维度上进行处理，用户基于评估结果也可以评估患者的病情发展状况。例如，当质量或体积比呈逐渐减小或下降的趋势，则可以判断患者有望在一定时间内康复。相对而言，当质量或体积比呈增大或上升的趋势，则可以判断患者的病情在一定程度上有可能进一步恶化。在该情形中，医护人员可以对患者及时进行必要的救治，以便控制病情的发展并防止病情的进一步恶化。[0106]尽管上文没有提及本发明的神经网络模块的训练过程，但基于本发明公开的内容，本领域技术人员可以理解本发明的神经网络模块可以通过训练数据来进行训练，从而获得具有高精度的神经网络模块。例如，在神经网络训练的前向传播过程中，本发明可以利用通过结合图2-图11所获得的包括几何特征的图像数据来对本发明的神经网络模块进行训练，并且将训练结果与预期的结果(或称真实值)进行比较以获得相应的损失函数。进一步，在神经网络训练的反向传播过程中，本发明利用获得的损失函数并基于例如梯度下降算法来对权重(例如图15中的权重U、V以及W进行更新，以减小输出Ot与真实值的误差。[0107]结合上述描述，利用本发明实施例的图像评估系统，可以通过第一神经网络模块对图像数据进行特征融合来获取目标向量数据，第二神经网络模块对目标向量数据处理获得图像的评估结果。例如，可以将病人的CT图像输入本发明图像评估系统，由此直接获得病人的病灶区域的评估结果(例如质量和体积比)。通过对该质量或者体积比对病人的病情以及病灶区域的发展趋势进行预测，以便人工干预。[0108]图16是示出根据本发明实施例的用于基于神经网络模型对肺部病灶区进行评估的设备1600的框图。如图16所示，设备1600可以包括中央处理单元(“CPU”)1611,其可以是括大容量存储器1612和只读存储器(“ROM”)1613,其中大容量存储器1612可以配置用于存储各类数据，例如包括各种与病灶区域相关的图像数据、算法数据、中间结果和运行设备1600所需要的各种程序。只读存储器(“ROM”)1613可以配置成存储对于设备1600的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。[0109]可选地，设备1600还可以包括其他的硬件平台或组件，例如示出的张量处理单元(“TPU”)1614、图形处理单元(“GPU”)1615、现场可编程门阵列("FPGA”)1616和机器学习单元(“MLU”)1617。可以理解的是，尽管在本发明的设备1600中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备1600可以仅包括CPU来实现本发明的肺部病灶区的评[0110]在一些实施例中，为了便于数据与外部网络的传递和交互，本发明的设备1600还包括通信接口1618,从而可以通过该通信接口1618连接到局域网/无线局域网(“LAN/WLAN”)1605,进而可以通过LAN/WLAN连接到本地服务器1606或连接到因特网(“Internet”)1607。替代地或附加地，本发明的设备1600还可以通过通信接口1618基于无线通信技术直信技术。在一些应用场景中，本发明的设备1600还可以根据需要访问外部网络的服务器1608和数据库1609,以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现或评估病灶区域图像的各类数据。[0111]本发明的设备1600的外围设备可以包括显示装置1602、输入装置1603和数据传输接口1604.在一个实施例中，显示装置1602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本发明的显示病灶区域图像的运算过程或者最终结果进行语音提示和/或图像视频显示。输入装置1603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，或其他输入按钮或控件，其配置用于接收病灶区域图像数据的输入和/或用户指令。数据传输接口1604可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线("FireWire”)、PCIExpress和高清多媒体接口传输接口1604可以接收来自于CT设备(如图1中所示CT设备102)的病灶区域图像或病灶区域图像数据，并且向设备1600传送包括病灶区域的图像数据或各种其他类型的数据或结1614、GPU1615、FPGA16过该总线与外围设备实现数据交互。在一个实施例中，通过该总线1619,CPU1611可以控制设备1600中的其他硬件组件及其外围设备。[0113]以上结合图16描述了可以用于执行本发明的基于神经网络模型对肺部病灶区进行评估的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本发明的实现方式和实现实体并不受其限制，而是可以在不偏离本发明的精神下做出改变。端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的，例如磁盘、光盘或磁带。计算机存储介质可以