CN119417821A 胃肠外科手术辅助系统及方法 （吉林大学）

号机视觉和AI的图像识别及处理算法来对所述胃基于这两者特征间的细粒度强化融合表示来智能地生成包含被标注的肿瘤边界的图像语义分2CT扫描图像预处理模块，用于对所述胃肠CT扫描图像进行CT扫描图像特征提取模块，用于对所述胃肠CT扫描增强提取以得到胃肠CT扫描主干语义编码特征和胃肠CT扫描边界特征语义CT扫描图像多尺度特征融合模块，用于对所述胃肠C行特征解离以得到胃肠CT扫描主干语义局部特征的集合和胃肠CT扫描边界语义局部特征肠CT扫描边界语义局部特征的集合进行细粒度语义特征补偿聚合以得到所述胃肠CT扫描语义分割模块，用于基于所述胃肠CT扫描多尺度语义强化融合界信息流失补偿网络以得到胃肠CT扫描主干语义编码特征图作为所述胃肠CT扫描主干语义编码特征和胃肠CT扫描边界特征语义编码特征图作为所述胃肠CT扫描边界特征语义编图的通道维度对所述胃肠CT扫描主干语义编码特征图和所述胃肠CT扫描边界特征语义编码特征图进行特征解离以得到胃肠CT扫描主干语义局部特征矩阵的集合作为所述胃肠CT扫描主干语义局部特征的集合和胃肠CT扫描边界语义局部特征矩阵的集合作为所述胃肠主干边界细粒度提取子单元，用于将所述胃肠CT扫描主干语义局部特征矩阵的集合和所述胃肠CT扫描边界语义局部特征矩阵的集合中每组对应通道维度的胃肠CT扫描主干语义局部特征矩阵和胃肠CT扫描边界语义局部特征矩阵输入基于孪生网络结构的共享语主干边界语义补偿特征计算子单元，用于对所述胃肠CT扫描主主干边界细粒度特征语义强化子单元，用于基于所述胃肠C阵的集合进行语义强化以得到胃肠CT扫描多尺度语义强化融合编码特征图作为所述胃肠3将所述胃肠CT扫描主干一边界细粒度局部共享语义特征矩阵的集合中的描主干边界细粒度局部共享语义特征矩阵分别输入基于大语言模型的语义补偿解码模块将所述胃肠CT扫描主干一边界语义补偿文本描述的集合中的各个胃肠界语义补偿文本描述分别输入基于文本卷积神经网络模型的语义编码器以得到所述胃肠将所述胃肠CT扫描主干一边界细粒度局部共享语义特征矩阵的集合和主干边界语义补偿文本语义编码特征矩阵的集合中每组对应的胃肠CT扫描主干边界细将所述胃肠CT扫描主干一边界细粒度局部交互语义强化特征矩阵的集进行聚合以得到所述胃肠CT扫描多尺度语义强化融合编码于：使用基于Softmax函数的图像语义分割器对所述胃肠CT扫描多尺度语义强化融合编码对所述胃肠CT扫描图像进行图像降噪和对比度增强以得到胃肠CT对所述胃肠CT扫描增强图像进行语义编码和边界特征提取以得到胃肠CT扫描主干语对所述胃肠CT扫描主干语义编码特征和所述胃肠CT扫描边界特征语义编码特征进行胃肠CT扫描主干语义编码特征和所述胃肠CT扫描边界特征语义编码特征进行特征解离以胃肠CT扫描主干语义局部特征的集合和所述胃肠CT扫描边界语义局部特征的集合进行细粒度语义特征补偿聚合以得到所述胃肠CT扫描多尺度语义强化融合基于所述胃肠CT扫描多尺度语义强化融合编码特征，得到图像语义4特征提取以得到胃肠CT扫描主干语义编码特征和胃肠CT扫描边征进行特征解离以得到胃肠CT扫描主干语义局部特征的集合和胃肠CT扫描边界语义局部述胃肠CT扫描边界语义局部特征的集合进行细粒度语义特征补偿聚合以得到所述胃肠CT主干网络和边界特征提取分支的双分支边界信息流失补偿网络以得到胃肠CT扫描主干语5义编码特征图作为所述胃肠CT扫描主干语义编码特征和胃肠CT扫描边界特征语义编码特和所述胃肠CT扫描边界特征语义编码特征图的通道维度对所述胃肠CT扫描主干语义编码特征图和所述胃肠CT扫描边界特征语义编码特征图进行特征解离以得到胃肠CT扫描主干语义局部特征矩阵的集合作为所述胃肠CT扫描主干语义局部特征的集合和胃肠CT扫描边界语义局部特征矩阵的集合作为所述胃肠CT扫描边界语义局主干边界细粒度提取子单元，用于将所述胃肠CT扫描主干语义局部特征矩阵的集合和所述胃肠CT扫描边界语义局部特征矩阵的集合中每组对应通道维度的胃肠CT扫描主干语义局部特征矩阵和胃肠CT扫描边界语义局部特征矩阵输入基于孪生网络结构的共征矩阵的集合进行语义强化以得到胃肠CT扫描多尺度语义强化融合编码特征图作为所述CT扫描主干边界细粒度局部共享语义特征矩阵分别输入基于大语言模型的语义补偿解码将所述胃肠CT扫描主干一边界语义补偿文本描述的集合中的各个胃肠CT扫描主干边界语义补偿文本描述分别输入基于文本卷积神经网络模型的语义编码器以得到所述胃肠CT扫描主干边界语义补偿文本语义编码扫描主干边界语义补偿文本语义编码特征矩阵的集合中每组对应的胃肠CT扫描主干边维度进行聚合以得到所述胃肠CT扫描多尺度语义强化融合所述胃肠CT扫描多尺度语义强化融合编码特征图进行处理以得到所述图像语义分割结果，6对所述胃肠CT扫描图像进行图像降噪和对比度增强以得到胃肠CT对所述胃肠CT扫描增强图像进行语义编码和边界特征提取以得到胃肠CT扫描主对所述胃肠CT扫描主干语义编码特征和所述胃肠CT扫描边界特征语义编码特征所述胃肠CT扫描主干语义编码特征和所述胃肠CT扫描边界特征语义编码特征进行特征解所述胃肠CT扫描主干语义局部特征的集合和所述胃肠CT扫描边界语义局部特征的集合进行细粒度语义特征补偿聚合以得到所述胃肠CT扫描多尺度语义强化融[0016]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、[0019]图3为根据本申请实施例的胃肠外科手术辅助系统中CT扫描图像多尺度特征融合里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的7[0022]应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，国家相应数据保护法规政策的前提下，并获得由相应装置所有者给予授权的前提下进行运用基于计算机视觉和AI的图像识别及处理算法来对所述胃肠CT扫描图像进行图像预处描增强图像进行语义编码和边界特征提取以得到胃肠CT扫描主干语义编码特征和胃肠CT8[0032]当CT扫描完成后，所得到的原始数据将被转换成数字图像格式，如DICOM标准格9用卷积神经网络进行降噪的同时，可以通过特定的损失函数设计来优化模型输出的对比强图像进行语义编码和边界特征提取以得到胃肠CT扫描主干语义编码特征和胃肠CT扫描补偿网络以得到胃肠CT扫描主干语义编码特征图作为所述胃肠CT扫描主干语义编码特征失补偿网络以得到胃肠CT扫描主干语义编码特征图和胃肠CT扫描边界特征语义编码特征边界信息流失补偿网络以得到胃肠CT扫描主干语义编码特征图作为所述胃肠CT扫描主干语义编码特征和胃肠CT扫描边界特征语义编码特征图的具体处理过程描主干语义编码特征和所述胃肠CT扫描边界特征语义编码特征分别包含了不同尺度的特[0048]图3为根据本申请实施例的胃肠外科手术辅助系统中CT扫描图像多尺度特征融合离单元141，用于对所述胃肠CT扫描主干语义编码特征和所述胃肠CT扫描边界特征语义编码特征进行特征解离以得到胃肠CT扫描主干语义局部特征的集合和胃肠CT扫描边界语义合和所述胃肠CT扫描边界语义局部特征的集合进行细粒度语义特征补偿聚合以得到所述图和所述胃肠CT扫描边界特征语义编码特征图的通道维度对所述胃肠CT扫描主干语义编码特征图和所述胃肠CT扫描边界特征语义编码特征图进行特征解离以得到胃肠CT扫描主干语义局部特征矩阵的集合作为所述胃肠CT扫描主干语义局部特征的集合和胃肠CT扫描边界语义局部特征矩阵的集合作为所述胃肠CT扫描边界语义局部特其中，和分别为所述胃肠CT扫描主干语义编码特征图和所述胃肠CT扫描边界将所述胃肠CT扫描主干语义局部特征矩阵的集合和所述胃肠CT扫描边界语义局部特征矩阵的集合中每组对应通道维度的胃肠CT扫描主干语义局部特征矩阵和胃肠CT扫描边界语述胃肠CT扫描主干边界细粒度局部共享语义特征矩阵的集合进行语义特征补偿以得到胃CT扫描多尺度语义强化融合编码特征图作为所述胃肠CT扫描多尺度语义强化融合编码特;干边界细粒度局部共享语义特征矩阵分别输入基于大语言模型的语义补偿解码模块以得大语言模型的语义补偿解码模块以得到胃肠CT扫描主干一边界语义补偿文本描述的集合。偿文本描述分别输入基于文本卷积神经网络模型的语义编码器以得到所述胃肠CT扫描主;主干边界语义补偿文本语义编码特征矩阵的集合中每组对应的胃肠CT扫描主干边界细维度进行聚合以得到所述胃肠CT扫描多尺度语义强化融合编码特;描多尺度语义强化融合编码特征图。数的图像语义分割器对所述胃肠CT扫描多尺度语义强化融合编码特征图进行处理以得到胃肠CT扫描主干语义编码特征图和所述胃肠CT扫描边界特征语义编码特征图进行细粒度码特征图进行特征提取，这一步骤能够帮助模型捕捉到特征图中的局部模式和结构信息，Softmax函数的图像语义分割器能够有效地处理胃肠CT扫描多尺度语义强化融合编码特征界特征语义编码特征图分别表示胃肠CT扫描增强图像的主干图像语义特征和边界图像语确定所述胃肠CT扫描多尺度语义强化融合编码特征图的零特征值个数，并将所述零特征值个数减去一以得到胃肠CT扫描多尺度语义强化融合编码零可微值(n-1)；将所述胃肠CT扫描多尺度语义强化融合编码零可微值(n-1)分别乘以和除以所述零特征值个数得到第一胃肠CT扫描多尺度语义强化融合编码场拟合值(n-1)xn和第二胃肠CT扫描多尺度语义强化融合编码场拟合值(n-1)/n；计算所述胃肠CT扫描多尺度语义强化融合编码特征图的所有特征值的平方和的平方根以获得胃肠CT扫描多尺度语义强化融;f表示所述胃肠CT扫描多尺度语义强化融合编码特征图的第i个特征值，表以所述胃肠CT扫描多尺度语义强化融合编码零可微值(n-1)作为指数计算所述胃肠CT扫描多尺度语义强化融合编码场拟合值(n-1)xn以得到第一胃肠CT扫描多尺度语义强将所述胃肠CT扫描多尺度语义强化融合编码特征图与所述第二胃肠CT扫描多尺度语义强化融合编码场拟合值(n-1)/n和所述胃肠CT扫描多尺度语义强化融合编码模式表计算所述第一胃肠CT扫描多尺度语义强化融合编码中间特征图CT扫描多尺度语义强化融合编码中间特征图FZ的加权点减以获得优化的现所述胃肠CT扫描多尺度语义强化融合编码特征图的特征分布模式到概率密度可微场的有效对齐来避免所述胃肠CT扫描多尺度语义强化融合编码特征图的具有丰富性的分布由[0070]如上所述，根据本申请实施例的胃肠外科手术辅助系统100可以实现在各种无线请实施例的胃肠外科手术辅助系统100可以作为一个软件模块和/或硬件模块而集成到无的设备，并且该胃肠外科手术辅助系统100可以通过有线和/或无