CN113724187B 医疗影像处理方法、装置、电子设备和存储介质（腾讯科技（深圳）有限公司）

(12)发明专利(10)授权公告号CN1137241(65)同一申请的已公布的文献号(73)专利权人腾讯科技(深圳)有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层专利权人中国医学科学院北京协和医院(72)发明人陈星翰常健博王任直冯铭姚建华尚鸿王晓宁郑瀚裴翰奇(74)专利代理机构北京励诚知识产权代理有限公司11647审查员刘昶忻专利代理师赵爽医疗影像处理方法、装置、电子设备和存储介质本申请提供了一种医疗影像处理方法、装置、电子设备和存储介质，通过对医疗影像的处理，促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高了疾病预后预测的准确性，从而辅助医生制定治疗方案，且增加了临床落地可域的三维医疗影像；将三维医疗影像输入医疗预后预测模型，通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗将三维医疗影像输入医疗预后预测模型，通过序列；将二维影像特征序列中的二维影像特征依次输21.一种医疗影像处理方法，其特征在于，包括：获取包括目标区域的三维医疗影像；将所述三维医疗影像输入医疗预后预测模型，通过所述医疗预后预测模型中的第一网络对所述三维医疗影像的每一层进行特征提取，得到所述三维医疗影像对应的二维影像特征序列；将所述二维影像特征序列中的二维影像特征依次输入所述医疗预后预测模型的第二网络；以所述第二网络输出的预测数据作为所述目标区域的预后预测结果；所述以所述第二网络输出的预测数据作为所述目标区域的预后预测结果，包括：通过所述第二网络对所述二维影像特征进行特征融合，得到影像融合特征；基于所述影像融合特征，生成所述目标区域的预测数据；以所述预测数据作为所述目标区域的预后预测结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取训练样本集，所述训练样本集中的各个训练样本包含包括目标区域的三维医疗影像以及配对的医疗标签；根据所述训练样本集对所述医疗预后预测模型进行训练；其中，在训练过程中，所述第一网络对训练样本中的三维医疗影像的每一层进行特征提取，得到训练样本中的三维医疗影像对应的二维影像特征序列，以及将所述二维影像特征序列中的二维影像特征依次输入所述第二网络；所述第二网络将所述二维影像特征序列中的二维影像特征融合，以及根据融合之后的特征进行预测。3.根据权利要求2所述的方法，其特征在于，所述根据所述训练样本集对所述医疗预后预测模型进行训练，包括：获取第一图像处理方式的参数信息，其中，所述第一图像处理方式包括裁剪、翻转、平移、缩放、旋转中的至少一种；随机采用所述第一图像处理方式所包括的处理方式中的一种或多种对训练样本中的三维医疗影像进行处理，得到增强的训练样本集；根据所述增强的训练样本集对所述医疗预后预测模型进行训练。4.根据权利要求2所述的方法，其特征在于，所述获取训练样本集，包括：获取多个原始的包括目标区域的三维医疗影像；获取第二图像处理方式的参数信息，其中，所述第二图像处理方式包括裁剪、翻转、平移、缩放、旋转中的至少一种；随机采用所述第二图像处理方式所包括的处理方式中的一种或多种对所述多个原始的包括目标区域的三维医疗影像中的部分或全部进行处理，得到至少一个增强的包括目标区域的三维医疗影像；将所述多个原始的包括目标区域的三维医疗影像和所述至少一个增强的包括目标区域的三维医疗影像作为训练样本，形成所述训练样本集。5.根据权利要求2所述的方法，其特征在于，所述根据所述训练样本集对所述医疗预后预测模型进行训练，包括：根据所述医疗预后预测模型输出的预测数据和所述医疗标签，确定交叉熵损失量；3根据所述交叉熵损失量，采用自适应梯度下降算法对所述医疗预后预测模型中的第一网络和第二网络的模型参数进行优化。6.根据权利要求2所述的方法，其特征在于，所述根据所述训练样本集对所述医疗预后从数据库读取第一预设值和/或第二预设值；使用所述第一预设值作为所述第一网络的初始参数，和/或，使用所述第二预设值作为所述第二网络的初始参数。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取验证样本集，所述验证样本集中的各个验证样本包含包括目标区域的三维医疗影像以及配对的医疗标签；在所述医疗预后预测模型拟合训练样本的情况下，将验证样本中的三维医疗影像输入所述医疗预后预测模型，通过所述第一网络对验证样本中的三维医疗影像的每一层进行特征提取，得到验证样本中的三维医疗影像对应的二维影像特征序列，以及将所述二维影像特征序列中的二维影像特征依次输入所述第二网络；根据所述第二网络输出的预测数据和验证样本中的医疗标签，确定验证样本对应的交叉熵损失量；根据所述验证样本对应的交叉熵损失量，从所述医疗预后预测模型在训练过程中得到的多组收敛参数中选取所述医疗预后预测模型的最优参数。8.根据权利要求1所述的方法，其特征在于，所述医疗预后预测模型中的第一网络为卷积神经网络，且所述医疗预后预测模型中的第二网络为递归神经网络。获取模块，用于获取包括目标区域的三维医疗影像；输入模块，用于将所述三维医疗影像输入医疗预后预测模型，通过所述医疗预后预测模型中的第一网络对所述三维医疗影像的每一层进行特征提取，得到所述三维医疗影像对应的二维影像特征序列；所述输入模块，还用于将所述二维影像特征序列中的二维影像特征依次输入所述医疗预后预测模型的第二网络；处理模块，用于以所述第二网络输出的预测数据作为所述目标区域的预后预测结果；所述以所述第二网络输出的预测数据作为所述目标区域的预后预测结果，包括：通过所述第二网络对所述二维影像特征进行特征融合，得到影像融合特征；基于所述影像融合特征，生成所述目标区域的预测数据；以所述预测数据作为所述目标区域的预后预测结果。存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8中任一项所述的方法。11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处4理器执行时实现权利要求1至8中任一项所述方法的步骤。5技术领域[0001]本申请实施例涉及图像处理技术领域，并且更具体地，涉及一种医疗影像处理方背景技术[0002]随着多媒体技术的普及，人们在日常生活和生产活动中对图像的使用越来越频繁。医疗影像是图像的一种，大多数医疗影像都是医生在阅片之后就失去了利用价值，同时也需要存储空间对医疗影像进行存储，占用较多的存储资源，医疗影像的再次利用是一项亟待解决的技术问题。发明内容[0003]本申请提供了一种医疗影像处理方法、装置、电子设备、芯片和计算机可读存储介质，通过对医疗影像的处理，促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高了疾病预后预测的准确性，从而辅助医生制定治疗方案，且增加了临床落地可行性。[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。[0006]获取包括目标区域的三维医疗影像；[0007]将三维医疗影像输入医疗预后预测模型，通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；[0008]将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；[0009]以第二网络输出的预测数据作为目标区域的预后预测结果。[0011]获取模块，用于获取包括目标区域的三维医疗[0012]输入模块，用于将三维医疗影像输入医疗预后预测模型，通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；[0013]输入模块，还用于将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；[0014]处理模块，用于以第二网络输出的预测数据作为目标区域的预后预测结果。[0015]根据本申请的一方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行上述医疗影像处理方法的步骤。[0016]根据本申请的一方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得该处理器执行上述医疗影像处理方法的步骤。6[0017]根据本申请的一方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行上述医疗影像处理方法的步骤。[0018]基于上述技术方案，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。[0019]本申请实施例的其他特性和优点将通过下面的详细描述变得显然，或者部分通过本申请的实践而习得。[0020]应理解，以上的一般描述和后文的细节描述仅是示例性的，并不对本申请构成限附图说明[0021]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0022]图1示意性示出了根据本申请的一个实施例中提供的医疗影像处理方法的应用场[0023]图2示意性示出了根据本申请的一实施例的医疗影像处理方法的流程图；[0024]图3示意性示出了根据本申请的一实施例的医疗预后预测模型的训练方法的流程[0025]图4示意性示出了根据本申请的一实施例的医疗预后预测模型的示意性图；[0026]图5示意性示出了根据本申请的一实施例的医疗影像处理装置的框图；[0027]图6示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式[0028]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本申请的描述将更加全面的完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。[0029]此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充7分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略特定细节中的知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。[0030]附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络、处理器装置或者微控制装置中现实这些功能实体。[0031]随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如到应用，并发挥越来越重要的价值。本申请可以基于人工智能技术进行多说话人场景识别以及多说话人场景识别网络训练。[0032]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，也即使机器具有学习能力。计学、逼近论、凸分析、算法复杂度理论等多门科学。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络(如卷积神经网络)、置信网络、强化学[0034]人工智能结合云服务，也可以实现人工智能云服务，一般也被称作是AI即服务(AIasaService,AIaaS)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过应用程序接口(ApplicationProgrammingInterface,API)接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。[0035]图1为一个实施例中提供的医疗影像处理方法的应用场景图，如图1所示，在该应[0036]在一些实现方式中，可以通过服务器120对医疗预后预测模型(第一网络和第二网络)进行训练。服务器120获取到训练好的医疗预后预测模型后，可以将其部署在图像处理应用中，终端110可以安装该图像处理应用，当终端110获取得到包括目标区域的三维医疗影像之后，用户可以通过相应的操作发出图像处理指令，终端110可以接收图像处理指令，将获取的包括目标区域的三维医疗影像作为待处理图像进行图像处理，得到目标区域的预后预测结果。例如，在目标区域为脑出血区域的情况下，目标区域的预后预测结果可以是脑出血预后预测结果(例如，0代表脑出血区域的出血扩大，1代表脑出血区域的出血不扩大；8或反之)。在目标区域为反映其他类型的疾病的区域时，目标区域的预后预测结果也类似，在此不再赘述。[0037]上述图像处理应用可以是疾病治疗或预防类应用程序，该疾病治疗或预防类应用查询等功能。[0038]在另一些实现方式中，可以通过终端110对医疗预后预测模型(第一网络和第二网络)进行训练。当终端110获取得到包括目标区域的三维医疗影像之后，用户可以通过相应的操作发出图像处理指令，终端110可以接收图像处理指令，将获取的包括目标区域的三维医疗影像作为待处理图像进行图像处理，得到目标区域的预后预测结果。例如，在目标区域为脑出血区域的情况下，目标区域的预后预测结果可以是脑出血预后预测结果(例如，0代表脑出血区域的出血扩大，1代表脑出血区域的出血不扩大；或反之)。[0039]可以理解，上述应用场景仅是一个示例，并不能构成对本申请实施例提供的医疗影像处理方法的限制。例如，训练好的医疗预后预测模型(第一网络和第二网络)可以存储在服务器120中，服务器120可以接收终端110发送的包括目标区域的三维医疗影像，对包括目标区域的三维医疗影像进行图像处理得到目标区域的预后预测结果后返回到终端110[0040]其中，上述包括目标区域的三维医疗影像可以是电脑断层扫描(ComputedTomography,CT)影像、核磁共振成像(Nuclearmagneticresonanceimaging,NMRI)影像等三维医疗影像。[0041]服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集以及大数据和人工智能平台等基础云计算服务的云服务器。终端110可以是智能手机、平板务器120可以通过有线或者无线通信方式进行直接或间接地连接，本申请对此并不限定。[0042]在一些实施例中，目标区域包括以下之一：癌变区域。[0044]为便于更好的理解本申请实施例，对脑出血进行说明。[0045]脑出血(cerebralhemorrhage)是指非外伤性脑实质内血管破裂引起的出血，发相关。脑出血的患者往往由于情绪激动、费劲用力时突然发病，早期死亡率很高，幸存者中多数留有不同程度的运动障碍、认知障碍、言语吞咽障碍等后遗症。[0046]对于脑出血，颅脑CT扫描可显示出血部位、出血量大小、血肿形态、是否破入脑室以及血肿周围有无低密度水肿带和占位效应等。病灶多呈圆形或卵圆形均匀高密度区，边界清楚，脑室大量积血时多呈高密度铸型，脑室扩大。1后呈低密度或囊性变。动态CT检查还可评价出血的进展情况。[0047]为便于更好的理解本申请实施例，对ROI区域进行说明。[0048]对于感兴趣区域(regionofinterest,ROI)区域，就是从图像中选择一个图像区9域，这个区域就是图像分析所关注的焦点。通过圈定ROI区域，那么要处理的图像就从大图像变为一个小图像区域了，这样以便进行进一步处理，可以大大减小处理时间。[0049]为便于更好的理解本申请实施例，对疾病预后预测进行说明。[0050]疾病预后是指疾病发生后，对疾病未来发展的病程和结局(痊愈、复发、恶化、致残、并发症和死亡等)的预测。疾病预后可以利用多种信息，例如临床观的影像信息等。在临床上，医学影像中包含的大量信息给疾病预后提供了重要的依据。[0051]现阶段，针对某一特定问题，需要进行区域分割、特征提取与模型建立三大步骤。区域分割即进行感兴趣区域(ROI)标注，通常我们只关注影像中某些部位的特征，而不是整个影像，所以需要先分割出感兴趣区域。然后提取感兴趣区域的特征，之后再进行特征筛选，最终对筛选后的特征进行简单的线性回归或者逻辑回归模型建模。特征筛选的方法，是逐一判断每个特征在正负样本上的分布是否具有显著性差异。确率有限，因为采用的线性回归模型较为简单，不能处理各个特征之间复杂、高维的关系，可能无法较好拟合训练数据，出现模型欠拟合。[0053]为了提高疾病预后预测的效率和准确性，本申请提出了一种医疗影像处理方案，可以高效、高质量的开发医疗预后预测模型，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。[0054]需要说明的是，本申请实施例主要以脑出血为例进行疾病的预后预测，即目标区域为脑出血区域，预测脑出血区域的出血是否扩大。当然，还可以基于本申请实施例的方案本申请实施例对此并不限定。[0055]下面对本申请实施例的具体实施过程进行详细的描述。[0056]图2示出了根据本申请的一个实施例的医疗影像处理方法200的示意性流程图，该医疗影像处理方法200可以由具有计算处理能力的设备来执行，例如，上述终端110或服务器120。参照图2所示，该医疗影像处理方法200至少可以包括S210至S240,详细介绍如下：[0057]在S210中，获取包括目标区域的三维医疗影像。[0058]在一些实施例中，目标区域包括但不限于以下之一：癌变区域。[0060]具体的，包括目标区域的三维医疗影像可以是患者在术前和/或术后拍摄的反映患者病灶的一张或多张三维影像。[0061]例如，在目标区域为脑出血区域的情况下，上述三维医疗影像可以是脑出血患者在术前和/或术后拍摄的反映脑出血病灶的一张或多张三维影像。[0062]需要说明的是，本申请对目标区域的大小、尺寸、形状，以及在三维医疗影像中的位置等参数不作限定，目标区域可以根据实际需求灵活设置。[0063]在一些实施例中，上述三维医疗影像可以包括但不限于以下之一：[0064]计算机断层扫描(ComputedTomography,CT)影像、核磁共振成像(Nuclearmagneticresonanceimaging,NMRI)影像、正子发射断层扫描(Positronemissiontomography,PET)影像、医学超音波检查(Medicalultrasonography)影像、正子发射电脑断层扫描(Positronemissiontomogr像、单一光子发射电脑断层扫描(Singlephotonemissioncomputedtomographywith绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。[0066]核磁共振成像：是利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。核磁共振成像采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。核磁共振成像能够从人体分子内部反映出人体器官失常和早期病变。[0067]在S220中，将三维医疗影像输入医疗预后预测模型，通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列。[0068]需要说明的是，医疗预后预测模型可以是预先训练好的，即医疗预后预测模型的模型参数已处于最优的状态。[0069]具体的，医疗预后预测模型中的第一网络可以将三维医疗影像拆解为一系列二维影像切片，以及对三维医疗影像的每一层(二维影像切片)进行特征提取，得到三维医疗影像对应的二维影像特征序列。[0070]本申请实施例对每一层所提取的特征的具体形式不作限定，可以根据实际需求灵活选取。此外，本申请实施例对三维医疗影像具体拆解的层数不作限定，可以根据实际需求灵活选取。[0071]例如，脑部CT有10层，每层可以通过医疗预后预测模型中的第一网络提取一个2048维度的特征。[0072]在S230中，将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络。[0073]在S240中，以第二网络输出的预测数据作为目标区域的预后预测结果。[0074]具体的，医疗预后预测模型的第二网络具有对序列输入的记忆能力，并在序列输入完成之后，进行输出，此时的输出结果即代表对整个序列的预测。[0075]在一些实施例中，医疗预后预测模型的第二网络可以将依次输入的二维影像特征11序列中的二维影像特征进行融合，以及基于融合之后的特征进行预测。也即，上述预测数据是基于二维影像特征序列中的二维影像特征融合之后的特征确定的。[0076]在一些实施例中，可以通过第二网络对二维影像特征进行特征融合，得到影像融合特征；基于影像融合特征，生成目标区域的预测数据；以及以该预测数据作为目标区域的预后预测结果。[0077]也即，第二网络可以对依次输入的二维影像特征序列中的二维影像特征进行融合，得到影像融合特征，以及基于影像融合特[0078]在一些实施例中，第一网络为卷积神经网络(ConvolutionalNeuralNetworks,CNN),第二网络为递归神经网络(RecurrentNeuralNetworks,RNN)。[0079]在一些实施例中，医疗预后预测模型输出的预测数据可以是二分类结果。例如，在目标区域为脑出血区域的情况下，预测数据0代表出血扩大，预测数据1代表出血不扩大；或[0080]作为一个示例，将患者的脑部CT作为医疗预后预测模型的输入，医疗预后预测模型中的CNN(第一网络)可以提取脑部CT的每一层扫描图像的特征，特征表现为向量形式，以ResNet50网络为例，提取的脑部CT每一层特征为2048维向量。提取到的脑部CT单层特征将按顺序输入医疗预后预测模型中的RNN(第二网络模型),RNN可以处理序列化的输入，并且提取一个2048维度的特征。然后这10层特征需要按照顺序输入RNN,只取第10层特征输入完成之后RNN输出的值当做最后的预测值。RNN具有对序列输入的记忆能力，选取序列输入完成之后的RNN的输出，就可以代表对整个输入序列的预测，也就是说这个预测是针对整个脑部CT的。该预测值介于0和1之间，代表医疗预后预测模型对该患者脑出血的血肿是否会扩大的判断，预测值越靠近0代表脑部血肿越不可能扩大，预测值越靠近1代表脑部血肿越可能扩大。从而给医生制定治疗方案提供参考。[0081]对于脑出血，预后预测就是预测患者的脑部出血体积是否继续扩大，因为脑部出血体积是否继续扩大与患者最终生存或恢复状况有关，准确预测脑出血是否扩大，可以协助医生及早发现存在出血扩大风险的病人，及早采取相应的治疗，提高患者的生存状况。[0082]因此，在本申请实施例中，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。[0083]图3示出了根据本申请的一个实施例的医疗预后预测模型的训练方法300的示意性流程图，该医疗预后预测模型的训练方法300可以由具有计算处理能力的设备来执行，例如，上述终端110或服务器120.参照图3所示，该医疗预后预测模型的训练方法300至少可以包括S310至S320,详细介绍如下：[0084]S310中，获取训练样本集，该训练样本集中的各个训练样本包含包括目标区域的三维医疗影像以及配对的医疗标签。[0085]在一些实施例中，目标区域包括但不限于以下之一：癌变区域。[0087]具体的，训练样本中包括目标区域的三维医疗影像可以是患者在术前和/或术后拍摄的反映患者病灶的一张或多张三维影像。[0088]例如，在目标区域为脑出血区域的情况下，上述训练样本中包括的三维医疗影像可以是脑出血患者在术前和/或术后拍摄的反映脑出血病灶的一张或多张三维影像。[0089]需要说明的是，本申请对目标区域的大小、尺寸、形状，以及在三维医疗影像中的位置等参数不作限定，目标区域可以根据实际需求灵活设置。[0090]在一些实施例中，上述训练样本中包括的三维医疗影像可以包括但不限于以下之[0091]计算机断层扫描(CT)影像、核磁共振成像(NMRI)影像、正子发射断层扫描(PET)影像、医学超音波检查(Medicalultrasonography)影像、正子发射电脑断层扫描(PET/CT)影像、单一光子发射电脑断层扫描(SPECT/CT)影像。绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。[0093]核磁共振成像：是利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。核磁共振成像采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。核磁共振成像能够从人体分子内部反映出人体器官失常和早期病变。[0094]上述训练样本集中训练样本的数量可以根据需求设置。例如，若模型训练时需要训练40次，每次利用5000个训练样本进行训练，则训练样本集中可以包括5000个训练样本，每次模型训练时利用这5000个训练样本进行训练。包括目标区域的三维医疗影像以及配对的医疗标签是指：包括目标区域的三维医疗影像是需要进行预测的图像，而医疗标签是利用医疗预后预测模型对包括目标区域的三维医疗影像进行预测之后所期望得到的预测结[0095]模型训练的目标是得到更好的模型参数，以提高预测的效果。在进行训练时，将包括目标区域的三维医疗影像输入到医疗预后预测模型中，然后根据医疗预后预测模型输出的预测结果与包括目标区域的三维医疗影像对应的医疗标签的差异调整模型参数，使得根据调整后的模型参数进行预测得到的预测结果征越来越接近包括目标区域的三维医疗影像对应的医疗标签，直至满足模型收敛条件，并最终得到训练好的医疗预后预测模型。[0096]需要说明的是，上述训练样本集中的包括目标区域的三维医疗影像可以来自不同[0097]在一些实施例中，获取多个原始的包括目标区域的三维医疗影像和第二图像处理CN113724187B说明书9/17页种；随机采用该第二图像处理方式所包括的处理方式中的一种或多种对多个原始的包括目标区域的三维医疗影像中的部分或全部进行处理，得到至少一个增强的包括目标区域的三维医疗影像；将该多个原始的包括目标区域的三维医疗影像和该至少一个增强的包括目标区域的三维医疗影像作为训练样本，形成上述训练样本集。从而，增加了样本的多样性，提升了网络模型的训练效果。[0098]具体的，训练样本集既可以包括多个原始的包括目标区域的三维医疗影像，又可以包括至少一个增强的包括目标区域的三维医疗影像。也即，上述训练样本集所包括的训练样本的数量可以大于多个原始的包括目标区域的三维医疗影像的数量。[0099]由于医疗影像数据较难获取，可用数据的数量较少，如果仅使用原始数据作为训练样本进行训练，可能会出现医疗预后预测模型过拟合。为了训练出泛化能力更好的医疗预后预测模型，需要对原始数据进行一些变换，以得到训练样本集。本申请中可以随机采用裁剪、翻转、平移、缩放、旋转中的一种或多种对多个原始的包括目标区域的三维医疗影像进行处理，得到上述训练样本集。对原始的包括目标区域的三维医疗影像进行了数据增强，增加了样本的多样性，提升了网络模型的训练效果。[0100]需要说明的是，在获取训练样本集的过程中，对包括目标区域的三维医疗影像的裁剪大小、形状等裁剪参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的翻转角度等翻转参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的平移距离等平移参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的缩放比例等缩放参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的旋转角度等旋转参数可以根据需求灵活设置，本申请对此并不限定。[0101]在S220中，根据训练样本集对医疗预后预测模型进行训练；[0102]其中，在训练过程中，第一网络对训练样本中的三维医疗影像的每一层进行特征提取，得到训练样本中的三维医疗影像对应的二维影像特征序列，以及将二维影像特征序列中的二维影像特征依次输入第二网络；第二网络将二维影像特征序列中的二维影像特征融合，以及根据融合之后的特征进行预测。[0103]在一些实施例中，第一网络为卷积神经网络(CNN),且第二网络为递归神经网络[0105]VggNet探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠3*3的小型卷积核和2*2的最大池化层，成功的构建了16～19层深的卷积神经网络。VggNet把网络分成了5段，每段都把多个3*3的卷积网络串联在一起，每段卷积后面接一个最大池化层，最后面是3个全连接层和一个softmax层。Softmax算法：将一个含任意实数的K维向量Z“压缩”到另一个K维实向量f(Z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1.其中，e;表示第i个位置为1其余位置为0的单位向量。[0106]残差网络(ResNet)的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。[0107]密集网络(DenseNet)可以对输入进行连接(concatenate,cat)操作，一个直观的影响就是每一层学到的特征图(featuremap)都能被之后所有层直接使用，这使得特征可以在整个网络中重用，也使得模型更加简洁。DenseNet的一个优点是网络更窄，参数更少，很大一部分原因得益于这种密度模块(denseblock)的设计，denseblock中每个卷积层的输出特征图(featuremap)的数量都很小(小于100),而不是像其他网络一样动不动就几百上千的宽度。同时这种连接方式使得特征和梯度的传递更加有效，网络也就更加容易训练。DenseNet相当于每一层都直接连接输入(input)和损失(loss),因此可以减轻梯度消失现[0108]例如，第二网络为长短期记忆网络(LongShort-TermMemory,LSTM),GRU等递归神经网络。[0109]长短期记忆网络(LSTM)是一种时间循环神经网络，是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。上，这两个门控向量决定了哪些信息最终能作为门控循环单元的输出。这两个门控机制的特殊之处在于，它们能够保存长期序列中的信息，且不会随时间而清除或因为与预测不相关而移除。[0111]在本申请实施例中，根据需求的不同，第一网络模型(CNN模型)和第二网络模型(RNN模型)可以采用不同的具体实现方式，灵活性更强。[0112]具体地，在训练过程中，第一网络将输入的包含包括目标区域的三维医疗影像拆解为一系列二维影像切片进行处理。先采用2D卷积神经网络(例如VggNet,ResNet,DenseNet等)从包含包括目标区域的三维医疗影像中提取一系列二维影像切片的特征序列。接着使用递归神经网络(例如LSTM,GRU等)对依次输入的二维影像特征的特征向量做融合，以及根据融合后的特征输出预测数据。递归神经网络可以很好的处理序列输入，将其整合(即融合)后再输出一个最终特征(融合后的特征)。[0113]在一些实施例中，上述医疗预后预测模型可以是端到端模型，由输入得到输出的过程中不需要有额外的操作。通过缩减人工预处理和后续处理，尽可能使模型从原始输入到最终输出，给模型更多可以根据数据自动调节的空间，增加模型的整体契合度。[0114]在一些实施例中，获取第一图像处理方式的参数信息，其中，第一图像处理方式包式中的一种或多种对训练样本中的三维医疗影像进行处理，得到增强的训练样本集；以及根据增强的训练样本集对医疗预后预测模型进行训练。[0115]在一些实施例中，在根据训练样本集对医疗预后预测模型进行训练之前，随机采从而，增加了训练样本集中的三维医疗影像的多样性，提升了网络模型的训练效果。[0116]由于医疗影像数据较难获取，可用数据的数量较少，如果仅使用训练样本集中的三维医疗影像作为医疗预后预测模型的输入进行训练，可能会出现医疗预后预测模型过拟合。为了训练出泛化能力更好的医疗预后预测模型，需要对训练样本集中的三维医疗影像进行一些变换，以增加训练样本集中的三维医疗影像的多样性。本申请中在将三维医疗影本集中的三维医疗影像进行处理，增加了训练样本集中的三维医疗影像的多样性，提升了网络模型的训练效果。[0117]需要说明的是，对训练样本集中的三维医疗影像的裁剪大小、形状等裁剪参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的翻转角度等翻转参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的平移距离等平移参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的缩放比例等缩放参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的旋转角度等旋转参数可以根据需求灵活设置，本申请对此并不限定。[0118]在一些实施例中，在模型训练之前，使用随机初始化方法对第一网络和/或第二网络的模型参数进行初始化。[0119]在一些实施例中，从数据库读取第一预设值和/或第二预设值；使用第一预设值作为第一网络的初始参数，和/或，使用第二预设值作为第二网络的初始参数。[0120]在一些实施例中，从第一网络在其它图像处理任务的训练中获取上述第一预设值，和/或，从第二网络在其它图像处理任务的训练中获取上述第二预第一网络在其他医学图像处理任务上训练的网络参数，作为第一网络的初始参数，从而加速模型收敛速率。同理，第二网络的收敛参数可以从第二网络在其它图像处理任务的训练中获取。也即，可以使用第二网络在其他医学图像处理任务上训练的网络参数，作为第二网络的初始参数，从而加速模型收敛速率。[0121]在一些实施例中，采用交叉熵损失函数和自适应梯度下降算法对医疗预后预测模型的模型参数进行优化。当然，也可以使用其他方式对医疗预后预测模型的模型参数进行[0122]在一些实施例中，根据医疗预后预测模型输出的预测数据和医疗标签，确定交叉熵损失量；以及根据交叉熵损失量，采用自适应梯度下降算法对医疗预后预测模型中的第一网络和第二网络的模型参数进行优化。[0123]交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。[0124]自适应梯度下降算法例如可以是Adam算法，使用动量和自适应学习率来加快收敛[0125];在一些实施例中，可以对基于训练样本训练的医疗预后预测模型进行验证，以获取医疗预后预测模型的最优参数。验证过程具体可以包括：[0126]获取验证样本集，验证样本集中的各个验证样本包含包括目标区域的三维医疗影像以及配对的医疗标签；[0127]在医疗预后预测模型拟合训练样本的情况下，将验证样本中的三维医疗影像输入医疗预后预测模型，通过第一网络对验证样本中的三维医疗影像的每一层进行特征提取，得到验证样本中的三维医疗影像对应的二维影像特征序列，以及将二维影像特征序列中的二维影像特征依次输入第二网络；[0128]根据第二网络输出的预测数据和验证样本中的医疗标签，确定验证样本对应的交叉熵损失量；以及根据验证样本对应的交叉熵损失量，从医疗预后预测模型在训练过程中得到的多组收敛参数中选取医疗预后预测模型的最优参数。[0129]验证样本集用于在训练过程中，挑选出泛化性能最好的网络模型参数，以提高预测的效果。在医疗预后预测模型经过多次迭代后，拟合训练样本的情况下，可以将验证样本集中的包括目标区域的三维医疗影像输入到医疗预后预测模型中，挑选出泛化性能最好的网络模型参数。避免模型训练中出现欠拟合或过拟合的情况，保证模型训练的准确性。[0130]上述验证样本集中验证样本的数量可以根据需求设置。验证样本集中的包括目标区域的三维医疗影像以及配对的医疗标签是指：目标区域的三维医疗影像是需要进行预测的图像，而医疗标签是利用医疗预后预测模型对包括目标区域的三维医疗影像进行预测之后所期望得到的预测结果。[0131]需要说明的是，验证样本集与训练样本集类似，验证样本集中的包括目标区域的三维医疗影像可以来自不同医院的大量数据，也即，样本更为丰富，提高了医疗预后预测模型的训练效果。个原始的包括目标区域的三维医疗影像进行处理，得到上述验证样本集。从而，增加了样本的多样性，提升了网络模型的训练效果。[0133]由于医疗影像数据较难获取，可用数据的数量较少，如果仅使用原始数据作为验证样本进行验证，可能无法准确挑选出泛化性能最好的网络模型参数。为了挑选出泛化能力更好的医疗预后预测模型，需要对原始数据进行一些变换，以得到验证样本集。本申请中可以随机采用裁剪、翻转、平移、缩放、旋转中的一种或多种对多个原始的包括目标区域的三维医疗影像进行处理，得到上述验证样本集。对原始的包括目标区域的三维医疗影像进行了数据增强，增加了样本的多样性，提升了网络模型的训练效果。[0134]需要说明的是，在获取验证样本集的过程中，对三维医疗影像的裁剪大小、形状等裁剪参数可以根据需求灵活设置，对三维医疗影像的翻转角度等翻转参数可以根据需求灵活设置，对三维医疗影像的平移距离等平移参数可以根据需求灵活设置，对三维医疗影像的缩放比例等缩放参数可以根据需求灵活设置，对三维医疗影像的旋转角度等旋转参数可以根据需求灵活设置，本申请对此并不限定。[0135]在一些实施例中，验证样本集中的验证样本数量与训练样本集中的训练样本数量可以是以一定的比例设置的，例如，验证样本集中的验证样本数量与训练样本集中的训练样本数量可以是2:8的比例设置的。[0136]对于脑出血，预后预测就是预测患者的脑部出血体积是否继续扩大，因为脑部出血体积是否继续扩大与患者最终生存或恢复状况有关，准确预测脑出血是否扩大，可以协助医生及早发现存在出血扩大风险的病人，及早采取相应的治疗，提高患者的生存状况。[0137]例如，以脑出血为例，医疗预后预测模型输出的预测数据可以是二分类结果，例[0138]在本申请实施例中，训练样本中包括目标区域的三维医疗影像与上述医疗影像处理方法200中的包括目标区域的三维医疗影像是针对相同疾病的医疗影像(即相同类型的目标区域)。例如，基于包括脑出血区域的三维医疗影像训练的医疗预后预测模型，用于处理包括脑出血区域的三维医疗影像，以获取针对脑出血区域的预后预测结果。[0139]在本申请实施例中，医疗预后预测模型的拟合能力较强，预测的准确率高，可以利用上来自不同医院的大量数据，而不出现欠拟合，提高医疗预后预测模型预测的准确率。[0140]上述医疗预后预测模型，例如可以如图4所示，医疗预后预测模型包括第一网络和第二网络。医疗预后预测模型的第一网络可以包括多个CNN网络，每个CNN网络对应一个二维影像，也即，可以通过多个CNN网络将包括目标区域的三维医疗影像切分为多层二维影像，对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络。第二网络模型可以是RNN网络，第二网络将依次输入的二维影像特征序列中的二维影像特征融合，并根据融合后的特征输出预测数据。如图4所示，可以基于预测数据和医疗标签输出交叉熵损失量，以及根据交叉熵损失量，采用自适应梯度下降算法对第一网络和第二网络的模型参数进行优化。[0141]因此，在本申请实施例中，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。[0142]在本申请实施例中，疾病预测整体流程更为简洁，测试阶段不需要人工标注的ROI,使用更为方便，增加了临床落地可行性。此外，也不需要进行特征提取、筛选等相关操[0143]在本申请实施例中，根据需求的不同，第一网络(CNN模型)和第二网络(RNN模型)可以采用不同的具体实现方式，灵活性更强。[0144]上文结合图2至4,详细描述了本申请的方法实施例，下文结合图5,详细描述本申请的装置实施例，应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。[0145]图5示意性示出了根据本申请的一实施例的医疗影像处理装置的框图。该医疗影像处理装置可以采用软件单元或硬件单元，或者是二者的结合成为计算机设备的一部分。如图5所示，本申请实施例提供的医疗影像处理装置400具体可以包括：[0146]获取模块410,用于获取包括目标区域的三维医疗影像；[0147]输入模块420,用于将三维医疗影像输入医疗预后预测模型，通过该医疗预后预测模型中的第一网络对该三维医疗影像的每一层进行特征提取，得到该三维医疗影像对应的二维影像特征序列；[0148]输入模块420,还用于将该二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；[0149]处理模块430,用于以第二网络输出的预测数据作为目标区域的预后预测结果。[0150]在一个实施例中，处理模块430,具体用于：[0151]通过第二网络对二维影像特征进行特征融合，得到影像融合特征；[0153]以该预测数据作为目标区域的预后预测结果。[0154]在一个实施例中，获取模块410,还用于获取训练样本集，该训练样本集中的各个训练样本包含包括目标区域的三维医疗影像以及配对的医疗标签；[0155]处理模块430,还用于根据训练样本集对医疗预后预测模型进行训练；[0156]其中，在训练过程中，第一网络对训练样本中的三维医疗影像的每一层进行特征提取，得到训练样本中的三维医疗影像对应的二维影像特征序列，以及将二维影像特征序列中的二维影像特征依次输入该第二网络；第二网络将二维影像特征序列中的二维影像特征融合，以及根据融合之后的特征进行预测。[0157]在一个实施例中，获取模块410,还用于获取第一图像处理方式的参数信息，其中，[0158]处理模块430,还用于在根据该训练样本集对该医疗预后预测模型进行训练之前，随机采用该第一图像处理方式所包括的处理方式中的一种或多种对训练样本中的三维医疗影像进行处理，得到增强的训练样本集；以及根据增强的训练样本集对医疗预后预测模型进行训练。[0159]在一个实施例中，获取模块410,还用于获取多个原始的包括目标区域的三维医疗[0160]获取模块410,还用于获取第二图像处理方式的参数信息，其中，该第二图像处理[0161]处理模块430,还用于随机采用该第二图像处理方式所包括的处理方式中的一种或多种对该多个原始的包括目标区域的三维医疗影像中的部分或全部进行处理，得到至少一个增强的包括目标区域的三维医疗影像；以及将该多个原始的包括目标区域的三维医疗影像和该至少一个增强的包括目标区域的三维医疗影像作为训练样本，形成该训练样本[0162]在一个实施例中，处理模块430,还用于根据该医疗预后预测模型输出的预测数据[0163]处理模块430,还用于根据该交叉熵损失量，采用自适应梯度下降算法对该医疗预后预测模型中的第一网络和第二网络的模型参数进行优化。[0164]在一个实施例中，获取模块410,还用于从数据库读取第一预设值和/或第二预设[0165]处理模型430,还用于使用该第一预设值作为该第一网络的初始参数，和/或，使用该第二预设值作为该第二网络的初始参数。[0166]在一个实施例中，获取模型410还用于获取验证样本集，该验证样本集中的各个验证样本包含包括目标区域的三维医疗影像以及配对的医疗标签；[0167]输入模块420,还用于在该医疗预后预测模型拟合训练样本的情况下，将验证样本中的三维医疗影像输入该医疗预后预测模型，通过该第一网络对验证样本中的三维医疗影像的每一层进行特征提取，得到验证样本中的三维医疗影像对应的二维影像特征序列，以及将该二维影像特征序列中的二维影像特征依次输入该第二网络；[0168]处理模块430,还用于根据该第二网络输出的预测数据和验证样本中的医疗标签，确定验证样本对应的交叉熵损失量；[0169]处理模块430,还用于根据该验证样本对应的交叉熵损失量，从该医疗预后预测模型在训练过程中得到的多组收敛参数中选取该医疗预后预测模型的最优参数。[0170]在一个实施例中，该目标区域包括以下之一：癌变区域。[0172]在一个实施例中，该医疗预后预测模型中的第一网络为卷积神经网络，且该医疗预后预测模型中的第二网络为递归神经网络。[0173]本申请实施例提供的医疗影像处理装置中的各个模块的具体实现可以参照上述医疗影像处理方法中的内容，在此不再赘述。[0174]上述医疗影像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各个模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个模块对于的操[0175]图6示出了实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图6示出的电子设备的计算机系统500仅是一个示例，不应该对本申请实施例的功能和使用范围带来任何限制。[0176]如图6所示，计算机系统500包括中央处理单元(CentralProcessingUnit,CPU)501,其可以根据存储在只读存储器(Read-OnlyMemory,ROM)502中的程序或者从存储部分508加载到随机访问存储器(RandomAccessMemory,RAM)503中的程序而执行各种适当的及RAM503通过总线504彼此相连。输入/输出(Input/Output,I/0)接口505也连接至总线[0177]以下部件连接至I/0接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CathodeRayTube,CRT)、液晶显示器(LiquidCrystalDisplay,LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如局域网(LocalAreaNetwork,LAN)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/0接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上计算机程序根据需要被安装入存储部分508。[0178]特别地，根据本申请