CN114022444B 超声图像的处理方法及装置 （青岛海信医疗设备股份有限公司）

(19)国家知识产权局(12)发明专利有限公司11291专利代理师王英审查员杨欢本申请提供一种超声图像的处理方法及装采用结合边缘检测算法的非线性扩散方法对超量2对所述待处理超声图像进行多尺度分解，得到多个尺度的子图；所述多个尺度的子图中包括第一类子图和第二类子图；所述第一类子图为基于预设规则选取的目标尺度的子对所述第一类子图进行边缘提取，得到所述第一类子图中各像素点的边缘显著性参数；以及，基于结构张量矩阵获取所述第一类子图的特征值和特征向量两个特征值之间的差值确定边缘判断因子，所述边缘判断因子与所述差值具有正相关关对所述第一类子图和第二类子图执行重建操作，得到与所述待基于所述频域信息得到带通滤波器的在各像素点处的各方向尺度的偶对称滤波响应针对每个像素点，基于所述像素点的各方向尺度的所述偶对称滤波响应和所述奇对称其中，PAS为边缘显著性参数、odd为所述像素点在方向尺度s下的奇对称滤波响应、3其中，D为扩散张量、@₁和@₂均为基于结构张量矩阵获取的所述第一类子图的特征向采用高斯金字塔方式或小波金字塔方式对所述待处理超4超声图像的处理方法及装置技术领域[0001]本申请涉及超声图像处理技术领域，尤其涉及一种超声图像的处理方法及装置。背景技术[0002]医学超声成像可以做到实时查看病变组织的内部结构，并且不像CT等存在辐射损害，目前被广泛应用于临床检查中。[0003]但相比于CT等其他医学图像，超声图像存在边缘不够清晰、对比度低等缺点。当诊断过程中对病变区域的边缘清晰度有较高需求时，超声图像的缺陷可能会影响到临床医生的诊断结果。[0004]针对超声图像部分边缘清晰度不够、对比度低等问题，可以从信号层面和图像层面进行优化。在信号层面进行优化，主要是为了减少接收信号中旁瓣分量、栅瓣分量、噪声分量等成分，提高波束合成的准确率；在图像层面进行优化，主要是利用图像后处理技术提高图像对比度、边缘的清晰度等，进而改善[0005]基于信号层面的处理方案，是对源头信号的优化过程很容易破坏原始信号的结构，造成有用信号的缺失，并且由于原始信号的数据量较大，优化过程中引入的计算复杂度对系统成像的实时性是一种考验。[0006]基于图像层面的处理方案中，由于图像的数据量要明显低于原始信号的数据量，且图像后处理技术经过几十年的发展，处理得当则可以提高超声图像对比度、边缘清晰度和图像的整体质量。[0007]基于此，如何在图像层面提高超声图像边缘的清晰度和对比度仍有待改进。发明内容[0008]本申请实施例提供一种超声图像的处理方法及装置，用于解决如何在图像层面提高超声图像边缘的清晰度和对比度的问题。[0010]获取待处理超声图像；[0011]对所述待处理超声图像进行多尺度分解，得到多个尺度的子图；所述多个尺度的子图中包括第一类子图和第二类子图；所述第一类子图为基于预设规则选取的目标尺度的子图；[0012]调整所述第一类子图的对比度；[0013]对所述第一类子图进行边缘提取，得到所述第一类子图中各像素点的边缘显著性[0014]基于结构张量矩阵获取所述第一类子图的特征值和特征向量，基于所述特征值和所述特征向量构建扩散张量；[0015]采用所述扩散张量和所述边缘显著性参数对所述第一类子图进行扩散处理；[0016]对所述第一类子图和第二类子图执行重建操作，得到与所述待处理超声图像的尺5寸相同的目标超声图像。[0017]可选的，所述对所述第一类子图进行边缘提取，得到所述第一类子图中各像素点[0019]基于所述频域信息得到带通滤波器的在各像素点处的各方向尺度的偶对称滤波响应和奇对称滤波响应；[0020]针对每个像素点，基于所述像素点的各方向尺度的所述偶对称滤波响应和所述奇对称滤波响应确定所述像素点的边缘显著性参数。[0021]可选的，所述基于所述像素点的各方向尺度的所述偶对称滤波响应和所述奇对称滤波响应确定所述像素点的边缘显著性参数，具体包括：[0022]基于以下公式确定所述像素点的边缘显著性参数：应、even为方向尺度s下的偶对称滤波响应、T为方向尺度s下的噪声估计、ε为大于0的常[0025]可选的，所述基于结构张量矩阵获取所述第一类子图的特征值和特征向量，基于所述特征值和所述特征向量构建扩散张量，具体包括：[0026]基于所述第一类子图的两个特征值之间的差值确定边缘判断因子，所述边缘判断因子与所述差值具有正相关关系；[0027]获取所述边缘判断因子所在的取值范围对应的目标特征值作为第一特征值，并将预设常数值确定为第二特征值；[0028]采用所述第一特征值、所述第二特征值和所述特征向量构建所述扩散张量。[0029]可选的，所述获取所述边缘判断因子所在的取值范围对应的目标特征值作为第一[0030]基于以下公式确定所述第一特征值和所述第二特征值：[0036]若K<Ktissue,且所述像素点的边缘显著性参数大于预设参数阈值，则更新所述第一特征值为beta和所述像素点的PAS的乘积。[0037]可选的，所述基于结构张量矩阵获取所述第一类子图的特征值和特征向量，基于所述特征值和所述特征向量构建扩散张量，具体包括：[0038]基于以下公式构建所述扩散张量：6[0040]其中，D为扩散张量、@₁和①₂均为基于结构张量矩阵获取的所述第一类子图的特[0041]可选的，所述调整所述第一类子图的对比度，具体包括：[0042]针对任意像素点，基于以下公式调整所述第一类子图的对比度：ifI(x,y)<w*mean(1)[0044]其中，I′(x,y)为所述像素点更新后的灰度值、I(x,y)为所述像素点的原灰度值、@为预设控制系数、mean(I)为所述第一类子图的平均灰度值。[0045]可选的，所述对所述待处理超声图像进行多尺度分解，具体包括：[0046]采用高斯金字塔方式或小波金字塔方式对所述待处理超声图像进行多尺度分解。单元和探头；[0050]处理器，分别与所述探头以及所述显示单元相连接，被配置为执行如第一方面中任一所述的方法。[0051]第三方面，本申请一实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本申请第一方面中提供的任一方法。[0052]第四方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本申请第一方面中提供的任一方法。[0053]本申请的实施例提供的技术方案至少带来以下有益效果：本申请中对超声图像进行多尺度分解，对其中至少一个尺度的图像进行边缘提取，并基于结构张量矩阵获取该尺度图像的特征值和特征向量，然后基于特征值和特征向量构建扩散张量来提高图像质量，由此实现了采用结合边缘检测算法的非线性扩散方法对超声图像进行优化处理，优化了该尺度超声图像的边缘和对比度。然后对多个尺度的超声图像进行重建，得到高质量的超声图像。[0054]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明[0055]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0056]图1为本申请实施例提供的超声设备的结构示意图；7[0057]图2为本申请一实施例提供的超声设备实现超声图像的原理示意图；[0058]图3为本申请一实施例提供的超声图像处理方法的流程示意图之一；[0059]图4为本申请一实施例提供的超声图像处理方法的流程示意图之二；[0060]图5A和图5B为本申请一实施例提供的方向和特征向量的示意图；[0061]图6为本申请一实施例提供的超声图像处理方法的流程示意图之三。具体实施方式[0062]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B,可以表示：单独存在A,同时存在A和B,单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。[0065]针对超声图像部分边缘清晰度不够、对比度低等问题，本申请提供了一种在图像层面提高超声图像质量的方案。[0066]本申请的发明构思可概括为：本申请中对超声图像进行多尺度分解，对其中至少一个尺度的图像进行边缘提取，并基于结构张量矩阵获取该尺度图像的特征值和特征向量，然后基于特征值和特征向量构建扩散张量来提高图像质量，由此实现了采用结合边缘检测算法的非线性扩散方法对超声图像进行优化处理，优化了该尺度超声图像的边缘和对比度。然后对多个尺度的超声图像进行重建，得到高质量的超声图像。[0067]下面结合附图，对本申请提供的超声图像的处理方法进行说明。[0068]下面结合附图对本申请实施例提供的超声设备和超声图像的干扰抑制方法进行说明。[0069]参见图1所示，为本申请实施例提供的超声设备的结构框图。[0070]应该理解的是，图1所示超声设备100仅是一个范例，并且超声设备100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。[0071]图1中示例性示出了根据示例性实施例中超声设备100的硬件配置框图。[0072]如图1所示，超声设备100例如可以包括：处理器110、存储器120、显示单元130和探头140;其中，[0073]探头140,用于发射超声信号；[0074]显示单元130,用于显示超声图像；8[0075]存储器120被配置为存储用于超声成像所需的数据，可包括软件程序，应用界面数据等；[0076]处理器110,分别与所述探头140、所述显示单元130和存储器120相连接，被配置为执行：[0077]获取待处理超声图像；[0078]对所述待处理超声图像进行多尺度分解，得到多个尺度的子图；所述多个尺度的子图中包括第一类子图和第二类子图；所述第一类子图为基于预设规则选取的目标尺度的子图；[0079]调整所述第一类子图的对比度；[0080]对所述第一类子图进行边缘提取，得到所述第一类子图中各像素点的边缘显著性[0081]基于结构张量矩阵获取所述第一类子图的特征值和特征向量，基于所述特征值和所述特征向量构建扩散张量；[0082]采用所述扩散张量和所述边缘显著性参数对所述第一类子图进行扩散处理；[0083]对所述第一类子图和第二类子图执行重建操作，得到与所述待处理超声图像的尺寸相同的目标超声图像。[0084]可选的，执行所述对所述第一类子图进行边缘提取，得到所述第一类子图中各像素点的边缘显著性参数，所述处理器具体被配置为执行：[0085]将所述第一类子图转换到频域，得到频域信息；[0086]基于所述频域信息得到带通滤波器的在各像素点处的各方向尺度的偶对称滤波响应和奇对称滤波响应；[0087]针对每个像素点，基于所述像素点的各方向尺度的所述偶对称滤波响应和所述奇对称滤波响应确定所述像素点的边缘显著性参数。[0088]可选的，执行所述基于所述像素点的各方向尺度的所述偶对称滤波响应和所述奇对称滤波响应确定所述像素点的边缘显著性参数，所述处理器具体被配置为执行：[0089]基于以下公式确定所述像素点的边缘显著性参数：[0091]其中，PAS为边缘显著性参数、odd,为所述像素点在方向尺度s下的奇对称滤波响应、even为方向尺度s下的偶对称滤波响应、T为方向尺度s下的噪声估计、ε为大于0的常[0092]可选的，执行所述基于结构张量矩阵获取所述第一类子图的特征值和特征向量，基于所述特征值和所述特征向量构建扩散张量，所述处理器具体被配置为执行：[0093]基于所述第一类子图的两个特征值之间的差值确定边缘判断因子，所述边缘判断因子与所述差值具有正相关关系；[0094]获取所述边缘判断因子所在的取值范围对应的目标特征值作为第一特征值，并将预设常数值确定为第二特征值；[0095]采用所述第一特征值、所述第二特征值和所述特征向量构建所述扩散张量。9[0096]可选的，执行所述获取所述边缘判断因子所在的取值范围对应的目标特征值作为第一特征值，并将预设常数值确定为第二特征值，所述处理器具体被配置为执行：[0097]基于以下公式确定所述第一特征值和所述第二特征值：[0103]若K<Ktissue,,且所述像素点的边缘显著性参数大于预设参数阈值，则更新所述第一特征值为beta和所述像素点的PAS的乘积。[0104]可选的，执行所述基于结构张量矩阵获取所述第一类子图的特征值和特征向量，基于所述特征值和所述特征向量构建扩散张量，所述处理器具体被配置为执行：[0105]基于以下公式构建所述扩散张量：[0107]其中，D为扩散张量、@₁和@₂均为基于结构张量矩阵获取的所述第一类子图的特[0108]可选的，执行所述调整所述第一类子图的对比度，所述处理器具体被配置为执行：[0109]针对任意像素点，基于以下公式调整所述第一类子图的对比度：[0111]其中，I'(x,y)为所述像素点更新后的灰度值、I(x,y)为所述像素点的原灰度值、@为预设控制系数、mean(I)为所述第一类子图的平均灰度值。[0112]可选的，执行所述对所述待处理超声图像进行多尺度分解，所述处理器具体被配置为执行：[0113]采用高斯金字塔方式或小波金字塔方式对所述待处理超声图像进行多尺度分解。[0114]图2为根据本申请一个实施例的应用原理的示意图。其中，该部分可由图1所示超声设备的部分模块或功能组件实现，下面将仅针对主要的部件进行说明，而其它部件，如存[0115]如图2所示，应用环境中可以包括用户界面210、用于显示用户界面的显示单元220以及处理器230。[0116]显示单元220可以包括显示面板221、背光组件222。其中，显示面板321被配置为对超声图像进行显示，背光组件222位于显示面板221背面，背光组件222可以包括多个背光分区(图中未示出),各背光分区可以发光，以点亮显示面板221。[0117]处理器230可以被配置为控制背光组件222中各背光分区的背光源亮度，以及控制探头发射超声信号，并接收超声回波信号并进行分析得到超声图像。[0118]其中，处理器230可以对超声图像进行优化处理，提高超声图像的边缘清晰度和对[0119]如图3所示，为本申请实施例中超声图像的处理方法的流程示意图，采用原始超声信号得到原始超声图像之后，该原始超声图像可作为待处理超声图像，并对该图像执行以下步骤：[0121]由此，本申请中待处理超声图像是基于原始超声回波信号生成的，使得待处理超声图像中保留了更多的原始信号信息。[0122]在步骤302中，对待处理超声图像进行多尺度分解，得到多个尺度的子图；多个尺度的子图中包括第一类子图和第二类子图；第一类子图为基于预设规则选取的目标尺度的子图。[0123]本申请实施例中，可采用高斯金字塔方式或小波金字塔的方式进行多尺度分解。将图像分解到多个不同尺度上，其中下一层图像的长和宽是上一层图像的1/2。例如，原始超声图像尺寸为M*N,进行高斯金字塔分解后，可以获得M*N,1/2M*1/2*N,1/4*M*1/4*N...等逐层尺寸减小的多个尺度的图像。由于层数越多，最小尺度的图像越小，细节信息将会变[0124]在实施时，可以选择其中一个尺度的子图作为第一类子图，也可以选择多个尺度的子图作为第一类子图，可根据实际需要设置，均适用本申请实施例。每个尺度的第一类子图都执行步骤303-步骤306的操作。[0126]在一种可能的实施例中，对图像中灰度值较低的区域进行灰度值调整，经过该步骤后，图像的对比度将会比处理前的图像有较大的提高。如可实施为：针对任意像素点，基于以下公式(1)调整第一类子图的对比度：ififI(x,y)<w*mean(I)[0128]在公式(1)中，I'(x,y)为预设控制系数、mean(I)为第一类子图的平均灰度值。[0129]调高图像的对比度，尤其增强囊肿、结节等病变部位的清晰度可为医学诊断提供有力的支撑。[0130]在步骤304中，对第一类子图进行边缘提取，得到第一类子图中各像素点的边缘显著性参数。[0131]本申请实施例中，边缘显著性参数可理解为用于描述相应像素点为边缘点的概率，或者是边缘点的置信度。在实施时，对第一类子图进行边缘检测，可采用基于像素梯度的边缘提取方式，如sobel、Prewitt算子等边缘检测方法。但这些方法的边缘检测准确率有待提高，对于低对比度区域的边缘提取效果有待提高。如果低对比度区域的边缘提取效果不好，容易导致未识别出的边缘经过平滑处理后变得模糊。[0132]为了能够提高提取边缘的准确性，本申请中提供了基于相位的边缘提取方式。该方式中的理论基础为：将方波展开为傅里叶级数后，所有的傅里叶分量都是正弦波，当方波傅里叶分量都是余弦波，当三角波相位处于90°和270°时，分别对应着波峰和波谷。如果把信号的上升沿、下降沿、波峰和波谷看作信号的边缘，则傅里叶变换后相位一致性最大的位置则对应着信号边缘的位置。基于该原理，本申请实施例中，可以基于带通滤波器来提取边缘显著性参数，如图4所示可包括以下步骤：[0134]在步骤402中，基于频域信息得到带通滤波器的在各像素点处的各方向尺度的偶对称滤波响应和奇对称滤波响应；[0136]在步骤403中，针对每个像素点，基于像素点的各方向尺度的偶对称滤波响应和奇对称滤波响应确定像素点的边缘显著性参数。[0137]以信号f为例，Riesz滤波器对第一类子图的频域信号滤波后结果为：[0139]在公式(2)中，其中，f是2维信号f(即第一类子图)的Rieze变换，r₁和，r₂分别表示Riesz滤波器奇部分和偶部分，even和odd分别表示偶对称滤波响应和奇对称的滤波响应。[0140]Riesz滤波器r₁和，r₂的空域表达式如公式(3)所示：[0142]在公式(3)中，x₁、x₂为第一类子图在频域(x₁、x2)位置处的信号值。得到每个位置处的器r₁和，r₂的空域表达式之后，可以得到每个像素点的边缘[0144]可以采用公式(2)计算出(even,odd)。然后采用公式(4)确定出各个像素点的边缘显著性参数。[0146]在公式(4)中，PAS为边缘显著性参数、odd,为像素点在方向尺度s下的奇对称滤波[0147]每个像素点在频域可包括多个方向尺度，例如8个或者12个，可根据实际需求的配[0148]在步骤305中，基于结构张量矩阵获取第一类子图的特征值和特征向量，基于特征值和特征向量构建扩散张量。示水平方向梯度的平方值，G。表示标准差为σ的高斯核，@₁,@2分别表示特征向量，这两个特征向量体现了邻域灰度差异最大和最小的两个方向，μ₁,μ₂分别表示特征值，这两个特征值体现了邻域灰度差异最大和最小强度。边缘方向如图5A所示，特征向量如图5B所示。图5B中，T1和T2分别表示切线方向上的特征向量，N1和N2分别表示法线方向上的特征向量，上述特征向量通过数学公式都可以计算得到，不再赘述。[0152]在一种可能的实施方式中，可基于第一类子图的两个特征值之间的差值确定边缘判断因子，且边缘判断因子与差值具有正相关关系。[0156]利用公式(6)确定出边缘判断因子之后，重构两个特征值。为便于计算，可以为边缘判断因子划分不同的区间，不同区间对应不同的特征值。例如可实施为获取边缘判断因子所在的取值范围对应的目标特征值作为第一特征值，并将预设常数值确定为第二特征[0157]如公式(7)所示为一种确定第一特征值和第二特征值的示例：Ktissue说明非边缘特征可以对特征值进行平滑操作，当K≥Ktissue²表明边缘特征，故此基于[0160]为了能够进一步增强边缘，本申请实施例中，对公式(7)进行了优化，优化后的公式如公式(8)所示：[0163]公式(8)的含义是，若K<Ktissue²,且像素点的边缘显著性参数大于预设参数阈值，该点更接近边缘，需要增强所以采用λ1=beta*PAS相对该点进行增强，达到增强边缘的目[0164]在得到第一特征值、第二特征值以及两个向量@₁、@₂之后可采用公式(9)来构建扩散向量：[0166]在公式(9)中，D为扩散张量、@₁和@₂均为基于结构张量矩阵获取的第一类子图的[0167]基于构建的扩散向量在步骤306中，采用扩散张量和边缘显著性参数对第一类子图进行扩散处理；[0168]基于公式(9)构建的扩散向量，由于公式(8)对边缘进行增强，所以基于公式(8)构建的特征值，代入到公式(9)进行扩散处理之后，能够达到平滑非边缘，增强边缘的作用。[0169]在步骤307中，对第一类子图和第二类子图执行重建操作，得到与待处理超声图像的尺寸相同的目标超声图像。[0170]进行金字塔重建操作时，分别将在不同尺度上的处理结果进行重建，最终得到与原始图像尺寸相同的超声图像处理结果。例如L1,L2,L3…Ld层图像尺寸分别为M*N,1/2M*1/2N,1/4M*1/4N…1/2*(d-1)*M*1/2*(d-1)*N。步骤2～3在L1,L2,L3…Ld层的结果分别为：01,02,03,…Od,重建过程从下往上，依次对Od,…03,02进行重建，使其尺寸扩展到上一层的尺寸，然后与上一层的结果进行重建。上述重建和重建过程一直到初始层，最终得到优化后的超声图像。[0171]为便于系统性理解本申请实施例，下面结合图6对此进行说明：[0174]在步骤603中，对多个尺度的子图中至少一个尺度的子图提高其对比度。[0175]在步骤604中，对多个尺度的子图中至少一个尺度的子图转换到频域，得到频域信息，并基于频域信息得到带通滤波器的在各像素点处的各方向尺度的偶对称滤波响应和奇对称滤波响应。[0176]在步骤605中，针对每个像素点，基于像素点的各方向尺度的偶对称滤波响应和奇对称滤波响应确定像素点的边缘显著性参数。[0177]在步骤606中，对多个尺度的子图中至少一个尺度的子图，该子图的两个特征值之间的差值确定边缘判断因子，并获取边缘判断因子所在的取值范围对应的目标特征值作为第一特征值，并将预设常数值确定为第二特征值。[0179]在步骤608中，采用扩散张量和边缘显著性参数对相应的子图进行扩散处理；[0180]在步骤609中，对所有尺度的子图执行重建操作，得到与待处理超声图像的尺寸相同的目标超声图像。[0181]在示例性实施例中，本申请还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器120,上述指令可由超声100的处理器110执行以完成上述超声图像的处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备[0182]在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述序被处理器110执行时实现如本申请提供的超声图像的处理方法。[0183]在示例性实施例中，本申请提供的一种超声图像的处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的超声图像的处理方法中的步骤。[0184]程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读[0185]本申请的实施方式的用于超声图像的处理方法的程序产品可以采用便携式紧凑品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。[0186]可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0187]可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——[0188]可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。[0189]应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。[0190]此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是