【《经典核回归方法和改进的核回归方法概述》6900字】

经典核回归方法和改进的核回归方法概述目录TOC\o"1-3"\h\u23175经典核回归方法和改进的核回归方法概述 1286951经典核回归方法 118511.1加权最小二乘法 2180481.2基于泰勒展开二阶微分的一维经典核回归 356501.3基于泰勒展开二阶微分的二维经典核回归 4278852改进的核回归方法 737362.1基于泰勒展开高阶微分的二维经典核回归 746252.2自适应的核回归方法 8319162.2.1双边核 947302.2.2转向核回归方法 10292152.2.3迭代转向核回归方法 13经典核回归方法回归模型属于统计学范畴，其理论丰富、发展较早、应用性强的一种重要数学模型近代以来，回归模型在多个领域得以应用，取得了良好的应用成果。反过来，应用的发展也促进了回归模型的理论研究的进步和研究的深度的增加。从线性回归发展到非线性回归，从参数回归发展到非参数回归，再到半参数回归，样本数据也从完全数据到删失数据，渐渐地，回归模型的建立越来越符合实际情况。接下来我们简单介绍一下回归模型的发展历程以及常用的回归方法。客观世界中的事物是都是有某种联系的，因此用来描述客观事物的各种变量之间也存在着某种关系。在统计学中，统计学家用回归分析方法来确定变量间的定量关系，可以是两个变量，也可以是多个变量。我们假设有预测变量X和响应变量Y，那么我们就可以通过观测数据来确定变量和之间的函数关系式，在回归分析中就被称作回归函数。根据回归函数的对参数前提假设不同，可以分成参数回归模型、非参数回归模型和半参数回归模型。如果回归函数模型可以由有限个参数刻画时，即回归函数除了参数之外，函数形式是已知的，那么这样的模型就被称作参数回归模型。我们本科阶段所学的模型大多为参数模型，建立参数回归模型需要从研究经验、历史资料中获取关于回归函数的大量的信息，因此假设参数回归模型成立时，我们得到的结论的可信度是很高的。基于参数回归的数字图像处理方法依赖所关注信息的特定模型，且在存在噪声的情况下估计该模型的参数值，此方法在图像去噪和图像插值的各种问题中被广泛应用。然后将估计出的参数模型作为基础信号的最佳估计，但是每次都选择到合适的参数模型是不大可能的，一旦选择错误，结论也将错误。为了避免这种情况，非参数回归模型应运而生。当预测变量和响应变量之间的的回归函数模型形式复杂时，使用参数回归模型来处理观测数据集合是非常难的，而非参数回归模型只假设回归函数是连续的和可微的，具有平方二阶导数的。与参数方法不同的是非参数方法依考样本数据本身来建立模型的结构，为我们提供了一个表示数据集合之间相关关系的可靠的的方法[9]。当参数模型不合适时，非参数模型就是一个重要的分析模型。而且，与参数模型相比，非参数回归模型更加灵活，应用更加广泛。核回归，也称为核平滑，提供了一种估计非参数回归函数的方法，不需要指定参数[4]。在核回归中，点Y处的估计值可以通过该点及其邻域的加权平均值来计算。这几年，随着机器学习方法的出现和发展，核回归方法已经众所周知，并且常地用于模式检测和区分问题。除此之外，还有一些常用的回归方法，如B样条插值方法、三次样条插值方法等等[17]。加权最小二乘法众所周知，最小二乘法是利用现有数据估计模型来预测未来数据最常用的方法之一。最小二乘法的思想是使样本点的真实值与预测值的差的平方和最小，误差平方和公式如下：(2-1)最小二乘法的各项数据的地位是平等的，但实际情况是时间序列各项数据对未来的影响作用应是不同的。通常情况下，距现在时间越近的样本数据比起较远样本数据对未来的影响更大。因此较为合理的方法就是对数据进行加权处理，对近期样本数据赋以较大的权数，对远期样本数据则赋以较小的权数，这便是加权最小二乘法的思想，加权最小二乘法是对原模型进行加权，使之成为一个新的不存在异方差性的模型，然后利用误差平方和最小原理估计其参数的一种数学优化技术。加权最小二乘法的误差平方和公式如下：(2-2)基于泰勒展开二阶微分的一维经典核回归我们从一维经典核回归方法开始介绍，其中测量数据由下面的模型给出(2-3)其中回归函数是坐标点处的图像的真实像素值，表示数据像素观测值，是独立同分布的高斯加性噪声，其均值为零，n是邻域中采样点的个数。核回归估计的思想是通过观测样本数据集从而估计回归函数。该过程相当于对观测数据进行去噪。在的形式还没有确定的时候，为了估计函数在给定数据下任意点处的值，假设它是阶局部平滑的。假设是附近的样本点,则相应的阶Taylor展开式为(2-4)我们现在认为泰勒级数是回归函数的局部表示，估计参数可以得到基于样本数据的回归函数的期望的估计（局部估计）。因为这种方法是基于局部近似的，自然地，一个合理的步骤是从数据中估计参数，同时给予附近的样本比更远的样本更高的权重。捕捉这一思想的加权最小二乘公式用于解决以下优化问题[25]:(2-5)其中，K(·)是核函数，其本质相当于加权最小二乘方法的权重函数，用来惩罚各个采样点距中心像素点的距离，平滑参数h(也称其为带宽)控制这种惩罚的强度。特别地，该核函数K是连续的、有界的对称函数，并在零点处达到最大值，满足(2-6)(2-7)值得注意的是，上述近似结构不能做到全局拟合，不是一个标准的参数模型，而是将估计问题转换成为数据的局部特征。其次，在局部结构的估计中，分析窗口中远离中心点的样本数据权重较低，距离中心点近的样本的数据权重更高。特别的，这种方法并不严格要求数据必须规则或符合等间距的采样结构。具体地说，只要样本接近该点，此方法就是有效的，这与不直接考虑采样点位置或依赖于规则采样的一般参数方法是不同。最后，此方法对于图像去噪是有效的，并且对于在没有实际样本存在的点处的采样数据的图像插值问题同样是可行的。综上所述，基于核的方法可以广泛应用到各种图像处理的问题中。回到最小二乘思想，提高阶数N我们可以得到更加复杂的信息更多的局部近似，在非参数回归模型中，局部常数(N=0)、局部线性(N=1)、局部二次近似(N=2)研究较为广泛。尤其，当N=0时，即Nadaraya-Watson估计[6、7]，是一个局部线性滤波器，具体来说，该估计量具有以下形式：(2-8)Nadaraya-Watson估计（NWE）是由核回归框架产生的自适应滤波器的最简单的表现形式。当然，高阶近似也是存在的。与平滑度h一样的，估计的偏差和方差也会受到阶数选择的影响。我们将在第4节介绍。基于泰勒展开二阶微分的二维经典核回归与1维情况相似，2维图像信号的样本数据集模型由下式给出：(2-9)给定数据下任意点x处的估计值，由相应的N阶Taylor展开式展开为(2-10)其中是2×1梯度向量，是2×2Hessian矩阵运算符号。是矩阵向量化运算符号，它按列的顺序将矩阵排列为列向量。定义vech(·)为对称矩阵的下三角形部分的半向量化算子，其将下三角矩阵转换成一个列向量。例如：(2-11)考虑到Hessian矩阵的对称性，展开式简化为(2-12)显然，是感兴趣的像素值，并且向量和分别是(2-13)(2-14)与单变量数据的情况一样，是根据以下优化问题计算的:(2-15)其中，核函数定义为：(2-16)其中是内核函数的二维实现，本质仍是权重函数。H是2×2平滑矩阵，这将在本节后面更仔细地研究。下面我们为了降低计算的难度，将估计值以矩阵形式表示为加权最小二乘优化问题(2-17)(2-18)不管估计的阶数，我们的主要兴趣是计算图像的估计值(像素值)，所以必要的计算仅限于估计参数的计算。因此，最小二乘估计简化为[25](2-19)其中是第一个元素等于1，其余元素等于0的列向量。在这一节中，我们提出了一个计算效率更高、更直观的解决上述核回归问题的矩阵形式的等价核方法。研究表明，是一个分块矩阵，具有如下结构:(2-20)其中是一个k×m的矩阵分块。分块矩阵的元素如下表示:(2-21)(2-22)(2-23)(2-24)(2-25)(2-26)根据上述的简化过程，估计值的展开式可以表示为如下表示的局部线性滤波过程(2-27)不同阶数的等价核的具体形式如下：(2-28)(2-29)(2-30)其中(2-31)综上所述，无论阶数高低，经典核回归方法只是数据的局部加权平均，即线性滤波，阶数决定了加权方案的类型和复杂性。这也表明高阶回归本质上相当于零阶回归(N=0)，但具有更复杂的核函数。也就是说，为了实现更高阶的回归，原始核被修改以产生适应阶数的新的等价核。改进的核回归方法基于泰勒展开高阶微分的二维经典核回归在前面2.1和2.2节中，我们假设预测变量是N阶局部光滑的来估计函数在给定数据下任意点处的值。这里我们以1维为例，来证明一些简单的性质。假设是附近的采样点,则相应的N阶Taylor展开式为(2-32)基于泰勒展开二阶微分的经典核回归方法的理论在第2节已经给出，简化后的展开式和不变，下面简单说明推广到三阶和四阶微分时，公式的变化。根据二元函数泰勒公式可以推出后面项的和(2-33)(2-34)而矩阵形式的等价核中的分块矩阵部分就变成：(2-35)(2-36)其中，是k×m的矩阵分块。之前我们提到过，我们假设非参数回归模型回归函数是连续的和可微的，具有平方二阶导数的，这是为了便于理论理解和学习。而实际情况中，图片的像素却是离散的。所以我们在实际处理中用离散形式处理，即求和运算。而在理论学习中，我们用与求和运算相对应的积分运算来研究。(2-37)将泰勒展开式展到二阶微分，由上述公式可见，一阶微分项积分为零，这是由高斯核函数的对称性所决定的，推广到任意一对称核函数也是如此。同理，其三阶微分项积分也为零。理论上，泰勒展开式展到三阶的估计结果与二阶无差。因为，对于均匀采样的数据，核函数对称条件的直接结果是所有奇数阶的矩是由值非常接近零的元素组成。因此，N=2和N=3的内核基本相同。由于这种观察适用于所有回归阶数，对于规则采样的数据，在结果相同的情况下，阶数N=2q的回归优于阶数N=2q+1的回归，因为阶数N=2q的回归计算更简便，其中阶数N=2q的回归和阶数N=2q+1的回归矩阵形式的等价核是相同的。在第四节中，我们将用仿真模拟试验结果来证明上述观点。利用经典核回归方法可以在图像平滑区域获得最佳的去噪效果，但当平滑参数h选择过大时，会导致图像边缘区域模糊，从而丢失边缘等细节信息。综上所述，有必要对经典核回归方法进行改良，以获得去噪效果更好的清晰图像。自适应的核回归方法在上一节中，我们研究了基于二阶泰勒展开式的经典核回归方法及其特性。我们可以得出，对上述方法得出的一个结论，即无论阶数高低，经典核回归估计值本质上是数据的局部线性组合。虽然经典核回归方法相对容易分析，并具有吸引人的渐近性质，但由于这种对数据的局部线性作用，它们受到固有的限制。在接下来的内容中，我们将讨论内核回归方法的拓展，它使这个结构对数据具有非线性的、更有效的作用。适应数据的核回归方法不仅取决于样本位置和密度，还取决于这些样本点的像素值大小，即样本辐射特性。因此，回归核形状和大小被合理地局部调整以适应图像本身特征，例如边缘。我们拿Lena图像举例子，Lena图像中Lena戴的帽子的帽子边沿就是一个典型的边缘。数据自适应核回归的结构如下：(3-1)双边核一个自然而然的选择核函数想法就是选择分离的核函数项来惩罚感兴趣的像素和其周围的数据之间的距离，以及相应的像素与(3-1)其中，是样本像素空间距离的平滑矩阵，是像素值的平滑参数。这种性质的自适应核回归方法，我们称之为双边核回归方法，可以通过研究N=0的特殊情况来很好的理解，这样就产生了Nadaraya-Watson估计的适应数据的双边核函数版本，估计量如下[5]、[13]：(3-2)我们注意到，这里的既取决于样本点的空间距离，又取决于辐射距离，即样本像素点的像素值和中心像素点的差值。一般来说，由于任意位置的像素值可能无法从数据中获得，因此双边核方法的直接应用仅限于图像去噪问题。在任何时候，将双边核分解成空间项和辐射项会削弱核估计方法的性能，因为它忽略了像素位置和它们的像素值之间的相关性。特别的，我们注意到，对于噪声含量很大的数据集，，即样本点像素值与中心点像素值的差，往往很大，在这种情况下，辐射权重非常接近于零，从而无法达到引入辐射项的目的和效果。因此，这一项实际情况中是无效的。下一小节介绍了一个新的方案来解决双边内核的这个问题。转向核回归方法在上文研究的非参数回归模型的基础上，接下来我们对双边滤波过程作进一步的研究。事实上，引入辐射项的效果是计算相邻像素值之间局部梯度的估计值，并用该估计结果对数据进行加权。比如，一个像素样本点位于一条边缘附近，那么与此像素点在边缘同一侧的像素将在滤波中具有更大的影响。依然拿Lena图像举例子，对于临近帽沿的某一像素点来说，在其附近的且在帽子上的像素对其的影响更大，而不在帽子上的背景区域的像素点虽然距离其很近，但几乎对此像素点没有影响。基于这种思想，我们提出了一种适应数据的方法，首先使用一种梯度估计方法，比如二阶经典核回归方法，对图像数据的梯度进行初始估计。接下来，使用该估计判断图像中局部梯度的主导方向。在第二个阶段，主导方向的信息被用于自适应地调整局部内核，导致沿着局部边缘结构的方向扩展为拉长的椭圆形轮廓。使用这些局部自适应的核，去噪沿着边缘方向会受到最强的影响，而不是穿过边缘方向，导致最终输出图像中的边缘等细节得到强有力的保留。数据自适应核函数采用以下形式：(3-3)与经典核回归的平滑矩阵不同，转向核回归的平滑矩阵为适应数据的全矩阵，定义如下(3-4)其中是基于局部像素值差异的对称协方差矩阵。如果选择的好，它将有效地沿着局部边缘扩展核函数.在这里，本文选择了一个较为罕见的核函数[39]，(3-5)那么转向核函数的数学表达式为(3-6)梯度协方差（或局部主导方向）与局部边缘结构相关，其中该协方差矩阵的原始估计可以由下估计式获得(3-7)其中和是沿和方向的梯度函数，是感兴趣像素点附近的局部分析窗口。梯度的主要局部方向与此估计矩阵的特征向量相关。虽然此方法简单易懂，且对噪声有很好的抵抗能力，但是协方差矩阵的估计结果有会出现不稳定或不满秩情况的可能性，不能直接求其逆矩阵，在这种情况下，利用正则化或对角化方法可以获得稳定的协方差的估计[25]。为了得到更方便的协方差矩阵形式，我们将其分解为三个分量，相当于特征值分解，如下所示:(3-8)其中是旋转矩阵，是伸缩矩阵。是旋转参数，是尺度参数，是伸缩参数。根据前人的工作，局部梯度的主导方向对应局部梯度矩阵的最小非零奇异值的奇异向量，其排列形式如下:(3-9)其中是的截断奇异值分解，是表示主导方向的2×2对角矩阵，2×2正交矩阵的第二列定义了主方向角(3-10) (3-11)对应于主导梯度方向的能量来选择。其中是核伸长的正则化参数，它限制了噪声的干扰，可以保证分母大于零。伸缩参数作用是在平坦区域保持内核的圆形形状，并在边缘区域附近将其拉长。(3-12)是正则化参数，它抑制了噪声的影响，并防止变为零，M是局部分析窗口中的样本点的数量。尺度参数的作用是在产生清晰图像的同时减少噪声污染。在平坦区域建议使用相对较大的核，在纹理区域建议使用相对较小的核。注意，的局部梯度和局部梯度矩阵的特征值在平滑区域(低频区域)比纹理区域(高频区域)小。一个二元函数与二维高斯核函数的卷积，本质上相当于此二元函数在每一个点的一个以某参数尺度做邻域内的加权平均。所以，在尺度邻域内，灰度变化最快的方向是，变化率为；在这个点的同一邻域内，灰度变化最慢的方向是，变化率为。因为是的特征值的几何平均值，所以使得导向核区域在平坦区域大，在纹理区域小。的特征向量与图像的局部特征之间的关系的三种情况如下：当和都很小时，说明该店邻域内的图像沿任意方向的像素值变化速度都很小，对应图像的平坦区域。当远大于时，说明图像沿某一方向的变化速度远远大于与该方向垂直的变化速度，对应图像有明显的边缘结构或流线结构。当和都很大时，说明图像在两个互相垂直的方向上灰度变化速度都非常快