数值分析_曲线拟合与线性最小二乘问题ppt课件.ppt

曲线拟合与线性最小二乘 1线性最小二乘问题 一 最小二乘问题的一般提法 在实际应用中 经常遇到下列数据处理问题 已知函数在m个点上的数据表 寻求其近似函数 设的近似函数为 其中是某函数族中的已知线性无关函数 第七章曲线拟合与线性最小二乘问题 CurveFittingandLinearLeastSquareProblem 称为残向量 寻求一组常数 要求 的2 范数达到最小 则得到最小二乘问题 上述问题的解也称为方程组的最小二乘解 当时称之为超定 或矛盾 方程组 所谓 曲线拟合 是指根据给定的数据表 寻找一个简单的表达式来 拟合 该组数据 此处的 拟合 的含义为 不要求该表达式对应的近似曲线完全通过所有的数据点 只要求该近似曲线能够反映数据的基本变化趋势 二 最小二乘多项式拟合 引例1 考察某种纤维的强度与其拉伸倍数的关系 下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的数据记录 可以看出 纤维强度随拉伸倍数增加而增加 并且24个点大致分布在一条直线附近 该直线称为这一问题的数学模型 因此可认为强度与拉伸倍数之间的主要关系是线性关系 怎样确定a b 使得直线能较好地反映所给数据的基本 变化趋势 采用最小二乘的思想 令 问题转化为求参数使达到最小值 这种求线性函数y a bx的过程称为线性拟合 一般地 设的近似函数为 寻求 使得 则称为函数的多项式拟合 满足下列法方程组 非线性拟合 某些非线性拟合问题可转化为线性拟合问题 线性化处理 令 则 由线性拟合方法可得到和 从而得到和 又如 若非线性函数取为 令 其中 三 最小二乘问题解的存在性 唯一性 方程组相容的充要条件是 满秩分解 证明 记 不妨假设的前列线性无关 令 其中 满秩分解 其中 其中 因此 对任何阶矩阵总存在满秩分解 证明 充分性 设是的解 必要性 设是方程组的最小二乘解 记 由极值的必要条件知 即 方程组必存在最小二乘解 证明 记 则存在满秩分解 法方程组可写成 证明 由定理7 1 3知 是一个最小二乘解 设是方程组的任一最小二乘解 下证 唯一性易证 解 解 例2 求一个形如 为常数 的经验公式 使它能和下表给出的数据相拟合 对两边取对数得 令 此时 写出法方程组 其中 2广义逆矩阵与最小二乘解 GeneralizedInverseMatrixandLeastSquaresSolution 一 广义逆的定义 设 则方程组 P1 P4 有唯一解 且解为 广义逆矩阵是通常意义下的逆矩阵的推广 若 则Penrose方程变为 定理7 2 2 二 广义逆的分类 3正交化方法 OrthogonalizationMethod 本节主要介绍一种特殊的满秩分解方法 正交分解 所谓正交分解是指 一 Gram Schmidt正交化方法 Gram Schmidt正交化方法 由得 Step1令 Step2用左乘 式的第二式两端得 令 Step的计算公式 单位正交向量 简称GS方法 二 改进的Gram Schmidt正交化方法 简称MGS方法 Step1令 记 用左乘 式的第2式至第n式两端得 则 式的第2式至第n式化为 记 Step2令 用左乘 式的第3式至第n式两端得 记 Step令 用左乘 式的第k 1式至第n式两端得 经过r步后得到 MGS算法 记 例3 用MGS方法求下列矩阵的正交分解 解 Step1 注意到矩阵的秩为2 且前2列线性无关 Step2 上述情况下极小最小二乘解的求法 方程组的极小最小二乘解可表示为 为了避免求逆 先计算 可采用G S法或平方根法求解 例4 用MGS方法求下列方程组的极小最小二乘解 解 三 正交分解和线性方程组的最小二乘解 记 且存在排列阵 使得 利用前述正交化方法对下梯形矩阵作正交三角分解 令 证明 由前面讨论知 将扩充为阶正交矩阵 将扩充为阶正交矩阵 定理7 3 1说明 秩为r的矩阵可分解为上述形式 则有下列结论 方程组的极小最小二乘解为 定理7 3 2中的 给出了极小最小二乘解的一种求法 证明 设是方程组的任一最小二乘解 一般情况下极小最小二乘解的求法 方程组的极小最小二乘解可表示为 四 Householder变换与Givens变换 1 Householder变换 H 矩阵的性质 是一个对阵的正交矩阵 反射性 对 是关于的垂直超平面的镜面反射 几何意义 证明 设 因为 证明 则 为H 矩阵 若 H 矩阵的计算 H 矩阵的计算过程 计算 计算 计算 H 矩阵的计算算法 7 3 1 见教材P219 的计算公式 H 矩阵在正交分解中的应用 寻找一系列H 矩阵 对的列逐次进行H 变换 具体步骤 Step1利用算法 7 3 1 确定H 变换 Step2再利用算法 7 3 1 确定H 变换 其中 重复上述过程 经r步后完成 经过r步后得到 其中为上梯形矩阵 例5 用Householder变换求下列方程组的极小最小二乘解 解 注意到矩阵的秩为2 且前2列线性无关 Step1 Step2 方程组的极小最小二乘解的求法同例4 2 Givens变换 平面旋转变换 若只需将向量的某个分量化为0时 采用Givens变换 称下列矩阵为Givens变换矩阵 n 3时 记 令 推广到一般情形 令 几何意义 是在坐标平面内将按顺时针方向旋转了度 令 Givens矩阵的计算 见教材P222 算法 7 3 3 例6 用Givens旋转变换求下列方程组的极小最小二乘解 解 注意到矩阵的秩为2