最小二乘法原理的几何解释

1、MacerMacerMCRMCRMacerMacer最小二乘法原理的几何解释这篇文章用通俗易懂的语言，从几何的角度解释了最小二乘法的解为什么是殳=(庄勾7A%,只要高中生的知识水平就可以了，彻底颠覆代几老师那种枯燥的上课方式！请在安静的时候花上10多分钟看看，你的线性代数水平会上一个档次的，这是真的。线性方程组的几何意义为了从儿何的角度解释最小二乘法，我们必须先回顾一下线性方程组的几何意义。线性方程组可以从行和列两个角度看。我们先看行的角度。从行的角度看从这种角度看线性方程组是高中老师教我们的。请看以下方程组，它表示平面上的两条直线。J+x2=3直线a+x3=1直线b)线性方程组的解就是这两条

2、直线的交点，刍=1,电=2。图1没什么大不了的，这谁都知道。但是怎么从列的角度看待线性方程组呢？我相信大部分人对从列的角度看线性方程组是感到陌生的。从列的角度看先把方程(1)写成矩阵的形式，得到(2)式。11X3-111TTTa】a2b从列的方向看矩阵，可以看到a】!)三个列向量，这样看还不是很明显，干脆把(2)式再拆开,得到(3)式。:卜+A胡TTT（3）x刍+a2xXg=b怎么拆的？矩阵乘法好像不是这个样子的！放心吧，矩阵乘法就是这个样子的，只是这种写法我们在代几课上不常见，但矩阵乘法的意义就是这个样子的。表示向量的刍倍加上向量心的X?倍等于向量b。刍和X?我们在看行图像的时候己经求出來了

3、，坷=1,冷=2。于是我们把向量aH向量心和向量b画到图2上。图2很神奇对不对，向量力的1倍加上向量心的2倍刚好等于向量b,而倍数1和2,就是我们要求的冯和爲。那么从列的角度看线性方程组Ax=b的解，就是为系数矩阵A里的每一列都寻找一个合适的倍数，使每一列乘上这个倍数后再相加刚好等于向量b,这个倍数就是解。官方语言就是找到A里的列向量的一个线性组合。只要学会了从列的角度看待一个线性方程组，接下的推导就很简单了。讲完了列的角度，终于要进入最小二乘法了!MacerMacerMCRMCRMacerMacer最小二乘法的几何解释我们从一个最简单的例子开始，已知平面上有3个点(1,2),(0,2),(2

4、,3),4132q1o-I1110123图3我们想用一条直线去拟合它。像高中时一样，设这条直线的方程为y=kx+b我们希望这条直线可以同时通过这三个点，也就是这条直线的参数要满足：v0 xk+b=22xk+b=3从图3直观的看，没有一条直线可以同时过这三个点，所以这个方程是无解的。怎么解一个无解的方程组呢？下面好戏开始了。为了表述方便，我们换一下符号，用刍表示k,用冷表示b。即：x+x2=20 x+x3=2(4)x冯+卷=3写成矩阵的形式：从列的角度看:-但化成列的形式，我们就很自然想到把向量a?和b画到图上。图4要找到解，就要找到a】和的一个线性组合，使得组合后的向量刚好等于b。可惜的是任何

5、的%和心线性组合，只可能出现在3】和a?所在的平面S上（这个平面S就是传说中的向量空间）,但是向量b不在平面S,如图5。不可能找到解，怎么办呢？图5找不到完美的解，就只能找到一个最接近的解。所以我们想在平面S上找一个最接近向量b的向量來代替向量b,记这个替代品向量为P。就是过向量b的终点做平面S的垂线（也就是做投影）,垂足就是代替向量P的终点。P与b之间的误差e=b-Po图6原來的方程为Ax=b是无解的，我们用P代替b后，P在a】和心所在的平面上，所以现在方程Ax=P就一定是有解的啦。接下来到了最关键的时候了，怎么解出丈？我们知道，P与b之间的误差为：e=b-P=b-Ax（5）要想使P与b之间

6、的差距最小，那么e定是垂直于平面S的，也就是要垂直于a】和想一想在高中时是怎么表示两个向量垂直的？只要他们的点乘等于0就行了。也就是ea】=0,=0,用矩阵表示出來就是aje=0,a2Te=0。即：辰=0把带入中，结果出來了，（b-公）=0,化简一下就是以加=以这就是传说的超定方程的解法，这么简单就推出來了！所以最佳的近似解就是文=（以勾】Xb。这里你是否担心A不可逆？不会的，只要A的每一列是线性无关的，那么就是一个可逆的对称的方阵。这样，按公式解出的11、-11lr1111021022538228111x=01=11111133715726-2131-丿26图7解出了最近似的解为（1/2,11/6）。从列的角度，我们就可以用勺和心的线性组合來表示P,如图7所示。那么最优的直线的斜率和截距就是我们解出的21/2,b二11/6二1.8333。如图8oA图8既不是行的角度，也不是列的角度，它只是问题的來源，那如果从行的角度看方程(4),是什么样子的，方程的每一行都是一条直线，三条直线不相交于一点，我们的解是图9中的圆点，是中间三角形的重心？质心？不知