《Numerical Methods》-chaper7-解线性方程组的直接方法和最小二乘问题

  基于我们在线性代数中学习过的知识,我们知道解线性方程组本质上就是Gauss消元,也就是基于增广矩阵A的矩阵初等变换。关于数学层面的内容这里不做过多的介绍,这里的侧重点是从数值计算的角度来看这些常见的问题。

  那么基于Gauss消元的算法,我们将会很好理解如下的Matlab代码:

  for j = 1:n-1

   for i = j+1 : n

     mult = A(i,j)/A(j,j);

A(i,:) = A(i,:) – mult*A(j,:);    %这里改写成A(i , j:n) = A(i,j:n) – mult*A(j,j:n)效率更高

b(i) = b(i) – mult*b(j);         %这里的b是增光矩阵的最右一列向量,也就是方程组右侧常数部分

end;

end;

  这我们能够明显的看到,由于这里计算mult的时候涉及除法,所以无法处理A(j,j)=0的情况。

  关于这种一般化的Gauss消元,进行如下的时间复杂度的分析,这里我们以进行多少次浮点运算为衡量标准。

  写法1 :

A(i,:) = A(i,:) – mult*A(j,:);

这种情况下,进行的浮点运算数如下:

                         

写法2:

  A(i , j:n) = A(i,j:n) – mult*A(j,j:n)

  这种写法相对第一种写法的优化,体现在在处理每一行的时候,自动跳过了该行前面为0的元素,以减少浮点运算的次数。

  它的运算次数计算过程如下:

 

   

  这里进行了相当精确的计算,可以看到,对于n x n的系数矩阵,完成Guess消元至少也需要进行n的三次方次浮点运算。

  承接上面对Guess消元算法的详细运算复杂度的分析,我们在分析时间复杂度的时候,往往会需要计算如下的一个和式:

                             

  这里就简单的介绍一下这个和式的一个估算方法。

  我们利用幂函数与x轴围成的面积,使用一个类似夹逼准则的手法,来对这个和式进行估算。

 

  我们将幂函数y = x^p,横坐标取m份,间距为1。

  那么和式其实就是图中矩阵的和,那么我们很容易能够看到如下的一个不等式成立:

   

  而这里我们观察前4个矩形上面的小矩形,他们和实际上等于第5个矩形,因此我们容易看到如下的不等式:

   

  因此这个和式成功的被两个定积分给“夹逼”了,下面分别求定积分。

   

   

   求线性方程组Ax=b的几种方法的比较:

  

 

                           

                           

原文地址:https://www.cnblogs.com/rhythmic/p/5789448.html