摘自：http://apps.hi.baidu.com/share/detail/34961718
在科学实验数据处理中，往往要根据一组给定的实验数据
，求出自变量x与因变量y的函数关系
，这是
为待定参数，由于观测数据总有误差，且待定参数ai的数量比给定数据点的数量少(即n＜m)，因此它不同于插值问题.这类问题不要求
通过点
，而只要求在给定点
上的误差
的平方和
最小.当
时，即
(5.8.1)
这里
是线性无关的函数族，假定在
上给出一组数据
，
以及对应的一组权
，这里
为权系数，要求
使
最小，其中
(5.8.2)
这就是最小二乘逼近，得到的拟合曲线为y=s(x)，这种方法称为曲线拟合的最小二乘法.
(5.8.2)中实际上是关于
的多元函数，求I的最小值就是求多元函数I的极值，由极值必要条件，可得
(5.8.3)
根据内积定义(见第三章)引入相应带权内积记号
(5.8.4)
则(5.8.3)可改写为
这是关于参数的线性方程组，用矩阵表示为
(5.8.5)
(5.8.5)称为法方程.当
线性无关，且在点集
上至多只有n个不同零点，则称
在X上满足Haar条件，此时(5.8.5)的解存在唯一(证明见［3］).记(5.8.5)的解为
从而得到最小二乘拟合曲线
(5.8.6)
可以证明对
，有
故(5.8.6)得到的
即为所求的最小二乘解.它的平方误差为
(5.8.7)
均方误差为
在最小二乘逼近中，若取
，则
，表示为
(5.8.8)
此时关于系数
的法方程(5.8.5)是病态方程，通常当n≥3时都不直接取
作为基，其具体方法下节再讨论，下面只给出n=1的例子.
例5.10 已知一组实验数据如表所示.
试求最小二乘拟合曲线.
解 将所给数据在坐标纸上标出，如图5-6所示，说明它可用线性函数作曲线拟合，即选择形如
作为拟合曲线.这里
，故
图5-6
于是由(5.8.5)得法方程
解得
于是所求的最小二乘拟合曲线为
均方误差为
.
使用最小二乘逼近时，模型的选择是很重要的，通常模型y=s(x)是由物理规律或数据分布情况确定的，不一定都是形如(5.8.1)的线性模型，但有的模型经过变换可化为线性模型，这些也应按线性模型处理，例如
它是指数函数，关于系数
，b并非线性，但对上式两端取对数得到
令
，则上式转化为
，它是线性模型，仍可按上面介绍的方法求y=s(x).
例5.11 给定数据
如下：
求
的最小二乘拟合曲线.
解 不是多项式，但两端取对数得
.若令
，则有
，它是线性最小二乘拟合问题.可取
，为求得A，b,先将
化为
.转化后的数据表为
根据最小二乘原理先求法方程系数
故有法方程
解得
，于是得最小二乘拟合曲线
讲解：
曲线拟合的最小二乘法是处理实验数据
一种经常使用的方法，它与插值不同，一是数据本身有误差，二是反映实验数据规律的数学模型，
需要确定的待定参数个数较少，通常比m小得多，且一般不通过
，而只要求在给定点处误差平方和
最小。这是关于参数的多元函数求极值问题。
在最小二乘法重确定数学模型是很重要的，一种是根据物理规律给定的，一种是由实验数据描图选定的，但这里我们只讨论关于参数
为线性的模型，即（5.8.1）所示，或通过变换能化为线性的模型，如例5.11给出的模型，当s(x)为多项式时
则得到的法方程是病态方程组，求得的解
误差较大，一般在
时应该改用关于给定节点正交的多项式组才能算出正确结果。
…………………………………………………………………………………………………………………………用正交多项式作最小二乘拟合
在最小二乘拟合中若
，模型取为(5.8.8)时，由于法方程是病态方程，因此使用时应取
为关于给定点的正交多项式，可避免求解病态方程组.类似定义9.3给出以下定义.
定义9.4 设给定拟合数据
及权
可构造多项式
，其中
，且
(5.9.16)
则称
是关于点集
.带权
的正交多项式族，
为k次正交多项式.
根据定义，若令
.
由递推关系得
(5.9.17)
利用正交性
求得
及
为
(5.9.18)
令
，由法方程(5.8.5)可求得解
(5.9.19)
从而得到最小二乘拟合曲线
(5.9.20)
它仍然是多项式函数，即
.用计算机计算时求
系数
及
与求
系数
可同时进行.当k=0,1,…,n时若有
时，计算停止，此时
即为所求.
讲解：
将向量空间
中两向量正交（即垂直）的概念推广到连续函数空间
，任两函数
，内积
就称它们为正交，函数序列
两两正交，称为正交函数族，若
为n次多项式，则当它满足（5.9.2）就称为正交多项式。
正交多项式有很多重要性质，其中以正交性，递推关系和在区间[a,b]上有n个单实根的三个性质最重要。最常用也是最重要的正交多项式是Legendre多项式和Chebyshev多项式，它们是函数逼近的重要工具，在数值积分中也有重要应用，Legendre多项式是区间[-1,1]上权函数
的正交多项式，其正交性由（5.9.7）式给出，递推关系式（5.9.8）都有具体应用是必须知道的。而Chebyshev 多项式是区间[-1,1]上，权函数
的正交多项式。它表示为
由此表达式直接利用三角公式则可具体得到正交性（5.9.10）和递推关系（5.9.11）及其他重要性质。
用正交多项式作最小二乘拟合，应根据给定数据
及权
定义关于离散点集
带权
的正交多项式
它本质上与在区间[-1,1]上定义的正交多项式相似，只是把积分变成求和，再以所得到关于点集正交的多项式作基求最小二乘的拟合曲线，这就避免了用一般多项式拟合出现解法方程的病态问题，当然这种做法通常都在计算机上计算，不必记公式，只要能利用已有软件算出拟合曲线即可。