在前几章中，我们讨论了插值法，其核心要求是近似函数必须严格通过所有给定的数据节点。然而，在实际工程与科学实验中，观测数据往往带有测量误差，且数据点数量庞大。若强行要求近似曲线穿过每一个点，不仅计算复杂，还可能因过度拟合而放大噪声，导致曲线剧烈振荡，反而无法反映被研究现象的整体变化规律。

为此，我们需要另一类数值方法——曲线拟合（又称函数逼近）。它不要求近似函数在节点处与函数值完全相等，即不要求近似曲线过已知点，只要求它尽可能反映给定数据点的基本趋势，在某种意义下与原始函数最“逼近”。

设给定一组观测数据 ，我们选取一个函数类 （例如所有不超过 次的多项式集合，其中 ），在该函数类中寻找一个函数 ，使其在某种度量下最接近给定的数据点。

如何衡量“接近”的程度？通常引入残差（或余量）的概念。对于每个数据点，残差定义为：

残差的大小直接反映了近似函数在对应点处的偏离程度。常用的整体逼近准则有以下三种：

1. 准则一：使残差的绝对值之和最小，即：

​ 该准则直观合理，但由于绝对值函数不可导，求解过程较为困难，实际应用不便。

2. 准则二：使残差的最大绝对值最小，即：

​ 按此准则求近似函数的方法称为最佳一致逼近（或切比雪夫逼近），它追求在全部点上的最大误差最小化，适用于对最大误差有严格要求的场合。

3. 准则三：使残差的平方和最小，即：

​ 按此准则确定参数的方法称为最佳平方逼近，通常称为曲线拟合的最小二乘法（或数据拟合的最小二乘法）。该准则计算简便，具有良好的统计性质和数值稳定性，是工程实践中应用最广泛的拟合方法。本章将重点讨论最小二乘法的基本原理及其实现。

一、最小二乘法

1、多项式拟合

多项式拟合是最基本、最常用的最小二乘拟合形式。给定数据组 ，寻找一个 次多项式（）：

使得残差平方和：

达到最小。这里 是待定系数。由于 是关于这些系数的非负二次函数，其最小值点必满足偏导数为零的必要条件：

整理后得到关于系数 的线性方程组：

将上式展开，即为正则方程组（或称法方程组）：

其矩阵形式为：

其中所有求和号均表示对 到 求和。由函数组 在互异节点上的线性无关性可证明，该方程组的系数矩阵对称正定，故存在唯一解。求得的解 对应的多项式 即为数据组的最小二乘 次拟合多项式。

特别地，当 时，得到线性拟合的正则方程组：

这就是最小二乘拟合直线的标准公式。

2、指数拟合

当数据的分布呈现指数增长或衰减趋势时，可考虑用指数函数：

来拟合。若直接按最小二乘原理，需要极小化：

这导致关于 的非线性方程组，求解困难。但若对式（6-7）两端取自然对数：

令 ，，则原问题转化为线性拟合：。于是，可先对变换后的数据 求最小二乘一次拟合多项式，得到：

则 ，，从而原指数拟合函数为：

需要指出，这种先线性化再拟合的方法，其极小化目标已变为 ，而非原变量的平方和，因此所得结果并非原问题严格意义下的最小二乘解，但因其计算简便且在工程中效果良好，被广泛采用。

3、分式线性拟合

当数据呈现双曲线型趋势时，可考虑分式线性函数：

对于第一种形式，令 ，直接对数据组 进行线性最小二乘拟合，得到 ，再取倒数即得 。

对于第二种形式 ，先取倒数：

令 ，则 ，于是对变换后的数据 求最小二乘拟合直线，得到 ，最后代回得：

这类通过变量代换将非线性模型转化为线性模型再拟合的方法，统称为“线性化最小二乘法”，适用于多种常见非线性函数，如幂函数 （取双对数）、对数函数 （令 ）等，其基本思路是一致的。

4、线性最小二乘法的一般形式

更一般地，设 是定义在 上的一组线性无关的函数，我们选取近似函数为它们的线性组合：

并引入非负权系数 ，用以反映各数据点的精度差异或重要性。加权最小二乘的目标是极小化

同样由极值必要条件，对 ：

得到加权正则方程组：

若记内积：

则方程组可写成紧凑的矩阵形式：

由 的线性无关性可保证系数矩阵非奇异，从而方程组有唯一解。这个解所对应的 即为数据组在加权意义下的最小二乘函数。

存在如下定理：设 是加权正则方程组的解，，则对任意 ，有：

即 是 中使加权残差平方和最小的函数。

证明：直接展开

由式（6-10）可知交叉项为零：

因此

等号仅当 时成立，定理得证。

5、正交函数族与简化计算

当 较大时，正则方程组的系数矩阵往往是病态的，求解误差较大。如果能够选择一组特殊的基函数 ，使得它们关于离散点集和权系数是正交的，即

则方程组的系数矩阵变为对角矩阵，未知数可直接解出：

进而拟合函数为：

具有这种性质的函数族称为关于点集 与权 的离散正交函数族。对于多项式拟合，我们可以利用三项递推公式构造正交多项式。令：

其中：

可以证明，这样生成的 恰好构成离散正交多项式族。于是，求 次最小二乘拟合多项式的步骤为：

1. 按递推公式计算正交多项式 ；
2. 计算系数 ；
3. 写出拟合多项式 。

这一方法避免了求解病态的正则方程组，数值稳定性好，尤其适用于高次拟合。

二、正交多项式

1、基本概念

在曲线拟合的讨论中，我们看到当采用一般多项式进行最小二乘拟合时，正则方程组的系数矩阵往往是病态的，尤其当拟合次数 较大时，求解误差显著增大。但如果选取的基函数 满足正交性条件，则正则方程组的系数矩阵变为对角矩阵，问题得以极大简化。这正是引入正交多项式的动机所在。

如果函数系 满足：

则称此函数系为区间 上关于权函数 的正交函数系。特别地，若 ，则称其为标准正交函数系。其中 是区间上的权函数，且不在任何子区间上恒为零。内积的定义为：

若上述函数系中的每一项 均为代数多项式，且 的次数恰为 ，则称其为正交多项式系。

例如三角函数系

是区间 上关于权函数 的正交函数系。这是傅里叶分析的基础。正交函数系具有一个重要的基本性质——线性无关性。

有如下定理，区间 上关于权函数 的正交函数系 必定是线性无关的。

证明：用反证法。假设 线性相关，即存在不全为零的实数 ，使得：

不妨设 。以 乘上式两端，并在区间 上积分，由正交性得：

因为 ，故 ，矛盾。因此 线性无关。

另有定理：设 是一列多项式，其中 的最高次项系数不为零，且次数恰为 。则 是 上关于权函数 的正交多项式系的充要条件是：对任意次数不超过 的多项式 ，均有：

证明：

（1）充分性：若式成立，则特别地取 （），有：

即对任意 ，。另一方面，由于 的最高次项系数不为零， 且在区间上不恒为零，故

因此 为正交多项式系。

（2）必要性：若 是正交多项式系，由定理， 线性无关，因此任一至多 次的多项式 均可表示为它们的线性组合：

于是

充分性与必要性得证。