最小二乘法（Least Squares Method）是一种用于数据拟合的方法，通过最小化观测值与模型预测值之间的误差平方和，来求得模型参数的最优估计。下面以一元线性回归为例，详细推导最小二乘法的过程。

一、问题描述

给定 组数据点 ，希望用一个线性函数

来拟合这些数据点。目标是找到参数 和 ，使得拟合直线与观测数据之间的误差平方和最小。

二、残差平方和

对于每一个数据点 ，其观测值为 ，拟合值为 。因此，残差为

残差平方和 定义为：

我们的目标是最小化 。

三、求最优参数

令 关于 和 的偏导数为零，得到极值点。

1、对 求偏导

令 ，得

2、对 求偏导

令 ，得

四、联立方程

将上面的两个式子整理如下：

令

上式变为：

五、求解 和

第一步，先用第二个方程解出 ：

把 代入第一个方程：

再代入 的表达式：

六、均值符号下的表达式

设

则有

由于 是关于 和 的二次函数，且系数矩阵为正定（，只要 不全相等），因此该极值点为唯一全局最小值，即最小二乘解。