线性方程组 , 的最小二乘（Least-Square）解和最小范数（Least-Norm）解有着相似的形式，容易混淆：

Least-Square

Least-Norm

这次我们就来厘清二者的区别。

超定方程组与欠定方程组

超定（Overdetermined）指的是方程组（约束）的个数多于变量的个数，即 ，此时称矩阵 为胖的（fat）。对于满秩的超定方程组，由于约束过多，自然而然无解。但是我们可以提供一个估计的解，即最小二乘解（注：最小二乘解 一定是不满足 的）。

欠定（Underdetermined）指的是方程组（约束）的个数少于变量的个数，即 ，此时称矩阵 为瘦的（skinny）。对于满秩的欠定方程组，由于约束过少，将有不止一个满足条件的解。我们可以从中挑选出最小范数解（注：最小范数解 一定是满足 的）。

最小二乘解

由于 不可能等于 ，我们不妨定义误差：

并寻找 使得 最小。用最优化的语言描述就是：

求解

由于 ，寻找 最小即寻找 最小，而

它关于 的梯度为：

于是：

假设 可逆，则：

几何解释

由于 满秩，可以把 的每一列看作基底， 张成的空间记作 。那么 就是空间 中距离 最近的点（欧式距离），也可以称为 在空间 上的投影。

最小范数解

我们从欠定方程组的众多解当中挑选出范数最小的那个，用最优化的语言描述就是：

求解

用拉格朗日乘子法进行求解：

构造：

最优化的条件为：

于是：

几何解释

是解空间 中距离原点最近的点（欧式距离），也可以称为原点在解空间上的投影。