线性最小二乘法的求解思路

一元线性最小二乘规方程组的求解过程

正规方程组是根据最小二乘法原理得到的关于参数估计值的线性方程组。以一元线性为例：y=ax+b； 需要通过一堆数据求出a和b。

计算方法：直线的求法通常是最小二乘法：离差作为表示xi对应的直线纵坐标y与观察值yi的差，其几何意义可用点与其在直线竖直方向上的投影间的距离来描述。

线性方程组的最小二乘解如下：最小二乘法求线性方程为a=y(平均)-b*x（平均）。

最小二乘法步骤和原理

这时把a0、a1代入（式1-1）中， 此时的(式1-1）就是我们的一元线性方程即：数学模型。

最小二乘法原理：找出一条直线使得所有图上面的点纵坐标的差值的平方和最小，其实也是方差最小。使用方法：就是先求出x和y的平均数，然后直接套公式就好了。

先把n个数据测量值画在坐标纸上，如果呈现一种直线趋势，才可以进行最小二乘法（直线法）。

计算方法：y = Ax + B：a = sigma[(yi-y均值)*(xi-x均值)] / sigma[(xi-x均值)的平方]；b = y均值 - a*x均值。

但由于函数计算中，绝对值的和的计算和分析是比较复杂的，也不易。所以，人们发明了用误差的平方来作为拟合的指标，由于平方总是正的，在统计计算中比较方便，所以误差的最方和（最小二乘法）就应运而生了。

线性最小二乘和非线性最小二乘

1、非线性最小二乘法：将最小二乘法推广到非线性模型问题，通过迭代优化算法求解参数估计值。鲁棒最小二乘法：考虑到异常值对结果的影响，通过引入鲁棒估计方法，提高对异常值的抗干扰能力。

2、最小二乘问题分为两类：线性或 普通最小二乘 和 非线性最小二乘 ，这取决于 残差在所有未知量中是否是线性的 。线性最小二乘问题发生在 统计分析 中，它有 解析解 。

3、QR分解法：该算法通过将矩阵转化为一个正交矩阵和一个上三角矩阵相乘的形式，使得矩阵的范数变得更小。该算法的精度很高并且计算速度也相对较快。

4、线性的最高次数就是1次，只是计算参数a和b。 非线性的可以自定义任意个参数，可以是高次的，也可以是更复杂形式。 总之线性的也可以用非线性的函数去计算lsqcurvefit，希望对你有所帮助。

5、线性的最高次数就是1次，只是计算参数a和b。非线性的可以自定义任意个参数，可以是高次的，也可以是更复杂形式。总之线性的也可以用非线性的函数去计算lsqcurvefit，希望对你有所帮助。

6、梯度下降是迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以）。高斯-牛顿法是另一种经常用于求解非线性最小二乘的迭代法（一定程度上可视为标准非线性最小二乘求解方法）。