最小二乘法

存在一些离散的值,举例来说,在二位坐标系上的一些点。其中存在一条线举例所有点的直线距离之和最小。
这样的情况下,我们可以利用最小二乘法来进行近似运算。

假设说上面的坐标系当中的每一个点是 y, 而我们需要用来进行预测的线可以用 f(x) 来进行表示。
那么,我们需要做到的就是 sum(| f(x)-yi |) 最小。在数学公式当中,使用绝对值符号不是特别方便,所以使用 sum((f(x) - yi)^2) 的形式来进行表现。

这个时候,设计到一个导数计算,当导数为零时,则以上公式 sum((f(x) - yi)^2) 最小, 2 * sum( f(x) - yi ) = 0
根据上面的公式,就可以进一步的去做运算。

最小二乘法实际上就是去找一条线,和现有的数据集的距离最近。 这条线有可能是一条直线,有可能是一条曲线,而这条曲线,实际上就是 f(x) 这个函数所描述的。而平均数,实际上就是最小二乘法的一种特例。

参考:
最小二乘法的本质是什么? - 马同学的回答 - 知乎
https://www.zhihu.com/question/37031188/answer/411760828