线性最小二乘法||Ax-y||可以直接求解

问题：已知A和y，需要求x。并且需要最小化||Ax-y||。
下面是求解x的方法：
$Ax=y \ A^TAx = A^Ty\ x = (A^TA)^{-1}A^Ty$
之所以要乘个 $A^T$ 是因为A很可能不是方阵，不是方阵是不能求逆的。

非线性最小二乘法需要用牛顿法求解

问题：已知f()表达式和y，需要求x。并且需要最小化 $||f(x)-y||$ 。这个||xx||是指范数的意思，你把它当做是绝对值或者平方就行.而我们知道 $||f(x)-y||$ 的最小值是0，所以我们就是想求 $||f(x)-y||$ 等于0时x的取值。
什么是牛顿法？
它是一个用来求某个函数最小值所在点的自变量的值算法。牛顿法这和这里我们需要求解的问题有什么联系。我们就是想求 $g(x)=|f(x)-y|$ 这个函数的最小值点的自变量x。如果你还不了解为何要哦用牛顿法，你可以再看看前面的问题描述。

牛顿法思想是怎样的？具体步骤怎么做？

注意：用牛顿法（Newton’s Method）求解一个函数最小值点对应的自变量值时，默认对这个函数有个假设“这个函数的最小值接近于0”。也就是说我们知道这个函数的最小值。但是就是不知道取得最小值时自变量的值。我们要用牛顿法求这个自变量的值。

只要提到牛顿法一定要注意前面这个假设，很多算法看不懂大概率是这些算法做出的一些假设你不知道。

我们整理下思路，现在想求 $g(x)$ 的最小值点时候对应的x。并且知道 $g(x)$ 的最小值是0. 牛顿法的思路是随便先猜最小值点对应的x。然后慢慢修正它直到接近最小值点对应的自变量值。假如我猜是 $x_0$ 。然后怎么修正这个猜测值呢？现在我们已知一个点 $(x_0,g(x_0))$ ，并且知道在这个点时函数g(x)的导数值 $g'(x_0)$ 。那么我们根据高中学的点斜式就可以写出经过 $(x_0,g(x_0))$ 这个点的切线方程 $y-g(x_0)=g'(x_0)(x-x_0)$ 。我们可以把这个切线当做 $g(x)$ 的近似。前面提到了牛顿法有一个假设（函数g(x)的最小值等于0），现在这个假设开始发挥大作用了。现在 $y-g(x_0)=g'(x_0)(x-x_0)$ 是对g(x)的近似，那么我们可以令函数值y=0求得一个x。把这个x当做最小值点对应自变量值的一个新的猜测。然后重复以上过程直到找到一个变量 $x_n$ 使得 $g(x_n)$ 非常接近于0.此时的 $x_n$ 就是我们要求的g(x)的最小值时对应的自变量的值。

Python编程实践非线性的最小二乘法

假如你需要求sin(x)=0.233时的x的取值。注意x的单位是弧度。虽然你可以调用Python代码里面的arcsin这个函数，但是为何我们不试试自己编程实现arcsin呢？引用某知名网友的话“抱着造轮子的心态学东西(逃”。

我们整理下思路现在的最小二乘法问题就是我们需要求g(x) = |sin(x)-0.233|的最小值所在点的自变量值x。
在使用牛顿法前我们不要忘了牛顿法是有个假设的。那就是目标函数g(x)的最小值是0.显然现在我们这个例子是满足的。

第一步：随便猜g(x) 最小值所在点对应的自变量值. 现在我们假设这个自变量值是 $x0=3.14$ 。所以我们得到了一个点 $(3.14, sin(3.14)-0.233)$ 。而且知道这个点的导数值 $g'(3.14)=cos(3.14)$ 。然后我们可以写出经过这个点的切线方程 $y-(sin(3.14)-0.233) =g'(3.14)*(x-3.14)$ 。所以切线方程为 $y-(sin(3.14)-0.233) =cos(3.14)*(x-3.14)$
第二步：将切线看做是原函数 $g(x)$ 的一个近似，然后令切线函数值y等于0来修正第一步的猜测值。根据 $0-(sin(3.14)-0.233) =cos(3.14)*(x-3.14)$ 可以解得 $x=-(sin(3.14)-0.233)/cos(3.14)+3.14$ 。我们可以将这个字作为g(x) 最小值所在点对应的自变量值的一个新的猜测值。
重复上面两步直到g(猜测值)非常接近于0.

下面是Python代码：

'''牛顿法求解非线性最小二乘法
author: @Ai酱
欢迎评论
'''
import math
import random
def g(x0):
    '''
    目标函数在x0处的函数值
    Args:
        x0 自变量：角度，单位是弧度
    '''
    return math.sin(x0) + 0.233

def dg_dx(x0):
    '''
    目标函数g(x)在x0处导数g'(x0)
    Args:
        x0 自变量：角度，单位是弧度
    '''
    return math.cos(x0)
# 1. 为g(x) 最小值所在点对应的自变量值随便猜一个值
x0 = random.random() 

while abs(g(x0)) > 0.001: # 一直迭代直到g(x0)接近0

    # 2. 令切线函数值y=0求得一个x值，将它作为一个新的猜测值修正原先的猜测x0
    new_x0 = x0 - g(x0)/dg_dx(x0)
    x0 = new_x0

print("我们自己写的牛顿法求得的arcsin(0.233)=",x0)

# 我们用python自带的arcsin检验下
print("Python自带的arcsin求得的arcsin(0.233)=",math.asin(0.233))

如果你看不懂Python代码，下面是我写的c++代码：

#include<math.h>
#include<iostream>
using namespace std;
/**
* 返回g(x)在x0处的函数值g(x0)
* params:
* x 自变量：角度，单位弧度
*/
float g(float x0)
{
	return sin(x0) - 0.2333;
}

/** 
* 目标函数g(x)在x0处导数g'(x0)
* params:
*   x0 自变量：角度，单位是弧度
*/
float dg_dx(float x0)
{
	return cos(x0);
}


int main()
{
	// 1. 为g(x) 最小值所在点对应的自变量值随便猜一个值
	float x0 = 1.233;//这个你随便设（由于是弧度所以不要太大）

	while (abs(g(x0)) > 0.001) // 一直迭代直到g(x0)接近0
	{

		// 2. 令切线函数值y = 0求得一个x值，将它作为一个新的猜测值修正原先的猜测x0
		float new_x0 = x0 - g(x0) / dg_dx(x0);
		x0 = new_x0;
	}
	cout << "我们自己写的牛顿法求得的arcsin(0.233)=" << x0 << endl;
	// 我们用c++自带的arcsin检验下
	cout << "c++自带的arcsin求得的arcsin(0.233)=" << asin(0.233) << endl;
	return 0;
}

通俗易懂最小二乘法与牛顿法总结：线性与非线性，文末有Python和c++代码编程实践教程

线性最小二乘法||Ax-y||可以直接求解

非线性最小二乘法需要用牛顿法求解

牛顿法思想是怎样的？具体步骤怎么做？

Python编程实践非线性的最小二乘法

你的关注和赞是支持我分享易懂教程的最大动力！