欠拟合与过拟合（underfiting、overfiting）
欠拟合（举例：7个样本点用1次项假设拟合房屋价格和面积的关系，损失了2次成分）
过拟合（举例：7个样本点用6次项假设拟合房屋价格和面积的关系）
参数学习算法（parametric learning algorithm）
线性回归
非参数学习算法（non-parametric learning algorithm）
局部加权回归（Locally weighted linear regression、LWR）
由于参数学习算法依赖特征的选择（1次？2次？）
添加了一个wi权重项，值越大，它所对应的对结果的影响越大，反之越小。
该公式与高斯函数相似，但是没有任何关系，只是这个公式在这里很好用。是波长参数，控制了权值随距离的下降速率（成反比）。
所谓参数学习算法它有固定的明确的参数，参数一旦确定，就不会改变了，我们不需要在保留训练集中的训练样本。
而非参数学习算法，每进行一次预测，就需要重新学习一组，是变化的，所以需要一直保留训练样本。
也就是说，当训练集的容量较大时，非参数学习算法需要占用更多的存储空间，计算速度也较慢。
概率解释
- 为什么使用最小二乘？
假设误差是IID（独立同分布）。
高斯密度函数
这里使用分号是因为参数theta是一个存在的值，不是随机变量，读作“以theta为参数的概率”。这是采用了频率学派的观点，而非贝叶斯学派。
前者是参数的似然性L(theta)，这里看作是theta的概率密度函数；后者是数据的概率，在这里是等价的。
- 补充：极大似然估计（MLE）
1.选择theta是似然性最大化，或者选择参数是数据出现的概率最大化。
2. 取对数
3. 使对数似然最大化
- 补充：中心极限定理
Logistic回归
此处可以使用梯度上升算法
θ := θ + α ▼θ l(θ)
Logistic回归参数的学习规则与线性回归有完全相同的形式，前者是梯度上升（基于概率P(y|x;θ)），后者是梯度下降（基于最小二乘）。是完全不同的学习算法。
感知器算法（PLA、Perceptron Learning Algorithm）
感知器算法强迫函数输出为{0,1}的离散值而不是概率。其预测函数为：
参数θ的更新规则为：
规则看起来与logistic回归相同，其实是完全不同的算法，而且更加简单。
代码实践（Logistic回归）
# -*- coding: utf-8 -*-
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
def sigmoid( X , theta ):
z = np.dot( X , theta.T )
return 1 / ( 1 + np.exp( -z ) )
def LR( X , y , times=400 , alpha=0.01 ):
X = np.c_[ (np.ones(len(X)) , X )]
theta = np.zeros(len(X[0])).T
for i in range(times):
h = sigmoid(X , theta)
theta += alpha * np.dot( ( y - h ).T , X )
return theta
def Predict( X , theta ):
X = np.c_[ (np.ones(len(X)) , X )]
return (sigmoid(X , theta) + 0.5).astype(np.int32)
df = np.loadtxt(r'C:UsersLoveDMRDesktop8.iris.data', delimiter=',' , converters = { 4: lambda t : {'Iris-setosa':0,'Iris-versicolor':1,'Iris-virginica':2}[t] } );
df = df[df[:,4] != 2]
X , y = np.split(df,(4,), axis=1)
X =X[:,:2]
y = y[:,0]
# sklearn
model = LogisticRegression()
model.fit(X,y)
print model.intercept_ , model.coef_
# manhand
theta = LR(X , y , 100000 )
print theta
plt.figure(figsize=(14,6))
plt.subplot(121)
N, M = 500, 500 # 横纵各采样多少个值
x1_min, x1_max = X[:, 0].min(), X[:, 0].max() # 第0列的范围
x2_min, x2_max = X[:, 1].min(), X[:, 1].max() # 第1列的范围
t1 = np.linspace(x1_min, x1_max, N)
t2 = np.linspace(x2_min, x2_max, M)
x1, x2 = np.meshgrid(t1, t2) # 生成网格采样点
x_test = np.stack((x1.flat, x2.flat), axis=1) # 测试点
cm_light = mpl.colors.ListedColormap(['#77E0A0', '#FF8080'])
cm_dark = mpl.colors.ListedColormap(['g', 'r'])
y_hat = Predict(x_test,theta) # 预测值
y_hat = y_hat.reshape(x1.shape) # 使之与输入的形状相同
plt.pcolormesh(x1, x2, y_hat, cmap=cm_light) # 预测值的显示
plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 样本的显示
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title('Manhand')
plt.tight_layout()
plt.grid()
plt.subplot(122)
cm_light = mpl.colors.ListedColormap(['#70F0A0', '#A0A0FF'])
cm_dark = mpl.colors.ListedColormap(['g', 'r'])
y_skhat = model.predict(x_test) # 预测值
y_skhat = y_skhat.reshape(x1.shape) # 使之与输入的形状相同
plt.pcolormesh(x1, x2, y_skhat , cmap=cm_light) # 预测值的显示
plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 样本的显示
plt.xlim(x1_min, x1_max)
plt.ylim(x2_min, x2_max)
plt.title('sk-learn')
plt.tight_layout()
plt.grid()
#plt.savefig('2.png')
plt.show()