机器学习基础-Logistic回归1

利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。

训练分类器时的做法就是寻找最佳拟合参数，使用的时最优化算法。

优点：计算代价不高，利于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

适用数据类型：数值型和标称型数据。

最优化算法：1基本的梯度上升法 2改进的梯度上升法

海维塞德阶跃函数=单位阶跃函数（该函数在跳跃点上从0瞬间跳跃到1），这个顺时跳跃过程很难处理。幸好，另一个函数也有类似的性质，而且数学上更容易处理，这就是Sigmoid函数。具体的计算公式如下：

σ(z) =1/(1+e^-z)

当z为0时，Sigmoid函数值为0.5。随着x的增大，对应的Sigmoid函数值将逼近于1；而随着x的减小，Sigmoid值将逼近于0。如果横坐标刻度足够大，Sigmoid函数看起来很像一个阶跃函数。因此为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。

确定了分类器的函数形式之后，现在的问题变成了：最佳回归系数是多少？如何确定他们的大小？

基于最优化方法的最佳回归系数确定

sigmoid函数的输入记为z，由下面公式得出：z=w₀x₀+w₁x₁+w₂x₂+...+w_nx_n,如果采用向量的写法，上述公式可以写成Z=w^Tx。其中向量x是分类器的输入数据，向量w也就是我们要找到的最佳参数。

下面将要介绍寻找最优参数的梯度上升法和随机梯度上升法

1梯度上升法-要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。

用向量来表示的话，梯度算法的迭代公式如下：

w:=w+αΔ_wf(w) Δ_wf(w)：移动方向；α：步长。

该公式将一直被执行，直到达到某个条件为止，比如迭代次数达到某个指定值或者算法达到某个允许的误差范围。

梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。

#Logistic回归梯度上升优化算法（代码）如下：
#!/usr/bin/env python
from numpy import *

def loadDataSet():
    dataMat=[];labelMat=[]
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr=line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) #x0,x1,x2组成的三维数据集 
        labelMat.append(int(lineArr[2])) #类别标签
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn,classLabels):
    dataMatrix=mat(dataMatIn)
    labelMat=mat(classLabels).transpose() #转换为NumPy矩阵数据类型
    m,n=shape(dataMatrix)
    alpha=0.001
    maxCycles=500 #循环500次
    weights=ones((n,1))
    for k in range(maxCycles):
        h=sigmoid(dataMatrix*weights)
        error=(labelMat-h)
        weights=weights+alpha*dataMatrix.transpose()*error #更新参数
    return weights


dataArr,labelMat=loadDataSet()
print gradAscent(dataArr,labelMat)

#画出分隔线，从而使得优化的过程便于理解，在上述代码后添加如下代码：

def plotBestFit(wei):
    import matplotlib.pyplot as plt
    weights=wei.getA()
    dataMat,labelMat=loadDataSet()
    dataArr=array(dataMat)
    n=shape(dataArr)[0]
    xcord1=[];ycord1=[]
    xcord2=[];ycord2=[]
    for i in range(n):
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
    fig = plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x=arange(-3.0,3.0,0.1)
    y=(-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x,y)
    plt.xlabel('x1');plt.ylabel('x2')
    plt.show()

dataArr,labelMat=loadDataSet()
weights=gradAscent(dataArr,labelMat)
plotBestFit(weights.getA())

简单的测验数据（testSet.txt）：

-1 -2 0
-2 -3 0
-3 -4 0
-4 -5 0
-5 -6 0
6 7 1
-3 -2 0
7 5 1
6 3 1
5 4 1
7 3 1