Logistic回归的使用

Logistic回归的使用和缺失值的处理

从疝气病预测病马的死亡率

数据集：

UCI上的数据，368个样本，28个特征

测试方法：

交叉测试

实现细节：

1.数据中因为存在缺失值所以要进行预处理，这点待会再单独谈
2.数据中本来有三个标签，这里为了简单直接将未能存活和安乐死合并了
3.代码中计算10次求均值

缺失值的处理：

一般来说有这么几种方法处理缺失值：

人工填写缺失值
使用全局变量填充缺失值
忽略有缺失值的样本
使用属性的中心度量（均值或中位数等）填充缺失值
使用与给定元祖同一类的所有样本的属性均值或中位数
使用最可能的值（需要机器学习算法推到）
对不同的数据我们要采用不同的方法，这里考虑到我们用Logistic回归那么我们可以采用0填充，因为用0在更新weight = weight + alpha * error * dataMatrix[randIndex]的时候不会产生更新，并且sigmoid（0）=0.5，他对结果也不会产生影响。

 1 #coding=utf-8
 2 from numpy import *
 3 
 4 def loadDataSet():
 5     dataMat = []
 6     labelMat = []
 7     fr = open('testSet.txt')
 8     for line in fr.readlines():
 9         lineArr = line.strip().split()
10         dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
11         labelMat.append(int(lineArr[2]))
12     return dataMat, labelMat
13     
14 def sigmoid(inX):
15     return 1.0/(1+exp(-inX))
16     
17 def stocGradAscent1(dataMatrix, classLabels, numIter=150):
18     m,n = shape(dataMatrix)
19     
20     #alpha = 0.001
21     weight = ones(n)
22     for j in range(numIter):
23         dataIndex = range(m)
24         for i in range(m):
25             alpha = 4/ (1.0+j+i) +0.01
26             randIndex = int(random.uniform(0,len(dataIndex)))
27             h = sigmoid(sum(dataMatrix[randIndex]*weight))
28             error = classLabels[randIndex] - h
29             weight = weight + alpha * error * dataMatrix[randIndex]
30             del(dataIndex[randIndex])
31     return weight
32 
33 def classifyVector(inX, weights):
34     prob = sigmoid(sum(inX*weights))
35     if prob > 0.5: return 1.0
36     else: return 0.0
37 
38 def colicTest():
39     frTrain = open('horseColicTraining.txt'); frTest = open('horseColicTest.txt')
40     trainingSet = []; trainingLabels = []
41     for line in frTrain.readlines():
42         currLine = line.strip().split('	')
43         lineArr =[]
44         for i in range(21):
45             lineArr.append(float(currLine[i]))
46         trainingSet.append(lineArr)
47         trainingLabels.append(float(currLine[21]))
48     trainWeights = stocGradAscent1(array(trainingSet), trainingLabels, 1000)
49     errorCount = 0; numTestVec = 0.0
50     for line in frTest.readlines():
51         numTestVec += 1.0
52         currLine = line.strip().split('	')
53         lineArr =[]
54         for i in range(21):
55             lineArr.append(float(currLine[i]))
56         if int(classifyVector(array(lineArr), trainWeights))!= int(currLine[21]):
57             errorCount += 1
58     errorRate = (float(errorCount)/numTestVec)
59     print "the error rate of this test is: %f" % errorRate
60     return errorRate
61 
62 def multiTest():
63     numTests = 10; errorSum=0.0
64     for k in range(numTests):
65         errorSum += colicTest()
66     print "after %d iterations the average error rate is: %f" % (numTests, errorSum/float(numTests))
67             
68 def main():
69     multiTest()
70     
71 if __name__ == '__main__':
72     main()

机器学习笔记索引

来自为知笔记(Wiz)