偷懒找了UCI上最小的一个数据集，数据大约是集装箱起重机的转动速度、角度，判断其力量大小（我不懂起重机啊啊啊）
虽然不懂但并不妨碍写代码分类，显然标记就是力量，分为0.3、0.5、0.7三种。具体的模型学习还是使用对率回归，那么数据集如下。
x=np.array([[1,2,6,7,10,8,3,1,6,7,8,9,9,2,6],[-5,5,-2,2,-2,2,-2,2,-5,5,-5,5,0,0,0],[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]])
y=np.array([0.3,0.3,0.3,0.3,0.3,0.3,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.7,0.7])
因为是多分类问题所以我们要建立多个分类器，这次使用OvR的方法，建立三个分类器也就是要计算出三组参数的值：
b=np.array([[0],[0],[1]]) b1=np.array([[0],[0],[1]]) b2=np.array([[0],[0],[1]]) b3=np.array([[0],[0],[1]])
b是用于计算的时候暂存参数。既然是十折交叉法，那我们每次就取两个样本作为测试集，为了方便计算，每次的训练集我们赋值到另外两个矩阵上，先在全局初始化它们：
x1=np.zeros(shape=(3,13))
y1=np.arange(0,13)
注意这里的y1不能用zeros初始化，否则编译器认为这个y1的shape是（0,13）,会报错，非常要命（躺）。
求参数的主体函数基本不用动，稍微改下参数名以防重复即可：
def fd(): b11 = 0 for i in range(13): k=np.exp(np.dot(b.T,np.array([x1[:,i]]).T)) b11=b11-np.array([x1[:,i]])*( y1[i]-(k/(1+k))) return b11 def sd(): b22 = 0 for i in range(13): k = np.exp(np.dot(b.T,np.array([x1[:,i]]).T)) b22=b22+np.dot(np.array([x1[:,i]]).T,np.array([x1[:,i]])) * (k/(1+k)) * (1-(k/(1+k))) return b22 def form(): mae=0 ima=0 b = np.array([[0], [0], [1]]) while(1): ima=0 for i in range(13): k=np.dot(b.T,np.array([x1[:,i]]).T) ima=ima+(-y1[i]*k+np.log(1+np.exp(k))) if(np.abs(ima-mae)<=0.0001): break mae=ima b11=fd() b22=sd() b=b-np.dot(linalg.inv(b22),b11.T) return b
然后每次OvR我们要对y1进行重新赋值，将值按要求修改为1和0：
def sety(tru): for k in range(13): if (y1[k] == tru): y1[k] = 1 else: y1[k] = 0 return
tru就是该分类器应当分类为真值的y的原值。
而后为了判断每个分类器的正确率，需要另写一个函数，这里写的这个函数只判断对于单个样本（在全集中的序列号为i）的正误，显然的，
只要应当判断其为1的分类器出错就可以直接确定其出错，虽然这种操作还是有一定风险的（如果其他分类器也判断该例为正该怎么算），
但偷懒就这么写了。
def judg(i): s0=0.0 if (y[i] == 0.3): z = np.exp(np.dot(b1.T, np.array([x[:, i]]).T)) elif (y[i] == 0.5): z = np.exp(np.dot(b2.T, np.array([x[:, i]]).T)) else: z = np.exp(np.dot(b3.T, np.array([x[:, i]]).T)) if (z > 0): z=1 else: z=0 return z
然后就是每次抽取训练集的函数，也就是从x、y中删掉指定两列之后赋值给x1、y1的函数：
def delex(i,j): k=0 for f in range(15): if(f!=i and f!=j): x1[:,k]=x[:,f] k=k+1 return def deley(i,j): k = 0 for f in range(y.size): if (f != i and f != j): y1[k] = y[f] k = k + 1 return
主函数如下：
s=0.0 for i in range(15): for j in range(i+1,15): s0=0.0 delex(i,j) deley(i,j) sety(0.3) b1=form() deley(i,j) sety(0.5) b2=form() deley(i,j) sety(0.7) b3=form() s=s+(judg(i)+judg(j))/2 print('第',i,'个与第',j,'个作为测试集时的正确率暂时总和为',s) s=s/105 print('正确率为：',s)
运行结果：
第 0 个与第 1 个作为测试集时的正确率暂时总和为 1.0...(略) 第 13 个与第 14 个作为测试集时的正确率暂时总和为 105.0 正确率为： 1.0
留一法同理，修改一下参数数量和一些数字就行，编译器作怪的话可以加一些跳出条件。
补充另一个数据集的读取文件然后进行计算的代码，虽然没有error但是跑了一顿午饭也没跑出什么结果，卡无限循环了，改了个条件终于跑出结果，姑且摆在这里看看。
import numpy as np from numpy import linalg import math import scipy x=np.ones(shape=(14,178)) y=np.arange(0,178) x1=np.ones(shape=(14,176)) y1=np.arange(0,176) b=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]]) b1=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]]) b2=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]]) b3=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]]) def readdata(): k=0 file=open('C:\Users\33298\Desktop\data\2\winedata.txt','r') for line in file.readlines(): clas,alcohol,malic,ash,alcalin,magne,t_phenols,flava,nonfla,proantho,color,hue,od,proli=line.split(',') #print(clas,alcohol,malic,ash,alcalin,magne,t_phenols,flava,nonfla,proantho,color,hue,od,proli) x[:,k]=np.array([alcohol,malic,ash,alcalin,magne,t_phenols,flava,nonfla,proantho,color,hue,od,proli,1]).T y[k]=clas k=k+1 return def fd(): b11 = 0 for i in range(176): k = np.exp(np.dot(b.T, np.array([x1[:, i]]).T)) b11 = b11 - np.array([x1[:, i]]) * (y1[i] - (k / (1 + k))) return b11 def sd(): b22 = 0 for i in range(176): k = np.exp(np.dot(b.T, np.array([x1[:, i]]).T)) b22 = b22 + np.dot(np.array([x1[:, i]]).T, np.array([x1[:, i]])) * (k / (1 + k)) * (1 - (k / (1 + k))) return b22 def form(): mae = 0 ima = 0 b=np.array([[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[0],[1]])
num=10 while (num): ima = 0 for i in range(176): k = np.dot(b.T, np.array([x1[:, i]]).T) if(k>1): ima=ima+np.log(1+np.exp(-k)) else: ima = ima + (-y1[i] * k + np.log(1 + np.exp(k))) if (np.abs(ima - mae) <= 0.000001): break mae = ima b11 = fd() b22 = sd() b = b - np.dot(linalg.inv(b22), b11.T)
num-=1 return b def sety(tru): for k in range(13): if (y1[k] == tru): y1[k] = 1 else: y1[k] = 0 return def judg(i): s0 = 0.0 if (y[i] == 1): z = np.exp(np.dot(b1.T, np.array([x[:, i]]).T)) elif (y[i] == 2): z = np.exp(np.dot(b2.T, np.array([x[:, i]]).T)) else: z = np.exp(np.dot(b3.T, np.array([x[:, i]]).T)) if (z > 0): z = 1 else: z = 0 return z def delex(i, j): k = 0 for f in range(178): if (f != i and f != j): x1[:, k] = x[:, f] k = k + 1 return def deley(i, j): k = 0 for f in range(y.size): if (f != i and f != j): y1[k] = y[f] k = k + 1 return readdata() s = 0.0 for i in range(178): for j in range(i + 1, 178): s0 = 0.0 delex(i, j) deley(i, j) sety(1) b1 = form() deley(i, j) sety(2) b2 = form() deley(i, j) sety(3) b3 = form() s = s + (judg(i) + judg(j)) / 2 print('第', i, '个与第', j, '个作为测试集时的正确率暂时总和为', s) s = s / 15753 print('正确率为：', s)