我们已有一个训练集，X，Y
[x1, [y1,
x2, y2,
X= x3, Y= y3,
. .
xn] yn]
xi=[xi1,xi2,xi3,.....xim] xi用来描述第i个样本
yi=0 or 1 yi用来描述第i个样本是正样本还是负样本
然后对于已有的 W=[w1,w2,.....,wm],b来说
我们有一个函数J(W,b)来表示我们已有的W，b在预测结果的时候，对整个训练样本的误差值
J(W,b)=1/n*( L(y^1,y1) + L(y^2,y2) + .....+L(y^n,yn))
y^i表示用已有的[W,b]对样本Xi的预测值,yi表示样本xi的真实结果
L(y^i,yi)=-yi*log(y^i)+(1-yi)*log(1-y^i)
y^i=sigmoid(xi*WT+b)
WT代表W的转置
sigmoid(z)=1/(1+exp(-z))
我们求出J(W,b)对于w1,w2,...wm,b的偏导数
[a1,a2,....am,am+1]
[W,b]=[W,b]-[a1,a2......,am+1]*alpha
其中alpha是一个较小的量
经过多次训练，J[W,b]会达到最优，此时就可以停止训练并且开始工作了