softmax 与 sigmoid & softmax名字的由来

Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广。

参考:http://blog.csdn.net/u014422406/article/details/52805924

sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类。 
而softmax把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,以及算出各种结果的概率分布。 

补充(20170707)

今天查到了 softmax名字的由来,补充如下:

我们知道max,假如说我有两个数,a和b,并且a>b,如果取max,那么就直接取a,没有第二种可能。

但有的时候我不想这样,因为这样会造成分值小的那个饥饿。所以我希望分值大的那一项经常取到,分值小的那一项也偶尔可以取到,那么我用softmax就可以了

现在还是a和b,a>b,如果我们取按照softmax来计算取a和b的概率,那a的softmax值大于b的,所以a会经常取到,而b也会偶尔取到,概率跟它们本来的大小有关。所以说不是max,而是 Soft max。

原文地址:https://www.cnblogs.com/charlesblc/p/6595500.html