上溢和下溢
下溢：指当一个接近于0的数字被四舍五入为0，这在某些方程中是非常致命的。比如除数下溢，导致程序异常。
上溢：当大数量级的数被近似为正负(infty)时，之后的运算都可能返回非数字。比如指数运算。
对于这两种情况，我们需要进行数值稳定。
对Softmax进行数值稳定
softmax函数的定义如下
[softmax(mathbb x)_i=frac{e^{x_i}}{sum_{j=1}^n e^{x_j}}
]
异常
如果输入向量(x)中的所有值都非常小，这可能会导致分母的(e^x)也非常小，最终分母被四舍五入为0，导致程序异常。
向量(x)的所有值很大，分子分母都会上溢，最终也无法得到函数的正确结果。
数值稳定
为了解决这个问题，我们可以将输入改为(z)，(z)是(**x)和向量中最大值的差**。
这样处理后，我们的最大输入就是0（最大值-最大值），避免了上溢的可能。并且保证了分母至少有一个1（(e^{最大值-最大值=0})），也避免了分母为下溢为0的可能。
[z=x_i-max(x)
]