Overflow and Underflow

$e^{1000} = \inf$ 上溢出 $e^{-1000} = 0$ 下溢出。浮点数只有64位。

所以一般对式子做一些变形，比如： $\log \sum_{n=1}^N \exp X_n = a + \log \sum_{n=1}^N \exp \{X_n -a \}$ 对于任意a都成立，一般取X中最大的值： $a=\max_n X_n$

计算指数函数的和的对数 Softmax loss 和 NAN