Overflow and Underflow

e1000=infe^{1000} = \inf 上溢出 e1000=0e^{-1000} = 0 下溢出。浮点数只有64位。

所以一般对式子做一些变形,比如: logn=1NexpXn=a+logn=1Nexp{Xna}\log \sum_{n=1}^N \exp X_n = a + \log \sum_{n=1}^N \exp \{X_n -a \} 对于任意a都成立,一般取X中最大的值: a=maxnXna=\max_n X_n

计算指数函数的和的对数 Softmax loss 和 NAN

Last updated

Was this helpful?