Last updated 4 years ago
e1000=infe^{1000} = \infe1000=inf 上溢出 e−1000=0e^{-1000} = 0e−1000=0 下溢出。浮点数只有64位。
所以一般对式子做一些变形,比如: log∑n=1NexpXn=a+log∑n=1Nexp{Xn−a}\log \sum_{n=1}^N \exp X_n = a + \log \sum_{n=1}^N \exp \{X_n -a \}log∑n=1NexpXn=a+log∑n=1Nexp{Xn−a} 对于任意a都成立,一般取X中最大的值: a=maxnXna=\max_n X_na=maxnXn
计算指数函数的和的对数 Softmax loss 和 NAN