Logit, Sigmoid, Softmax
·
Programming/DL, Deep Learning
Logit에 대한 이해가 먼저 필요! $$ Logit = log_e(\frac{p}{1-p}) $$ 로짓(logit)과 확률(p)은 서로 변환 가능하다! $x$축이 확률이고, $y$축이 로짓인 위의 그래프에서 확률이 0이면, 로짓은 $-\infty$ 확률이 1이면, 로짓은 $+\infty$ 어떤 Multi-class Classification, 다중 클래스 분류 모델이 Input, Hidden Layer를 지나서 각각 4, 2, -2라는 Logit을 출력한 상황 가장 위에 Logit이 4인 부분을 보면, 위의 Logit의 수식을 활용하여 $$ 4 = log_{e}(\frac{p}{1-p}) $$ 양변에 자연지수를 취해주면 $$ e^{4} = e^{log_{e}(\frac{p}{1-p})} $$ $$ e^..