Math & Statistics

Likelihood, MLE, Cross Entropy

머신러닝/딥러닝을 공부하다보면 likelihood라는 단어가 자주 등장한다 이것이 무엇이며, 왜 사용하고, 어떻게 사용하는지 알아보자 Probability 확률 (Probability) : PDF의 면적; 확률분포가 고정된 상태에서 해당 관측값(데이터)이 나올 확률, P ( data | distribution ) 확률밀도함수 (Probability Density Function, PDF) : 연속 확률변수의 분포를 나타내는 함수 '확률' 이라고하면 이산 확률을 먼저 떠올리기 쉽다 (동전에서 앞면이 나올 확률? 주사위에서 6이 나올 확률?) 그렇다면 연속 확률은 어떻게 구할까 (고양이의 무게가 4kg 이상 5kg 미만일 확률?) $$ P(4 \le Cat\ weight < 5\ |\ N(4, 0.5) = ..

혼동행렬 - 정확도, 정밀도, 재현율(=민감도), F1 Score

Machine Learning에서 어떤 모델이 더 좋은 모델인지 어떻게 판단할까? 결론부터 말하자면 Accuracy와 F1-Score를 이용할 수 있다! 그리고 그 F1-Score를 이해하기 위해 Precision과 Recall(=Sensitivity)에 대한 이해가 필요함 혼동행렬 혼동행렬(Confusion Matrix) : 어떤 개인, 모델, 검사도구, 알고리즘의 진단·분류·판별·예측 능력을 평가하기 위하여 고안된 표 Predicted : 예측 Actual : 실제 예측한 값과 실제 값이 있을 때 아래 4가지의 조합 True : 예측 = 실제 False : 예측 ≠ 실제 Positive : 긍정 클래스를 예측 Negative : 부정 클래스를 예측 True Positive : 예측 = 실제 & 긍정 ..

Essence of linear algebra 선형대수학

벡터 Vectors | Chapter 1, Essence of linear algebra 선형대수의 기본적이고, 근본적인 구성 조각은 벡터(Vector) 벡터를 떠올릴 때, xy 평면과 같은 좌표계 안에 있고, 꼬리가 원점에 있는 화살표를 떠올려라 평면에서 두 선이 교차하는 곳을 원점이라고 하는데, 이 원점을 공간의 중심이자 모든 벡터 뿌리가 위치하는 곳이라고 생각하면 됨 모든 숫자쌍은 각각 하나의 벡터와 대응되고, 반대로 모든 벡터는 각각 대응되는 숫자쌍이 하나 있음 벡터합 : 항끼리 매칭해서 서로 더하는 것 벡터에 숫자 곱하기 : 숫자 2를 어떤 벡터에 곱하는 것은 벡터를 기존의 2배만큼 늘리는 것 숫자 1/3을 벡터에 곱하는 것은 벡터를 기존의 1/3로 줄인다는 것 음수 -1.8을 벡터에 곱하는 것..