Programming/DL, Deep Learning

Epoch, Batch size, Step, Iteration

머신러닝/딥러닝 모델을 학습할 때 전체 데이터셋을 모델에 한번에 입력하기에는 크기가 너무 큼 → 데이터를 여러 개의 작은 데이터 묶음(batch)으로 나눠서 모델에 입력 Epoch Epoch : 전체 데이터에 대해서 순전파와 역전파가 끝난 상태; One Epoch is when an ENTIRE dataset is passed forward and backward through the neural network only ONCE 에포크가 50이면, 전체 데이터 단위로는 총 50번 학습함 Batch size Batch size : 몇 개의 데이터 단위로 매개변수를 업데이트 하는지를 의미; Total number of training examples present in a single batch 배치 크기(..

PyTorch

파이토치의 구성요소 torch: 메인 네임스페이스, 텐서 등의 다양한 수학 함수가 포함 torch.autograd: 자동 미분 기능을 제공하는 라이브러리 torch.nn: 신경망 구축을 위한 데이터 구조나 레이어 등의 라이브러리 torch.multiprocessing: 병렬처리 기능을 제공하는 라이브러리 torch.optim: SGD를 중심으로 한 파라미터 최적화 알고리즘 제공 torch.utils: 데이터 조작 등 유틸리티 기능 제공 torch.onnx: ONNX(Open Neural Network Exchange), 서로 다른 프레임워크 간의 모델을 공유할 때 사용 텐서 (Tensors) 데이터 표현을 위한 기본 구조로 텐서(tensor)를 사용 텐서는 데이터를 담기위한 컨테이너(container)로..

Logit, Sigmoid, Softmax

Logit에 대한 이해가 먼저 필요! $$ Logit = log_e(\frac{p}{1-p}) $$ 로짓(logit)과 확률(p)은 서로 변환 가능하다! $x$축이 확률이고, $y$축이 로짓인 위의 그래프에서 확률이 0이면, 로짓은 $-\infty$ 확률이 1이면, 로짓은 $+\infty$ 어떤 Multi-class Classification, 다중 클래스 분류 모델이 Input, Hidden Layer를 지나서 각각 4, 2, -2라는 Logit을 출력한 상황 가장 위에 Logit이 4인 부분을 보면, 위의 Logit의 수식을 활용하여 $$ 4 = log_{e}(\frac{p}{1-p}) $$ 양변에 자연지수를 취해주면 $$ e^{4} = e^{log_{e}(\frac{p}{1-p})} $$ $$ e^..

Odds(오즈) and Logit(로짓)

머신러닝의 Logistic Regression 딥러닝의 Softmax function 과도 관련이 있는 "Logit"을 알아보기 위해 Odds라는 개념도 알아보자! (통계학에서 나온 개념들) Odds, 오즈 8번의 경기가 치뤄졌는데 그 중 5번 이기고, 3번 졌다면 $$ odds = \frac{5}{3} = 1.667 $$ 유의할 점으로 오즈는 확률이 아니다!! $$ odds \ne probability $$ odds는 단순히 횟수(counts)로도 구할 수 있고, 확률(probability)로도 구할 수 있음 $$ odds = \frac{5}{3} = \frac{\frac{5}{8}}{\frac{3}{8}} = \frac{p}{1-p} $$ 하지만 odds는 크나큰 단점이 존재하는데! 만약 1번 승리하..

PyTorch Tutorial

파이토치 튜토리얼 https://pytorch.org/tutorials/ Welcome to PyTorch Tutorials — PyTorch Tutorials 1.10.1+cu102 documentation Shortcuts pytorch.org