Programming
Tokenizer 종류
https://huffon.github.io/2020/07/05/tokenizers/ HuggingFace 내 토크나이저 종류 살펴보기 - Programador | Huffon Blog Huggingface Transformers가 버전 3에 접어들며, 문서화에도 더 많은 신경을 쓰고 있습니다. 그리고 이러한 문서화의 일환으로 라이브러리 내에 사용된 토크나이저들의 종류에 대해 간단히 설명을 해주 huffon.github.io 토크나이저, Tokenizer 종류
Epoch, Batch size, Step, Iteration
머신러닝/딥러닝 모델을 학습할 때 전체 데이터셋을 모델에 한번에 입력하기에는 크기가 너무 큼 → 데이터를 여러 개의 작은 데이터 묶음(batch)으로 나눠서 모델에 입력 Epoch Epoch : 전체 데이터에 대해서 순전파와 역전파가 끝난 상태; One Epoch is when an ENTIRE dataset is passed forward and backward through the neural network only ONCE 에포크가 50이면, 전체 데이터 단위로는 총 50번 학습함 Batch size Batch size : 몇 개의 데이터 단위로 매개변수를 업데이트 하는지를 의미; Total number of training examples present in a single batch 배치 크기(..
PyTorch
파이토치의 구성요소 torch: 메인 네임스페이스, 텐서 등의 다양한 수학 함수가 포함 torch.autograd: 자동 미분 기능을 제공하는 라이브러리 torch.nn: 신경망 구축을 위한 데이터 구조나 레이어 등의 라이브러리 torch.multiprocessing: 병렬처리 기능을 제공하는 라이브러리 torch.optim: SGD를 중심으로 한 파라미터 최적화 알고리즘 제공 torch.utils: 데이터 조작 등 유틸리티 기능 제공 torch.onnx: ONNX(Open Neural Network Exchange), 서로 다른 프레임워크 간의 모델을 공유할 때 사용 텐서 (Tensors) 데이터 표현을 위한 기본 구조로 텐서(tensor)를 사용 텐서는 데이터를 담기위한 컨테이너(container)로..
[Linux] 로그인 시 -bash-4.2$
Problem [user@localhost ~]$ 터미널 로그인 시에 원래는 위와 같이 localhost ~ 가 뜨는 것이 일반적인데 -bash-4.2$ 위와 같이 -bash-4.2$가 뜨는 경우가 있음 Solution home 디렉토리의 설정파일이 잘못되어서 생기는 문제 → /etc/skel 안에 있는 설정파일들을 복사 cp -rp /etc/skel/.b* /home/[사용자] -r 옵션: 하위 디렉토리까지 모두 복사 -p 옵션: 원본 파일의 소유자, 그룹, 권한 등의 정보까지 모두 복사 소유자 변경 chown -R [사용자].[사용자그룹] /home/[사용자] -R 옵션: 지정한 모드를 파일과 디렉토리에 대해 재귀적으로(recursively) 적용 위와 같이 진행하고 다시 접속하면 아래와 같이 접속되..
[Linux] 서버 저장공간 부족
fdisk -l df -h 이처럼 파일시스템 /dev/nvme0n1p2이 / 즉, root로 마운트되어 있는 경우 일반적으로 /home/user 에서 사용하기 때문에 자연스럽게 용량이 모자라짐 하지만 파일시스템 /dev/nvme1n1p1은 /data로 마운트되어 있지만 저장공간이 넉넉한 상태 마운트 변경 먼저, 언마운트 umount /data 그리고 언마운트한 파일시스템을 다시 원하는 경로로 마운트 mount /dev/nvme1n1p1 /home/user df -h로 제대로 마운트 되었는지 확인 소유자 변경 위에서 root권한으로 /home/user라는 디렉토리를 마운트했다면 아마 소유자가 root로 되어있을 것 (ls -l로 확인) chown [옵션] [소유자:소유그룹] [파일 또는 폴더] chown ..
[Git/Github] 기본 개념, 사용법, 명령어
Github 개념 Github을 처음 접하는 사람이라면 생소한 용어가 너무 많기에 아래의 블로그를 먼저 참조해서 개념을 먼저 이해해보자 (엄청난 필력으로 알기 쉽게 설명해놓으셨다!) https://evan-moon.github.io/2019/07/25/git-tutorial/ Git 뉴비를 위한 기초 사용법 - 시작하기 이번 포스팅에서는 너도 쓰고 나도 쓰고 우리 모두 쓰고 있는 의 기초에 대해서 포스팅 하려고한다. 필자는 Git을 대학교 때 처음 접했는데 처음에는 “왠 이상한 클라우드에 소스코드를 올려놓 evan-moon.github.io Git & Github 기본 사용법 Github 사용법 역시 Gorio님의 블로그를 순서대로 따라해보자 Remote Repository 생성 Github → Repo..