https://huffon.github.io/2020/07/05/tokenizers/
HuggingFace 내 토크나이저 종류 살펴보기 - Programador | Huffon Blog
Huggingface Transformers가 버전 3에 접어들며, 문서화에도 더 많은 신경을 쓰고 있습니다. 그리고 이러한 문서화의 일환으로 라이브러리 내에 사용된 토크나이저들의 종류에 대해 간단히 설명을 해주
huffon.github.io
토크나이저, Tokenizer 종류
'Programming > NLP' 카테고리의 다른 글
| 공공부문 거대언어모델(LLM) 오픈소스 활용방안 - NIA (2) | 2024.09.30 |
|---|---|
| [DST] AG-DST (0) | 2022.04.04 |
| [Seq2Seq] Sequence to Sequence Learning with Neural Networks (0) | 2022.03.11 |
| Ontology, 온톨로지 (0) | 2022.03.10 |
| [Transformer #1] Positional Encoding (Position Embedding) (0) | 2021.11.16 |