참고할만한 내용(p.9) RLHF(Reinforcement Learning from Human Feedback)와 DPO(Direct Preference Optimization) 비교(p.15~17) RAG의 정의 및 동작방식, LangChain 및 벡터 DB(Vector DB)   https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?cbIdx=25932&bcIdx=26223&parentSeq=26223 https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do?bcIdx=26223&cbIdx=25932&parentSeq=26223[IT & Future Strategy (23-9)] 공공부문 거대언어모델(LLM) 오픈소스 활용방안 202..

https://huffon.github.io/2020/07/05/tokenizers/ HuggingFace 내 토크나이저 종류 살펴보기 - Programador | Huffon Blog Huggingface Transformers가 버전 3에 접어들며, 문서화에도 더 많은 신경을 쓰고 있습니다. 그리고 이러한 문서화의 일환으로 라이브러리 내에 사용된 토크나이저들의 종류에 대해 간단히 설명을 해주 huffon.github.io 토크나이저, Tokenizer 종류

보호되어 있는 글입니다.

Sequence to Sequence Learning with Neural Networks Ilya Sutskever, Oriol Vinyals, Quoc V. Le arXiv:1409.3215 [cs.CL] Sequence-to-sequence(Seq2Seq) 모델은 기계번역에서 많이 연구 되어온 모델로, RNN(Recurrent Neural Network)을 이용하여 입력 문장의 의미를 함축하는 context vector를 만들고(encoding), 이를 다시 다른 RNN을 통하여 출력 문장을 생성(decoding)하는 방법이다. 따라서 Sequence-to-sequence 모델은 별도의 휴리스틱 등을 이용한 규칙과 자질들을 시스템에 추가할 필요가 없으며, 구문분석 전처리과정이 없는 end-to-en..

Ontology, 온톨로지 : 존재하는 사물과 사물 간의 관계 및 여러 개념을 컴퓨터가 처리할 수 있는 형태로 표현하는 것; 일종의 지식 표현(knowledge representation) 데이터베이스; 사람들이 세상에 대하여 보고 듣고 느끼고 생각하는 것에 대해 서로 간의 토론을 통해 합의를 이룬 바를 컴퓨터에서 다룰 수 있는 형태로 표현한 모델, 개념의 타입이나 사용상의 제약조건들을 명시적으로 정의한 기술, 합의된 지식을 나타내므로 어느 특정 개인에게 국한되는 것이 아니라 그룹 구성원이 모두 동의하는 개념, 컴퓨터는 온톨로지로 표현된 개념을 이해하고 지식처리를 할 수 있게 됨; "온톨로지는 관심 도메인 내 공유된 개념화에 대한 형식적이고, 명시적인 Specification이다." "An ontolog..

Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin arXiv:1706.03762 [cs.CL] #1 기본적인 Input processing, Word Embedding, Position Embedding에 대한 이해 아래의 Youtube 영상을 바탕으로 내용을 정리한 글 Hedu - Math of Intelligence Visual Guide to Transformer Neural Networks - (Episode 1) Position Embeddings https://youtu.be/dich..