[Seq2Seq] Sequence to Sequence Learning with Neural Networks

 

Sequence to Sequence Learning with Neural Networks

Ilya Sutskever, Oriol Vinyals, Quoc V. Le

arXiv:1409.3215 [cs.CL]

 

Sequence-to-sequence(Seq2Seq) 모델은 기계번역에서 많이 연구 되어온 모델로, RNN(Recurrent Neural Network)을 이용하여 입력 문장의 의미를 함축하는 context vector를 만들고(encoding), 이를 다시 다른 RNN을 통하여 출력 문장을 생성(decoding)하는 방법이다. 따라서 Sequence-to-sequence 모델은 별도의 휴리스틱 등을 이용한 규칙과 자질들을 시스템에 추가할 필요가 없으며, 구문분석 전처리과정이 없는 end-to-end 방식으로 설계할 수 있다.

 

출처 : Copy Mechanism과 Input Feeding을 이용한 End-to-End 한국어 문서요약; 최경호, 이창기

제28회 한글 및 한국어 정보처리 학술대회 논문집 (2016년)

 

https://wikidocs.net/24996

1) 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq)