yeon's

2017년 NIPS에서 발표된 Attention Is All You Need는 구글이 낸 논문으로 이를 기반으로 Bert, GPT, VIT 등 자연어뿐만 아니라 이미지에도 적용되는 모델들이 나왔다. 대학원 첫 세미나로 이 논문을 발표하게 됐는데 논문을 직접 깊게 읽어보고 파고들어보니까 이 전에 책으로 공부했을때 보다 새롭게 다가오는 느낌이다. Transformer가 나오기 전에는 번역 같은 sequence transduction를 수행하기 위해 RNN기반의 recurrent 모델을 주로 사용하였다. Recurrent 모델과 attention 매커니즘 함께 활용하여 인코더와 디코더로 연결한 모델이 best performing이었다고 논문에서는 말한다. Model Architecture 전체적인 Encode..