Attention Is All You Need 공부

BLUE Score

https://donghwa-kim.github.io/BLEU.html

요약: X label과 Y label이 모두 단어들의 시퀀스 (즉 문장) 일 때 사용하는 성과 지표. Precision, Clipping, Brevity penalty 개념을 사용한다. 위 글에 이해하기 좋게 잘 정리가 되어있다. n-gram은 연속된 n개의 토큰(단어)이다.

 

Attention 관련 자료

http://www.modulabs.co.kr/?module=file&act=procFileDownload&file_srl=20068&sid=c11da8e0ec9d00ea4fdc828fa2bff90a&module_srl=18361

모두의 연구소 - 간단한 발표 자료

 

https://jalammar.github.io/illustrated-transformer/

https://towardsdatascience.com/attention-and-its-different-forms-7fc3674d14dc

영어 자료들

 

https://lovit.github.io/machine%20learning/2019/03/17/attention_in_nlp/

https://pozalabs.github.io/transformer/

한글 자료들

 

https://arxiv.org/pdf/1409.0473.pdf

Attention 16년 논문