Attention 공부

읽은 자료:

https://youtu.be/iDulhoQ2pro

https://hulk89.github.io/neural%20machine%20translation/2017/04/04/attention-mechanism/

 

Image Captioning

https://github.com/zzsza/Deep_Learning_starting_with_the_latest_papers/blob/master/Lecture_Note/03.%20CNN%20Application/12.Image-Captioning.md

https://greeksharifa.github.io/computer%20vision/2019/04/17/Visual-Question-Answering/

- Image captioning: 이미지를 주면 그 이미지를 설명하는 문장을 만드는 것
- VQA (Visual Question Answering): 이미지와 그 이미지에 대한 질문이 주어졌을 때 올바른 답변을 만들어내는 것

 

Attention

Motivation

https://smerity.com/articles/2016/google_nmt_arch.html

Image captioning이든 번역이든 Source를 Target으로 바꾸는 과정에서 위 그림과 같은 Encoder - Decoder로 이루어진 모델을 생각할 수 있다. Attention 이전에는 Source의 정보를 하나의 벡터 s로 Encode하고 이를 다시 Decode하였다. 그런데, 가령 내가 아래와 같은 번역을 하고 싶다고 하자.

The cat eats the mouse
➔ Die katze frisst die maus

frisst는 원 문장의 eats에 해당되는 단어인데, frisst를 만들 때 eats에 대한 정보가 흘러온 경로를 보면 매우 길며 (그래서 많은 transformations가 개입될 수 있으며: Long-range dependency) eats에 특정되는 정보를 참고하지도 않는다. 그래서 frisst를 만들 때 eats에 집중할 수 있도록 하는 것이 Attention이다.

"Before with RNNs, the entire sentence-to-sentence translation is one sample because we need to back propagate through all of these RNN steps (because they all happen in sequence). Here (with Attention) basically output of one single token is one sample. And then the computation is finished the back propagate through everything for this one step."

 

Query, Key, and Value

Q, K, V로 불리는 Query, Key, Value는 각각 무엇일까? 이것에 대한 명시적인 답을 찾기가 어려웠다..

유투브에서는 아래와 같이 설명한다.
Q: output by the encoding part of target sentence
K, V: output by the encoding part of source sentence

지금까지 내가 이해한대로 정리해보면 ...

Q: Target sentence를 만드는 과정에서, "현재까지 이렇게 Sentence를 만들어 왔는데 그럼 이번 스텝에서는 어떤 단어가 나와야 해?" 하는 쿼리. Target에서 현재까지의 context를 담고 있다. (헐크 블로그 글에서 c에 해당)

K: Input sentence의 각 부분으로, Q와 유사도를 검사하는 대상. 여기서 유사도는 Q를 처리하는데 얼마나 도움이 되는 정보인가 (즉 Q를 처리하는데 이 K에 얼마나 Attention을 줘야 하는가)를 의미한다. 가령 위의 예에서 frisst를 만들어 낼 스텝에서 eats가 얼마나 도움이 되는 정보인가를 타진한다. (물론 The, cat, eats, the, mouse에 대해 각각 얼마나 도움이 되는지를 판단하고, softmax를 취해 eats가 가장 도움이 되는 정보라는 것을 알게 될 것이다.) Value를 Indexing 하는 역할도 한다. (Index hidden states via softmax)

V: (K1, V1), (K2, V2) ... 이런 식으로 K와 Corresponding 하는 값. 위에서 설명한 softmax 값에 곱해지는 값. 상황에 따라 K와 V는 같은 값이 될 수도 있는 듯. (헐크 블로그 글에서 K와 V는 yi에 해당)

유튜브에서는 위와 같은 그림으로 설명한다.

(배경: Q, Ki는 각각 벡터이고, 각 Ki에 대응되는 Vi가 있다.)
"We compute the dot-product with each of the keys and then we compute a softmax over this - which means that one key will basically selected (k2). That has the biggest dot-product with Q. This is kind of indexing scheme into this memory of values."

"Basically, the encoder of the source sentence discovers interesting things and it builds Key-Value pairs. And then the encoder of the target sentence builds the Queries. And together they give you kind of the next signal."
"Here's a bunch of things about the source sentence that you might find interesting - that's the value V. The Keys are ways to index the values. And Q is like 'I want to know certain things.'."

 

Mechanism

간단히 말하면 Attention은 ...
- 인풋을 n개의 부분으로 나누고 Encoder로 각 부분에 대한 표현인 h1, ..., hn을 만든다. (각 hidden state)
- 아웃풋을 만드는 어떤 순간 c에서 h1, ..., hn 중 관련된 부분이 무엇인지 찾는다. (c는 context의 약자로 그 순간의 context를 담고 있다고 생각할 수 있음)