NLP Encoding (wikidocs)

Integer encoding

- 단어 집합(vocab)의 단어에 고유한 숫자를 부여

- 방법: python dictionary, Counter, NLTK FreqDist, Keras preprocessing.text

 

1) sentence/word tokenization, cleaning, normalization

2) key=단어, value=빈도수로 하여 단어 집합을 만들고 빈도수 순으로 정렬

3) 빈도수가 높은 단어부터 낮은 정수 인덱스를 부여

4) 빈도수가 적은 단어를 단어 집합에서 제외할 수 있음

5) 자연어 상태의 단어를 정수 인덱스로 변환

- 정수 인덱스로 변환하는 과정에서 OOV가 있을 수 있음

- OOV(Out-Of-Vocabulary): 단어 집합에 존재하지 않는 단어 (빈도수가 적어 제외된 단어)

 

 

One-hot encoding

- Integer encoding 후에 진행

- 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1, 나머지 인덱스에 0을 부여

- 결과 벡터를 one-hot vector라고 함

 

One-hot encoding의 한계

- 단어 집합의 크기가 늘어날수록 벡터의 차원이 커짐

- 매우 sparse하여 메모리 효율이 떨어짐

- 단어 간 유사도를 표현하지 못함

 

 

References

https://wikidocs.net/31766

https://wikidocs.net/22647