본문 바로가기

머신러닝, 딥러닝/Paper Classification10

4/23 해봤던 것 정리 1. RMDL 적용 시도 Colab에 pip 설치해 하다가 checkpoint 경로 바꿔보려고 내 깃헙에 fork하고 경로 고쳐서 커밋한 다음 git clone함 (pip 설치하고도 코드를 수정할 수 있는 지는 모르겠음..) https://stackoverflow.com/questions/49322072/checkpoints-in-google-colab : 이거 보면 checkpoint 경로를 /gdrive 내로 바꿔도 안 될 수도 있을 것 같음 (물론 mount 후에..) https://research.google.com/colaboratory/local-runtimes.html : Colab 로컬 런타임 관련 document. 로컬에서 코드를 실행하고 로컬 파일 시스템에 엑세스할 수 있다고 함. 단점.. 2020. 4. 24.

NLP Encoding (wikidocs) Integer encoding - 단어 집합(vocab)의 단어에 고유한 숫자를 부여 - 방법: python dictionary, Counter, NLTK FreqDist, Keras preprocessing.text 1) sentence/word tokenization, cleaning, normalization 2) key=단어, value=빈도수로 하여 단어 집합을 만들고 빈도수 순으로 정렬 3) 빈도수가 높은 단어부터 낮은 정수 인덱스를 부여 4) 빈도수가 적은 단어를 단어 집합에서 제외할 수 있음 5) 자연어 상태의 단어를 정수 인덱스로 변환 - 정수 인덱스로 변환하는 과정에서 OOV가 있을 수 있음 - OOV(Out-Of-Vocabulary): 단어 집합에 존재하지 않는 단어 (빈도수가 적어 .. 2020. 3. 19.

NLP Cleaning and Normalization (wikidocs) Cleaning (정제) - corpus로부터 노이즈 데이터를 제거 - 노이즈 데이터는 특수 문자 외에 분석 목적에 맞지 않는 불필요한 단어를 말하기도 함 1) Removing stopwords - stopword: 큰 의미가 없는 단어 (I, my, me, over, 조사, 접미사 등) - NLTK에서 정의하고 있음 - 한국어 불용어의 경우는 미리 불용어 사전을 정의해두고 사용 (https://www.ranks.nl/stopwords/korean) from nltk.corpus import stopwords from nltk.tokenize import word_tokenize stop_words = set(stopwords.words('english')) text = 'Family is not an .. 2020. 3. 16.

NLP Tokenization (wikidocs) Tokenization - corpus를 token 단위로 나누는 작업 - token은 보통 의미있는 단위로 정의 1) Word tokenization - token의 기준을 word로 하는 경우 - word는 단어, 단어구, 의미를 갖는 문자열로도 간주되기도 함 - 단순히 punctuation을 제거하고 whitespace를 기준으로 토큰화하는 것은 아님 - 가령 don't 처럼 '로 접어가 발생한 경우 다양하게 처리할 수 있으며 (do + n't / don + t 등) - 단어 자체에 punctuation을 가진 경우도 있음 (m.p.h / Ph.D. / AT&T) - 숫자 사이에 punctuation이 들어갔으나 한 번에 처리하고 싶은 경우도 있음 ($45.55 / 01/02/06 / 123,456.. 2020. 3. 16.

이전 1 2 3 다음

티스토리툴바