본문 바로가기

머신러닝, 딥러닝/Paper Classification10

NLP tutorial (wikidocs) Pandas 1) Series - 1차원 배열의 값에 각 값에 대응되는 인덱스를 부여할 수 있음 - value와 index로 구성 2) DataFrame - 2차원 배열의 값과 행 방향 인덱스, 열 방향 인덱스로 구성 - value, index, column으로 구성 - list, dict, ndarrays, Series, 또 다른 DataFrame으로 생성할 수 있음 - csv, text, excel, sql, html, json 등 외부 데이터 파일을 읽어 생성할 수 있음 Numpy 1) ndarray 생성 - np.array()로 list, tuple로부터 ndarray를 생성 - np.zeros(shape), np.ones(shape), np.full(shape, num), np.eye(shape.. 2020. 3. 16.

Research paper classification systems based on TF-IDF and LDA schemes Crawling of abstract data & Preprocessing - Data crawler가 abstract와 keyword를 수집하고 전처리함 - 전처리로는 stop words를 제거하고 only nouns를 추출함 - 전처리로 데이터 양이 줄어드므로 classification system의 효율성을 높임 - Abstract가 빅데이터이므로, HDFS로 관리함 Managing paper data - 모든 abstract의 keyword 중에서 비슷한 의미를 갖는 keywords를 하나의 representative keyword로 Categorize함 - 그 결과 1394개의 representative keywords를 추출했고, 이것으로 keyword dictionary를 만듦 - 하지만 그.. 2020. 3. 3.

Text classification (wikidocs) Text classification - Binary classification vs. Multi-class classification - 예제: 스팸 메일 분류, 영화 리뷰 분류 (감성 분석), 의도 분석 Word embedding - 단어를 Dense vector로 바꿔줌 - keras의 Embedding(): '단어 각각에 정수가 매핑되어 있는 입력'에 임베딩 작업을 수행 - 8~9 챕터 참고 Word indexing - 단어를 빈도 수 순서대로 정렬하고 순차적으로 인덱스를 부여 - 빈도 수가 적은 단어를 제거할 수 있음 - 로이터 뉴스 분류와 IMDB 리뷰 감성 분류도 이 방법을 사용 (이미 이 작업이 되어 있는 데이터를 사용) - 2 챕터 참고 RNN model.add(SimpleRNN(hidde.. 2020. 2. 27.

Kaggle 타이타닉 예제 Kaggle - 데이터 사이언스 경진대회 웹사이트 - Datasets 활용 가능 - 온라인 IDE ("Kernel") 을 무료로 제공하고, 데이터 사이언스 패키지가 이미 설치되어 있음 - 예측 모델링을 하여 제출하면 리더보드에서 순위 확인 가능 타이타닉 예제 영상 [1/3] - 문제 분석 + 데이터 분석 - 간단한 문제 분석: 타이타닉 탑승자 중 어떤 사람이 살았고 어떤 사람이 죽었는지 예측하는 것 - 각 Feature가 Target(= Survived/Dead)와 어떤 관계가 있는지 그래프로 확인 - Feature engineering 단계의 방향성을 잡음 타이타닉 예제 영상 [2/3] - Feature engineering - 텍스트 값을 숫자로 바꾸고, 빠진 값들을 채워 넣어주면서 벡터화 하는 것 .. 2020. 2. 25.

이전 1 2 3 다음

티스토리툴바