Kaggle 타이타닉 예제

Kaggle

- 데이터 사이언스 경진대회 웹사이트

- Datasets 활용 가능

- 온라인 IDE ("Kernel") 을 무료로 제공하고, 데이터 사이언스 패키지가 이미 설치되어 있음

- 예측 모델링을 하여 제출하면 리더보드에서 순위 확인 가능

 

 

타이타닉 예제 영상 [1/3]

- 문제 분석 + 데이터 분석

- 간단한 문제 분석: 타이타닉 탑승자 중 어떤 사람이 살았고 어떤 사람이 죽었는지 예측하는 것

- 각 Feature가 Target(= Survived/Dead)와 어떤 관계가 있는지 그래프로 확인

- Feature engineering 단계의 방향성을 잡음

 

 

타이타닉 예제 영상 [2/3]

- Feature engineering

- 텍스트 값을 숫자로 바꾸고, 빠진 값들을 채워 넣어주면서 벡터화 하는 것

- 가령 Title이 'Mr'인 사람의 Age가 빠져있다면, 'Mr'의 중간값으로 넣어줄 수 있음 (전체 인원의 중간값보다 나음)

- Binning: 의미없는 Sequential data를 몇 개의 카테고리로 Grouping하는 것

- 가령 Age는 Sequential data지만 나이 하나하나가 의미를 갖는다기 보다 나이대가 의미를 가지므로 나이대별로 어린이/청년/중년/장년으로 나눌 수 있음

- Feature scaling: Classifier는 Euclidean distance를 쓰기 때문에 숫자의 범위가 크면 중요도를 높게 가져갈 수도 있음. 그래서 값을 조정해주는 것이 Feature scaling.

- 가령 어떤 Feature가 6개 종류를 가진다면, 0~5를 사용하지 않고 0~2로 조정할 수 있음

- 의미없는 Feature는 Drop 해줌

 

 

타이타닉 예제 영상 [3/3]

Classifiers

1) kNN

- k값에 따라 결과가 달라지므로 k값을 바꿔가며 Accuracy 변화 관찰 필요

2) Decision tree

- 갖고 있는 Feature로 Tree를 빌드시키고, 각각의 데이터에 대해 트리를 따라가는 것

3) Random forest

- 여러 개의 작은 Decision tree로 구성

- 예컨대 Feature가 9개고 Tree가 3개면 Feature를 3개/3개/3개로 나눔

- 그 여러 Tree의 결과 중 많은 쪽으로 결정

4) Naive Bayes

5) SVM

- 가장 마지막의 산 데이터와 죽은 데이터 사이의 가장 긴 거리를 만드는 직선을 만듦

- 그 직선을 Decision boundary 라고 함

- Decision boundary의 위쪽에 있는지, 아래쪽에 있는지에 따라 결과 결정

 

Validation

1) Train data에서 일부를 떼어 Valid data로 사용하는 방법

- 어떤 데이터가 Valid data로 뽑히느냐에 따라 Accuracy가 달라짐

- Biased validation이 될 수도 있음

2) k-fold cross validation

- 예컨대 k=10이면 Train data(1000)를 100 * 10로 나눔

- 총 k번 Train과 Valid를 수행하는 Round를 진행하며, 각 Round마다 사용하는 Valid를 다르게 함

- Unbiased validation이 됨

- 수행한 Round들의 Accuracy의 평균을 냄

 

 

References

https://youtu.be/9GWb9yNcsvc