Spark/Hadoop 이용할 CentOS VM 세팅하기

CentOS에서 Spark와 Hadoop을 이용해 빅데이터를 분석하는 실습을 하기 위해서...

VM을 세팅하는 방법에 대해서 정리한다. 돌아보면 별 거 아닌데 하룻밤을 새고 나서야 알게 되었다.

 

미리 결론부터 말하자면.. RAM=4GB, Disk=20GB이상, Cores=8로 VM을 세팅하자.

(Cores는 Multi-threading 이용할 경우)

 

VMWare

사실 Window에서 실습을 진행해도 됐는데,

Linux 기반으로 해보는게 낫지 않을까 싶어서 VM에 CentOS를 올리기로 했다. (CentOS는 처음 써보는 거기도 하고..)

익숙한 VirtualBox를 사용하려고 했는데.. 이상하게 (몇 달 전부터?) VM이 시작이 안 되고 오류가 있어서 결국 포기했다.

발생한 오류는 여기서 난 오류랑 같은 건데, VirtualBox 구버전을 깔아도 신버전을 깔아도 똑같이 안 됐다.

 

결국 VMWare를 사용하기로 하고 CentOS를 올렸다.

예전에 쓰던 노트북에서 VMWare가 너무 느리고 블루스크린이 자주 났어서 좀 걱정했는데 생각보다 세팅도 빠르고 속도도 괜찮았다.

CentOS에 강의에서 가르쳐주는대로 Spark와 Hadoop을 깔았다.

오래 걸리긴 했지만 설명이 잘 되어 있어서 Spark, Hadoop 까는 게 문제는 아니었다.

 

RAM, Disk 조정기

Spark와 Hadoop을 깔고 나서 첫 번째 실습인 Word Counting Practice를 진행했다.

텍스트 파일에 있는 단어가 각각 몇 번씩 나오는지 세는 실습이고,

코드는 주어져서 Single/Multi thread에서 빅데이터가 돌아가게끔 하는 게 포인트였다.

 

일단 한 문장이 들어있는 작은 텍스트 파일에 대해서는 MapReduce가 잘 작동되었다.

그래서 과제 대상인 큰 텍스트 파일도 돌려봤는데... 너~무 느렸다.

 

Map과 Reduce의 퍼센트는 조금씩 올라가긴 하는데 중간중간 계속 같은 exception이 났다.

근데 웃긴 게 그냥 두면 자동으로 다시 시작됐다가 다시 exception이 나고가 반복됐다.

가령 map이 30%까지 됐다가 exception이 나면 map 20%부터 다시 시작되고,

거기서 다시 map 35%까지 됐다가 다시 exception이 나면 map 25%부터 시작하고 이런 식이었다.

그러니까 exception이 나고 다시 시작될 때마다 시작점이 올라갔다.

그래서 사실 희망고문 당해서 계속 그냥 뒀었다.

 

Exception 내용을 찾아보니

java.lang.runtimeexception pipemapred.waitoutputthreads() subprocess failed with code 137

메모리가 부족하단다.

 

왜 메모리가 부족할까 되짚어보니..

처음 VM을 만들 때 기본 설정 화면에서는 디스크 용량만 설정하게 되어있고, 따로 고급 창에 가야 RAM을 조절할 수 있었다.

그런데 강의에서 다룬 주의 사항은 디스크 용량을 20GB 이상으로 잡으라는 것 뿐이었다.

그래서 아무 생각 없이 디폴트인 RAM 1GB가 잡힌 것이다..^^

이걸 확인하고 나니 미련 없이 VM을 강제종료할 수 있었다.

 

종료 후 RAM을 4GB로 올리고 디스크도 혹시 몰라 50GB로 통 크게 올려버렸다.

그리고 다시 시도해봤는데 이상하게도

$> sudo $HADOOP_HOME/bin/hadoop dfsadmin -safemode leave

로 safemode를 해제했는데 (저 커맨드의 결과로 safemode가 해제되었다고 나왔음)

다른 커맨드를 실행하면 safemode라서 안 된다고 나왔다. ㅎㅎ..

제대로 Spark를 종료 안하고 VM 자체를 강제 종료한 것 때문인 듯 했다.

데드라인은 다가오고 이 문제를 해결하는 게 엄두가 안나서 결국 하루 종일 세팅한 VM을 삭제하고 다시 시작하기로 했다. ㅎㅎ..

 

Cores 조정기

그래서 VM을 새로 세팅할 때는 처음부터 RAM 4GB, 디스크 40GB로 잡았다.

진짜 아니나 다를까.. 전체적으로 너무 빨라졌다.

이전 VM에서 Spark와 Hadoop을 다운 받는데만 10~20분 정도 걸렸었는데 1~2분 정도 밖에 안 걸렸다.

RAM이 진짜 중요한 거구나.. 실감했다.

여튼 시간도 없고 마음이 급해서 커맨드를 복붙해가며 1시간 만에 Spark와 Hadoop 설치 및 세팅을 끝냈다.

 

그리고 작은 텍스트 파일로 실험한 후 잘 되서 큰 텍스트 파일을 싱글 코어로 돌려봤다.

정말 다행히도.. 지긋지긋한 137 exception이 안 났다.

기본적으로 속도도 더 빨랐고 중간 중간 exception이 안 나니까 훨씬 빨리 됐다.

그래서 싱글 코어로 27분 정도가 걸렸다.

너무 기뻐서 멀티 코어(8개)로 돌려놓고 아침이 되서야 잠들었다.

 

일어나보니 결과 파일은 잘 나온 것 같은데 (part-00000부터 part-00007, _SUCCESS 파일이 아웃풋 폴더에 생겼음)

이상하게 걸린 시간이 싱글 코어랑 똑같았다.

지웠던 VM에서 Core 수를 1개로 설정했었는데 (작은 텍스트 파일을) 멀티 코어로 돌리면 part-00000부터 part-00007, _SUCCESS 파일이 잘 생기길래 알아서 호스트랑 왔다갔다 하면서 수행해주나보다 싶기도 했고,

찾아보니 VM에 2개 이상 Core 수를 할당할 때는 주의하라는 글이 있어서 새로 VM을 설치할 때도 그냥 1개로 설정했었는데.. 이게 문제 같았다.

침착하게 dfs와 yarn을 끄고 VM을 끈 다음 Core 수를 8개로 늘렸다.

 

Core 수를 올려도 에러가..

그리고 다시 실험해보니 멀티 코어로 돌리면 또 새로운 에러가 났다. ㅎㅎ..

container killed on request. exit code is 143

에러가 났는데 Stackoverflow에 찾아보니

Exit code 143 is related to Memory/GC issues. Your default Mapper/reducer memory setting may not be sufficient to run the large data set. Thus, try setting up higher AM, MAP and REDUCER memory when a large yarn job is invoked.

라고 한숨 나오는 설명이 나왔다.

 

해결방법을 찾다가 VMWare 사이트에 있는 관련 글을 찾았다.

요약하자면 데이터셋 크기가 커지는데 디폴트 메모리인 2GB를 그대로 사용해서 터진다는 말이었다.

그래서 yarn-site.xml에서 yarn.app.mapreduce.am.resource.m property를 바꾸라는데...

참고하라고 준 링크를 봐도 value를 몇으로 해야할 지... 감이 안 왔다.

 

그래서 살짝 야매같지만 결국 이 블로그를 참고해서

yarn-site.xml을 수정해 가용 메모리를 체크하는 (?) 것 자체를 false로 만들었다.

너무 다행히 에러 없이 잘 되었고 시간도 멀티 코어 9분 대로 납득할 만한 시간이 나왔다.

 

마무리하며

처음부터 RAM과 Core를 잘 설정했으면.. 이렇게 개고생은 안 했을텐데..ㅠㅠ

다음 과제에서는.. 에러가 안 나길..ㅠㅠ

 

그리고 Hadoop 끌 때

sudo $HADOOP_HOME/sbin/stop-all.sh

로 dfs와 yarn을 꼭 끄자!

안 끄면 다음에 켤 때 safe mode가 작동된다..

 

그리고 시작할 때는

sudo $HADOOP_HOME/sbin/start-dfs.sh
sudo $HADOOP_HOME/sbin/start-yarn.sh

로 시작..!

 

아웃풋 파일을 로컬로 꺼내올 때는 put과 반대인 get을 이용하면 된다.

sudo $HADOOP_HOME/bin/hdfs dfs -get <path-of-hdfs> <path-of-local>

처럼 이용하면 된다. 이 블로그를 참고했다.