Windows 11에서 Docker Desktop으로 pyspark-notebook 세팅하기

1. Docker Desktop을 설치한다.

https://docs.docker.com/desktop/install/windows-install/

Windows

 

※ 아래 링크에서 다운 받은 exe 파일은

    "현재 PC에서는 이 앱을 실행할 수 없습니다" 가 떴는데, 위 링크에서는 바로 실행이 됐다.

https://www.docker.com/products/docker-desktop/

Docker Desktop: The #1 Containerization Tool for Developers | Docker

 

 

2. Docker Desktop을 실행하고 Learning Center의 프로그램 3개를 따라가봤다.

    welcome-to-docker 라는 앱을 실행해볼 수 있게 되어있다!

 

 

3. Docker Desktop 상단 검색바 (또는 Ctrl+K) 에서 pyspark-notebook을 검색하고 Latest Run을 클릭했다.

    Optional Settings에서 Host Port를 8888(:8888) 로 했다.

 

 

4. 그럼 앱이 잘 실행되면서 Logs 탭에 로그들이 보인다.

 

 

5. 브라우저에서 localhost:8888을 쳐서 들어가면 Jupyter가 뜬다.

    그런데 여기서 (캡처를 못했지만..) 토큰을 입력하라고 나오고,

    토큰을 확인하기 위해선 jupyter server list 커맨드를 실행해서 출력되는 URL에서 토큰을 복사해오라고 나온다.

 

 

6. 그러면 다시 Docker Desktop으로 가서 Exec 탭에 가서 jupyter server list 커맨드를 치고 토큰을 확인 후 복붙해준다.

 

 

7. 그럼 Jupyter가 잘 켜진다.

 

 

8. Notebook - Python 3 (ipykernel) 을 선택하면 Notebook이 뜬다.

   pyspark를 바로 import하고 python 코드를 작성할 수 있다.

 

※ 간단한 pyspark 코드는 아래 링크의 6번에 나오는 코드를 그대로 복붙했다.

https://it-sunny-333.tistory.com/88

jupyter 노트북에서 pyspark 사용하기

 

 

내 친구 꽥하가 알려준대로 그대로 했는데 됐다...

아래 링크를 알려줬는데 똑같이 하지는 않았음!

https://lamanus.kr/85

Docker로 손쉽게 Jupyter와 Spark 사용하기