์ ์ฒด ๊ธ74 Windows 11์์ Docker Desktop์ผ๋ก pyspark-notebook ์ธํ ํ๊ธฐ 1. Docker Desktop์ ์ค์นํ๋ค.https://docs.docker.com/desktop/install/windows-install/ WindowsGet started with Docker for Windows. This guide covers system requirements, where to download, and instructions on how to install and update.docs.docker.com โป ์๋ ๋งํฌ์์ ๋ค์ด ๋ฐ์ exe ํ์ผ์ "ํ์ฌ PC์์๋ ์ด ์ฑ์ ์คํํ ์ ์์ต๋๋ค" ๊ฐ ๋ด๋๋ฐ, ์ ๋งํฌ์์๋ ๋ฐ๋ก ์คํ์ด ๋๋ค.https://www.docker.com/products/docker-desktop/ Docker Desktop: The #1 Con.. 2024. 10. 1. NoSQL ๋ถ์ฐ KVS Amazon DynamoDB ์์ด๋ ์ปฌ๋ผ ์คํ ์ด row key์ column์ ์กฐํฉ์ ์ ์ฅํ๋ ๋ฐฉ์์ผ๋ก dynamic columns๋ฅผ ์ ์ฅํ๋ NoSQL ๋ฐ์ดํฐ ์ ์ฅ์dynamic columns๋ ๊ฐ์ ํ ์ด๋ธ์ด๋ผ๋ row ๋ณ๋ก column ์ด๋ฆ๊ณผ ํฌ๋งท์ด ๋ค๋ฅผ ์ ์์์ ์๋ฏธํจcolumn์ ๊ทธ๋ฃนํํ column family ๊ฐ๋ ์ ์ ๊ณตํ๊ธฐ๋ ํ๋๋ฐ, ํจ๊ป ์ ์ฅ๋๋ฏ๋ก ํจ๊ป ๋ง์ด ์ฌ์ฉ๋๋ column์ ๊ทธ๋ฃนํํด์ผ ํจ Apache Cassandra๋ถ์ฐํ ์์ด๋ ์ปฌ๋ผ ์คํ ์ด (์คํ์์ค)TBD ๋ํ๋จผํธ ์คํ ์ด JSON ๊ฐ์ ๋ณต์กํ ์คํค๋ง๋ฆฌ์ค ๋ฐ์ดํฐ๋ฅผ ๊ทธ๋๋ก ์ ์ฅํ๊ณ ์ฟผ๋ฆฌํ ์ ์๋ NoSQL ๋ฐ์ดํฐ ์ ์ฅ์RDBMS์ฒ๋ผ ๋น ๋ฅธ ๊ฒ์์ ์ํ ์ธ๋ฑ์ค๋ ์์ผ๋ฉฐ,๋น์ทํ ๋ํ๋จผํธ๋ฅผ ํจ๊ป ์ ์ฅํ๊ฑฐ๋ (Embedd.. 2024. 6. 13. Greenplum Database์ Architecture vmware Docs์ About the Greenplum Architecture ๊ธ์ ์์ฝ๋ณธ์์ ๋ฐํ๋๋ค. Chrome์ ํ๊ตญ์ด ๋ฒ์ญ์ ์ฌ์ฉํ๊ณ ์ผ๋ถ ๋ง์จ๋ฅผ ๋ฐ๊พธ์์ต๋๋ค. Greenplum Database ๋? Greenplum Database๋ PostgreSQL ์คํ ์์ค ๊ธฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ MPP(๋๋ ๋ณ๋ ฌ ์ฒ๋ฆฌ) ๋ฐ์ดํฐ๋ฒ ์ด์ค ์๋ฒ์ ๋๋ค. MPP( ๋น๊ณต์ ์ํคํ ์ฒ ๋ผ๊ณ ๋ ํจ )๋ ์์ ์ ์ํํ๊ธฐ ์ํด ํ๋ ฅํ๋ ๋ ๊ฐ ์ด์์ ํ๋ก์ธ์๊ฐ ์๋ ์์คํ ์ ๋ํ๋ด๋ฉฐ, ๊ฐ ํ๋ก์ธ์์๋ ์์ฒด ๋ฉ๋ชจ๋ฆฌ, ์ด์ ์ฒด์ ๋ฐ ๋์คํฌ๊ฐ ์์ต๋๋ค. Greenplum์ ์ด๋ฌํ ๊ณ ์ฑ๋ฅ ์์คํ ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ์ฌ ์ ํ ๋ผ๋ฐ์ดํธ ๊ท๋ชจ์ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค์ ๋ก๋๋ฅผ ๋ถ์ฐํ๊ณ ์์คํ ์ ๋ชจ๋ ๋ฆฌ์์ค๋ฅผ ๋ณ๋ ฌ๋ก ์ฌ์ฉํ์ฌ ์ฟผ๋ฆฌ๋ฅผ ์ฒ๋ฆฌํ ์ .. 2023. 11. 10. ๋ฐ์ ๊ทํ (์๋ฏธ, ๋ชฉ์ , ๋์, ๋ฐฉ๋ฒ) DATA ON-AIR ๋ฐ์ ๊ทํ์ ์ฑ๋ฅ ๊ธ์ ์์ฝ๋ณธ์์ ๋ฐํ๋๋ค. ๋ฐ์ ๊ทํ๋ ์ ๊ทํ๋ ์ํฐํฐ, ์์ฑ, ๊ด๊ณ์ ๋ํด ์์คํ ์ ์ฑ๋ฅํฅ์๊ณผ ๊ฐ๋ฐ/์ด์์ ๋จ์ํ๋ฅผ ์ํด ์ค๋ณต, ํตํฉ, ๋ถ๋ฆฌ ๋ฑ์ ์ํํ๋ ๋ฐ์ดํฐ ๋ชจ๋ธ๋ง์ ๊ธฐ๋ฒ์ ์๋ฏธํ๋ค. ์ ๋ฐ์ ๊ทํ ํ๋๊ฐ? ๋ฐ์ดํฐ ๋ฌด๊ฒฐ์ฑ์ด ๊นจ์ง ์ ์๋ ์ํ์ ๋ฌด๋ฆ ์ฐ๊ณ ๋ฐ์ดํฐ๋ฅผ ์ค๋ณตํ์ฌ ๋ฐ์ ๊ทํ๋ฅผ ์ ์ฉํ๋ ์ด์ ๋ ๋ฐ์ดํฐ๋ฅผ ์กฐํํ ๋ ๋์คํฌ I/O๋์ด ๋ง์์ ์ฑ๋ฅ์ด ์ ํ๋๊ฑฐ๋ ๊ฒฝ๋ก๊ฐ ๋๋ฌด ๋ฉ์ด ์กฐ์ธ์ผ๋ก ์ธํ ์ฑ๋ฅ์ ํ๊ฐ ์์๋๊ฑฐ๋ ์นผ๋ผ์ ๊ณ์ฐํ์ฌ ์ฝ์ ๋ ์ฑ๋ฅ์ด ์ ํ๋ ๊ฒ์ด ์์๋๋ ๊ฒฝ์ฐ ๋ฐ์ ๊ทํ๋ฅผ ์ํํ๊ฒ ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ์ ๊ทํ๋ ์ ๋ ฅ/์์ /์ญ์ ์ ๋ํ ์ฑ๋ฅ์ ํฅ์์ํฌ ๋ฟ๋ง ์๋๋ผ ์กฐํ์ ๋ํด์๋ ์ฑ๋ฅ์ ํฅ์์ํค๋ ์ญํ ์ ํ๋ค. ๊ทธ๋ฌ๋ ์ ๊ทํ๋ง์ ์ํํ๋ฉด ์ํฐํฐ์ ๊ฐฏ์๊ฐ ์ฆ๊ฐํ๊ณ .. 2023. 11. 10. ๋ธ๋ก๊ทธ ๊ณต๊ฐ ๊ณ ๋ฏผ (๋ค์ด๋ฒ, ํฐ์คํ ๋ฆฌ, ๋ธ๋ฐ์น, ๋ฏธ๋์, ๋ฒจ๋ก๊ทธ, ๋ ธ์ , ๊นํ) ๋์ ์๊ฐ๊ณผ ์ฑ์ฅ์ ๊ธฐ๋กํ ๊ณต๊ฐ์ด ํ์ํด์์ฆ ์ด๋ ฅ์๋ฅผ ์์ฑํ๊ณ ์๋ค. ๋ ๊ตฌ์ฒด์ ์ผ๋ก๋ ๋ด๊ฐ ํ๊ณ ์ถ์ ์ผ๊ณผ ๋ด๊ฐ ํด์จ ์ผ์ ๋ํด ๊ณ ๋ฏผํ๊ณ ์๋ค. ์ด๋ ฅ์๋ฅผ ์ ๋ค๋ณด๋ ๊ธฐ๋ก ์ฐจ์์์๋ (๊ณผ๊ฑฐ์ ํ ์ผ๊ณผ ์๊ฐ์ด ๊ธฐ์ต๋์ง ์๋๋ค) ์ปค๋ฆฌ์ด ์ดํ ์ฐจ์์์๋ (์ด๋ ฅ์์ ๊ฑด๊ฑด์ด ๋งํฌํ ์ ์๋ ๊ธ์ด ์์์ผ๋ฉด ์ข๊ฒ ๋ค) ๋ธ๋ก๊ทธ ๊ณต๊ฐ์ด ์์ผ๋ฉด ์ข๊ฒ ๋ค๋ ์๊ฐ์ด ๋ค์๋ค. ๊ณ ๋ฏผ๋ ๊ฒ์ ์ผ์๊ณผ ์ฐ์ ๋ฑ ์ฌ์ , ๊ฐ์ฑ์ , ๊ฐ์ฑ์ ์ธ ๊ธ์ ์ธ ๊ณณ๊ณผ ์ปค๋ฆฌ์ด์ ๊ฐ๋ฐ ๊ด๋ จ ์ ๋ฌธ์ ์ธ ๊ธ์ ์ธ ๊ณณ์ ๋ถ๋ฆฌํ ๊ฒ์ธ๊ฐ? ์๋ค. ๊ฒฐ๋ก ์ ์ผ๋ก๋ ๋ถ๋ฆฌํ๋ ๊ฒ์ด ๋์๋ณด์ธ๋ค. 1) ๊ฐ๊ฐ์ ๋ชฉ์ ์ ๋ง๋ ํ๋ซํผ์ด ์๋ค๋ ๊ฒ๊ณผ 2) ๋ณธ์บ์ ๋ถ์บ๋ง๋ฅ ์ข ํฉ์ ์ธ ๋๋ผ๋ ์ธ๊ฐ๊ณผ ์ผํ๋ ๋๋ผ๋ ์ธ๊ฐ์ ๊ตฌ๋ถํ๋ ๊ฒ์ด ์ข๊ฒ ๋ค๋ ์ด์ ๋ค. ์ปค๋ฆฌ์ด์ ๊ฐ๋ฐ ๋ธ๋ก๊ทธ ๊ณต๊ฐ์ปค๋ฆฌ์ด ๊ด๋ จ ๊ณ ๋ฏผ/์.. 2023. 5. 7. 2023 ์์ธ ์๋๊ณต์ ์ ์ฒญ 1. ๊ฐ์ํ ์๋ฃ - ์์ธ์ก์ ์ ๋ฐ์ดํธ ๋์ด์๋์ง ํ์ธ 2. ์ ๋ฐ์ดํธ ๋์ด์์ง ์๋ค๋ฉด ํํ์ค์์ ๋ณ๋๋ก ์ ์ฒญ - ํ์ ์ ๋ณด: ์๋์ธ ์ฃผ๋ฏผ๋ฑ๋ก๋ฒํธ, ์ฃผ์์ง, ์์ธ ์ง๊ธ์ผ (๋งค๋ฌ X์ผ), ๊ณ์ฝ ๊ธฐ๊ฐ, ์์ธ์ก - ์ฒจ๋ถ ์๋ฅ: (๋ฐ๋ก ์๋ด๋ ์์ผ๋ 2๋ฒ์งธ ๋งํฌ ๋ด์ฉ์ ์ฐธ๊ณ ํ์ฌ) ์์ธ ์ด์ฒดํ์ธ์ฆ๊ณผ ์๋์ฐจ๊ณ์ฝ์ . ์ด์ฒดํ์ธ์ฆ์ ๊ฐ ์ํ ์ธํฐ๋ท ๋ฑ ํน ์ฌ์ดํธ์์ ๋ฐ๊ธ ๊ฐ๋ฅ . ์นด์นด์คํ์ด ์ด์ฒด์ ๊ฒฝ์ฐ ์ก๊ธ ๋ด์ญ ํ๋ฉด ์ฐ์ธก ์๋จ์ '์ก๊ธํ์ธ์ฆ' ํด๋ฆญํ์ฌ ๋ฐ๊ธ ๊ฐ๋ฅํ๋, PDF๋ฅผ ๋ฉ์ผ๋ก ์ ์ก ๋ฐ์ผ๋ฉด ์ํธํ ๋์ด์์.. => PDF๋ก ์ธ์ํ๊ธฐ ํ์ฌ ์ํธํ ํด์ ํ๊ธฐ . ์ฌ๋ฌ ์ํ ํน์ ๊ณ์ข๋ก ์ด์ฒดํด์.. ํPDF (๋๋ ์PDF) ๋ก PDF ๋ณํฉํจ https://blog.naver.com/hayth0121/22297477005.. 2023. 1. 19. ์ด์ 1 2 3 4 ยทยทยท 13 ๋ค์