본문 바로가기

Data Engineering8

Windows 11에서 Docker Desktop으로 pyspark-notebook 세팅하기 1. Docker Desktop을 설치한다.https://docs.docker.com/desktop/install/windows-install/ WindowsGet started with Docker for Windows. This guide covers system requirements, where to download, and instructions on how to install and update.docs.docker.com ※ 아래 링크에서 다운 받은 exe 파일은 "현재 PC에서는 이 앱을 실행할 수 없습니다" 가 떴는데, 위 링크에서는 바로 실행이 됐다.https://www.docker.com/products/docker-desktop/ Docker Desktop: The #1 Con.. 2024. 10. 1.

NoSQL 분산 KVS Amazon DynamoDB 와이드 컬럼 스토어 row key와 column의 조합을 저장하는 방식으로 dynamic columns를 저장하는 NoSQL 데이터 저장소dynamic columns는 같은 테이블이라도 row 별로 column 이름과 포맷이 다를 수 있음을 의미함column을 그룹핑한 column family 개념을 제공하기도 하는데, 함께 저장되므로 함께 많이 사용되는 column을 그룹핑해야 함 Apache Cassandra분산형 와이드 컬럼 스토어 (오픈소스)TBD 도큐먼트 스토어 JSON 같은 복잡한 스키마리스 데이터를 그대로 저장하고 쿼리할 수 있는 NoSQL 데이터 저장소RDBMS처럼 빠른 검색을 위한 인덱스도 있으며,비슷한 도큐먼트를 함께 저장하거나 (Embedd.. 2024. 6. 13.

Greenplum Database의 Architecture vmware Docs의 About the Greenplum Architecture 글의 요약본임을 밝힙니다. Chrome의 한국어 번역을 사용하고 일부 말씨를 바꾸었습니다. Greenplum Database 란? Greenplum Database는 PostgreSQL 오픈 소스 기술을 기반으로 하는 MPP(대량 병렬 처리) 데이터베이스 서버입니다. MPP( 비공유 아키텍처 라고도 함 )는 작업을 수행하기 위해 협력하는 두 개 이상의 프로세서가 있는 시스템을 나타내며, 각 프로세서에는 자체 메모리, 운영 체제 및 디스크가 있습니다. Greenplum은 이러한 고성능 시스템 아키텍처를 사용하여 수 테라바이트 규모의 데이터 웨어하우스의 로드를 분산하고 시스템의 모든 리소스를 병렬로 사용하여 쿼리를 처리할 수 .. 2023. 11. 10.

반정규화 (의미, 목적, 대안, 방법) DATA ON-AIR 반정규화와 성능 글의 요약본임을 밝힙니다. 반정규화란 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발/운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미한다. 왜 반정규화 하는가? 데이터 무결성이 깨질 수 있는 위험을 무릅쓰고 데이터를 중복하여 반정규화를 적용하는 이유는 데이터를 조회할 때 디스크 I/O량이 많아서 성능이 저하되거나 경로가 너무 멀어 조인으로 인한 성능저하가 예상되거나 칼럼을 계산하여 읽을 때 성능이 저하될 것이 예상되는 경우 반정규화를 수행하게 된다. 기본적으로 정규화는 입력/수정/삭제에 대한 성능을 향상시킬 뿐만 아니라 조회에 대해서도 성능을 향상시키는 역할을 한다. 그러나 정규화만을 수행하면 엔터티의 갯수가 증가하고.. 2023. 11. 10.

이전 1 2 다음

티스토리툴바