본문 바로가기

Data Engineering6

Greenplum Database의 Architecture vmware Docs의 About the Greenplum Architecture 글의 요약본임을 밝힙니다. Chrome의 한국어 번역을 사용하고 일부 말씨를 바꾸었습니다. Greenplum Database 란? Greenplum Database는 PostgreSQL 오픈 소스 기술을 기반으로 하는 MPP(대량 병렬 처리) 데이터베이스 서버입니다. MPP( 비공유 아키텍처 라고도 함 )는 작업을 수행하기 위해 협력하는 두 개 이상의 프로세서가 있는 시스템을 나타내며, 각 프로세서에는 자체 메모리, 운영 체제 및 디스크가 있습니다. Greenplum은 이러한 고성능 시스템 아키텍처를 사용하여 수 테라바이트 규모의 데이터 웨어하우스의 로드를 분산하고 시스템의 모든 리소스를 병렬로 사용하여 쿼리를 처리할 수 .. 2023. 11. 10.

반정규화 (의미, 목적, 대안, 방법) DATA ON-AIR 반정규화와 성능 글의 요약본임을 밝힙니다. 반정규화란 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발/운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미한다. 왜 반정규화 하는가? 데이터 무결성이 깨질 수 있는 위험을 무릅쓰고 데이터를 중복하여 반정규화를 적용하는 이유는 데이터를 조회할 때 디스크 I/O량이 많아서 성능이 저하되거나 경로가 너무 멀어 조인으로 인한 성능저하가 예상되거나 칼럼을 계산하여 읽을 때 성능이 저하될 것이 예상되는 경우 반정규화를 수행하게 된다. 기본적으로 정규화는 입력/수정/삭제에 대한 성능을 향상시킬 뿐만 아니라 조회에 대해서도 성능을 향상시키는 역할을 한다. 그러나 정규화만을 수행하면 엔터티의 갯수가 증가하고.. 2023. 11. 10.

데이터 엔지니어링 노마드코더 클론코딩 Roadmap: https://nomadcoders.co/roadmap Python으로 웹 스크래퍼 만들기 (무료): https://nomadcoders.co/python-for-beginners Airbnb 클론코딩: https://nomadcoders.co/airbnb-clone Python 웹 스크래퍼로 흥미 돋우면서 웹 크롤링 시작해도 괜찮을 것 같음 (데이터 쪽) 재미 위주로 Full-stack 서비스 경험해보려면 클론코딩이 괜찮을 것 같음 프로그래머스 실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트 with Python (6만원) https://programmers.co.kr/learn/courses/12916#introduction 6주간 진행되는 스터디로 온라인 미팅.. 2021. 12. 20.

GPDB (vs. PostgreSQL, Architecture, Query) #Greenplum_Database [1] GPDB vs. PostgreSQL - GPDB는 PostgreSQL을 기반으로 하는 MPP* DBMS임 (PostgreSQL은 SMP*) - 여러 개의 디스크 기반 DB 인스턴스들이 하나의 DBMS처럼 작동함 (분산 병렬 처리) - SQL 지원, 특징, Config 옵션, 사용자 기능 측면은 PostgreSQL과 매우 비슷함 - GPDB가 PostgreSQL에 비해 추가 지원하는 기능들은... . Postgres Planner 뿐만 아니라 GPORCA도 쿼리 플래닝에 사용 . 시스템 카탈로그, Optimizer, 쿼리 실행기, 트랜젝션 매니저 수정/강화 (for 병렬 구조) . 외부 테이블 병렬 로딩, 자원 관리, 쿼리 최적화, 스토리지 강화 (Append-O.. 2021. 5. 16.

이전 1 2 다음

티스토리툴바