Greenplum Database의 Architecture

vmware Docs의 About the Greenplum Architecture 글의 요약본임을 밝힙니다.

Chrome의 한국어 번역을 사용하고 일부 말씨를 바꾸었습니다.

 

Greenplum Database 란?

Greenplum Database는 PostgreSQL 오픈 소스 기술을 기반으로 하는 MPP(대량 병렬 처리) 데이터베이스 서버입니다.

MPP( 비공유 아키텍처 라고도 함 )는 작업을 수행하기 위해 협력하는 두 개 이상의 프로세서가 있는 시스템을 나타내며, 각 프로세서에는 자체 메모리, 운영 체제 및 디스크가 있습니다. Greenplum은 이러한 고성능 시스템 아키텍처를 사용하여 수 테라바이트 규모의 데이터 웨어하우스의 로드를 분산하고 시스템의 모든 리소스를 병렬로 사용하여 쿼리를 처리할 수 있습니다.

 

Greenplum Database가 PostgreSQL과 다른 점

• 시스템 카탈로그, 최적화 프로그램, 쿼리 실행기 및 트랜잭션 관리자 구성 요소는 모든 병렬 PostgreSQL 데이터베이스 인스턴스에서 동시에 쿼리를 실행할 수 있도록 수정 및 향상되었습니다. Greenplum 상호 연결 (네트워킹 계층)을 사용하면 개별 PostgreSQL 인스턴스 간의 통신이 가능하고 시스템이 하나의 논리적 데이터베이스처럼 작동할 수 있습니다.
• 열 스토리지를 사용할 수 있는 옵션이 있습니다. 컬럼 저장은 압축 가능합니다. 또한 관심 있는 열만 반환하면 되므로 성능도 향상될 수 있습니다.
• BI 워크로드에 맞게 PostgreSQL을 최적화하도록 설계된 기능도 포함되어 있습니다. 예를 들어 표준 PostgreSQL에는 없는 병렬 데이터 로딩(외부 테이블), 리소스 관리, 쿼리 최적화 및 스토리지 향상 기능을 추가했습니다.

 

Greenplum Database - Master (Coordinator)

• 코디네이터는 클라이언트 연결을 인증하고, 들어오는 SQL 명령을 처리하고, 세그먼트 간에 작업 부하를 분산하고, 각 세그먼트에서 반환된 결과를 조정하고, 최종 결과를 클라이언트 프로그램에 제공합니다.
• psql, JDBC, ODBC 같은 클라이언트 프로그램이나 API를 사용하여 데이터베이스에 연결합니다.
• 코디네이터는 글로벌 시스템 카탈로그가 있는 곳입니다. 글로벌 시스템 카탈로그는 Greenplum 데이터베이스 시스템 자체에 대한 메타데이터가 포함된 시스템 테이블 세트입니다. 코디네이터에는 사용자 데이터가 포함되어 있지 않습니다. 데이터는 세그먼트 에만 상주합니다.

 

Greenplum Database - Standby Master (Standby Coordinator)

• Primary 코디네이터 호스트와 Standby 코디네이터 호스트 간의 데이터를 동기화하는 트랜잭션 로그 복제 프로세스를 통해 최신 상태로 유지됩니다. WAL (Write-Ahead Logging) 기반 로깅에서는 모든 수정 사항이 적용되기 전에 로그에 기록되어 진행 중인 작업에 대한 데이터 무결성을 보장합니다.
• 기본 코디네이터에 장애가 발생하면 로그 복제 프로세스가 종료되고 관리자는 그 자리에서 대기 코디네이터를 활성화할 수 있습니다. 대기 코디네이터가 활성화되면 복제된 로그를 사용하여 마지막으로 성공적으로 커밋된 트랜잭션 당시 코디네이터 호스트의 상태를 재구성합니다.

 

Greenplum Database - Segment

• 세그먼트 인스턴스는 각각 데이터의 일부를 저장하고 대부분의 쿼리 처리를 수행하는 독립적인 PostgreSQL 데이터베이스입니다. 사용자 정의 테이블과 해당 인덱스는 세그먼트에 분산됩니다. 각 세그먼트에는 데이터의 고유한 부분이 포함되어 있습니다. 세그먼트 데이터를 제공하는 데이터베이스 서버 프로세스는 해당 세그먼트 인스턴스에서 실행됩니다.
• 세그먼트 인스턴스를 실행하는 서버를 세그먼트 호스트 라고 합니다. 세그먼트 호스트는 일반적으로 CPU 코어, RAM, 스토리지, 네트워크 인터페이스 및 워크로드에 따라 2~8개의 Greenplum 세그먼트를 실행합니다. 세그먼트 호스트는 동일하게 구성되어야 합니다. Greenplum 데이터베이스에서 최고의 성능을 얻는 핵심은 동일한 능력을 갖춘 다수의 세그먼트에 데이터와 워크로드를 균등하게 분산하여 모든 세그먼트가 동시에 작업을 시작하고 동시에 작업을 완료하도록 하는 것입니다.
• 미러 세그먼트를 사용하면 기본 세그먼트를 사용할 수 없는 경우 데이터베이스 쿼리를 백업 세그먼트로 장애 조치할 수 있습니다. 미러 세그먼트는 항상 기본 세그먼트와 다른 호스트에 있어야 합니다.
  • 그룹 미러링 이라고 하는 기본 구성은 모든 기본 세그먼트에 대한 미러 세그먼트를 다른 호스트 하나에 배치합니다. 확산 미러링 이라는 또 다른 옵션은 각 호스트의 기본 세그먼트에 대한 미러를 나머지 호스트에 분산시킵니다. 확산 미러링을 위해서는 호스트에 있는 기본 세그먼트보다 시스템에 더 많은 호스트가 있어야 합니다.