GCP Composer

GCP composer

Cloud Composer는 클라우드 및 온프레미스 데이터 센터 전체의 워크플로 파이프라인을 생성, 예약, 모니터링, 관리할 수 있는 완전 관리형 워크플로 조정 서비스

오픈소스 프로젝트 기반으로 구축되어 python프로그래밍 언어로 동작한다. 아파치 airflow의 로컬 인스턴스 대신에 cloud composer를 사용하면 사용자가 설치 또는 관리 오버헤드 없이 airflow의 이점을 얻을 수 있다.

1. Cloud Composer

Google Kubernetes Engine에 기반을 둔 독립 실행형 Airflow 배포 환경. Airflow에 기본 제공되는 커넥터를 사용하여 다른 Google Cloud 서비스와 함께 작동

2. Cloud Composer로 인프라 자동화

데이터 엔지니어가 파이프라인에 집중할 수 있도록 인프라 업무와 시스템 업무를 분리하는 것이 좋은데 이런 환경을 제공해주는 것이 Google Cloud의 Cloud Composer

Cloud Storage

: Airflow DAG 및 로그가 Cloud Storage 버킷에 저장

Google Kubernetes Engine: Airflow 플랫폼은 마이크로 서비스 아키텍처에 기반을 두고 있으며, GKE에서 실행하기에 적합

Airflow 작업자는 Cloud Storage에서 워크플로 정의를 로드하고 Compute Engine API를 사용하여 각 태스크를 실행
Airflow 스케줄러는 구성된 주기와 적절한 작업 순서에 따라 백업이 실행
Redis는 Airflow 구성요소 간의 메시지 브로커로 사용
Cloud SQL Proxy는 메타데이터 저장소와의 통신에 사용

Cloud SQL 및 App Engine Flex: Cloud Composer는 메타데이터용 Cloud SQL 인스턴스와 Airflow UI를 제공하는 App Engine Flex 앱도 사용합니다. 이러한 리소스는 별도의 Google 관리 프로젝트에 있으므로 다이어그램에 도식화되지 않음