< Creating Workflows with Composer >
Cloud Composer orchestrates automated workflows
Cloud Composer는 자동화된 워크플로를 조정
- 다양한 단계의 오케스트레이션을 도와줌
Cloud Composer is a managed Apache Airflow environment
Cloud Composer는 관리형 Apache Airflow 환경
- Cloud Composer는 아파치를 실행하는 완전 관리형 환경
- Airflow는 오픈 소스 워크플로 엔진
- 간단한 파이썬 코드로 워크플로를 만들 수 있음
- Airflow는 오픈 소스 프로젝트이고 학습에 대한 투자가 어디에서나 실행되기 때문에 데이터 융합과 유사
Each Airflow environment has a separate web server and folder
in Cloud Storage for pipeline DAGs
각 Airflow 환경에는 파이프라인 DAG용 Cloud Storage에 별도의 웹 서버와 폴더가 있음
- 각 Airflow 환경은 Airflow UI에 액세스하기 위해 별도의 웹 서버를 호스팅
- 파이프라인에 대한 Python 코드 파일을 배치하는 Google 클라우드 스토리지에 폴더도 생성됨
The DAGs folder is simply a Cloud Storage bucket where you will load your pipeline code
DAGs 폴더는 단순히 파이프라인 코드를 로드할 Cloud Storage 버킷
- DAGs 폴더는 단순히 워크플로를 실행하기 위해 파이프라인 코드를 로드하는 클라우드 스토리지 버킷을 사용
- 해당 코드 파일을 클라우드 스토리지 버킷에 저장하기만 하면 Airflow가 새 파일을 감지하고 파일에 지정한 일정에 따라 실행
Workflows are written in Python
워크플로는 Python으로 작성
- 워크플로 내부에 정의된 맨 위 워크플로는 DAG 또는 방향성 비순환 그래프를 구성하는 일련의 단계
- 각 단계는 연산자로 구현되며 위의 경우 여러 유형의 연산자가 존재
- 첫 번째 연산자는 Python 연산자로 파이썬 인사말 기능을 호출
- 두 번째 연산자는 Bash 연산자로 파이썬 기능과 셸 스크립트를 실행
- 워크플로가 정의된 후 맨 아래에는 연산자의 순서가 지정
hello_python → what_time_is_it
Airflow provides many operators to orchestrate Google Cloud and other services
Airflow는 Google Cloud 및 기타 서비스를 조정할 수 있는 많은 운영자를 제공
- 많은 운영자가 Google Cloud 및 기타 서비스를 조정하도록 제공
Airflow console allows you to monitor your workflows
Airflow 콘솔을 사용하여 워크플로를 모니터링할 수 있음
- Airflow 웹 사이트를 통해 워크플로를 모니터링할 수 있음
- 콘솔에서 Google Cloud Composer 환경의 일부로 사용할 수 있으며 서비스에 의해 자동으로 생성됨
