숙제Dags 리스트를 API로 읽고 활성화된 DAG 찾기활성화된 DAGAPI 요청을 통해 얻은 정보 중 'is_paused'가 False면 활성화 중인 DAG'is_paused'가 False인 DAG의 'dag_id'를 출력하는 코드 작성코드활성화된 DAG가 없기에 아무것도 출력이 안됨'is_paused' == True로 수정하면 모든 DAG 출력 여부 확인 완료import requestsfrom requests.auth import HTTPBasicAuthdef print_activated_dags(username='airflow', password='airflow'): url = 'http://localhost:8080/api/v1/dags' auth = HTTPBasicAuth(usern..
mau_summary, channel_summery를 config로 옮기기 아래 링크의 'ELT 구현'을 확인해 보면 nps_summary.py를 예시로 config에 대한 이해를 할 수 있다. nps_summary의 형태를 참고하여 mau_summary, channel_summary를 작성해 보자. nps_summary에서는 input_check, output_check를 통해 테스트가 추가되어 있는데, 해당 부분은 제외하고 필요한 부분만 작성할 것이다. [TIL - 51일 차] Airflow 고급기능과 DBT, 데이터 디스커버리 (1)ELT 작성과 슬랙 연동Docker 기반 Airflow 실행이전에 사용했던 airflow의 docker-compose.yaml의 x-airflow-common과 airf..
Airflow.cfg 관련 문제DAGs 폴더는 어디에 지정되는가?airflow.cfg (line 2 ~ 4)section : corekey : dags_folder# The folder where your airflow pipelines live, most likely a# subfolder in a code repository. This path must be absolute.dags_folder = /opt/airflow/dags설명airflow.cfg의 최상단을 보면 core 섹션의 dags_folder가 있다. 현재 /opt/airflow/dags로 지정돼 있고, dags의 내부 디렉터리에 DAG가 위치하게 된다. 또한 절대 경로로 지정해줘야 한다.새로운 DAG 생성 시 Airflow에서 알 수 ..
