스케줄링

[Airflow] schedule_interval 개념과 사용법

2024.11.10

schedule_interval 개념과 사용법schedule_interval은 Airflow의 DAG 실행 주기를 설정하는 파라미터이다. 이 설정을 통해 DAG 실행을 자동화하여 특정 시각에 정해진 작업을 수행한다. 이 글에서는 schedule_interval의 개념과 사용법을 소개한다. 만약 Scheduling을 진행할 때 Airflow의 시간 개념 (Interval Start, Interval End, Logical Date)에 대해 알지 못한다면, 아래의 글을 참고하면 된다. [Airflow] DAG Scheduling과 ExecutionAirflow Scheduling과 Execution개요Airflow 관리Airflow를 사용하면서 반드시 알아야 할 것이 "작성한 DAG가 언제, 얼마나 실행되는..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 42일 차] 데이터 파이프라인과 Airflow (2)

2024.05.21

Airflow 설치와 프로그래밍SQL 트랜잭션 이해하기중간에 실패하면 불완전 상황에 놓이는 작업이 있다면?은행 이체 과정 : 인출은 성공했지만, 송금에서 문제가 생긴다면?트랜잭션이란?Atomic하게 실행돼야 하는 SQL을 묶어 하나의 작업처럼 처리하는 방법BEGIN과 END 혹은 BEGIN과 COMMIT 사이에 해당 SQL들을 사용ROLLBACK은 BEGIN의 이전 상태로 돌아가라는 SQL 명령Transaction 구간의 SQL 결과는 임시 상태가 되며, 커밋 전에 다른 세션에서 볼 수 없음트랜잭션의 SQL을 최소화하는 것이 좋으며, 위의 경우 auto commit을 사용하는 경우트랜잭션 구현 방법 (1) - autocommitautocommit = True기본적으로 모든 SQL statement가 바로..

[Airflow] schedule_interval 개념과 사용법

[TIL - 42일 차] 데이터 파이프라인과 Airflow (2)

티스토리툴바