Airflow Backfill 이해하기Open Weathermap DAG 구현하기Open Weathermap API 위도 / 경도 기반으로 그 지역의 기후 정보를 알려주는 서비스무료 계정으로 api key를 받아 호출 시 사용 Pricing - OpenWeatherMapGet weather data for any location on the globe immediately with our superb API! Just subscribe with your email and start using minute forecasts, hourly forecasts, history and other weather data in your applications. For more functionality, please ..
Airflow 설치와 프로그래밍SQL 트랜잭션 이해하기중간에 실패하면 불완전 상황에 놓이는 작업이 있다면?은행 이체 과정 : 인출은 성공했지만, 송금에서 문제가 생긴다면?트랜잭션이란?Atomic하게 실행돼야 하는 SQL을 묶어 하나의 작업처럼 처리하는 방법BEGIN과 END 혹은 BEGIN과 COMMIT 사이에 해당 SQL들을 사용ROLLBACK은 BEGIN의 이전 상태로 돌아가라는 SQL 명령Transaction 구간의 SQL 결과는 임시 상태가 되며, 커밋 전에 다른 세션에서 볼 수 없음트랜잭션의 SQL을 최소화하는 것이 좋으며, 위의 경우 auto commit을 사용하는 경우트랜잭션 구현 방법 (1) - autocommitautocommit = True기본적으로 모든 SQL statement가 바로..
데이터 파이프라인(ETL) 소개데이터 파이프라인(ETL) 이란?Data Pipeline = ETL = Data Workflow = DAG(Directed Acyclic Graph)ELT : Extract(데이터 다운로드), Transform(데이터 포맷 변경), Load(데이터 적재)DAG : Airflow에서 사용되는 용어 / 다수의 tack로 구성이 되고, 루프가 존재하지 않음ETL vs ELTETL 데이터를 데이터 웨어하우스 외부에서 내부로 가져오는 프로세스로 보통 데이터 엔지니어가 수행ELT데이터 웨어하우스 내부 데이터로 새로운 데이터를 만드는 프로세스로 보통 데이터 분석가가 수행데이터 레이크 위에서 작업을 수행하기도 함ELT 프로세스 전용 기술이 있으며 dbt(Data Build Tool)가 가..
