Airflow 환경 구축을 위한 Docker와 K8s 실습Airflow 운영 상의 어려움라이브러리 충돌DAG에 따라 실행에 필요한 라이브러리 / 모듈이 달라지면서 충돌 이슈 발생DAG 혹은 Task 별로 별도의 독립 공간을 만들어주는 것이 필요 -> DockerWorker의 부족Scale Up : 서버의 사양 업그레이드Scale Out : 클라우드 서비스K8s와 같은 컨테이너 기술 활용낮은 Server Utilization 이슈서비스 별로 전용 서버를 할당하는 것은 여러 가지 이슈 발생서비스 별로 Capacity 관리를 해야 함각 서비스에 속한 서버들을 보면 Utilization이 낮은 이슈 발생이 역시 K8s와 같은 컨테이너 기술의 도입으로 해결 가능해결책Task나 DAG 코드를 Docker Image..
Airflow DAG 개발 - OLTP 복사와 ELTOLTP(MySQL) 테이블 복사 방법프로덕션 MySQL 테이블 (OLTP)의 prod.nps 테이블을 AWS Redshift (OLAP)의 raw_data.nps로 복사하는 실습을 진행한다.복사 방법둘 중 어느 방법을 사용하더라도 Airflow는 MySQL과의 연결이 필요하며, COPY를 사용할 경우 S3와도 연결돼야 한다.INSERT INTOMySQL의 소스 데이터를 읽어 하나씩 AWS Redshift로 "INSERT INTO"를 사용해 복사소스 데이터의 레코드 수가 많다면 시간이 오래 걸림MySQL -> Airflow Server -> AWS RedshiftRedshift COPYMySQL의 소스 데이터를 읽어 파일로 클라우드 스토리지 S3에 저장..
Airflow Backfill 이해하기Open Weathermap DAG 구현하기Open Weathermap API 위도 / 경도 기반으로 그 지역의 기후 정보를 알려주는 서비스무료 계정으로 api key를 받아 호출 시 사용 Pricing - OpenWeatherMapGet weather data for any location on the globe immediately with our superb API! Just subscribe with your email and start using minute forecasts, hourly forecasts, history and other weather data in your applications. For more functionality, please ..
