schedule_interval 개념과 사용법schedule_interval은 Airflow의 DAG 실행 주기를 설정하는 파라미터이다. 이 설정을 통해 DAG 실행을 자동화하여 특정 시각에 정해진 작업을 수행한다. 이 글에서는 schedule_interval의 개념과 사용법을 소개한다. 만약 Scheduling을 진행할 때 Airflow의 시간 개념 (Interval Start, Interval End, Logical Date)에 대해 알지 못한다면, 아래의 글을 참고하면 된다. [Airflow] DAG Scheduling과 ExecutionAirflow Scheduling과 Execution개요Airflow 관리Airflow를 사용하면서 반드시 알아야 할 것이 "작성한 DAG가 언제, 얼마나 실행되는..
프로젝트 설명 및 회고프로젝트 소개깃허브 링크 GitHub - lv1turtle/tourist_visitation_patterns_by_weatherContribute to lv1turtle/tourist_visitation_patterns_by_weather development by creating an account on GitHub.github.com진행 기간2024.06.10 ~ 2024.06.14 (5일)주제기상에 따른 관광지 방문 현황 파악프로젝트 인원 구성총 4명Airflow 서버 환경 구축, Github Action 작성한국관광공사 관광지 방문자 수 API 데이터 추출 DAG 작성ERD 작성, dbt를 활용한 ELT 구축기상청 관광지 날씨 정보 API 데이터 추출 DAG 작성나의 역할한국..
이전에 인프라의 모든 자동화를 마치고 결과 분석을 위해 시간을 들여 데이터를 수집하였다. 이번에는 마지막으로 수집된 데이터를 바탕으로 Preset 차트를 분석해 볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (8) - Preset Dashboard, 자동화이전에 S3의 csv 파일을 Snowflake의 테이블로 COPY하는 작업을 자동화하였다. 이번에는 Preset Dashboard를 제작하고, Snowflake의 Analytics 테이블 데이터를 일정 시간마다 가져오도록 할 것이다. [개인 프로sanseo.tistory.com결과 분석Snowflakeraw_data 테이블 row 수테이블의 컬럼이 많아져 분리해 놓은 것이기 때문에 모두 같아야 정상적으로 데이터가 수집된 것이다. 모두 ..
이전에 S3의 csv 파일을 Snowflake의 테이블로 COPY하는 작업을 자동화하였다. 이번에는 Preset Dashboard를 제작하고, Snowflake의 Analytics 테이블 데이터를 일정 시간마다 가져오도록 할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (7) - EC2 / crontab 자동화 2이전에 EC2와 crontab을 사용해서 API의 데이터를 S3에 적재하는 작업을 진행하였다. 이번에는 EC2와 crontab을 사용해서 S3의 csv 파일을 Snowflake 테이블로 저장하는 작업을 진행할 것이다. [개인 프로젝sanseo.tistory.comPreset Dashboard, 자동화Preset Dashboard 이전에 인프라 구성을 완료하여 Snowflake와 ..
