이전에 인프라의 모든 자동화를 마치고 결과 분석을 위해 시간을 들여 데이터를 수집하였다. 이번에는 마지막으로 수집된 데이터를 바탕으로 Preset 차트를 분석해 볼 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (8) - Preset Dashboard, 자동화이전에 S3의 csv 파일을 Snowflake의 테이블로 COPY하는 작업을 자동화하였다. 이번에는 Preset Dashboard를 제작하고, Snowflake의 Analytics 테이블 데이터를 일정 시간마다 가져오도록 할 것이다. [개인 프로sanseo.tistory.com결과 분석Snowflakeraw_data 테이블 row 수테이블의 컬럼이 많아져 분리해 놓은 것이기 때문에 모두 같아야 정상적으로 데이터가 수집된 것이다. 모두 ..
숙제Dags 리스트를 API로 읽고 활성화된 DAG 찾기활성화된 DAGAPI 요청을 통해 얻은 정보 중 'is_paused'가 False면 활성화 중인 DAG'is_paused'가 False인 DAG의 'dag_id'를 출력하는 코드 작성코드활성화된 DAG가 없기에 아무것도 출력이 안됨'is_paused' == True로 수정하면 모든 DAG 출력 여부 확인 완료import requestsfrom requests.auth import HTTPBasicAuthdef print_activated_dags(username='airflow', password='airflow'): url = 'http://localhost:8080/api/v1/dags' auth = HTTPBasicAuth(usern..
구글 시트 연동과 API & Airflow 모니터링구글 시트의 데이터를 Redshift 테이블로 복사하거나 Redshift의 SELECT 결과를 구글 시트로 복사하는 작업은 현업 부서와 일을 할 때 자주 사용하며, 중요한 작업 중 하나이다.구글 시트 연동하기 (1) : 구글 시트 -> Redshift구글 시트의 데이터를 Redshift의 테이블로 복사하는 작업을 진행한다.구현 절차시트 API를 활성화 -> 구글 서비스 어카운트 생성 -> 내용을 JSON 파일로 다운로드어카운트에서 생성해 준 이메일을 조작하고 싶은 시트에 공유Airflow DAG에서 해당 JSON 파일로 인증하고 시트를 조작어카운트 생성 과정 구글 스프레드시트 API 활성화 및 프로젝트 생성 (링크)구글 서비스 어카운트 생성 (링크) : ..
이전에 S3의 csv 파일을 Snowflake의 테이블로 COPY하는 작업을 자동화하였다. 이번에는 Preset Dashboard를 제작하고, Snowflake의 Analytics 테이블 데이터를 일정 시간마다 가져오도록 할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (7) - EC2 / crontab 자동화 2이전에 EC2와 crontab을 사용해서 API의 데이터를 S3에 적재하는 작업을 진행하였다. 이번에는 EC2와 crontab을 사용해서 S3의 csv 파일을 Snowflake 테이블로 저장하는 작업을 진행할 것이다. [개인 프로젝sanseo.tistory.comPreset Dashboard, 자동화Preset Dashboard 이전에 인프라 구성을 완료하여 Snowflake와 ..
