프로덕션 데이터베이스 & 데이터 웨어하우스프로덕션 데이터베이스와 데이터 웨어하우스는 대표적인 관계형 데이터베이스이다. 같은 종류의 데이터베이스이지만, 기능 / 용도가 다르기 때문에 서로 다른 목적을 위해 사용된다. 이러한 프로덕션 데이터베이스와 데이터 웨어하우스의 개념과 사용 목적, 차이점을 알아보자.프로덕션 데이터베이스 (Production Database)개념프로덕션 데이터베이스는 사용자에게 정보를 제공하기 위해 사용하는 데이터베이스로 처리 용량보다 처리 속도가 중요시한다.대표적인 데이터베이스 : MySQL, PostgreSQL, Oracle 등OLTP (Online Transaction Process)프로덕션 데이터베이스는 OLTP에 속한다. OLTP는 온라인 뱅킹, 쇼핑, 주문 입력, 텍스트 메시..
숙제Dags 리스트를 API로 읽고 활성화된 DAG 찾기활성화된 DAGAPI 요청을 통해 얻은 정보 중 'is_paused'가 False면 활성화 중인 DAG'is_paused'가 False인 DAG의 'dag_id'를 출력하는 코드 작성코드활성화된 DAG가 없기에 아무것도 출력이 안됨'is_paused' == True로 수정하면 모든 DAG 출력 여부 확인 완료import requestsfrom requests.auth import HTTPBasicAuthdef print_activated_dags(username='airflow', password='airflow'): url = 'http://localhost:8080/api/v1/dags' auth = HTTPBasicAuth(usern..
구글 시트 연동과 API & Airflow 모니터링구글 시트의 데이터를 Redshift 테이블로 복사하거나 Redshift의 SELECT 결과를 구글 시트로 복사하는 작업은 현업 부서와 일을 할 때 자주 사용하며, 중요한 작업 중 하나이다.구글 시트 연동하기 (1) : 구글 시트 -> Redshift구글 시트의 데이터를 Redshift의 테이블로 복사하는 작업을 진행한다.구현 절차시트 API를 활성화 -> 구글 서비스 어카운트 생성 -> 내용을 JSON 파일로 다운로드어카운트에서 생성해 준 이메일을 조작하고 싶은 시트에 공유Airflow DAG에서 해당 JSON 파일로 인증하고 시트를 조작어카운트 생성 과정 구글 스프레드시트 API 활성화 및 프로젝트 생성 (링크)구글 서비스 어카운트 생성 (링크) : ..
이전에 S3의 csv 파일을 Snowflake의 테이블로 COPY하는 작업을 자동화하였다. 이번에는 Preset Dashboard를 제작하고, Snowflake의 Analytics 테이블 데이터를 일정 시간마다 가져오도록 할 것이다. [개인 프로젝트] FC Online 공식 경기 분석 (7) - EC2 / crontab 자동화 2이전에 EC2와 crontab을 사용해서 API의 데이터를 S3에 적재하는 작업을 진행하였다. 이번에는 EC2와 crontab을 사용해서 S3의 csv 파일을 Snowflake 테이블로 저장하는 작업을 진행할 것이다. [개인 프로젝sanseo.tistory.comPreset Dashboard, 자동화Preset Dashboard 이전에 인프라 구성을 완료하여 Snowflake와 ..
