문제17299번: 오등큰수문제 이해크기가 N인 수열 A = A1, A2, A3, ..., AN이고, 각 원소 Ai에 대한 오등큰수 NGF(i)를 구함Ai가 수열 A에 등장한 횟수 = F(Ai)Ai의 오등큰수는 오른쪽에 있고 수열 A에서 등장한 횟수가 F(Ai) 보다 큰 수 중 가장 왼쪽에 있는 수, 없으면 -1문제 예시 설명N = 7 # 수열의 크기A = [1, 1, 2, 3, 4, 2, 1] # 크기가 N인 수열 AF(1) = 3, F(2) = 2, F(3) = 1, F(4) = 1 # 각 숫자가 등장한 횟수A1 = 1, 오른쪽에 F(1)보다 큰 수는 없으므로 -1A2 = 1, 오른쪽에 F(1)보다 큰 수는 없으므로 -1A3 = 2, 오른쪽에 F(2)보다 큰 수는 1A4 = 3, 오른쪽에 F(3)..
Airflow 총 정리Airflow란?Airflow 개념Airflow는 파이썬으로 작성된 데이터 파이프라인(ETL) 프레임워크가장 많이 사용되는 데이터 파이프라인 관리/작성 프레임워크Airflow에서 사용되는 데이터 파이프라인을 DAG(Directed Acyclic Graph)라고 부름Incremental Update 관련 주요 용어start_date : 처음 실행할 때 읽어와야 하는 데이터 ex) Daily, start_date = 05-20이면, 첫 실행은 05-21execution_date : 실행 시점의 날짜를 Airflow의 시스템 변수로 사용 가능catchup : start_date가 과거일 때, 현재까지의 데이터를 수집할지 여부데이터 파이프라인 작성 시 기억할 점데이터 파이프라인에 관한 정보..
Airflow DAG 개발 - OLTP 복사와 ELTOLTP(MySQL) 테이블 복사 방법프로덕션 MySQL 테이블 (OLTP)의 prod.nps 테이블을 AWS Redshift (OLAP)의 raw_data.nps로 복사하는 실습을 진행한다.복사 방법둘 중 어느 방법을 사용하더라도 Airflow는 MySQL과의 연결이 필요하며, COPY를 사용할 경우 S3와도 연결돼야 한다.INSERT INTOMySQL의 소스 데이터를 읽어 하나씩 AWS Redshift로 "INSERT INTO"를 사용해 복사소스 데이터의 레코드 수가 많다면 시간이 오래 걸림MySQL -> Airflow Server -> AWS RedshiftRedshift COPYMySQL의 소스 데이터를 읽어 파일로 클라우드 스토리지 S3에 저장..
Airflow Backfill 이해하기Open Weathermap DAG 구현하기Open Weathermap API 위도 / 경도 기반으로 그 지역의 기후 정보를 알려주는 서비스무료 계정으로 api key를 받아 호출 시 사용 Pricing - OpenWeatherMapGet weather data for any location on the globe immediately with our superb API! Just subscribe with your email and start using minute forecasts, hourly forecasts, history and other weather data in your applications. For more functionality, please ..
