전체 글

데이터 엔지니어링, 자동화에 관심을 갖고 공부 중입니다.
[프로그래머스] 데이터 엔지니어링 데브코스 3기/숙제

[숙제 - 43일 차] airflow.cfg 관련 문제 해결

Airflow.cfg 관련 문제DAGs 폴더는 어디에 지정되는가?airflow.cfg (line 2 ~ 4)section : corekey : dags_folder# The folder where your airflow pipelines live, most likely a# subfolder in a code repository. This path must be absolute.dags_folder = /opt/airflow/dags설명airflow.cfg의 최상단을 보면 core 섹션의 dags_folder가 있다. 현재 /opt/airflow/dags로 지정돼 있고, dags의 내부 디렉터리에 DAG가 위치하게 된다. 또한 절대 경로로 지정해줘야 한다.새로운 DAG 생성 시 Airflow에서 알 수 ..

[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)

[TIL - 43일 차] 데이터 파이프라인과 Airflow (3)

Airflow DAG 작성 - Hello WorldHello world 예제 프로그램 살펴보기PythonOperatorfrom airflow import DAGfrom airflow.operators.python import PythonOperatorfrom datetime import datetimedag = DAG( dag_id = 'HelloWorld', start_date = datetime(2022,5,5), catchup=False, tags=['example'], schedule = '0 2 * * *')def print_hello(): print("hello!") return "hello!"def print_goodbye(): print("good..

알고리즘 연습/백준

[Python - 24511] queuestack (S3)

문제24511번: queuestack문제 이해queuestack : 1, 2, ..., N번의 자료구조(큐 or 스택)가 나열되어 있으며 각 자료구조에는 한 개의 원소가 들어 있음queuestack의 작동x0 입력x0을 1번 자료구조에 삽입한 뒤 1번 자료구조에서 pop, pop 된 원소는 x1x1을 1번 자료구조에 삽입한 뒤 1번 자료구조에서 pop, pop 된 원소는 x2...xn-1을 1번 자료구조에 삽입한 뒤 1번 자료구조에서 pop, pop 된 원소는 xnxn 반환입력받은 M개의 정수(C)를 queuestack에 차례로 삽입했을 때의 반환값(xn)을 출력출력 예시자료구조가 어떤 형태인지 글로는 한 번에 와닿지는 않는다. 첫 번째 출력 예시로 확인해 보자.N = 4A = [0, 1, 1, 0]B ..

Infra/AWS

[AWS] AWS 서비스 종료 후에도 VPC 비용 발생 문제 해결

AWS VPC 비용 청구최근 데이터 엔지니어링을 공부하면서 EC2, Redshift, S3와 같은 서비스를 이용하고 있다. 서비스 종료를 제대로 하지 않으면 비용 폭탄을 맞을 수 있다는 말에 공부가 끝나면 잊지 않고 종료를 해주었다. 그런데 서비스를 종료하고 VPC도 삭제했지만, 매일 VPC 비용이 청구되고 있었다..세부 비용 청구서AWS Console > 결제 및 비용 관리 > 청구서에서 세부 청구 내용을 확인해보니 "$0.005 per Idle public IPv4 address per hour"를 382시간이나 사용했다고 한다. 즉, Public IPv4 주소가 아직 삭제되지 않아 지속적으로 비용이 청구되고 있는 것이다.Public IPv42024년 2월 1일부터 Public IPv4 주소 사용이 ..

기억에 남는 블로그 닉네임
얕게, 깊게