@task 개념과 사용 예시, 주의할 점Airflow는 워크플로우의 각 단계를 Task로 정의하며, Task를 추가하기 위해 Operator를 사용한다. Airflow 2.0부터 TaskFlow API가 도입되어 Task Decorator인 @task를 활용해 Task를 정의할 수 있게 되었다. 이번 글에서는 @task의 개념과 사용 방법, 예시, 유스케이스를 소개하려고 한다.Airflow Taskflow 공식 문서Python Decorator와 @task의 개념Python Decorator 개념Python의 Dacorator는 함수의 기능을 확장하거나 수정하기 위해 사용하는 디자인 패턴이다. 보통 함수 위에 "@이름" 형태로 선언되며, 함수 호출 전후에 특정 작업을 수행하거나 함수의 동작을 변경할 수 ..
인프라 구축기Terraform으로 aws 인프라를 지속적으로 관리하던 중 큰 문제 하나를 마주쳤다. 실수로 Terraform의 상태 파일인 terraform.ftstate를 삭제한 것이다. 이번 글에서는 해당 이슈를 해결한 과정을 담아보려고 한다.terraform.tfstate 개념과 삭제 이슈terraform.tfstate 개념terraform.tfstate 파일은 Terraform이 관리하는 인프라의 현재 상태를 기록하는 핵심 파일이다. 이 파일은 인프라가 Terraform 구성과 어떻게 일치하는지, 어떤 리소스가 실제 클라우드 환경에 존재하는지 파악하는 데 필수적이다. 즉, 이 파일을 통해 어떤 리소스가 클라우드에 생성돼 있고 apply 시 생성/변경/삭제할 리소스가 무엇인지 인식한다.삭제 이슈정말..
Terraform 개념과 자주 쓰이는 명령어Terraform 개념Terraform 이란?HCL (Hashicorp Configuration Language)를 사용해 클라우드 리소스를 선언할 수 있는 오픈소스 툴일관된 워크플로를 사용하여 라이프사이클 전체에 걸쳐 모든 인프라를 프로비저닝 및 관리AWS, GCP, Azure와 같은 주요 클라우드 서비스를 지원Terraform WorkflowWrite : 코드 형태로 리소스 정의Plan : Terraform은 기존 인프라와 구성에 따라 생성, 업데이트 혹은 삭제할 인프라 설정Apply : 리소스의 종속성을 확인하여 올바른 순서로 제안된 작업을 수행Terraform 명령어tarraform initTerraform 프로젝트 초기화프로젝트에서 사용할 플러그인, 제..
데브코스 최종 프로젝트에서 ETL을 위해 AWS Glue를 사용하려고 한다. 그러나 개념을 아직 모르기 때문에 AWS Glue의 개념과 어떤 역할을 하는지 알아보려고 한다.AWS GlueAWS Glue 사용 예제 : 실제로 사용할 때에는 아래의 링크를 참고해서 진행[Hands On] AWS Glue Studio로 ETL 작업 (농심)[Hands On] Glue를 이용한 데이터 전처리 (교보)AWS Glue 개념과 구성 요소AWS Glue 개념완전 관리형 데이터 추출 변환 및 적재(ETL) 서비스여러 데이터 스토어 및 데이터 스트림 간에 원하는 데이터를 분류, 정리, 보강, 이동 가능AWS Glue 특징서버리스이므로 설정하거나 관리할 인프라가 없음원본/변경 데이터의 저장을 위한 별도의 저장소가 필요 없고,..
