인프라 구축기인프라 구축기 (2)에서 Terraform을 활용하여 VPC를 구성하는 코드를 작성하였다. 이어서 Instance와 Storage를 구성하는 코드를 작성해 볼 것이다. 추가로 vpc, instance, storage 폴더로 구분하여 각 역할에 맞게 분리하고, 하나의 파일 실행으로 인프라 구성이 진행되도록 해보려고 한다. 인프라 구축기 (2) - Terraform을 활용한 VPC 구성 코드 작성인프라 구축기인프라 구축기 (1)에서 프로젝트에서 사용할 인프라 아키텍처와 어떤 용도로 사용하는지 정리하였다. 이제 구성한 인프라를 Terraform으로 관리하기 위해 간단한 공부를 진행하고, sanseo.tistory.com최종 파일 구조최종적인 파일 구조는 다음과 같다. instance, storag..
인프라 구축기인프라 구축기 (1)에서 프로젝트에서 사용할 인프라 아키텍처와 어떤 용도로 사용하는지 정리하였다. 이제 구성한 인프라를 Terraform으로 관리하기 위해 간단한 공부를 진행하고, 프로젝트에 적용하기 위한 코드를 작성해 볼 것이다. [AWS] 인프라 구축기 (1) - 개요, 아키텍처 소개인프라 구축기인프라 구축기 개요인프라 구축 개요데이터 엔지니어링 데브코스 3기를 진행하면서 데이터 파이프라인을 위한 AWS 인프라를 구축했었지만, 네트워크나 보안, 비용 등 관리 측면의sanseo.tistory.comTerraform 설치 및 기본 사용법Terraform 설치 방법과 사용되는 자주 쓰이는 명령어는 아래에 정리하였다.Terraform 설치 방법 (Windows)Terraform 개념과 자주 쓰이..
AWS Ubuntu EC2 Airflow 환경 구축생성한 EC2 인스턴스 정보는 다음과 같다. Airflow와 Docker는 결코 가벼운 서비스가 아니기 때문에 메모리가 6~8GB 정도는 돼야 정상적으로 작동하기 때문에 여유롭게 t3.large를 사용하였다.OS : Ubuntu Server 24.04 LTSinstance : t3.large (2 vCPU, 8 GiB Mem)(24.10.17 기준) 1 hour : $0.1041 day : $2.4961 week : $17.472docker-compose를 사용한 Airflow 환경 구축 과정docker-compose 만으로도 Airflow 환경 구축이 가능하다. 그러나 Dockerfile을 활용해 build 하면, 더 유연하게 docker-compose..
