인프라 구축기현재 인프라를 사용하면서 지속적으로 비용이 청구되고 있다. Redshift Serverless는 가변 비용으로 쿼리 비용만을 청구하며 Bastion Host EC2는 프리티어이므로 비용이 발생하지 않지만, Airflow EC2와 RDS의 경우 서버를 사용하기에 켜두기만 하더라도 비용이 발생한다. 특히 Airflow EC2의 경우 t3.large의 인스턴스를 사용하고 외부와의 통신 (web, API 등)이 자주 이루어지므로 추가로 비용이 발생한다. 그래서 서버를 사용하지 않는 시간에는 서비스를 중지하여 비용을 절약하고자 하였다.사용하지 않을 때 중지할 서비스 : EC2 (Bastion Host, Airflow), RDSRedshfit의 경우 사용한 만큼만 비용이 청구되므로 중지하지 않아도 됨 ..
인프라 구축기인프라 구축기 (4)에서 구성된 인프라에서 Bastion Host 터널링을 통한 RDS, Redshift Serverless, Airflow (EC2) 접근을 확인할 수 있었다. 이번엔 Private Subnet에 구성돼 있는 Airflow EC2에서 Private Subnet에 위치한 RDS, Redshift와 S3 Endpoint를 통해 S3에 접근이 가능한지 확인해 볼 것이다. 또한 NAT Gateway를 통한 외부 통신이 가능한지도 확인할 것이다. 인프라 구축기 (4) - Bastion Host에서 Private Subnet 접근 확인인프라 구축기인프라 구축기 (3)까지 진행하면서 Terraform을 활용해 인프라 구성을 완료하였다. 이번엔 VPC 내부의 연결이 제대로 이루어졌는지 확..
인프라 구축기인프라 구축기 (3)까지 진행하면서 Terraform을 활용해 인프라 구성을 완료하였다. 이번엔 VPC 내부의 연결이 제대로 이루어졌는지 확인해보려고 한다. 특히 보안 그룹이 제대로 설정돼있지 않으면 접근이 불가능하다. 인프라 구축기 (4)에서는 Bastion Host를 통해 Redshift, RDS, Airflow (ec2)에 접근이 가능한지 확인해보려고 한다. 인프라 구축기 (3) - Terraform을 활용한 Instance, Storage 구성인프라 구축기인프라 구축기 (2)에서 Terraform을 활용하여 VPC를 구성하는 코드를 작성하였다. 이어서 Instance와 Storage를 구성하는 코드를 작성해 볼 것이다. 추가로 vpc, instance, storage 폴더로 구분하sa..
TIL (2024-07-29 ~ 2024-08-02)2024-07-29 (월)오늘 한 일ELT보다 웹 서비스 제작을 우선적으로 지원하여 제작하기로 결정현재 프론트 디자인은 완료되었고, Request/Response 작업은 다른 팀원 분이 진행VPC, RDS 구축이 이루어지면 RDS와 Server를 연결하는 작업 진행(RDS 구축 이후 웹 서비스 제작 이전에 S3 -> RDS 벌크 업데이트 테스트부터 해야 함)웹 제작 지원 (Frontend)메인 페이지와 보증금, 월세를 입력받는 페이지 디자인 (React)웹 제작 지원 (Server)을 위한 작성된 코드 리딩Server 쪽에서 지원할 사항은 RDS 연결과 프론트 - 백엔드 디버깅지원을 위한 django 웹 서버 코드 리딩RDS와 연결하는 방법 탐색 + ...
