인프라 구축기현재 Lambda는 EC2와 RDS 인스턴스를 오전 10시에 켜는 함수 1개와 오후 10시 30분에 끄는 함수 1개로 구성돼 있다. 비용 절감을 위해 사용하지 않는 시간에 꺼두기 위한 목적으로 사용하고 있다. 초기 아키텍처와 다르게 AI Server와 metabase ec2 서버가 추가돼 Lambda 함수에 추가했는데, 해당 내용을 정리하려고 한다.현재 작성 중인 Lambda와 관련된 .py 파일이나 Terraform Code를 알고 싶다면, 아래의 링크를 확인하면 된다.참고 : 인프라 구축기 (8) 이후 변경 사항이 있었기에 대략적인 형태만 파악 인프라 구축기 (8) - Lambda를 활용한 AWS 인스턴스 시작, 중지 자동화인프라 구축기현재 인프라를 사용하면서 지속적으로 비용이 청구되고 ..
인프라 구축기EC2의 t3.large로 Airflow를 구축한 상황에서 AI 학습 및 예측을 진행해야 하는 문제에 직면했다. 그러나 Airflow Worker(LocalExecutor)만 사용한다면, 과부하가 올 것이라는 확신이 있었기에 AI를 위한 추가 인스턴스를 생성하고자 하였다. 이에 따라 Terraform 작업을 진행하게 되었으며, 진행 내용은 다음과 같다.AI Server를 위한 EC2 인스턴스 추가Airflow에서 EC2를 Start/Stop 하기 위한 IAM 사용자 생성lambda 함수에 AI Server를 추가하고, 특정 시간에 Start/Stop 되도록 수정EC2 인스턴스 추가 및 사용자 생성instance/ec2.tfAMI는 Amazon Linux 2023, 인스턴스는 t2.micro ..
인프라 구축기인프라 구축기 (8)에서 lambda의 IAM role을 설정할 때, 아래와 같이 AmazonEC2FullAcess와 AmazonRDSFullAccess를 적용하였다. 인프라 구축기 (10)에서 instance와 storage의 IAM role을 Terraform으로 적용할 때는 AmazonS3FullAccess를 사용하였다. 그런데 instance와 storage에서 같은 정책인 AmazonS3FullAccess를 사용하고, 하나를 apply 하면 다른 하나의 역할에서 정책이 사라져 버리는 이슈가 생겼다. "aws_iam_policy_attachment"를 적용할 때, roles나 users가 추가되는 것이 아니라 갱신되는 형태인 것 같았다. 종류 (lambda, storage, insta..
인프라 구축기현재 인프라를 사용하면서 지속적으로 비용이 청구되고 있다. Redshift Serverless는 가변 비용으로 쿼리 비용만을 청구하며 Bastion Host EC2는 프리티어이므로 비용이 발생하지 않지만, Airflow EC2와 RDS의 경우 서버를 사용하기에 켜두기만 하더라도 비용이 발생한다. 특히 Airflow EC2의 경우 t3.large의 인스턴스를 사용하고 외부와의 통신 (web, API 등)이 자주 이루어지므로 추가로 비용이 발생한다. 그래서 서버를 사용하지 않는 시간에는 서비스를 중지하여 비용을 절약하고자 하였다.사용하지 않을 때 중지할 서비스 : EC2 (Bastion Host, Airflow), RDSRedshfit의 경우 사용한 만큼만 비용이 청구되므로 중지하지 않아도 됨 ..
