인프라 구축기인프라 구축기 (8)에서 lambda의 IAM role을 설정할 때, 아래와 같이 AmazonEC2FullAcess와 AmazonRDSFullAccess를 적용하였다. 인프라 구축기 (10)에서 instance와 storage의 IAM role을 Terraform으로 적용할 때는 AmazonS3FullAccess를 사용하였다. 그런데 instance와 storage에서 같은 정책인 AmazonS3FullAccess를 사용하고, 하나를 apply 하면 다른 하나의 역할에서 정책이 사라져 버리는 이슈가 생겼다. "aws_iam_policy_attachment"를 적용할 때, roles나 users가 추가되는 것이 아니라 갱신되는 형태인 것 같았다. 종류 (lambda, storage, insta..
인프라 구축기현재 인프라를 사용하면서 지속적으로 비용이 청구되고 있다. Redshift Serverless는 가변 비용으로 쿼리 비용만을 청구하며 Bastion Host EC2는 프리티어이므로 비용이 발생하지 않지만, Airflow EC2와 RDS의 경우 서버를 사용하기에 켜두기만 하더라도 비용이 발생한다. 특히 Airflow EC2의 경우 t3.large의 인스턴스를 사용하고 외부와의 통신 (web, API 등)이 자주 이루어지므로 추가로 비용이 발생한다. 그래서 서버를 사용하지 않는 시간에는 서비스를 중지하여 비용을 절약하고자 하였다.사용하지 않을 때 중지할 서비스 : EC2 (Bastion Host, Airflow), RDSRedshfit의 경우 사용한 만큼만 비용이 청구되므로 중지하지 않아도 됨 ..
DockerContainer 기반의 경량화된 이미지를 통해서 제공하는 서비스이다. Docker를 사용하면 환경에 구애받지 않고 애플리케이션을 신속하게 배포 및 확장할 수 있으며, 모니터링 및 관리를 편하게 할 수 있다. Container가 많아지면 복잡도가 높아지는데, 이를 하나로 관리할 수 있는 서비스가 Kubernetes이다.용어이미지(Image)이미지는 컨테이너를 생성할 때 필요한 요소로 컨테이너의 목적에 맞는 바이너리와 의존성이 설치되어 있다. 여러 개의 계층으로 된 바이너리 파일이다. 이미 존재하는 이미지가 많기 때문에 가져다 사용해도 되고, 직접 만들어도 된다.컨테이너(Container)호스트와 다른 컨테이너로부터 격리된 시스템 차원과 네트워크를 사용하는 프로세스이다. 이미지는 읽기 전용으로 ..
